| タイトル | 自己情報量の確率分布の眺め方 ～ $n^{-1}$ と $n^{-1/2}$ と違うスケールで見てみると ～ |
|---|---|
| 著者 | 松嶋敏泰 |
| 年度 | 2014 |
| 形式 | 国内学会 |
| 分野 | 情報源符号化 |
| 掲載雑誌名 | 電子情報通信学会技術研究報告 |
| 掲載号・ページ | vol.114, no.138, IT2014-26, pp.83-88 |
| 掲載年 | 2014 |
| 掲載月 | 7 |
| アブスト （日本語） |
学会名：電子情報通信学会情報理論研究会（IT） 日程：2014年7月17日～2014年7月18日 場所：兵庫県 招待講演 データ数や系列長を$n$とした場合，ある統計量について$n^{-1}$のスケールで挙動をみることは，例えば算術平均や平均符号長等を考察することに対応している． 情報理論の主要な古典的問題はこのスケールで見た場合の漸近理論で議論されることが多かった． 他方で$n^{-1/2}$のスケールで見る立場は，漸近的挙動をより詳細にみることに対応し，統計量の極限を分布として見ることになる． 近年の情報理論で話題となっている有限長解析や２次解析と呼ばれる問題はこのような見方で解析を行なっていることに対応し．中心極限定理による正規分布への分布収束を利用して，その分布のスソの確率や，パーセンタイルの特徴量を用いることで符号化レートや誤り確率を評価している． 他方，正規分布への近似を，確率分布のスソの部分の近似に使うのではなく，モード，つまり確率密度関数の一番高い部分に用いることで評価を行う方法もある． 可変長情報源符号化の平均符号長や個別符号長の問題は，自己情報量の分布やその事後分布のモード付近の特徴量によって評価され，特にユニバーサル情報源符号化の問題においては，分布の中心付近を正規分布で近似することが解析のポイントとなっている． 本講演ではこれらの話題について横断的に解説を試みる． |
| アブスト （英語） |
Several problems in Information Theory are investigated by asymptotic approximations of the probability of self-information or self-mutual information. Two kind of normal asymptotic approximation is discussed in this paper. One is the approximation of tail distribution, and the other is the approximation of top distribution that is the neighborhood of the mode in the distribution. Error probability and overflow probability are evaluated by the approximation of tail distribution. Mean code length and point wise code word length are evaluated by the approximation of top distribution. In this paper, a brief discussion of these approximations is presented in a cross-sectoral manner. |
| 備考 （日本語） |
1 |
| 備考 （英語） |
1 |
| 論文原稿 | |
| 発表資料 |
