1999年度 情報理論 課題 1

提出期限:

6月23日(水) (早いほど良い) 3. は余裕のある人がやって下さい。

提出先:

2号館A棟404号室 又江秘書まで (不在時は2号館A棟404号室 徳田まで)

例：ソースコード，ニュースアーカイブなど

1. 各文字が独立情報源から生起されるとして， その情報源のエントロピーおよび冗長度を求めよ．

   手順：

   • 文字a, b, c, ... の出現頻度から， その生起確率P(a), P(b), P(c), ... を求める． （参考のため出現確率の大きい順に上位20個程度を書き出してみる）
   • P(a), P(b), P(c), ... からエントロピーおよび冗長度を求める．

   
   
2. 各文字が単純マルコフ情報源から生起されるとして， その情報源のエントロピーおよび冗長度を求めよ．

   手順：

   • 引き続いた2文字の出現頻度から， 結合確率P(a, a), P(a, b), P(a, c), ..., P(b, a), P(b, b), ... を求める． （参考のため出現確率の大きい順に上位40個程度を書き出してみる）
   • P(a | a) = P(a, a)/P(a), P(b | a) = P(a, b)/P(a), ... および P(a), P(b), ... からエントロピーおよび冗長度を求める．

   
   
3. 各文字が2重マルコフ情報源から生起されるとして， その情報源のエントロピーおよび冗長度を求めよ．

   手順：

   • 引き続いた3文字の出現頻度から， P(a, a, a), P(a, a, b), P(a, a, c), ..., P(a, b, a), P(a, b, b), ... を求める． （参考のため出現確率の大きい順に上位40個程度を書き出してみる）
   • P(a | a, a) = P(a, a, a)/P(a, a), P(b | a, a) = P(a, a, b)/P(a, a), ... および P(a, a), P(a, b), ... からエントロピーおよび冗長度を求める．

参考：

• アスキーコードすべて（0〜127）を文字と考えて計算する．