1998年度 情報理論 課題 1

例：ソースコード，ニュースアーカイブなど

1. 各文字が独立情報源から生起されるとして， その情報源のエントロピーおよび冗長度を求めよ．

   手順：

   • 文字a, b, c, ... の出現頻度から， その生起確率P(a), P(b), P(c), ... を求める．
   • P(a), P(b), P(c), ... からエントロピーおよび冗長度を求める．

   
   
2. 各文字が単純マルコフ情報源から生起されるとして， その情報源のエントロピーおよび冗長度を求めよ．

   手順：

   • 引き続いた2文字の出現頻度から， 結合確率P(a, a), P(a, b), P(a, c), ..., P(b, a), P(b, b), ... を求める．
   • P(a | a) = P(a, a)/P(a), P(b | a) = P(a, b)/P(a), ... および P(a), P(b), ... からエントロピーおよび冗長度を求める．

   
   
3. 各文字が2重マルコフ情報源から生起されるとして， その情報源のエントロピーおよび冗長度を求めよ．

   手順：

   • 引き続いた3文字の出現頻度から， P(a, a, a), P(a, a, b), P(a, a, c), ..., P(a, b, a), P(a, b, b), ... を求める．
   • P(a | a, a) = P(a, a, a)/P(a, a), P(b | a, a) = P(a, a, b)/P(a, a), ... および P(a, a), P(a, b), ... からエントロピーおよび冗長度を求める．

参考：

• 大文字，小文字は区別しない．
• スペースは文字とみなす．
• +, - などの記号の処理は各自，適当に．(文字とみなす，スペースとみなす，など)
• 改行コード，タブはスペースとみなす．
• 引き続いたスペースはひとつのスペースとみなす．