推荐给好友

打印

加入收藏

更新于2008-04-01 02:05:13

         通信的目的是传递信息。信息可以被理解为消息中包含的有意义的内容。当得到消息后，若事先猜测消息中所描述的事件发生的可能性越小，则此消息的信息量越大。

信息量可以用消息所描述的事件发生的概率来描述。

  • 信息量的定义
  • 等概率离散消息的信息量
  • 不等概离散消息的信息量
  • 连续消息的平均信息量

一、信息量的定义

  • 信息：包含在消息中，认为是消息中有意义的内容，更具普遍性和抽象性。
  • 信息量特性：
      消息中所含信息量与消息出现的概率有关，消息出现的概率愈大，则所含信息量就愈少。
      独立事件构成的消息所含信息量为各事件所含信息量的和。

   • 设消息所代表的事件出现的概率为P(x)，则该消息所含的信息量I为：
    I = - log _a P (x)
      a = 2单位：比特（bit）
      a = e单位：奈特（nit）
      a = 10单位：哈特莱

二、等概率离散消息的信息量 
   • 信源有M种消息，这M种消息独立等概率出现，传送M个消息中的一个，等价于传送一个M进制的码元（波形）。
   • 一个M进制码元（波形）的信息量：
    I = - log ₂ (1/M) = log ₂ M  (bit)
   • 一个二元码的信息量 I = log ₂ 2 = 1 (bit)

三、不等概离散消息的信息量

   • 设信源由n个符号组成，各个符号xi出现的概率为P(xi)，则每一符号的平均信息量（信源的熵）为：
                                     

(bit /符号)

   •当各符号等概率时，信源熵值最大：H_max = log₂n  (bit /符号)
   • 设消息包含m个符号，该消息的信息量为： I = mH  (bit)

例
   • 例1：二元离散信源由“0”和“1”两个符号组成，其中p(0)=1/3，p(1)=2/3，则出现符号“1”的信息量
         解：I=-log₂2/3=0.585 bit

   • 例2：某离散信源由0、1、2、3四个符号组成，概率分别为3/8、1/4、1/4、1/8，求消息2013021103200120033020320102223的信息量。
         解：I=-Σnilog₂p(xi)
                  =-（11×log₂3/8+5 ×log₂1/4+9 × log₂1/4+6 ×log₂1/8 ）
                  =-(15.62+28.09+18.06)=61.77 bit

   • 例3：某离散信源由0、1、2、3四个符号组成，出现概率相同，求消息2013021103200120033020320102223的信息量。
          方法1：按H(x)=-Σp(xi) ·log₂p(xi)
                                   I=符号个数×H(x)
           方法2： I=-Σni·log₂ p(xi)

四、连续消息的平均信息量

        f (x)——连续消息出现的概率密度

下一节   主要性能指标