3.1.1 信息熵的定义及基本性质
熵是由Clausius于1865年在论文 “论热的机械论中主要公式的适于应用的各种形式”中首先提出的一个概念,主要用来衡量一个系统中分子运动的混乱程度。它是一个极其重要的物理量,但又以其抽象隐晦、难以理解而著称。熵作为一个状态函数,其含义非常丰富。在热力学中,它是不可用能的度量; 在统计物理学中它是系统微观态数目的度量。在不同场合,针对不同对象,熵可以作为系统的混乱性或无序度。1948年,信息科学的创始人贝尔实验室的美国电气工程师香农 (Shannon,C.E.) 为研究信息的不确定性,依据热力学中熵的概念,把通信过程中信源信号的平均信息量称为熵,从而使熵概念的应用领域又 ...... (共941字) [阅读本文]>>