3.1.2 最大熵原理
Shannon解决了不确定性的度量问题,但这里还存在如何进行概率分配的问题。对于一个随机过程,概率密度事先是未知的并且对于观测值的概率分配,可以有无限多组。究竟应当选哪一组? 即在什么意义下,所选出的一组概率才是最可能接近实际的呢? Jaynes提出: “当根据部分信息进行推理时,必须选择这样一组概率分配,它应具有最大的熵,并服从一切已知的信息。这是能够做出的唯一的无偏分配; 使用任何其他分配,就等于对原来所有信息做了随意假设。”这一统计推理准则被称为最大熵原理[50-53]。
在数学上,最大熵原理可表示为
式中 gj(x)——可观测的函数值;
E[gj(x)]——相应的均值。
Tribus曾经证 ...... (共563字) [阅读本文]>>