信息量的定义是什么?

所谓信息量是指从N个相等可能事件中选出一个事件所需要的信息度量或含量,也就是在辩识N个事件中特定的一个事件的过程中所需要提问"是或否"的最少次数.
香农（C. E. Shannon）信息论应用概率来描述不确定性。信息是用不确定性的量度定义的.一个消息的可能性愈小,其信息愈多;而消息的可能性愈大,则其信息愈少.事件出现的概率小，不确定性越多，信息量就大，反之则少。
在数学上，所传输的消息是其出现概率的单调下降函数。如从64个数中选定某一个数，提问：“是否大于32?”，则不论回答是与否，都消去了半数的可能事件，如此下去，只要问6次这类问题，就可以从64个数中选定一个数。我们可以用二进制的6个位来记录这一过程，就可以得到这条信息。

数据就是信息，
数据的方差显示了数据的集中程度，数据越是集中则说明数据包含的信息越准确密集，这样的话，其实就是信息量越小。
信息量就是方差。可见统计学fisher信息量。

编辑词条KL信息量法
KL信息量法
K-L信息量法是本世纪中叶，由Kull-back和Leibler提出，用以判定两个概率分布的接近程度。其原理是以基准序列为理论分布，备选指标为样本分布，不断变化备选指标与基准序列时差，计算K-L信息量。K-L信息量最小时对应的时差数确定为备选指标的最终时差。
对于偶然的带有随机性的现象，通常可以认为是服从某一概率分布的随机变量的一些实现值。如果已知（或假设）真正的概率分布，而希望估计我们选择的概率模型与这一真的概率分布相近似的程度，从而估计模型的好坏，就需要一个度量，这就是Kullback-Leibler信息量，即K-L信息量。
在实际的应用中，是以一个重要的，能够敏感的反映当前经济活动的经济指标作为基准指标。对于每个选取的经济指标相对于基准指标前后移动若干个月，计算K-L信息量的值。K-L信息量越小，说明真实概率分布与模型概率分布越接近，对应的移动月数就是该指标的延迟月数。