中国科学院数学院给出了经验信源编码定理，用于计算单个数据序列的无损压缩界限。该界限由香农熵、字典大小与费雪信息量确定。香农1948年提出用熵作为压缩下界，但仅是概念，后来柯尔莫哥洛夫等提出的计算复杂度又不可计算。李雷运用局部渐近正态性，得到归一化最大似然编码长度公式。这个最优解可以通过贝叶斯预测编码实现。数据压缩的最优经验下界不仅作为信息论第一定理是通讯理论的基础，也对机器学习有指导意义。研究结果近期发表于Entropy。

Publication:

Entropy 2025, 27(8), 864

https://doi.org/10.3390/e27080864

Author:

Lei M. Li

State Key Laboratory of Mathematical Science, Academy of Mathematics and Systems Science, Chinese Academy of Sciences, Beijing 100190, China

School of mathematical sciences, University of Chinese Academy of Sciences, Beijing 100049, China

lilei@amss.ac.cn