虽然公式看起来有点复杂，但它的核心思想其实很简单。
互信息衡量的是一个随机变量提供关于另一个随机变量的信息量。
对于两个离散随机变量 和 ，互信息 的定义为：
其中， 是 和 的联合概率分布， 和 是它们的边缘概率分布。
对于连续随机变量，求和变为积分。
互信息还可以通过信息熵来表示：
其中， 和 分别是 和 的信息熵， 是它们的联合信息熵。
公式的意思是：互信息衡量了两个变量同时出现的概率与它们独立出现的概率之间的差异。
如果两个变量完全独立，互信息就是零；如果它们之间有很强的关系，互信息就会很大。
互信息的三个重要性质
📍非负性：互信息总是大于或等于零。如果两个变量完全独立，互信息为零；如果它们有关系，互信息就大于零。
📍对称性：互信息是双向的，I(X;Y)=I(Y;X)。也就是说，无论你先看 X 还是先看 Y，共享的信息量是一样的。
📍信息增益：互信息也可以被看作是“信息增益”，即通过一个变量减少对另一个变量的不确定性。
03
互信息的实际应用
Information Theory
互信息听起来很抽象，但实际上它在很多地方都有用处：
🕹️机器学习：帮助选择最有用的特征。比如，你想预测房价，互信息可以告诉你哪些特征（如面积、位置、房间数量）和房价之间的关系最强。
🕹️生物信息学：分析基因之间的关系。如果两个基因的表达模式有很强的互信息，说明它们可能在生物体内有相似的功能。
🕹️通信系统：衡量信号传输的效率。互信息可以帮助我们设计更高效的通信信道，减少信息丢失。
用生活中的例子解释互信息：
假设你和朋友一起看电影。电影的类型（喜剧、动作、爱情）是一个变量 X，而你朋友看电影后的表情（开心、紧张、悲伤）是另一个变量 Y。
如果电影是喜剧，你朋友大概率会笑得很开心。
如果电影是恐怖片，你朋友可能会很紧张。
如果电影是爱情片，你朋友可能会感动得流泪。
这里，电影类型和朋友的表情之间就有很强的互信息。
通过观察朋友的表情，你可以猜到电影的类型；反过来，通过知道电影的类型，你也能猜到朋友的表情。这种“猜到”的能力，就是互信息的直观体现。
\ | /
结语
互信息是一个很酷的概念，它帮助我们量化两个变量之间的“共享信息”。它告诉我们，当我们知道一个变量的值时，能减少多少对另一个变量的不确定性。
无论是在数据分析、机器学习，还是日常生活中，互信息都能帮助我们更好地理解事物之间的关系。
如果你对互信息感兴趣，不妨在生活中多观察一下，你会发现很多有趣的“共享信息”！
如果你喜欢这篇文章，别忘了点赞、分享和关注哦，我们下次见！返回搜狐，查看更多