什么是交叉熵深度学习涉及到的信息论基础概念

信息熵和交叉熵是信息论基础概念，在深度学习领域有比较广泛的应用，交叉熵作为二分类，多分类，目标检测，图像识别相关算法的损失函数，那么什么是交叉熵呢？

一、信息量

通俗的讲，信息量是发生概率越小的事件发生了其包含的信息量越大信息量的计算公式是-㏒ep(x) ,p(x)是事件发生的概率

二、数学期望

试验中每次可能结果的概率乘以其结果的总和，数学期望就是均值。计算公式

三、信息熵

通俗的讲信息熵是信息量与事件发生时概率的数学期望，计算公式如下

p为事件发生的概率

四、交叉熵

交叉熵是表示两个概率分布p,q，其中p表示真实分布，q表示非真实分布，交叉熵用来衡量两组随机变量之间的相似度，主要用于衡量模型识别值概率与真实值之间的相似度计算公式如下

文章来源：https://www.ixiera.com

作者: freeclashnode

来源: FreeClashNode

文章版权归作者所有，未经允许请勿转载。

热门文章