交叉熵

交叉熵(Cross Entropy)是Loss函数的一种(也称为耗损函数或价钱函数),用于描画模子预测值与实值的差异大小

根源:维基百科
简介

新闻论中,基于相同事情测度的两个概率分布和的交叉熵是指,当基于一个“非自然”(相关于“实”分布而言)的概率分布举行编码时,事情汇合中独一标识一个事情所需求的平均比特数(bit)。

契合分布P 的某一事情x 呈现,传达这条新闻所需的起码新闻长度为自大息,外达为:

从分布P 中随机抽选一个事情,传达这条新闻所需的最优平均新闻长度为香农熵,外达为:

用分布P 的最佳新闻转达方法来传达分布Q 中随机抽选的一个事情,所需的平均新闻长度为交叉熵,外达为:

[描画根源:怎样了解KL散度的过错称性|中文字幕AV]

交叉熵是板滞进修范畴最常用的耗损函数之一,一般写作如下方式:

P(y_i|z^(l-1))=\hat(y_i^(L+1))y_i (1-\hat(y_i^(L+1))^(1-y_i)logP(y_i|z^(l-1))=log(\hat(y_i^(L+1))y_i (1-\hat(y_i^(L+1))^(1-y_i)) =(y_i)log(\hat(y_i^(L+1)) + (1-y_i)log(1-\hat(y_t^(L+1))

为了最小化价钱函数,

logP(y_i|z^(l-1))=-log((\hat(y_i^(L+1))^(y_i)(1-\hat(y_i^(L+1))^(1-y_i))

i 个教练样本的状况下,价钱函数可以写为:

L(\hat(y_i^(L+1)),y_i)=-\frac{1}{t}\sum_t^(i=t)((y_i)log(\hat(y_i^(L+1)))+(1-y_i)log(1-\hat(y_i^(L+1)))

[描画根源:徒手完成CNN:综述论文详解卷积收集的数学实质|中文字幕AV]

开展历史

1948年,克劳德·艾尔伍德·香农将热力学的熵,引入到新闻论,于是它又被称为香农熵。正如他作品中所叙说的那样,数据通信系统的基本模子由三个因素构成,即数据根源,通信通道和接纳器,而且“通信的基本题目“的目标是让接纳器可以依据通过信道接纳到的信号来识别源发生的数据。

交叉熵的运用则是受用于估量繁杂随机收集中稀有事情概率的自顺应算法的启示,其涉及方差最小化,从1997年起,Reuven Y.Rubinstein 他的研讨中很速就看法到,一个简单的交叉熵改正不光可以用来估量稀有事情的概率,还可以用来办理艰难的组合优化题目(COP)。这是通过将“确定性”优化题目转化为相关的“随机”优化题目来完毕的。Reuven Y.Rubinstein 还通过几个运用标清楚CE方法的强大功用,举措办理NP难题目的通用适用东西。

随后,交叉熵方法已成功运用于动态模子中稀有事情概率的估量,特别是涉及轻,重尾(light/heavy-tailed)输入分布的排队模子。目前,交叉熵方法能运用范围包罗但不限于:缓冲区分配、静态模拟模子、电信系统的排队模子、神经盘算、掌握和导航、DNA序列比对、调治、车辆道线、深化进修、项目办理、重尾分布、收集牢靠性剖析、可修复系统。

年份

事情

相关论文/Reference

1948

克劳德·艾尔伍德·香农将热力学的熵,引入到新闻论

Shannon, C. E. (1948).A Mathematical Theory of Communication.Bell system technical journal.

1999

Reuven Y.Rubinstein提出交叉熵

Rubinstein, R. Y. (1999). The simulated entropy method for combinatorial and continuous optimization. Methodology and Computing in Applied Probability, 2, 127–190.

2003

交叉熵方法成功运用于动态模子中稀有事情概率的估量,特别是涉及轻,重尾输入分布的排队模子

Kroese, D. and Rubinstein, R. (2003). The Transform Likelihood Ratio Method for Rare Event Simulation with Heavy Tails. Queueing Systems. 46(3-4): 317–351.

2004

Ishai Menache,Shie Mannor,Nahum Shimkin将交叉熵用于深化进修深化进修

Menache, I., Mannor, S., and Shimkin, N. (2004). Basis Function Adaption in Temporal Difference Reinforcement Learning. Annals of Operations Research. Submitted.

开展剖析

瓶颈

古板交叉熵方法可以高效地处理阵势部的简单优化题目,而且具有极速的收敛速率。可是当目标函数较繁杂或束缚函数数目较众时,因为交叉熵方法的收敛速渡过速,以是比较容易陷入部分最优,盘算功用缺乏;且假如初期的优化偏向过失,则方法可以无法收敛。不过目前有少许研讨笃志于改良古板交叉熵方法。

未来开展偏向

如上文所述,有研讨试图对古板交叉熵方法举行改良,以抵达更高的盘算精度和更强的全部搜寻才能。目前有少许深度进修范畴的研讨汇合于令神经收集本人进修耗损函数,但目前,耗损函数的挑选仍然是教练中十分主要的一部分。

Contributor: Yuanyuan Li

相关人物
鲁文鲁宾斯坦
鲁文鲁宾斯坦
Reuven Rubinstein(1938-2012 [1])(希伯来语:)是一位以色列科学家,因其对蒙特卡罗模拟,运用概率,随机修模和随机优化的奉献而出名,撰写了一百众篇论文和六本书。[2]
克劳德·香农
克劳德·香农
简介
相关人物