6.最大熵模型 (1).pdf

立即下载 作者: 早岁那知世事艰
上传时间: 2025-11-16
关键词: july 74 edu.com 硬币 天平 理解 X|Y 4,5 分析 函数
大小 753.1 KB
描述
最大熵模型
3月机器学习在线班 邹博
2015年3月22日
2/74 julyedu.com
本次目标
 理解并掌握熵Entropy的定义
 理解“Huffman编码是所有编码中总编码长度最短的”熵含义
 理解联合熵H(X,Y)、相对熵D(X||Y) 、条件熵H(X|Y)、互信息
I(X,Y)的定义和含义，并了解如下公式：
 H(X|Y) = H(X,Y) - H(Y)=H(X) - I(X,Y)
 H(Y|X) = H(X,Y) - H(X)=H(Y) – I(X,Y)
 I(X,Y) = H(X) - H(X|Y) = H(X) + H(Y) - H(X,Y) ≥0
 掌握最大熵模型Maxent
 Maximum Entropy Models
 了解最大熵在自然语言处理NLP中的应用
 Natural Language Processing
 与前序知识的联系：最大熵模型和极大似然估计MLE的关系
 Maximum Likelihood Estimation
 副产品：了解数据分析、函数作图的一般步骤
3/74 julyedu.com
预备题目
 证明： -lnx≥1-x , x>0
 f(x)=-lnx + x – 1, x>0，
 凸函数
 在x=1处取极值
4/74 julyedu.com
5/74 julyedu.com
6/74 julyedu.com
7/74 julyedu.com
从小学数学开始
 假设有5个硬币：1,2,3,4,5，其中一个是假
的，比其他的硬币轻。有一个天平，天平每
次能比较两堆硬币，得出的结果可能是以下
三种之一：
 左边比右边轻
 右边比左边轻
 两边同样重
 问：至少要使用天平多少次才能确保找到假
硬币?
8/74 julyedu.com
答案
 一种可能的称量方法如右图所示
 答案：2次
 追问：为什么2次？
1+2 ? 3+4
1 ? 2 3 ? 45
1 4
>
=
><
<
2 3
<>
9/74 julyedu.com
分析
 令x表示假硬币的序号： x∈X={1,2,3,4,5}；
 令yi是第i次使用天平所得到的结果：
y∈Y={1,2,3
目录
july/74/edu.com/硬币/天平/理解/X|Y/4,5/分析/函数/ july/74/edu.com/硬币/天平/理解/X|Y/4,5/分析/函数/