学习笔记|最大熵模型与极大似然估计
【摘要】 对偶函数的极大化等价于最大熵模型的极大似然估计。推导过程可以参考学习笔记|似然函数与极大似然估计 和学习笔记|logistic回归 。（上述推导可参见学习笔记|最大熵模型的学习）再看对偶函数ψ(ω)。（上述推导依据可参见学习笔记|最大熵模型的学习）比较上述结果可得：因此，最大熵模型学习中的对偶函数极大化等价于最大熵模型的极大似然估计。最大熵模型与Logistic回归模型有类似的形式，它们又称...
对偶函数的极大化等价于最大熵模型的极大似然估计。
推导过程可以参考学习笔记|似然函数与极大似然估计 和学习笔记|logistic回归 。
（上述推导可参见学习笔记|最大熵模型的学习）
再看对偶函数ψ(ω)。
（上述推导依据可参见学习笔记|最大熵模型的学习）
比较上述结果可得：
因此，最大熵模型学习中的对偶函数极大化等价于最大熵模型的极大似然估计。
最大熵模型与Logistic回归模型有类似的形式，它们又称为对数线性模型。模型学习就是在给定的训练条件下对模型进行极大似然估计或正则化的极大似然估计。
参考文献
【1】统计学习方法（第2版），李航著，清华大学出版社
【版权声明】本文为华为云社区用户转载文章，如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）