博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
统计学习方法:最大熵模型
阅读量:6035 次
发布时间:2019-06-20

本文共 800 字,大约阅读时间需要 2 分钟。

作者:桂。

时间:2017-05-12  12:45:57

链接: 


前言

主要是最大熵模型(Maximum entropy model)的学习记录。

一、基本性质

  在啥也不知道的时候,没有什么假设以及先验作为支撑,我们认为事件等可能发生,不确定性最大。反过来,所有可能性当中,不确定性最大的模型最好。熵是衡量不确定性(也就是信息量)的度量方式,这就引出了最大熵模型:

 实际情况里,概率的取值可能不是任意值,因此通常有一些约束条件。

二、理论模型

对于给定的训练数据集以及特征函数,最大熵模型的参数求解,对应优化问题:

补充:这里多说两句,对于优化问题(且含有不等式约束)的求解,可以将约束条件写成拉格朗日乘子的形式。这样就实现了约束问题→无约束问题的转化。

转化之后的无约束问题,是不是一定有最优解呢?可以求出最优解有一个必要条件,这个条件就是有名的:KKT条件。之前分析过,不细说了。

上面的优化问题可以改变一下形式:

对于这一优化问题,可以利用拉格朗日乘子法(也叫 拉格朗日松弛法)求解:

这就将含有约束条件的优化问题转化为不含约束条件的优化问题。对于这个无约束的求解:

熵是凸函数,且约束条件都是仿射函数,因此该求解的对偶形式求解,二者的结果一致,因此为了简化运算,利用对偶形式求解(这个有分析过了):

针对对偶问题进行求解,至此完成了参数求解的整个思路,总结一下就是三个步骤:

  • 第一步:分析原始问题
  • 第二步:拉格朗日乘子法转化
  • 第三步:对偶问题求解

三、应用举例

对于A,B,C,D,E,对A的p(y1)及B的p(y2)有约束,求解最大熵模型。

分析(三步走)

第一步,求解原始问题:

第二步,利用拉格朗日乘子法:

第三步:对偶问题求解:

最终结果为:

参考

  • 李航《统计学习方法》

转载于:https://www.cnblogs.com/xingshansi/p/6770062.html

你可能感兴趣的文章
C#+QQEmail自动发送邮件
查看>>
[Hadoop]MapReduce多输出
查看>>
Android Activity详解(一)
查看>>
快准车服完成3000万元A+轮融资,年底将开始B轮融资
查看>>
让我去健身的不是漂亮小姐姐,居然是贝叶斯统计!
查看>>
MySQL 数据约束
查看>>
我的友情链接
查看>>
SERVLET容器简介与JSP的关系
查看>>
《服务器SSH Public Key认证指南》-补充
查看>>
我的友情链接
查看>>
Java break continue return 的区别
查看>>
算法(Algorithms)第4版 练习 1.3.4
查看>>
jquery easyUI checkbox复选项获取并传后台
查看>>
浅析NopCommerce的多语言方案
查看>>
设计模式之简单工厂模式
查看>>
C++中变量的持续性、链接性和作用域详解
查看>>
2017 4月5日上午
查看>>
Google Chrome开发者工具
查看>>
第一阶段冲刺报告(一)
查看>>
使用crontab调度任务
查看>>