Thunder Bird
Communication & Improvement
posts - 47,  comments - 155,  trackbacks - 0

首先,CRF,HMM(隐马模型),MEMM(最大熵隐马模型)都常用来做序列标注的建模,像词性标注,True casing。但隐马模型一个最大的缺点就是由于其输出独立性假设,导致其不能考虑上下文的特征,限制了特征的选择,而最大熵隐马模型则解决了这一问题,可以任意的选择特征,但由于其在每一节点都要进行归一化,所以只能找到局部的最优值,同时也带来了标记偏见的问题(label bias),即凡是训练语料中未出现的情况全都忽略掉,而条件随机场则很好的解决了这一问题,他并不在每一个节点进行归一化,而是所有特征进行全局归一化,因此可以求得全局的最优值。
目前,条件随机场的训练和解码的开源工具还只支持链式的序列,复杂的尚不支持,而且训练时间很长,但效果还可以。

大致总结一下,详细地用到再看吧:)

posted on 2006-05-23 11:04 Thunder 阅读(9870) 评论(7)  编辑 收藏 引用

FeedBack:
# re: 条件随机场(CRF)相对于HMM,MEMM的优势
2006-09-19 11:26 | xjtu_yhhu
MEMM的局限性在于其利用训练的局部模型去做全局预测。其最优预测序列只是通过viterbi算法将局部的最大熵模型结合而成的。

另外CRF++是个不错的软件,速度高,性能好,楼主可以试试。  回复  更多评论
  
# re: 条件随机场(CRF)相对于HMM,MEMM的优势
2006-09-22 10:57 | seed
CRF++与CRF有什么区别?还是只是一个软件而已?  回复  更多评论
  
# re: 条件随机场(CRF)相对于HMM,MEMM的优势[未登录]
2007-10-07 03:34 | hi
CRF++也只支持链式的,如果想用高阶的feature,可以用pocket crf:
http://sourceforge.net/project/showfiles.php?group_id=201943  回复  更多评论
  
# re: 条件随机场(CRF)相对于HMM,MEMM的优势
2007-10-29 10:33 | yu
请问哪位有关于crf算法学习的资料啊。  回复  更多评论
  
# re: 条件随机场(CRF)相对于HMM,MEMM的优势
2007-10-29 10:33 | yu
我的qq是373887924
先谢谢了!  回复  更多评论
  
# re: 条件随机场(CRF)相对于HMM,MEMM的优势[未登录]
2008-03-09 10:46 | wz
想学习CRF,请问哪里有中文的资料呢?  回复  更多评论
  
# re: 条件随机场(CRF)相对于HMM,MEMM的优势[未登录]
2008-04-15 17:35 | peter
请问label bias 这个问题是什么意思,谁能详细解析一下马  回复  更多评论
  
只有注册用户登录后才能发表评论。

<2024年11月>
272829303112
3456789
10111213141516
17181920212223
24252627282930
1234567

常用链接

留言簿(8)

随笔档案

相册

搜索

  •  

最新评论

阅读排行榜

评论排行榜