摘要：为对微博语料中的中文新词进行有效的识别发现,针对微博语料的文本特性,提出一种基于词语互信息模型和外部统计量的新词发现方法。采用互信息统计模型基于候选词内部最小搭配单元向右邻元扩展统计的方法,建立候选词集;针对统计特性、语料特征,进行低频筛选,引入外部统计量的概念进行过滤。该统计方法解决了基于互信息统计模型用于新词发现时只能统计两组成元素的局限性,规避了影响新词发现研究准确性能的N元重叠问题,过滤方法对于包含大量短语句的微博语料用着良好作用,通过实例与对比验证了该方法的有效性。

摘要：SimSimi是当前流行的智能聊天机器人,但是存在如回复需要用户训练、回复语句有限等问题。针对SimSimi存在的问题,提出一种利用微博作为语料库和基于中文文本分词的改进模型,能够解决SimSimi的部分问题,从理论上能给出质量更好的聊天效果。