文献检索-宁波市创意产业特色资源库

限定检索结果

一种中文分词的预处理技术: 收藏
分享
引用; 《计算机时代》2023年第5期 123-126页; 作者：陈书雨曹集翔姚寒冰伦敦大学学院多学科和跨文化研究中心英国伦敦W55RF 武汉理工大学计算机与人工智能学院; 分析基于词表的最大匹配分词算法,针对其缺陷设计了一个附近字表,内容为高频字在词表中出现的左边首字和右边首字。设计的算法根据高频词的特点,将句子尽可能多的分成段,然后将段进行最大匹配。当发现句子中高频词时,只取句子中高频词...; 分析基于词表的最大匹配分词算法,针对其缺陷设计了一个附近字表,内容为高频字在词表中出现的左边首字和右边首字。设计的算法根据高频词的特点,将句子尽可能多的分成段,然后将段进行最大匹配。当发现句子中高频词时,只取句子中高频词的左边首字和右边首字在附近字表中查找;若未找到,则表示句子中此高频字单独成词,无需在词表中匹配,从而减少高频字单独成词时的匹配时间,进而减少整个分词过程的时间。通过实验证明此技术能提高中文分词的效率。; 来源：详细信息评论

限定检索结果