摘要：[目的/意义]以Google为代表的主流网络搜索引擎正在从基于关键词匹配的检索系统演变为兼具检索与自然语言问答功能的综合平台,亟需引入新的搜索引擎评价维度和方法以适应这种转变。[研究设计/方法]使用文本检索会议自动问答系统评测中的自然语言问题,从定量和定性两个方面,以Google为例对网络搜索引擎的自然语言问答能力进行评价。[结论/发现]定量评价结果显示,Google已经具备了一定的自然语言问答能力。在定性评价方面,通过对搜索结果页面中的答案框进行内容分析,揭示了搜索引擎问答能力的特点以及存在的不足,为搜索引擎问答能力提升提供了建议。[创新/价值]为搜索引擎评价研究提出了自然语言问答能力这一新的评价维度。

摘要：[目的/意义]知识卡片是网络搜索引擎提供实体检索服务和实现检索结果可视化的重要功能,对其进行评价有利于改善搜索引擎的服务能力。[研究设计/方法]采用分层随机抽样的方法从WikiPedia中选取1200个实体,以Google和Bing为例,开展搜索引擎知识卡片功能的评价实验。[结论/发现]搜索引擎整体知识卡片返回率低于35%,Bing的知识卡片返回率高于Google;用户满意度较高,Google在相关性的指标上优于Bing,Bing在丰富性的指标上胜于Google;在内容和结构方面,Bing知识卡片的属性更丰富;仅有Bing提供了知识来源链接,但知识来源相对单一。[创新/价值]为搜索引擎知识卡片功能的评价提出了相应的评价方法和评价指标。