互联网商品匹配算法

作     者：顾颀 朱灿 曹健 GU Qi;ZHU Can;CAO Jian

作者机构：上海交通大学电子信息与电气工程学院上海200240 南通大学计算机科学与技术学院江苏南通226019 

基　　金：国家自然科学基金资助项目(61272438 61472253 61300167) 上海市科委资助项目(15411952502 14511107702) 

出 版 物：《上海大学学报（自然科学版）》 (Journal of Shanghai University:Natural Science Edition)

年 卷 期：2016年第22卷第1期

页      码：58-68页

摘      要：实体解析是指识别同一实体的不同描述形式的过程,旨在保障数据质量,是数据清理、数据集成及数据挖掘中的关键技术.随着电子商务的不断发展和成熟,商品的多样性和消费者灵活的购买方式,使得对网络商品的精确识别和匹配成为大数据时代亟待解决的问题.与传统实体解析主要针对结构化数据不同,网络数据具有非结构化、异构和海量的特性,为此设计了综合相似度算法(synthesized similarity method,SSM)来计算网络商品数据间的相似度,同时引入凝聚的层次聚类框架,以匹配来自不同数据源的异构商品.此外,为了解决大数据环境下对执行效率的要求,从字符串相似度缓存、约束知识库和分块策略三个方面对SSM进行优化,基于真实数据集的实验结果验证了SSM的执行效率和有效性.

主 题 词：实体解析 大数据 非结构化数据 商品匹配 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1007-2861.2015.04.016

馆 藏 号：203156623...