面向结构化篇级科技文献数据治理的高性能分布式计算框架研究

作     者：范萌 常志军 钱力 郭丹 Fan Meng;Chang Zhijun;Qian Li;Guo Dan

作者机构：中国科学院文献情报中心北京100190 中国科学院大学经济与管理学院信息资源管理系北京100190 

基　　金：国家社会科学基金项目“面向循证医学的领域文献实体关系识别方法研究”(编号:21BTQ106)研究成果 

出 版 物：《情报杂志》 (Journal of Intelligence)

年 卷 期：2024年第43卷第3期

页      码：182-189,121页

摘      要：[研究目的]为解决MapReduce、Spark等主流分布式计算框架存在的研发周期长、技术门槛高等问题,提出了一种高灵活、低门槛的高性能计算框架ArticleCF。[研究方法]ArticleCF框架吸收了主流分布式技术的优点,同时深度结合科技文献数据治理的特性,设计了Master/Slave的软件架构,在功能上针对科技文献数据特点进行多个维度的设计,重点设计了分布式任务分发策略、并行计算策略以及故障转移机制。[研究结论]通过21个指标将ArticleCF与MapReduce、Spark、Storm进行对比实验,有效验证所提方法的可行性、有效性,ArticleCF能够满足海量结构化科技文献数据的多样化处理需求。

主 题 词：科技文献 数据治理 分布式计算 结构化数据 在线可视化编程 高性能计算 MapReduce Spark 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

核心收录：

D　O　I：10.3969/j.issn.1002-1965.2024.03.025

馆 藏 号：203126116...