摘要：高阶关联广泛存在于现实世界中,如社交网络、生物网络、交通网络等,建模及优化高阶关联对于网络属性研究和演化趋势预测具有重要意义.超图是一种灵活的数据结构,能够自然地建模高阶关联.近年来,随着深度学习的发展,基于超图建模的超图神经网络被广泛应用于面向高阶关联的表示学习.然而,现有的超图神经网络均基于直推学习范式,虽然在小规模超图数据集上取得了不错的效果,但难以应用到大规模数据上,限制了其应用范围.本文首先分析了现有超图神经网络方法在大规模数据上应用的挑战,然后针对该问题提出了面向大规模数据的高效超图神经网络方法(efficient hypergraph neural network,EHGNN).针对现有方法空间、时间复杂度过高的问题,EHGNN分别设计了超图采样模块和基于单阶段超图卷积的计算加速模块,同时降低了超图神经网络的空间开销和时间开销,使得超图神经网络适用于大规模超图数据,显著增强了可扩展性.在4个真实超图数据集上的实验结果验证了EHGNN的有效性和高效性.

摘要：精准找出异常离群数据有利于确保大规模数据在应用中的精确度,为此,设计了基于孤立森林的多离群点数据检测算法。首先,采用近似符号聚合算法处理大规模数据的多条件时间序列,再通过计算欧氏距离分析多条件时间序列的相似度,而后采用加权调整法调整相似曲线,剔除其中的异常数据,完成对大规模数据的清洗;利用清洗后的数据构建孤立树形成孤立森林,将待检测数据作为孤立森林的输入量,通过计算数据样本点到每棵树根节点的距离,实现对离群点数据的检测。实验结果表明:该算法能够有效地检测出离群点数据,在针对大规模数据离群点的检测时,检测结果精确度较高。

摘要：聚类是机器学习领域的一个重要研究方向,在过去几十年间,针对不同类型中小规模数据集聚类算法的研究取得了很大的进展,许多行之有效的算法先后问世.然而,这些算法在处理大规模数据集时,计算复杂度较高,处理高维数据的能力较弱,难以获得令人满意的效果.随着大数据时代的到来,数据的采集和存储变得相对容易和便捷,但数据量也与日俱增,因此,针对各种实际应用的聚类问题应运而生,使得专门针对大规模数据集的聚类算法研究成为当前机器学习领域的重要任务之一.本文以大规模数据集的可计算性为切入点,对目前串行和并行计算环境下专门用于处理大规模数据集的聚类算法进行综述和分析,重点评述了串行计算环境下基于样例选择、增量学习、特征子集和特征转换的聚类算法以及并行计算环境下基于MapReduce、Spark和Storm框架的聚类算法,给出了有关未来大规模数据集聚类算法设计思路与应用前景的思考和讨论,包括基于数据并行和训练过程自动化的聚类算法设计策略及关于社交网络大数据聚类算法的若干理解.

摘要：数值模拟是激光聚变物理研究的重要手段.在千万亿次计算机上,实际模拟输出的数据具有规模大、数据结构复杂等特征;其网格单元数达到数十亿,单时间步数据量达数十GB,并涵盖多块变形结构网格、多层自适应网格等复杂网格类型.针对这些特征,围绕激光聚变物理分析需求,着眼于可视分析过程的各个方面,系统地研究了复杂数据分解、可扩展的并行可视分析流程、数值模拟与可视分析高效耦合模式、高表现力的可视化方法等4项关键技术;并通过4个大规模实际模拟结果的可视分析来验证研究成果的有效性.

摘要：(2)三级数字化资源学习平台基本建成。经过多年探索与实践,我国技工教育“国家-地方-学校”三级数字化资源学习平台基本形成并逐步完善起来。在国家层面上,2019年全国技工教育网正式上线,2020年全国技工教育网进入2.0时代。技工教育网收录了海量的教材配套资源库(如教学设计、教学视频)、一体化课改资源库、特色专业建设库等公共资源。在地方层面上(详见图16),有43.33%的地级及以上人社部门已初步建立数字化资源学习在线平台,有18.89%的地级及以上人社部门尚未建立数字化资源学习在线平台。

摘要：为了解决因数据离散程度过大导致大规模数据并行挖掘质量变差的问题,提出基于多维关联规则的大规模数据并行挖掘方法。遵循多维关联思想建立关联树结构,根据RFM值计算公式完善多维运算法则,利用多维关联规则构建数据集合。求取近邻值指标、逆近邻值指标的数值,以此确定离散挖掘系数,结合该系数并行挖掘大规模数据。实验结果表明,在多维关联规则作用下,数据离散度取值小于35%,数据分布不再呈现稀疏状态,能有效提升大规模数据并行挖掘质量。

摘要：AutoCAD软件由于强大的工程图形处理能力而得到广泛应用,但是工程设计中,将设计计算、数据处理和图形绘制等进行综合处理,仅靠AutoCAD自身的功能难以实现。对AutoCAD进行二次开发,利用VB语言编程,将AutoCAD作为VB程序中的一个窗口,对大批量数据的自动输入、成线、标注、图形属性修改等功能开发程序中进行集成,极大地提高了出图效率和自动化水平,并且方便数据点的修改。以江苏省某河道及水工建筑物大规模坐标数据进行了自动成线验证,程序设计目标可完全实现。

摘要：提出一种面向大规模数据的特征趋势推理算法。首先,采用Hash函数抽取大规模数据样本,使用Pam聚类算法和并行K-means聚类算法对大规模数据样本进行聚类,获取最佳聚类结果后,提取大规模数据聚类的动态特征;其次,采用基于特征趋势规则的推理算法,构建大规模数据特征的趋势规则推理模型,并通过累计趋势规则方法设计趋势规则算法,推理大规模数据特征趋势,解决了推理结果误差较大的问题。实验结果表明,该算法对大规模数据特征趋势推理的准确率均值为98.10%,推理速度增长率为50%,推理耗时最大均值仅为114.25s,能快速准确地完成数据特征趋势推理。

摘要：随着聚类分析中处理数据量的急剧增加,面对大规模数据,传统K-Means聚类算法面临着巨大挑战。为了提高传统K-Means聚类算法的效率,针对已有基于MPI的并行K-Means聚类算法和基于Hadoop的分布式K-Means云聚类算法,从聚心初始化和通信模式等入手,提出了改进思路和具体实现。实验结果表明,所提算法能大大减少通信量和计算量,具有较高的执行效率。研究结果可以为以后设计更好的大规模数据快速并行聚类划分算法提供研究依据。

摘要：以Hadoop为代表的可扩展大规模数据库难以进行多维可视化分析。为此,设计基于B/S架构的可视化分析框架Bizard。数据模型通过封装底层数据接口以支持业界多维数据访问协议XMLA,从而在展现层易于接入支持XMLA的传统分析工具,同时采用视图物化技术提高分析性能,利用互联网技术丰富用户分析体验。实验结果表明,该框架能在高达千万条记录级的数据上进行多维可视化分析。