摘要：城市群间的要素流动是区域高质量发展的重要表征。以珠三角城市群为例,选择区域协同的核心资源——人流与资金流作为研究对象,利用高空间精度的跨城通勤数据与跨城企业投资数据构建基于流数据的城市群协同认知框架,在此基础上进行网络构建,开展流要素资源分类及生态位宽度、生态位重叠度和具体资源利用关系分析。研究发现,珠三角地区资源流动结构整体上具有以深圳、广州、珠海为节点,以“深莞惠”“珠中江”“广佛肇”为异质性结构组团的特征。生态位分析结果表明,珠三角城市群不仅应通过优化东岸单元生态位结构促进区域产业集群发展,同时应通过拓宽西岸单元生态位宽度,连接低宽度、低重叠度、高交换量的待发展单元,提高区域综合协同发展水平。

摘要：流数据作为大数据的重要形式广泛存在于实际问题中,由于流数据中数据分布变化产生概念漂移,容易导致模型的泛化性能下降,且在实际应用问题中,数据标记成本较高,难以获得强监督的信息.针对以上问题,本文提出一种基于在线深度神经网络的弱监督概念漂移检测(Weakly supervised conceptual drift detection method based on online deep neural network,WSCDD)方法.该方法设计了一种在线深度神经网络模型,采用Hedge反向传播方法在线学习网络深度,并通过设计Dropout层在模型预测时引入随机性,利用蒙特卡罗方法量化深度神经网络模型的预测不确定性,通过自适应滑动窗口技术检测弱监督环境下概念漂移的发生,并使模型适应新的概念.实验结果表明,该方法可以准确检测数据流中概念漂移的发生,在漂移发生后能够快速收敛到新的数据分布,提高了学习模型的泛化性能.

摘要：针对传统高效用模式挖掘均未考虑项的效用值为负,以及对流数据处理的时效性问题,提出一种基于滑动窗口的高效用挖掘算法HUPN_SW。利用一种新定义的滑动窗口正负效用列表PNSWU-List,维护挖掘最近批次高效用模式集所需的所有信息,实现有效的逐批次挖掘,避免重复的数据库扫描,在不产生候选效用模式集的情况下,直接挖掘出高效用模式,使HUPN_SW有效适应于动态流数据。实验结果表明,HUPN_SW算法在运行时间和可扩展性方面有良好表现。

摘要：认证数据结构(authenticated data structure,ADS)解决了数据外包存储场景下服务器的不可信问题,用户通过ADS可以验证不可信服务器返回查询结果的正确性与完整性,但数据拥有者的安全性难以保证,攻击者可以篡改数据拥有者存储的ADS,破坏对查询结果的完整性、正确性验证.数据拥有者将ADS存储在区块链上,借助区块链的不可篡改性,可以解决上述问题.但现有ADS实现方案在区块链上维护成本较高并且大部分只支持静态数据的可验证查询,目前缺少一种针对区块链设计的高效ADS.通过分析智能合约的gas消耗机制与基于传统MHT的ADS的gas开销,提出一种新型ADS认证结构SMT,实现对流数据的高效可验证查询,并且在区块链上具备更低的gas消耗.从理论及实验出发,验证了SMT的高效性,通过安全性分析,证明了SMT的安全性.

摘要：有关流数据分析与管理的研究是目前国际数据库研究领域的一个热点.在过去30多年中,尽管传统数据库技术发展迅速且得到了广泛应用,但是它不能够处理在诸如网络路由、传感器网络、股票分析等应用中所生成的一种新型数据,即流数据.流数据的特点是数据持续到达,且速度快、规模宏大;其研究核心是设计高效的单遍数据集扫描算法,在一个远小于数据规模的内存空间里不断更新一个代表数据集的结构棗概要数据结构,使得在任何时候都能够根据这个结构迅速获得近似查询结果.综述国际上关于流数据的概要数据结构生成与维护的研究成果,并通过列举解决流数据上两个重要问题的各种方案来比较各种算法的特点以及优劣.

摘要：传感器和物联网技术的广泛使用催生了大量流数据。面对海量、连续且实时到达的流数据,其存储、查询以及后续大量数据的连续使用和分析是迫切需要解决的问题,而流数据压缩是其中一个有效方法。设计了一种数据概要算法,贪心的哈尔小波概要(greedy-Haar-synopses,GH-Synopses),对流数据进行有效的压缩。首先,设计了一种可以实时处理连续数据的概要数据结构;然后,在Haar小波变换的基础上用一种贪心策略生成尽可能少的概要数据,从而实现有损的流数据实时压缩。相比于现有的Haar小波类数据概要算法,GH-Synopses能够兼顾压缩率和实时性,并能够控制单个数据的误差界限,可以适用更广泛的场景。利用深圳市路段行驶速度数据进行了验证,结果表明,GH-Synopses算法所生成的概要数据数量少,一般压缩率可达到3%~7%,且能高效重构,重构后的每一个数据误差均不会超过设定的误差预值,是一种有效且高效的流数据压缩方法。

摘要：流数据具有实时、连续、有序及无限等特点,一般使用近似方法检测重复,从而存在漏检等缺点。针对一类连续分时段的流数据序列,介绍了一个应用时序区间确定数据存在性的方法,设计了一个时序区间链表结构,给出了一个精确检测重复数据与动态更新时序区间链表的算法,分析了算法复杂度及影响复杂度的几个因素。该方法具有自适应性、可伸缩性及精确性等特点,方法简单且与时间无关,还可应用于遗漏流数据判断及查询过程优化,弥补了近似算法的不足。

摘要：流数据的统计是许多决策支持系统的关键所在。研究了流数据的分布特点,定义了评价函数F,设计了一种系统框架,扩展了指数级直方图,提出了松散性指数级直方图及其动态维护算法,基于滑动窗口技术解决了流数据的统计问题。该方案利用o((1/ε)log^2N)比特的空间,解决了流数据最近N个数据中值为l的个数统计问题,并保证相对误差不大于ε。理论和实践表明,F值越大,其优势越明显。

摘要：流数据的处理需求复杂多变,业务人员要进行相应的算法定制,不仅需要相关的编程知识,更要应对繁琐的处理流程和冗长的开发周期。为解决上述问题,文中设计并实现了基于流程建模的流数据处理及服务化系统,提供了对于多源流数据的实时接入,流数据服务化以及流数据处理服务化的能力。该系统将流数据处理过程封装为服务提供给用户,允许用户拖拽组合流数据处理和服务化模块、配置相关参数,定义流数据处理及服务化的过程,快速又自然地实现流数据处理及服务化的任务,将处理结果经由服务路由实时推送到其他应用系统,满足不同的业务需求。案例分析表明,与传统的流数据处理系统相比,本系统具有高效、灵活、可配置等特点,在实用性、可用性和伸缩性方面都更有优势。

摘要：随着信息时代化的快速发展,进一步扩大了大数据的规模。目前情况来看,对流数据管理与科学化处理是云基础是主要应用于的方面。此外,云计算环境中运用的各种资源都以服务作为主要使用模式,纵观传统流数据系统的发展,由于受到快速发展时代的影响,进而使得数据的各种多元性结构表现出极高的复杂性。因此,传统模式对于解决发展过程中存在的问题较为困难,但云计算技术可以提高流数据服务的品质,因此云计算已成为未来发展的基石。本文在接下来的部分,将会主要对云计算下背景下流数据集成和服务展开详细分析。