摘要：文章扩展了Spark-Streaming的功能,使之能够支持地学流式计算场景下的时空查询。首先,设计并实现了一个中间件,该中间件提供了对空间对象、空间索引、空间分区的支持。其次,基于这个中间件,在Spark-Streaming上实现了一组经典的时空查询算法,这些算法包括空间最近邻域搜索(Spatial K Nearest Neighbor Query,KNN Query)、区域查询(Range Query,RQ)。最后,在一个大规模真实数据集和一个8节点集群上验证了这些算法,评估了流式计算场景下的时延、吞吐等性能指标。

摘要：城市中的公共汽车和出租车每天都产生大量的GPS轨迹数据.如何查询和管理这些大规模轨迹数据是一个极具挑战的问题。本研究以大数据计算引擎Spark的RDD组件为基础,设计并实现了分布式的3D R-Tree,通过全局索引和局部索引加速轨迹查询。文章以一个13节点的Spark集群和3万辆出租车一周产生的2.97亿条GPS记录为基础,使用3个经典查询(轨迹点查询,区域查询,子串查询)和2种分区方式(空间网格,时空网格)对该方法进行了评估。实验结果显示:在时空网格分区条件下3个查询时延最短,轨迹点查询、子串查询和区域查询的时延分别为:2.33 s、3.33 s和6.88 s。