【2017Dev回顾】矢量大数据，洞察数据背后的意义

2017年5月25 ~26日，Esri空间信息技术开发者大会在中国科技会堂圆满结束，今年参会人数突破历史新高，整个会场座无虚席。

25日上午的主题演示精彩纷呈，引起的许多用户的热烈关注。在这里，我们将对主题演示的技术内容进行全面回顾，本文是回顾系列的第一篇，主题：矢量大数据。
一
数据背景

本次展示的数据源是福建省的一个月的客运车辆的数据，数据量大约100GB、6.7亿条，展示到地图上，只有一堆密密麻麻的点，很难从中获取什么有用的信息。

二
丰富的大数据工具

GA提供包括数据汇总、模式分析在内的五大类11种即拿即用的分析工具。接下来我以上面拿到的交通大数据为例，给大家展示GA大数据分析的强大能力。
1 点聚合
面对密密麻麻的轨迹点，我们首先想到的是利用点聚合来判断车辆的聚集趋势，利用点聚合大数据工具，可以快速基于5km网格以及1小时时间间隔进行点聚合计算，计算结果会自动保存在服务器端。基于时间可以对聚合结果进行动态播放。
2 时空立方体
为了更精确的探索聚集趋势，我们可以利用GA提供的时空立方工具，进行热点分析，当前大家看到的是分析后的结果，对结果单独筛选出热点区域的方格，可以看出沿海地区并不全是车辆聚集的热点区域，而主要聚集在厦门、漳州、泉州一带和福州周边。
3 轨迹构建
对于轨迹点数据通过GA提供的轨迹构建工具，构建成轨迹线，然后根据车辆所属城市，用不同颜色对轨迹线进行渲染，使我们能够得出这样类似于“神经系统”一样的流动性可视化效果图。
4 利用Model Builder构建
除了方便的使用单个工具以外，GA的大数据分析工具还可以与常规的分析工具联合使用完成更加复杂的分析任务。对于道路来说车辆不同里程数、不同时间段内的车辆密度是在不断变化的，那如何探究这种变化呢？通过对数据分析发现，数据返回时间是不确定的，如果用轨迹点来统计不同公路里程的车辆数会有大量漏算的情况。这时候我们首先需要将点绘制成轨迹线，然后基于道路线的缓冲区与轨迹线做汇总统计，这样一个复杂的过程需要多个工具配合完成，我们可以通过model Builder将大数据工具与常规工具组合使用，构建一个新工具，一键式的完成整个分析过程。

三
数据源支持

GeoAnalytics Server的大数据工具数据源，除了常规的要素服务以外,ArcGIS还可通过注册的方式使用CSV或者shape类型的文件以及HDFS、Hive中的数据源进行大数据分析。


四
大数据工具的调用

在大数据工具的调用方面，除了使用pro以外，通过Portal的Map Viewer，以及Python API同样可以方便的调用大数据的服务能力。 JavaScript、Java、C#等语言可以通过直接调用Rest接口的形式方便的调用服务器端的大数据服务能力，让大数据的计算能力服务整个平台。


五
效率对比

对于大家十分关心的效率问题，这里利用一份纽约出租车数据进行较为严谨的测试。

总的来说，GeoAnalytics Server为大数据处理提供了方便的使用方式，快速的分析能力，支持多种数据接入，帮助用户挖掘空间大数据的价值。
文章来源：https://mp.weixin.qq.com/s/GvEb1Ge8eDrMYvsGm_dfYg