大数据
矢量大数据(Geoanalytics Server)之安装python3环境失败
ArcGIS Server • 勾戈雪黎 发表了文章 • 0 个评论 • 1000 次浏览 • 2021-01-27 09:47
如果想要使用linux版本GA下的runpythonscript, 需要手动安装Python3环境。
在按照这个连接进行Python3安装的时候,在执行完make之后报错:failed to build these modules: _ctypes
解决方法:
安装libffi-devel,执行以下命令:
[root@linuxprobe Python-3.9.1]# y
Arcgis无法连接在线资源
ArcGIS Portal&Online • 阿楚 回复了问题 • 3 人关注 • 2 个回复 • 1858 次浏览 • 2020-10-19 06:34
关于arcgis datastore的问题笔记(持续更新)
ArcGIS Server • 勾戈雪黎 发表了文章 • 0 个评论 • 1690 次浏览 • 2020-06-28 12:01
问题1: 在arcgis datastore的配置页面报错如下:
解决方法:
找到pg_hba.conf,然后在其中添加以下这么一句:
host all all 0.0.0.0/0 md5
问题2:如何手动启动datatore中的关系库,方便后续排查问题。
解决方
矢量大数据(Geoanalytics Server)之如何在runpythonscript中书写中文字段
ArcGIS Enterprise • 勾戈雪黎 发表了文章 • 1 个评论 • 1364 次浏览 • 2020-05-19 15:04
具体问题描述:
在run python script中给结果添加新字段,字段是中文的话,会报以下编码错误:
{"messageCode":"BD_101138","message":"[Python]
矢量大数据(Geoanalytics Server)工具之“描述数据集”
ArcGIS Server • 勾戈雪黎 发表了文章 • 0 个评论 • 1063 次浏览 • 2020-05-18 09:56
测试数据:1500万条点记录,以csv文件形式存储在大数据文件共享上。
为什么使用这个工具?
我的原数据是一个2GB的csv文件,一般这样的数据是无法用excel或者其他工具直接打开的,无法轻易的浏览其全部面貌,也无法了解数据本身的记录是否完整等。
使用“描述工具集”,可以让我进一步了解这个数据集,我们先来看通过工具获得的结果。
工具
矢量大数据(Geoanalytics Server)之如何将结果输出成为shapefile
ArcGIS Server • 勾戈雪黎 发表了文章 • 0 个评论 • 1045 次浏览 • 2020-05-15 18:23
主要展开说明如何将GA的结果输出成为本地的shapefile文件;了解这篇文章之后,可以类推如何输出成为csv等。
关键技术思路:
想要实现这个目的不难,关键是需要在GA manager中先注册好数据的“输出模板”。
必备条件:
必须注册大数据文件共享。
大数据文件共享是GA接入用户数据源的关键,比如有的用户的数据是放在本地磁盘上的大量shapefile,csv等,我们
矢量大数据(Geoanalytics Server)之run python script入门基础篇
ArcGIS Server • 勾戈雪黎 发表了文章 • 1 个评论 • 1699 次浏览 • 2020-04-24 18:35
这个工具主要的目的有:
串联调用GA中的工具;
利用pyspark包功能的能力;
串联处理的中间数据不用保存到本地,节省了数据保存的时间,提高了工具效率。
有的小伙伴已经使用过arcgispythonapi调用GA,但是使用runpythonscript写Python代码与前者不太一致,但是想要入门也不
矢量大数据(Geoanalytics Server)之时区支持测试小结
ArcGIS Enterprise • 勾戈雪黎 发表了文章 • 0 个评论 • 1028 次浏览 • 2020-04-21 17:44
先看结论:
GA 中的支持的时区遵循joda time,具体到GA manager中注册时候有三种方式书写时区:
如果想填缩写,只支持UTC和GMT;否则就要使用全名或者小时偏移的方式;
使用时区的全名,测试了以下两个例子是可行的:Asia/Shanghai,Asia/Tokyo;
使用小时偏移的方式表达时区,与上面两个例子对应等效的书写方式
矢量大数据(Geoanalytics Server)之在时空库中删除GA任务结果服务对应的数据
ArcGIS Enterprise • 勾戈雪黎 发表了文章 • 1 个评论 • 1210 次浏览 • 2020-03-06 16:42
所需要的辅助工具:postman
根据上一篇文章《矢量大数据(Geoanalytics Server)之在es中找到GA任务结果服务对应的数据》,可以明确我们要删除的数据。
如果通过以下方式删除了服务对应的全部数据,服务本身不会被删除,结果会导致服务里面包含的要素为0。
1.
矢量大数据(Geoanalytics Server)之在时空库中找到GA任务结果服务对应的数据
ArcGIS Enterprise • 勾戈雪黎 发表了文章 • 0 个评论 • 1086 次浏览 • 2020-03-06 16:01
是否需要其他辅助工具:否
-------------------
执行GA工具的时候,计算结果可以选择放在es中,计算结束后,还会生成一个托管要素服务。
这篇文章的重点是搞清楚以下三方之间的对应关系:
GA计算完成后在arcgis enterprise中生成的服务;GA计算完成后
矢量大数据(Geoanalytics Server)之 执行失败后的排查方法
ArcGIS Enterprise • 勾戈雪黎 发表了文章 • 0 个评论 • 1603 次浏览 • 2020-02-28 15:56
在文章《矢量大数据(Geoanalytics Server)之 监控分析任务执行》中讲解了如何查看GA任务执行状态和执行中的日志信息,如果由于某些原因,任务执行失败,那么可以参考这篇文章来排查可能的问题。
通过这篇文章,你将收获:
GA大数据任务执行失败后排查问题的方向,包括GA和数据库本身的状态,磁盘空间,输入数据以及其他原因的排查方式。当然每次出现问题并不需要按照文章从
矢量大数据(Geoanalytics Server)之 注册大数据文件共享步骤帖
ArcGIS Server • 勾戈雪黎 发表了文章 • 0 个评论 • 2419 次浏览 • 2018-08-20 00:00
上一篇理解了数据清单和实际数据存储的关系,接下来可以实际动手生成这个清单,将待处理的数据接入大数据平台。
这篇文章挑取了最好上手的共享目录来完成演示。
开始之前
在开始之前,我们来看两个必要问题:
1. 我可以将数据放在哪里?
• File share—本地磁盘或者网络共享的数据文件夹
• HDFS—HDFS目录
• Hive—阿帕奇hive数据库
• Cloud store—A
Arcgis无法连接在线资源
回复ArcGIS Portal&Online • 阿楚 回复了问题 • 3 人关注 • 2 个回复 • 1858 次浏览 • 2020-10-19 06:34
GA大数据工具分析的中间结果怎样保存在内存或者datastore中(不发布为要素服务)?
回复ArcGIS Enterprise • 勾戈雪黎 回复了问题 • 3 人关注 • 2 个回复 • 2317 次浏览 • 2020-01-02 12:03
S.png
在ArcPro或者Portal上调用GA大数据分析工具进行分析时,都会把分析结果生成一个要素服务;如果我想把大数据工具的分析结果保存下来(共享文件夹或datastore)而且不发布要素服务,应该怎么设置?
请问矢量大数据分析功能可以通过pro调用吗
回复ArcGIS Server • zhenghui2915 回复了问题 • 3 人关注 • 2 个回复 • 1754 次浏览 • 2020-01-02 11:43
arcpy 如何导出布局视图范围内的要素?
回复脚本代码/工具 • 张佳期 回复了问题 • 2 人关注 • 1 个回复 • 2676 次浏览 • 2019-06-25 15:52
或者通过Python实现数据导出类似功能
ArcGIS能否为路网中各路段自动生成sourceID和endID
回复ArcGIS Desktop • 徐珂 回复了问题 • 2 人关注 • 1 个回复 • 2624 次浏览 • 2018-11-05 13:46
GeoAnalytics Server输入图层问题
回复ArcGIS Enterprise • 陈辰 回复了问题 • 2 人关注 • 1 个回复 • 2474 次浏览 • 2018-07-30 11:51
arcgis portal在进行大数据分析时,报错,显示分析服务不可用,Unable to access the analysis service.
回复ArcGIS Enterprise • 勾戈雪黎 回复了问题 • 5 人关注 • 4 个回复 • 2764 次浏览 • 2018-05-09 16:11
感觉像是portal访问不了arcserver的大数据分析工具,查看了环境,没有问题。。。又重启服务和机器并重新登录portal 还是不行,哪位大神知道是什么原因
构建大数据存储集群失败:Failed to configure spatiotemporal big data store
回复ArcGIS Server • 许丹石 回复了问题 • 4 人关注 • 2 个回复 • 3169 次浏览 • 2017-12-18 18:31
机器1:a1.gis.com
机器2:a2.gis.com
在机器1部署了 ags server,portal ,webadaptor,bigdatastore(关系和时空)
在机器2部署了:ags server bigdatastore(时空)
目前,机器1和机器2已经组成了cluster,在同一site
但是在机器2部署完bigdatastore配置时,我选择的
矢量大数据(Geoanalytics Server)之安装python3环境失败
ArcGIS Server • 勾戈雪黎 发表了文章 • 0 个评论 • 1000 次浏览 • 2021-01-27 09:47
如果想要使用linux版本GA下的runpythonscript, 需要手动安装Python3环境。
在按照这个连接进行Python3安装的时候,在执行完make之后报错:failed to build these modules: _ctypes
解决方法:
安装libffi-devel,执行以下命令:
[root@linuxprobe Python-3.9.1]# y
关于arcgis datastore的问题笔记(持续更新)
ArcGIS Server • 勾戈雪黎 发表了文章 • 0 个评论 • 1690 次浏览 • 2020-06-28 12:01
问题1: 在arcgis datastore的配置页面报错如下:
解决方法:
找到pg_hba.conf,然后在其中添加以下这么一句:
host all all 0.0.0.0/0 md5
问题2:如何手动启动datatore中的关系库,方便后续排查问题。
解决方
矢量大数据(Geoanalytics Server)之如何在runpythonscript中书写中文字段
ArcGIS Enterprise • 勾戈雪黎 发表了文章 • 1 个评论 • 1364 次浏览 • 2020-05-19 15:04
具体问题描述:
在run python script中给结果添加新字段,字段是中文的话,会报以下编码错误:
{"messageCode":"BD_101138","message":"[Python]
矢量大数据(Geoanalytics Server)工具之“描述数据集”
ArcGIS Server • 勾戈雪黎 发表了文章 • 0 个评论 • 1063 次浏览 • 2020-05-18 09:56
测试数据:1500万条点记录,以csv文件形式存储在大数据文件共享上。
为什么使用这个工具?
我的原数据是一个2GB的csv文件,一般这样的数据是无法用excel或者其他工具直接打开的,无法轻易的浏览其全部面貌,也无法了解数据本身的记录是否完整等。
使用“描述工具集”,可以让我进一步了解这个数据集,我们先来看通过工具获得的结果。
工具
矢量大数据(Geoanalytics Server)之如何将结果输出成为shapefile
ArcGIS Server • 勾戈雪黎 发表了文章 • 0 个评论 • 1045 次浏览 • 2020-05-15 18:23
主要展开说明如何将GA的结果输出成为本地的shapefile文件;了解这篇文章之后,可以类推如何输出成为csv等。
关键技术思路:
想要实现这个目的不难,关键是需要在GA manager中先注册好数据的“输出模板”。
必备条件:
必须注册大数据文件共享。
大数据文件共享是GA接入用户数据源的关键,比如有的用户的数据是放在本地磁盘上的大量shapefile,csv等,我们
矢量大数据(Geoanalytics Server)之run python script入门基础篇
ArcGIS Server • 勾戈雪黎 发表了文章 • 1 个评论 • 1699 次浏览 • 2020-04-24 18:35
这个工具主要的目的有:
串联调用GA中的工具;
利用pyspark包功能的能力;
串联处理的中间数据不用保存到本地,节省了数据保存的时间,提高了工具效率。
有的小伙伴已经使用过arcgispythonapi调用GA,但是使用runpythonscript写Python代码与前者不太一致,但是想要入门也不
矢量大数据(Geoanalytics Server)之时区支持测试小结
ArcGIS Enterprise • 勾戈雪黎 发表了文章 • 0 个评论 • 1028 次浏览 • 2020-04-21 17:44
先看结论:
GA 中的支持的时区遵循joda time,具体到GA manager中注册时候有三种方式书写时区:
如果想填缩写,只支持UTC和GMT;否则就要使用全名或者小时偏移的方式;
使用时区的全名,测试了以下两个例子是可行的:Asia/Shanghai,Asia/Tokyo;
使用小时偏移的方式表达时区,与上面两个例子对应等效的书写方式
矢量大数据(Geoanalytics Server)之在时空库中删除GA任务结果服务对应的数据
ArcGIS Enterprise • 勾戈雪黎 发表了文章 • 1 个评论 • 1210 次浏览 • 2020-03-06 16:42
所需要的辅助工具:postman
根据上一篇文章《矢量大数据(Geoanalytics Server)之在es中找到GA任务结果服务对应的数据》,可以明确我们要删除的数据。
如果通过以下方式删除了服务对应的全部数据,服务本身不会被删除,结果会导致服务里面包含的要素为0。
1.
矢量大数据(Geoanalytics Server)之在时空库中找到GA任务结果服务对应的数据
ArcGIS Enterprise • 勾戈雪黎 发表了文章 • 0 个评论 • 1086 次浏览 • 2020-03-06 16:01
是否需要其他辅助工具:否
-------------------
执行GA工具的时候,计算结果可以选择放在es中,计算结束后,还会生成一个托管要素服务。
这篇文章的重点是搞清楚以下三方之间的对应关系:
GA计算完成后在arcgis enterprise中生成的服务;GA计算完成后
矢量大数据(Geoanalytics Server)之 执行失败后的排查方法
ArcGIS Enterprise • 勾戈雪黎 发表了文章 • 0 个评论 • 1603 次浏览 • 2020-02-28 15:56
在文章《矢量大数据(Geoanalytics Server)之 监控分析任务执行》中讲解了如何查看GA任务执行状态和执行中的日志信息,如果由于某些原因,任务执行失败,那么可以参考这篇文章来排查可能的问题。
通过这篇文章,你将收获:
GA大数据任务执行失败后排查问题的方向,包括GA和数据库本身的状态,磁盘空间,输入数据以及其他原因的排查方式。当然每次出现问题并不需要按照文章从
矢量大数据(Geoanalytics Server)之 监控分析任务执行
ArcGIS Enterprise • 勾戈雪黎 发表了文章 • 0 个评论 • 1484 次浏览 • 2020-02-28 15:37
Geoanalytics server的执行客户端可以是ArcGIS Pro,Portal for ArcGIS,以及能操作rest接口的开发语言。不论是在哪个端发起执行任务,都可以通过同一种方法来监控任务执行进度以及日志信息。这些日志信息可以帮助理解问题可能出现的诱因。
通过这篇文章,你将收获:如何监控GA大数据任务执行。
监控任务执行方法:
GA的任务是类似于GP服
矢量大数据(Geoanalytics Server)之 注册大数据文件共享步骤帖
ArcGIS Server • 勾戈雪黎 发表了文章 • 0 个评论 • 2419 次浏览 • 2018-08-20 00:00
上一篇理解了数据清单和实际数据存储的关系,接下来可以实际动手生成这个清单,将待处理的数据接入大数据平台。
这篇文章挑取了最好上手的共享目录来完成演示。
开始之前
在开始之前,我们来看两个必要问题:
1. 我可以将数据放在哪里?
• File share—本地磁盘或者网络共享的数据文件夹
• HDFS—HDFS目录
• Hive—阿帕奇hive数据库
• Cloud store—A
ArcGIS 10.5是一个能够支持实时大数据的平台,通过将原来的GeoEvent扩展模块升级为GeoEvent Server,实时GIS的支撑框架也大为增强,不仅能更好的支持实时数据源的接入、处理和输出,在支持的数据量上更是大幅提升,直接实现对实时大数据的高效接入、分析处理、可视化和实时历史大数据的挖掘分析。