大数据

大数据

矢量大数据(Geoanalytics Server)之安装python3环境失败

ArcGIS Server勾戈雪黎 发表了文章 • 0 个评论 • 1000 次浏览 • 2021-01-27 09:47 • 来自相关话题

问题描述:
 
如果想要使用linux版本GA下的runpythonscript, 需要手动安装Python3环境。

在按照这个连接进行Python3安装的时候,在执行完make之后报错:failed to build these modules: _ctypes

解决方法:
 
安装libffi-devel,执行以下命令:

[root@linuxprobe Python-3.9.1]# y

每年降水量

回复

默认分类Xu 发起了问题 • 1 人关注 • 0 个回复 • 1266 次浏览 • 2020-10-27 17:26 • 来自相关话题

到哪里可以找到站点每年的降水量,中国气象数据网只有累年

Arcgis无法连接在线资源

ArcGIS Portal&Online阿楚 回复了问题 • 3 人关注 • 2 个回复 • 1858 次浏览 • 2020-10-19 06:34 • 来自相关话题

Arcgis无法连接在线资源

关于arcgis datastore的问题笔记(持续更新)

ArcGIS Server勾戈雪黎 发表了文章 • 0 个评论 • 1690 次浏览 • 2020-06-28 12:01 • 来自相关话题

关系库相关问题:
 问题1: 在arcgis datastore的配置页面报错如下:
 






 
解决方法:

找到pg_hba.conf,然后在其中添加以下这么一句:

host    all             all              0.0.0.0/0            md5
 

 
问题2:如何手动启动datatore中的关系库,方便后续排查问题。

解决方

矢量大数据(Geoanalytics Server)之如何在runpythonscript中书写中文字段

ArcGIS Enterprise勾戈雪黎 发表了文章 • 1 个评论 • 1364 次浏览 • 2020-05-19 15:04 • 来自相关话题

这是一篇绕行方案,主要实现的是让大家在使用run python script的时候,可以给结果正确的添加新的中文字段。
 
具体问题描述:

 在run python script中给结果添加新字段,字段是中文的话,会报以下编码错误:

{"messageCode":"BD_101138","message":"[Python]

矢量大数据(Geoanalytics Server)工具之“描述数据集”

ArcGIS Server勾戈雪黎 发表了文章 • 0 个评论 • 1063 次浏览 • 2020-05-18 09:56 • 来自相关话题

测试环境: 单节点GA,1071版本,Linux版本。
测试数据:1500万条点记录,以csv文件形式存储在大数据文件共享上。

为什么使用这个工具?

我的原数据是一个2GB的csv文件,一般这样的数据是无法用excel或者其他工具直接打开的,无法轻易的浏览其全部面貌,也无法了解数据本身的记录是否完整等。

使用“描述工具集”,可以让我进一步了解这个数据集,我们先来看通过工具获得的结果。

工具

矢量大数据(Geoanalytics Server)之如何将结果输出成为shapefile

ArcGIS Server勾戈雪黎 发表了文章 • 0 个评论 • 1045 次浏览 • 2020-05-15 18:23 • 来自相关话题

目的:

主要展开说明如何将GA的结果输出成为本地的shapefile文件;了解这篇文章之后,可以类推如何输出成为csv等。
 

关键技术思路:

想要实现这个目的不难,关键是需要在GA manager中先注册好数据的“输出模板”。
 

必备条件:

必须注册大数据文件共享。

大数据文件共享是GA接入用户数据源的关键,比如有的用户的数据是放在本地磁盘上的大量shapefile,csv等,我们

矢量大数据(Geoanalytics Server)之run python script入门基础篇

ArcGIS Server勾戈雪黎 发表了文章 • 1 个评论 • 1699 次浏览 • 2020-04-24 18:35 • 来自相关话题

在GA的rest页面查看工具,可以看到runpythonscript的入口。

这个工具主要的目的有:
 
串联调用GA中的工具;
 
利用pyspark包功能的能力;
 
串联处理的中间数据不用保存到本地,节省了数据保存的时间,提高了工具效率。
 
有的小伙伴已经使用过arcgispythonapi调用GA,但是使用runpythonscript写Python代码与前者不太一致,但是想要入门也不

矢量大数据(Geoanalytics Server)之时区支持测试小结

ArcGIS Enterprise勾戈雪黎 发表了文章 • 0 个评论 • 1028 次浏览 • 2020-04-21 17:44 • 来自相关话题

今天展开测试了一下GA中的时区支持。
 
先看结论:

GA 中的支持的时区遵循joda time,具体到GA manager中注册时候有三种方式书写时区:
 
如果想填缩写,只支持UTC和GMT;否则就要使用全名或者小时偏移的方式;
 
使用时区的全名,测试了以下两个例子是可行的:Asia/Shanghai,Asia/Tokyo;
 
使用小时偏移的方式表达时区,与上面两个例子对应等效的书写方式

矢量大数据(Geoanalytics Server)之在时空库中删除GA任务结果服务对应的数据

ArcGIS Enterprise勾戈雪黎 发表了文章 • 1 个评论 • 1210 次浏览 • 2020-03-06 16:42 • 来自相关话题

环境:arcgis enterprise 1071 + geoanalytics server 1071 单机版本
所需要的辅助工具:postman

根据上一篇文章《矢量大数据(Geoanalytics Server)之在es中找到GA任务结果服务对应的数据》,可以明确我们要删除的数据。
 
如果通过以下方式删除了服务对应的全部数据,服务本身不会被删除,结果会导致服务里面包含的要素为0。

1.

矢量大数据(Geoanalytics Server)之在时空库中找到GA任务结果服务对应的数据

ArcGIS Enterprise勾戈雪黎 发表了文章 • 0 个评论 • 1086 次浏览 • 2020-03-06 16:01 • 来自相关话题

环境:arcgis enterprise 1071 + geoanalytics server 1071 单机版本
是否需要其他辅助工具:否

-------------------
执行GA工具的时候,计算结果可以选择放在es中,计算结束后,还会生成一个托管要素服务。

这篇文章的重点是搞清楚以下三方之间的对应关系:
GA计算完成后在arcgis enterprise中生成的服务;GA计算完成后

矢量大数据(Geoanalytics Server)之 执行失败后的排查方法

ArcGIS Enterprise勾戈雪黎 发表了文章 • 0 个评论 • 1603 次浏览 • 2020-02-28 15:56 • 来自相关话题

写在前面:

在文章《矢量大数据(Geoanalytics Server)之 监控分析任务执行》中讲解了如何查看GA任务执行状态和执行中的日志信息,如果由于某些原因,任务执行失败,那么可以参考这篇文章来排查可能的问题。
 

通过这篇文章,你将收获:
 
GA大数据任务执行失败后排查问题的方向,包括GA和数据库本身的状态,磁盘空间,输入数据以及其他原因的排查方式。当然每次出现问题并不需要按照文章从

矢量大数据(Geoanalytics Server)之 注册大数据文件共享步骤帖

ArcGIS Server勾戈雪黎 发表了文章 • 0 个评论 • 2419 次浏览 • 2018-08-20 00:00 • 来自相关话题

本文目的

上一篇理解了数据清单和实际数据存储的关系,接下来可以实际动手生成这个清单,将待处理的数据接入大数据平台。
这篇文章挑取了最好上手的共享目录来完成演示。

开始之前

在开始之前,我们来看两个必要问题:

1. 我可以将数据放在哪里?
• File share—本地磁盘或者网络共享的数据文件夹
• HDFS—HDFS目录
• Hive—阿帕奇hive数据库
• Cloud store—A

每年降水量

回复

默认分类Xu 发起了问题 • 1 人关注 • 0 个回复 • 1266 次浏览 • 2020-10-27 17:26 • 来自相关话题

到哪里可以找到站点每年的降水量,中国气象数据网只有累年

Arcgis无法连接在线资源

回复

ArcGIS Portal&Online阿楚 回复了问题 • 3 人关注 • 2 个回复 • 1858 次浏览 • 2020-10-19 06:34 • 来自相关话题

Arcgis无法连接在线资源

GA大数据工具分析的中间结果怎样保存在内存或者datastore中(不发布为要素服务)?

回复

ArcGIS Enterprise勾戈雪黎 回复了问题 • 3 人关注 • 2 个回复 • 2317 次浏览 • 2020-01-02 12:03 • 来自相关话题

 

S.png


在ArcPro或者Portal上调用GA大数据分析工具进行分析时,都会把分析结果生成一个要素服务;如果我想把大数据工具的分析结果保存下来(共享文件夹或datastore)而且不发布要素服务,应该怎么设置?
 

请问矢量大数据分析功能可以通过pro调用吗

回复

ArcGIS Serverzhenghui2915 回复了问题 • 3 人关注 • 2 个回复 • 1754 次浏览 • 2020-01-02 11:43 • 来自相关话题

arcpy 如何导出布局视图范围内的要素?

回复

脚本代码/工具张佳期 回复了问题 • 2 人关注 • 1 个回复 • 2676 次浏览 • 2019-06-25 15:52 • 来自相关话题

arcpy 如何导出布局视图范围内的要素?如下图




或者通过Python实现数据导出类似功能





 

ArcGIS能否为路网中各路段自动生成sourceID和endID

回复

ArcGIS Desktop徐珂 回复了问题 • 2 人关注 • 1 个回复 • 2624 次浏览 • 2018-11-05 13:46 • 来自相关话题

目前手头上有一份路网文件,其中每个路段有唯一表示符,这个路段起点的ID,这个路段终点的ID。但是经过查看,有相连的两个路段,如a和b. a.endId != b.sourceId 这就导致了在实现最短路径计算时,找不到a后续的道路,将无法导航。由于路网数据量较大,想借助ArcGIS 实现路网道路ID的起点,终点的重新排序,确保a.endId= b.sourceId 这样。请问有工具箱或者脚本嘛?具

GeoAnalytics Server输入图层问题

回复

ArcGIS Enterprise陈辰 回复了问题 • 2 人关注 • 1 个回复 • 2474 次浏览 • 2018-07-30 11:51 • 来自相关话题

使用GA做矢量大数据分析,如果想做全国的整体分析,但是已有数据都是一个个以县为单位的图层,需要将各县图层合并拼接成一个全国图层吗?做一些空间分析是只能在同一个图层上吗?

arcgis portal在进行大数据分析时,报错,显示分析服务不可用,Unable to access the analysis service.

回复

ArcGIS Enterprise勾戈雪黎 回复了问题 • 5 人关注 • 4 个回复 • 2764 次浏览 • 2018-05-09 16:11 • 来自相关话题

部署的大数据环境,在portal端进行分析,昨天都还可以分析成功,今天一点击分析的功能就报错Unable to access the analysis service.
感觉像是portal访问不了arcserver的大数据分析工具,查看了环境,没有问题。。。又重启服务和机器并重新登录portal 还是不行,哪位大神知道是什么原因

构建大数据存储集群失败:Failed to configure spatiotemporal big data store

回复

ArcGIS Server许丹石 回复了问题 • 4 人关注 • 2 个回复 • 3169 次浏览 • 2017-12-18 18:31 • 来自相关话题

版本:ArcGIS 10.5
机器1:a1.gis.com
机器2:a2.gis.com
在机器1部署了 ags server,portal ,webadaptor,bigdatastore(关系和时空)
在机器2部署了:ags server bigdatastore(时空)
目前,机器1和机器2已经组成了cluster,在同一site
但是在机器2部署完bigdatastore配置时,我选择的

矢量大数据(Geoanalytics Server)之安装python3环境失败

ArcGIS Server勾戈雪黎 发表了文章 • 0 个评论 • 1000 次浏览 • 2021-01-27 09:47 • 来自相关话题

问题描述:
 
如果想要使用linux版本GA下的runpythonscript, 需要手动安装Python3环境。

在按照这个连接进行Python3安装的时候,在执行完make之后报错:failed to build these modules: _ctypes

解决方法:
 
安装libffi-devel,执行以下命令:

[root@linuxprobe Python-3.9.1]# y

关于arcgis datastore的问题笔记(持续更新)

ArcGIS Server勾戈雪黎 发表了文章 • 0 个评论 • 1690 次浏览 • 2020-06-28 12:01 • 来自相关话题

关系库相关问题:
 问题1: 在arcgis datastore的配置页面报错如下:
 






 
解决方法:

找到pg_hba.conf,然后在其中添加以下这么一句:

host    all             all              0.0.0.0/0            md5
 

 
问题2:如何手动启动datatore中的关系库,方便后续排查问题。

解决方

矢量大数据(Geoanalytics Server)之如何在runpythonscript中书写中文字段

ArcGIS Enterprise勾戈雪黎 发表了文章 • 1 个评论 • 1364 次浏览 • 2020-05-19 15:04 • 来自相关话题

这是一篇绕行方案,主要实现的是让大家在使用run python script的时候,可以给结果正确的添加新的中文字段。
 
具体问题描述:

 在run python script中给结果添加新字段,字段是中文的话,会报以下编码错误:

{"messageCode":"BD_101138","message":"[Python]

矢量大数据(Geoanalytics Server)工具之“描述数据集”

ArcGIS Server勾戈雪黎 发表了文章 • 0 个评论 • 1063 次浏览 • 2020-05-18 09:56 • 来自相关话题

测试环境: 单节点GA,1071版本,Linux版本。
测试数据:1500万条点记录,以csv文件形式存储在大数据文件共享上。

为什么使用这个工具?

我的原数据是一个2GB的csv文件,一般这样的数据是无法用excel或者其他工具直接打开的,无法轻易的浏览其全部面貌,也无法了解数据本身的记录是否完整等。

使用“描述工具集”,可以让我进一步了解这个数据集,我们先来看通过工具获得的结果。

工具

矢量大数据(Geoanalytics Server)之如何将结果输出成为shapefile

ArcGIS Server勾戈雪黎 发表了文章 • 0 个评论 • 1045 次浏览 • 2020-05-15 18:23 • 来自相关话题

目的:

主要展开说明如何将GA的结果输出成为本地的shapefile文件;了解这篇文章之后,可以类推如何输出成为csv等。
 

关键技术思路:

想要实现这个目的不难,关键是需要在GA manager中先注册好数据的“输出模板”。
 

必备条件:

必须注册大数据文件共享。

大数据文件共享是GA接入用户数据源的关键,比如有的用户的数据是放在本地磁盘上的大量shapefile,csv等,我们

矢量大数据(Geoanalytics Server)之run python script入门基础篇

ArcGIS Server勾戈雪黎 发表了文章 • 1 个评论 • 1699 次浏览 • 2020-04-24 18:35 • 来自相关话题

在GA的rest页面查看工具,可以看到runpythonscript的入口。

这个工具主要的目的有:
 
串联调用GA中的工具;
 
利用pyspark包功能的能力;
 
串联处理的中间数据不用保存到本地,节省了数据保存的时间,提高了工具效率。
 
有的小伙伴已经使用过arcgispythonapi调用GA,但是使用runpythonscript写Python代码与前者不太一致,但是想要入门也不

矢量大数据(Geoanalytics Server)之时区支持测试小结

ArcGIS Enterprise勾戈雪黎 发表了文章 • 0 个评论 • 1028 次浏览 • 2020-04-21 17:44 • 来自相关话题

今天展开测试了一下GA中的时区支持。
 
先看结论:

GA 中的支持的时区遵循joda time,具体到GA manager中注册时候有三种方式书写时区:
 
如果想填缩写,只支持UTC和GMT;否则就要使用全名或者小时偏移的方式;
 
使用时区的全名,测试了以下两个例子是可行的:Asia/Shanghai,Asia/Tokyo;
 
使用小时偏移的方式表达时区,与上面两个例子对应等效的书写方式

矢量大数据(Geoanalytics Server)之在时空库中删除GA任务结果服务对应的数据

ArcGIS Enterprise勾戈雪黎 发表了文章 • 1 个评论 • 1210 次浏览 • 2020-03-06 16:42 • 来自相关话题

环境:arcgis enterprise 1071 + geoanalytics server 1071 单机版本
所需要的辅助工具:postman

根据上一篇文章《矢量大数据(Geoanalytics Server)之在es中找到GA任务结果服务对应的数据》,可以明确我们要删除的数据。
 
如果通过以下方式删除了服务对应的全部数据,服务本身不会被删除,结果会导致服务里面包含的要素为0。

1.

矢量大数据(Geoanalytics Server)之在时空库中找到GA任务结果服务对应的数据

ArcGIS Enterprise勾戈雪黎 发表了文章 • 0 个评论 • 1086 次浏览 • 2020-03-06 16:01 • 来自相关话题

环境:arcgis enterprise 1071 + geoanalytics server 1071 单机版本
是否需要其他辅助工具:否

-------------------
执行GA工具的时候,计算结果可以选择放在es中,计算结束后,还会生成一个托管要素服务。

这篇文章的重点是搞清楚以下三方之间的对应关系:
GA计算完成后在arcgis enterprise中生成的服务;GA计算完成后

矢量大数据(Geoanalytics Server)之 执行失败后的排查方法

ArcGIS Enterprise勾戈雪黎 发表了文章 • 0 个评论 • 1603 次浏览 • 2020-02-28 15:56 • 来自相关话题

写在前面:

在文章《矢量大数据(Geoanalytics Server)之 监控分析任务执行》中讲解了如何查看GA任务执行状态和执行中的日志信息,如果由于某些原因,任务执行失败,那么可以参考这篇文章来排查可能的问题。
 

通过这篇文章,你将收获:
 
GA大数据任务执行失败后排查问题的方向,包括GA和数据库本身的状态,磁盘空间,输入数据以及其他原因的排查方式。当然每次出现问题并不需要按照文章从

矢量大数据(Geoanalytics Server)之 监控分析任务执行

ArcGIS Enterprise勾戈雪黎 发表了文章 • 0 个评论 • 1484 次浏览 • 2020-02-28 15:37 • 来自相关话题

写在前面:
Geoanalytics server的执行客户端可以是ArcGIS Pro,Portal for ArcGIS,以及能操作rest接口的开发语言。不论是在哪个端发起执行任务,都可以通过同一种方法来监控任务执行进度以及日志信息。这些日志信息可以帮助理解问题可能出现的诱因。
 

通过这篇文章,你将收获:如何监控GA大数据任务执行。


监控任务执行方法:
 

GA的任务是类似于GP服

矢量大数据(Geoanalytics Server)之 注册大数据文件共享步骤帖

ArcGIS Server勾戈雪黎 发表了文章 • 0 个评论 • 2419 次浏览 • 2018-08-20 00:00 • 来自相关话题

本文目的

上一篇理解了数据清单和实际数据存储的关系,接下来可以实际动手生成这个清单,将待处理的数据接入大数据平台。
这篇文章挑取了最好上手的共享目录来完成演示。

开始之前

在开始之前,我们来看两个必要问题:

1. 我可以将数据放在哪里?
• File share—本地磁盘或者网络共享的数据文件夹
• HDFS—HDFS目录
• Hive—阿帕奇hive数据库
• Cloud store—A
  大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
ArcGIS 10.5是一个能够支持实时大数据的平台,通过将原来的GeoEvent扩展模块升级为GeoEvent Server,实时GIS的支撑框架也大为增强,不仅能更好的支持实时数据源的接入、处理和输出,在支持的数据量上更是大幅提升,直接实现对实时大数据的高效接入、分析处理、可视化和实时历史大数据的挖掘分析。