大数据

大数据

arcgis portal在进行大数据分析时,报错,显示分析服务不可用,Unable to access the analysis service.

ArcGIS Enterprise勾戈雪黎 回复了问题 • 5 人关注 • 4 个回复 • 181 次浏览 • 2018-05-09 16:11 • 来自相关话题

部署的大数据环境,在portal端进行分析,昨天都还可以分析成功,今天一点击分析的功能就报错Unable to access the analysis service.
感觉像是portal访问不了arcserver的大数据分析工具,查看了环境,没有问题。。。又重启服务和机器并重新登录portal 还是不行,哪位大神知道是什么原因

Docker 容器管理脚本--以大数据环境为例

勾戈雪黎 发表了文章 • 0 个评论 • 146 次浏览 • 2018-03-28 00:00 • 来自相关话题

目的:

$(document).ready(function() {$('pre code').each(function(i, block) { hljs.highlightBlock( block); }); });在docker中通过执行脚本管理大数据环境容器以及容器内部的服务,快速启动一套测试环境。

在文章《在Docker环境内搭建大数据测试环境》中我们讨论了如何在doc

理解和配置LinuxContainerExecutor

默认分类马克玲 发表了文章 • 0 个评论 • 231 次浏览 • 2018-01-30 00:00 • 来自相关话题

最近在研究如何为Hadoop开启基于Kerberos的安全配置,经过千辛万苦配置好后本以为到了见证奇迹的时刻,但是卡在NodeManger无法启动,折磨的死去活来。经历了各种百度、google后依然无果,最终还是乖乖的回来细读Hadoop官方配置文档,竟然发现关于LinuxContainerExecutor配置的非常详细的讲解。为了不让学习的成果随记忆消散,因此在这儿总结并分享出来。

理解Con

基于Kerberos认证配置Hadoop集群在安全模式下运行

默认分类马克玲 发表了文章 • 0 个评论 • 283 次浏览 • 2018-01-30 00:00 • 来自相关话题

为Hadoop集群开启安全模式,防止集群裸奔被恶意攻击,几乎是生产环境下使用Hadoop集群的一个基本需求。这个配置过程可以说相当复杂,在参考了在线Hadoop in Secure Mode的官方文档再结合数篇实践博客的基础上,配置的过程依然是相当坎坷。这篇文章是我对自己在实践后,摔过无数跟头的基础上,一些经验的总结,在Hadoop和Kerberos认证方面我并不是老司机,但是力求将配置中一些核心

在Docker环境内搭建大数据测试环境

Server勾戈雪黎 发表了文章 • 2 个评论 • 400 次浏览 • 2018-01-04 00:00 • 来自相关话题

作者:勾戈雪黎 发布时间: 2018-1-2
 
目标:实现在已有的docker环境中安装产品,搭建一套矢量大数据的测试环境。

前提:已经有docker环境,明白镜像和容器的概念;并且熟悉在Linux环境下安装ArcGIS Server。

Linux 上安装 ArcGIS Enterprise 超详细教程参考: http://zhihu.esrichina.com.cn/article/281

构建大数据存储集群失败:Failed to configure spatiotemporal big data store

Server许丹石 回复了问题 • 3 人关注 • 2 个回复 • 280 次浏览 • 2017-12-18 18:31 • 来自相关话题

版本:ArcGIS 10.5
机器1:a1.gis.com
机器2:a2.gis.com
在机器1部署了 ags server,portal ,webadaptor,bigdatastore(关系和时空)
在机器2部署了:ags server bigdatastore(时空)
目前,机器1和机器2已经组成了cluster,在同一site
但是在机器2部署完bigdatastore配置时,我选择的

大数据架构思考(三)

默认分类大虾卢 发表了文章 • 0 个评论 • 204 次浏览 • 2017-09-11 00:00 • 来自相关话题

越十年生聚,而十年教训,二十年之外,吴其为沼乎。——《左传 ·哀公元年》

越人为了报仇,准备了二十年,其中10年用来生育,十年用来教育训练,——怀胎十月,成长十年,教育十年方能成为一个合格的战士。


OK,突然有一天,一个叫做大数据神突然来造访越王勾践来了……神告诉我们,大数据可以并行计算……也就是把很多机器合并起来,提高性能和速度。

那么:




以上场景,是不是特别像现在很多大数据的需

大数据项目架构思考(一)

默认分类大虾卢 发表了文章 • 0 个评论 • 386 次浏览 • 2017-09-06 00:00 • 来自相关话题

大数据概念到今天,炒作的最高风口已经过去了,根据Gartent发布的HypeCycle曲线,大数据已经处于炒作顶点之后的衰退期。




HypeCycle曲线

而从HypeCycle曲线定义的阶段来看,越过炒作顶点的技术,通常被认为已经满足了技术可行性,进入了可实用的阶段。

所以,对于大数据项目来说,技术上已经没有什么太大的问题了,无论从软件还是从人员来说,该填的空也都填得差不多了,剩下就是

大数据项目架构思考(二)

默认分类大虾卢 发表了文章 • 0 个评论 • 232 次浏览 • 2017-09-06 00:00 • 来自相关话题

大数据架构思考(二)




世界上第一架(也是唯一?的)不锈钢制造的战斗机:国内军迷亲切的称呼它为“青翼蝠王”……从分量上来看,比西方那些用各种合金材料打造的妖艳货压秤多了,但是就这么个超级“秤砣”,不但飞起来了,还创造了当年在速度上面的N多项世界纪录。

所以,毛熊大哥们告诉我们的语录,我们一直记在心头:




进入21世纪的第二个10年,一种名叫“大数据”的技术,突然开始流行起来了,首先是

解密ArcGIS实时大数据的高效存储

ArcGIS极客说 发表了文章 • 0 个评论 • 348 次浏览 • 2017-07-26 00:00 • 来自相关话题

大家好,打个招呼先
大家好,在之前给大家介绍过ArcGIS 10.5支持实时大数据的完整方案,超出预料的受到了诸多用户的关注,看来实时大数据会是接下来几年的又一个技术热点了。错过该方案的朋友们,可以看今天的专题里面的第2篇《ArcGIS 10.5,打造实时大数据的平台》,在本文,我想更加深入技术细节,给大家详细介绍下ArcGIS实时大数据采用的技术支撑

ArcGIS 10.5 大数据应用模板

默认分类刘峥 发表了文章 • 0 个评论 • 287 次浏览 • 2017-07-05 00:00 • 来自相关话题

GeoAnalytics矢量大数据应用模板
案例一:结合GeoEvent实时数据源与Python API生成追踪线
关键词:实时;GeoEvent;流服务;Python API;
实时数据是大数据分析中最重要的数据来源之一,而Python API又提供了 简单方便的Web端调用大数据分析工具的接口,本案例将示范如何通过 GeoEvent接入实时流服务,并将结果要素服务输入大数据分析工具Recon

arcgis portal在进行大数据分析时,报错,显示分析服务不可用,Unable to access the analysis service.

回复

ArcGIS Enterprise勾戈雪黎 回复了问题 • 5 人关注 • 4 个回复 • 181 次浏览 • 2018-05-09 16:11 • 来自相关话题

部署的大数据环境,在portal端进行分析,昨天都还可以分析成功,今天一点击分析的功能就报错Unable to access the analysis service.
感觉像是portal访问不了arcserver的大数据分析工具,查看了环境,没有问题。。。又重启服务和机器并重新登录portal 还是不行,哪位大神知道是什么原因

构建大数据存储集群失败:Failed to configure spatiotemporal big data store

回复

Server许丹石 回复了问题 • 3 人关注 • 2 个回复 • 280 次浏览 • 2017-12-18 18:31 • 来自相关话题

版本:ArcGIS 10.5
机器1:a1.gis.com
机器2:a2.gis.com
在机器1部署了 ags server,portal ,webadaptor,bigdatastore(关系和时空)
在机器2部署了:ags server bigdatastore(时空)
目前,机器1和机器2已经组成了cluster,在同一site
但是在机器2部署完bigdatastore配置时,我选择的

Docker 容器管理脚本--以大数据环境为例

勾戈雪黎 发表了文章 • 0 个评论 • 146 次浏览 • 2018-03-28 00:00 • 来自相关话题

目的:

在docker中通过执行脚本管理大数据环境容器以及容器内部的服务,快速启动一套测试环境。

在文章《在Docker环境内搭建大数据测试环境》中我们讨论了如何在docker环境内搭建矢量大数据测试环境,
按照以下保守思路搭建,我们需要5台容器:ArcGIS Enterprise基础部署一个容器,GA一个容器,时空库三台容器。

如果按照上述文章搭建完成后,我们面临管理多个容器的现

基于Kerberos认证配置Hadoop集群在安全模式下运行

默认分类马克玲 发表了文章 • 0 个评论 • 283 次浏览 • 2018-01-30 00:00 • 来自相关话题

为Hadoop集群开启安全模式,防止集群裸奔被恶意攻击,几乎是生产环境下使用Hadoop集群的一个基本需求。这个配置过程可以说相当复杂,在参考了在线Hadoop in Secure Mode的官方文档再结合数篇实践博客的基础上,配置的过程依然是相当坎坷。这篇文章是我对自己在实践后,摔过无数跟头的基础上,一些经验的总结,在Hadoop和Kerberos认证方面我并不是老司机,但是力求将配置中一些核心

理解和配置LinuxContainerExecutor

默认分类马克玲 发表了文章 • 0 个评论 • 231 次浏览 • 2018-01-30 00:00 • 来自相关话题

最近在研究如何为Hadoop开启基于Kerberos的安全配置,经过千辛万苦配置好后本以为到了见证奇迹的时刻,但是卡在NodeManger无法启动,折磨的死去活来。经历了各种百度、google后依然无果,最终还是乖乖的回来细读Hadoop官方配置文档,竟然发现关于LinuxContainerExecutor配置的非常详细的讲解。为了不让学习的成果随记忆消散,因此在这儿总结并分享出来。

理解Con

在Docker环境内搭建大数据测试环境

Server勾戈雪黎 发表了文章 • 2 个评论 • 400 次浏览 • 2018-01-04 00:00 • 来自相关话题

作者:勾戈雪黎 发布时间: 2018-1-2
 
目标:实现在已有的docker环境中安装产品,搭建一套矢量大数据的测试环境。

前提:已经有docker环境,明白镜像和容器的概念;并且熟悉在Linux环境下安装ArcGIS Server。

Linux 上安装 ArcGIS Enterprise 超详细教程参考: http://zhihu.esrichina.com.cn/article/281

大数据架构思考(三)

默认分类大虾卢 发表了文章 • 0 个评论 • 204 次浏览 • 2017-09-11 00:00 • 来自相关话题

越十年生聚,而十年教训,二十年之外,吴其为沼乎。——《左传 ·哀公元年》

越人为了报仇,准备了二十年,其中10年用来生育,十年用来教育训练,——怀胎十月,成长十年,教育十年方能成为一个合格的战士。


OK,突然有一天,一个叫做大数据神突然来造访越王勾践来了……神告诉我们,大数据可以并行计算……也就是把很多机器合并起来,提高性能和速度。

那么:




以上场景,是不是特别像现在很多大数据的需

大数据项目架构思考(二)

默认分类大虾卢 发表了文章 • 0 个评论 • 232 次浏览 • 2017-09-06 00:00 • 来自相关话题

大数据架构思考(二)




世界上第一架(也是唯一?的)不锈钢制造的战斗机:国内军迷亲切的称呼它为“青翼蝠王”……从分量上来看,比西方那些用各种合金材料打造的妖艳货压秤多了,但是就这么个超级“秤砣”,不但飞起来了,还创造了当年在速度上面的N多项世界纪录。

所以,毛熊大哥们告诉我们的语录,我们一直记在心头:




进入21世纪的第二个10年,一种名叫“大数据”的技术,突然开始流行起来了,首先是

大数据项目架构思考(一)

默认分类大虾卢 发表了文章 • 0 个评论 • 386 次浏览 • 2017-09-06 00:00 • 来自相关话题

大数据概念到今天,炒作的最高风口已经过去了,根据Gartent发布的HypeCycle曲线,大数据已经处于炒作顶点之后的衰退期。




HypeCycle曲线

而从HypeCycle曲线定义的阶段来看,越过炒作顶点的技术,通常被认为已经满足了技术可行性,进入了可实用的阶段。

所以,对于大数据项目来说,技术上已经没有什么太大的问题了,无论从软件还是从人员来说,该填的空也都填得差不多了,剩下就是

解密ArcGIS实时大数据的高效存储

ArcGIS极客说 发表了文章 • 0 个评论 • 348 次浏览 • 2017-07-26 00:00 • 来自相关话题

大家好,打个招呼先
大家好,在之前给大家介绍过ArcGIS 10.5支持实时大数据的完整方案,超出预料的受到了诸多用户的关注,看来实时大数据会是接下来几年的又一个技术热点了。错过该方案的朋友们,可以看今天的专题里面的第2篇《ArcGIS 10.5,打造实时大数据的平台》,在本文,我想更加深入技术细节,给大家详细介绍下ArcGIS实时大数据采用的技术支撑

ArcGIS 10.5 大数据应用模板

默认分类刘峥 发表了文章 • 0 个评论 • 287 次浏览 • 2017-07-05 00:00 • 来自相关话题

GeoAnalytics矢量大数据应用模板
案例一:结合GeoEvent实时数据源与Python API生成追踪线
关键词:实时;GeoEvent;流服务;Python API;
实时数据是大数据分析中最重要的数据来源之一,而Python API又提供了 简单方便的Web端调用大数据分析工具的接口,本案例将示范如何通过 GeoEvent接入实时流服务,并将结果要素服务输入大数据分析工具Recon
  大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
ArcGIS 10.5是一个能够支持实时大数据的平台,通过将原来的GeoEvent扩展模块升级为GeoEvent Server,实时GIS的支撑框架也大为增强,不仅能更好的支持实时数据源的接入、处理和输出,在支持的数据量上更是大幅提升,直接实现对实时大数据的高效接入、分析处理、可视化和实时历史大数据的挖掘分析。