海量数据库实施策略之矢量数据系列

海量数据库实施策略之矢量数据系列

关于矢量切片的数据格式

ArcGIS Server刘峥 回复了问题 • 3 人关注 • 1 个回复 • 3666 次浏览 • 2016-07-01 15:47 • 来自相关话题

昨天听了arcgis 10.4的新特性介绍,好多激动人心的新特性呀~~
 
关于矢量切片的格式,很好奇。它可以在客户端修改样式,说明不是图片格式;不能进行查询,说明也没传坐标过来。
 
10.4还没有开始用,有没有大神讲解一下矢量切片的具体格式?

海量空间数据库实施策略---矢量数据8

ArcSDE刘锋 发表了文章 • 0 个评论 • 3757 次浏览 • 2015-12-21 05:10 • 来自相关话题

CACHE策略:
这一策略针对的数据库是oracle,包括两方面内容的cache。
cache1策略:
可以将SDE的以下对象cache到内存中,PACKAGEPACKAGE BODYTYPETYPE BODYSEQUENCE(高并发编辑)
首先以sys as sysdba登录到数据库中,从DBA_TABLES数据字典中查找出sde schema中所有的上述对象,使用DBMS_SHARED_POO

海量空间数据库实施策略---矢量数据2

ArcSDE刘锋 发表了文章 • 0 个评论 • 2517 次浏览 • 2015-12-16 01:16 • 来自相关话题

空间数据库设计,这部分主要介绍以下三方面的内容:
1. 设计流程2. 数据建模3. 数据组织
一般项目的设计流程为下图所示的流程
第一个步骤为gather也就是收集信息,也就是手机各种技术方面的信息,包括系统需求,客户期望等等,收集完信息后进入Design阶段,即设计阶段,在该阶段需要按照在第一阶段中所收集的信息进行设计,包括物理模型和逻辑模型的设计,在对两个模型设计完后进入第三个阶段build阶

海量空间数据库实施策略---矢量数据4

ArcSDE刘锋 发表了文章 • 0 个评论 • 2033 次浏览 • 2015-12-14 13:04 • 来自相关话题

讲完操作系统的实施策略,接着介绍数据库的优化策略
1. 是否采用集群策略2. 配置相应的参数以及存储配置3. 如果采用集群策略,确定每个节点要完成的应用类型(OLTP,OLAP)
是否采用集群策略主要取决于两个方面:
首先是你的数据库服务器的硬件资源相对于前段应用业务是否可以满足,如果不能满足,那可以选择集群。第二个方面是你对系统的高可用上是否有要求,说白一些就是你能允许业务的宕机时间是多少,如果

海量空间数据库实施策略---矢量数据5

ArcSDE刘锋 发表了文章 • 0 个评论 • 2383 次浏览 • 2015-12-09 01:36 • 来自相关话题

可以使用数据库集群方式来解决上面所存在的问题,结果图如下所示:

上图为两个数据库集群的情况,可以将操作员的所有请求由第一台数据库服务器来处理,领导所发送的请求由第二台数据库服务器来处理,这两台机器所获得的数据从一个库中所获取,因此可以解决OLAP和OLTP的问题。
接下来看看ArcSDE的部署情况,ArcSDE的部署情况可以由下图来表示:

从ArcSDE本身上讲支持两种连接方式:第一种是两层直

海量空间数据库实施策略---矢量数据6

ArcSDE刘锋 发表了文章 • 0 个评论 • 2639 次浏览 • 2015-12-08 21:11 • 来自相关话题

矢量数据存储类型策略
ArcSD针对不同的数据支持不同的矢量存储类型,下图是具体的每个数据库所支持的存储类型:

具体每个存储类型具体代表什么东西,大家可以查看SDE空间索引原理介绍系列
里面有针对oracle数据库的各种数据存储类型的详细介绍。
不同的存储类型的比较大的一个却别是所占有的存储空间不同,下面是以oracle数据库上三种存储类型所占有空间大小的对比:

其中以ST_GEOMETRY存

海量空间数据库实施策略--矢量数据1

ArcSDE刘锋 发表了文章 • 0 个评论 • 2662 次浏览 • 2015-11-30 14:21 • 来自相关话题

这个系列涉及到的是海量矢量数据库的各个方面,包括入库,管理,效率等各个方面。先从序言开始吧:
序言主要包括以下三个方面:
1. 什么是GDB2. 什么样子的数据算是海量数据3. 谁能胜任
先看看什么是GDB,GDB全称为GeoDatabase,即空间数据库,实际就是用来存储,查询,管理空间数据的数据库或者文件。ESRI的产品现在支持以下几方面的存储:
A. Personal GDB(Access)

海量空间数据库实施策略---矢量数据3

ArcSDE刘锋 发表了文章 • 0 个评论 • 2182 次浏览 • 2015-11-30 10:27 • 来自相关话题

前面已经介绍完了空间数据库设计方面的事情,接下来介绍矢量数据的实施策略,主要包括以下两方面的策略:
1. 硬件策略2. 软件策略
硬件策略说白了就是数据库服务器和应用服务器的机器配置如何,主要包括
CPU
频率,核数
磁盘
RPM,DTR,以及控制器数量
内存
大小
网络
带宽和延迟等等
下图是美国工程师所测试的硬件指标值:
从上图可以看出,硬件的提升直接导致速度的提升,因此硬件还是非常非常重要的

海量空间数据库实施策略---矢量数据7

ArcSDE刘锋 发表了文章 • 0 个评论 • 1687 次浏览 • 2015-11-26 02:10 • 来自相关话题

续:2. CHUNK大小,是BLOB分配大小的单位。
修改方法是修改dbtune中的
ST_GEOM_LOB_STORAGE " STORE AS ( ENABLE STORAGE IN ROW CHUNK 8K PCTVERSION CACHE ) "选项。
表空间分离策略
ArcSDE在存储FeatureClass的时候,是将相关信息分别存储在了B表和S表中,其中B表是存储

海量数据库实施策略---矢量数据9

ArcSDE刘锋 发表了文章 • 0 个评论 • 1975 次浏览 • 2015-11-25 06:03 • 来自相关话题

以下是大数据量图层在几个数据库中的测试结果:
测试图层的类型是多边形:
一共100880302条记录,其大小分别见下表:

Cache也非Cache得结果图:

cache后的响应速度明显快于非Cache的响应速度,
三种数据库在单用户大比例尺下的的响应速度比较,其中postgresql响应时间最短:

三种数据库并发情况下的响应速度:





该系列的文档可以到http://download.

关于矢量切片的数据格式

回复

ArcGIS Server刘峥 回复了问题 • 3 人关注 • 1 个回复 • 3666 次浏览 • 2016-07-01 15:47 • 来自相关话题

昨天听了arcgis 10.4的新特性介绍,好多激动人心的新特性呀~~
 
关于矢量切片的格式,很好奇。它可以在客户端修改样式,说明不是图片格式;不能进行查询,说明也没传坐标过来。
 
10.4还没有开始用,有没有大神讲解一下矢量切片的具体格式?

海量空间数据库实施策略---矢量数据8

ArcSDE刘锋 发表了文章 • 0 个评论 • 3757 次浏览 • 2015-12-21 05:10 • 来自相关话题

CACHE策略:
这一策略针对的数据库是oracle,包括两方面内容的cache。
cache1策略:
可以将SDE的以下对象cache到内存中,PACKAGEPACKAGE BODYTYPETYPE BODYSEQUENCE(高并发编辑)
首先以sys as sysdba登录到数据库中,从DBA_TABLES数据字典中查找出sde schema中所有的上述对象,使用DBMS_SHARED_POO

海量空间数据库实施策略---矢量数据2

ArcSDE刘锋 发表了文章 • 0 个评论 • 2517 次浏览 • 2015-12-16 01:16 • 来自相关话题

空间数据库设计,这部分主要介绍以下三方面的内容:
1. 设计流程2. 数据建模3. 数据组织
一般项目的设计流程为下图所示的流程
第一个步骤为gather也就是收集信息,也就是手机各种技术方面的信息,包括系统需求,客户期望等等,收集完信息后进入Design阶段,即设计阶段,在该阶段需要按照在第一阶段中所收集的信息进行设计,包括物理模型和逻辑模型的设计,在对两个模型设计完后进入第三个阶段build阶

海量空间数据库实施策略---矢量数据4

ArcSDE刘锋 发表了文章 • 0 个评论 • 2033 次浏览 • 2015-12-14 13:04 • 来自相关话题

讲完操作系统的实施策略,接着介绍数据库的优化策略
1. 是否采用集群策略2. 配置相应的参数以及存储配置3. 如果采用集群策略,确定每个节点要完成的应用类型(OLTP,OLAP)
是否采用集群策略主要取决于两个方面:
首先是你的数据库服务器的硬件资源相对于前段应用业务是否可以满足,如果不能满足,那可以选择集群。第二个方面是你对系统的高可用上是否有要求,说白一些就是你能允许业务的宕机时间是多少,如果

海量空间数据库实施策略---矢量数据5

ArcSDE刘锋 发表了文章 • 0 个评论 • 2383 次浏览 • 2015-12-09 01:36 • 来自相关话题

可以使用数据库集群方式来解决上面所存在的问题,结果图如下所示:

上图为两个数据库集群的情况,可以将操作员的所有请求由第一台数据库服务器来处理,领导所发送的请求由第二台数据库服务器来处理,这两台机器所获得的数据从一个库中所获取,因此可以解决OLAP和OLTP的问题。
接下来看看ArcSDE的部署情况,ArcSDE的部署情况可以由下图来表示:

从ArcSDE本身上讲支持两种连接方式:第一种是两层直

海量空间数据库实施策略---矢量数据6

ArcSDE刘锋 发表了文章 • 0 个评论 • 2639 次浏览 • 2015-12-08 21:11 • 来自相关话题

矢量数据存储类型策略
ArcSD针对不同的数据支持不同的矢量存储类型,下图是具体的每个数据库所支持的存储类型:

具体每个存储类型具体代表什么东西,大家可以查看SDE空间索引原理介绍系列
里面有针对oracle数据库的各种数据存储类型的详细介绍。
不同的存储类型的比较大的一个却别是所占有的存储空间不同,下面是以oracle数据库上三种存储类型所占有空间大小的对比:

其中以ST_GEOMETRY存

海量空间数据库实施策略--矢量数据1

ArcSDE刘锋 发表了文章 • 0 个评论 • 2662 次浏览 • 2015-11-30 14:21 • 来自相关话题

这个系列涉及到的是海量矢量数据库的各个方面,包括入库,管理,效率等各个方面。先从序言开始吧:
序言主要包括以下三个方面:
1. 什么是GDB2. 什么样子的数据算是海量数据3. 谁能胜任
先看看什么是GDB,GDB全称为GeoDatabase,即空间数据库,实际就是用来存储,查询,管理空间数据的数据库或者文件。ESRI的产品现在支持以下几方面的存储:
A. Personal GDB(Access)

海量空间数据库实施策略---矢量数据3

ArcSDE刘锋 发表了文章 • 0 个评论 • 2182 次浏览 • 2015-11-30 10:27 • 来自相关话题

前面已经介绍完了空间数据库设计方面的事情,接下来介绍矢量数据的实施策略,主要包括以下两方面的策略:
1. 硬件策略2. 软件策略
硬件策略说白了就是数据库服务器和应用服务器的机器配置如何,主要包括
CPU
频率,核数
磁盘
RPM,DTR,以及控制器数量
内存
大小
网络
带宽和延迟等等
下图是美国工程师所测试的硬件指标值:
从上图可以看出,硬件的提升直接导致速度的提升,因此硬件还是非常非常重要的

海量空间数据库实施策略---矢量数据7

ArcSDE刘锋 发表了文章 • 0 个评论 • 1687 次浏览 • 2015-11-26 02:10 • 来自相关话题

续:2. CHUNK大小,是BLOB分配大小的单位。
修改方法是修改dbtune中的
ST_GEOM_LOB_STORAGE " STORE AS ( ENABLE STORAGE IN ROW CHUNK 8K PCTVERSION CACHE ) "选项。
表空间分离策略
ArcSDE在存储FeatureClass的时候,是将相关信息分别存储在了B表和S表中,其中B表是存储

海量数据库实施策略---矢量数据9

ArcSDE刘锋 发表了文章 • 0 个评论 • 1975 次浏览 • 2015-11-25 06:03 • 来自相关话题

以下是大数据量图层在几个数据库中的测试结果:
测试图层的类型是多边形:
一共100880302条记录,其大小分别见下表:

Cache也非Cache得结果图:

cache后的响应速度明显快于非Cache的响应速度,
三种数据库在单用户大比例尺下的的响应速度比较,其中postgresql响应时间最短:

三种数据库并发情况下的响应速度:





该系列的文档可以到http://download.