让时空大数据不再神秘——如何直连使用ArcGIS时空大数据存储

ArcGIS的时空大数据采用Elasticsearch作为其存储技术。首先了解一下ElasticSearch。
如果只想了解如何连接请跳过基础章节直接ctrl+F"如何连接ArcGIS时空大数据存储中的Elasticsearch"
Elasticsearch基础
Elasticsearch有几个核心概念。从一开始理解这些概念会对整个学习过程有莫大的帮助。
接近实时（NRT）
Elasticsearch是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒）。
集群（cluster）
一个集群就是由一个或多个节点组织在一起，它们共同持有你整个的数据，并一起提供索引和搜索功能。一个集群由一个唯一的名字标识，这个名字默认就是“elasticsearch”。这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入这个集群。在产品环境中显式地设定这个名字是一个好习惯，但是使用默认值来进行测试/开发也是不错的。
节点（node）
一个节点是你集群中的一个服务器，作为集群的一部分，它存储你的数据，参与集群的索引和搜索功能。和集群类似，一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的时候赋予节点。这个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的哪些服务器对应于Elasticsearch集群中的哪些节点。
一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫做“elasticsearch”的集群中，这意味着，如果你在你的网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中。
在一个集群里，只要你想，可以拥有任意多个节点。而且，如果当前你的网络中没有运行任何Elasticsearch节点，这时启动一个节点，会默认创建并加入一个叫做“elasticsearch”的集群。
索引（index）
一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。
在一个集群中，如果你想，可以定义任意多的索引。
类型（type）
在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来定。通常，会为具有一组共同字段的文档定义一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可以为评论数据定义另一个类型。
文档（document）
一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。文档以JSON（Javascript Object Notation）格式来表示，而JSON是一个到处存在的互联网数据交互格式。
在一个index/type里面，只要你想，你可以存储任意多的文档。注意，尽管一个文档，物理上存在于一个索引之中，文档必须被索引/赋予一个索引的type。
分片和复制（shards & replicas）
一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10亿文档的索引占据1TB的磁盘空间，而任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢。
为了解决这个问题，Elasticsearch提供了将索引划分成多份的能力，这些份就叫做分片。当你创建一个索引的时候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置到集群中的任何节点上。
分片之所以重要，主要有两方面的原因：
- 允许你水平分割/扩展你的内容容量
- 允许你在分片（潜在地，位于多个节点上）之上进行分布式的、并行的操作，进而提高性能/吞吐量
至于一个分片怎样分布，它的文档怎样聚合回搜索请求，是完全由Elasticsearch管理的，对于作为用户的你来说，这些都是透明的。
在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因消失了，这种情况下，有一个故障转移机制是非常有用并且是强烈推荐的。为此目的，Elasticsearch允许你创建分片的一份或多份拷贝，这些拷贝叫做复制分片，或者直接叫复制。
复制之所以重要，有两个主要原因：
- 在分片/节点失败的情况下，提供了高可用性。因为这个原因，注意到复制分片从不与原/主要（original/primary）分片置于同一节点上是非常重要的。
- 扩展你的搜索量/吞吐量，因为搜索可以在所有的复制上并行运行
总之，每个索引可以被分成多个分片。一个索引也可以被复制0次（意思是没有复制）或多次。一旦复制了，每个索引就有了主分片（作为复制源的原来的分片）和复制分片（主分片的拷贝）之别。分片和复制的数量可以在索引创建的时候指定。在索引创建之后，你可以在任何时候动态地改变复制的数量，但是你事后不能改变分片的数量。
默认情况下，Elasticsearch中的每个索引被分片5个主分片和1个复制，这意味着，如果你的集群中至少有两个节点，你的索引将会有5个主分片和另外5个复制分片（1个完全拷贝），这样的话每个索引总共就有10个分片。
插入与查询
插入两条员工数据，索引为megacorp，类型为employee，id为1和2

PUT /megacorp/employee/1

{

"first_name" : "John",

"last_name" : "Smith",

"age" : 25,

"about" : "I love to go rock climbing",

"interests": [ "sports", "music" ]

}

PUT /megacorp/employee/2

{

"first_name" : "jane",

"last_name" : "smith",

"age" : 32,

"about" : "I like to collect rock albums",

"interests" :["music"]

}

查询的两种写法

GET /megacorp/employee/_search?q=last_name:smith

或

GET /megacorp/employee/_search

{

"query": {

"match": {

"last_name": "Smith"

}

}

}

查询结果：

{

"took": 250,

"timed_out": false,

"_shards": {

"total": 5,

"successful": 5,

"failed": 0

},

"hits": {

"total": 2,

"max_score": 0.30685282,

"hits": [

{

"_index": "megacorp",

"_type": "employee",

"_id": "2",

"_score": 0.30685282,

"_source": {

"first_name": "jane",

"last_name": "smith",

"age": 32,

"about": "I like to collect rock albums",

"interests": [

"music"

]

}

},

{

"_index": "megacorp",

"_type": "employee",

"_id": "1",

"_score": 0.30685282,

"_source": {

"first_name": "John",

"last_name": "Smith",

"age": 25,

"about": "I love to go rock climbing",

"interests": [

"sports",

"music"

]

}

}

]

}

}

对查询结果的说明：
对于这个响应，我们看到了以下的部分：
- took —— Elasticsearch执行这个搜索的耗时，以毫秒为单位
- timed_out —— 指明这个搜索是否超时
- _shards —— 指出多少个分片被搜索了，同时也指出了成功/失败的被搜索的shards的数量
- hits —— 搜索结果
- hits.total —— 能够匹配我们查询标准的文档的总数目
- hits.hits —— 真正的搜索结果数据（默认只显示前10个文档）
- _score和max_score —— 这个得分是与我们指定的搜索查询匹配程度的一个相对度量。得分越高，文档越相关，得分越低文档的相关度越低。
ArcGIS 时空大数据存储
上面讲完了Elasticsearch的相关概念，在ArcGIS时空大数据存储中这些概念都扮演了重要的角色，这里暂且不说，日后补齐。先看下ArcGIS时空大数据存储如何像pg库一样进行连接，进行开放。
如何连接ArcGIS时空大数据存储中的Elasticsearch
端口
连接Elasticsearch，首先要知道它使用的端口。在官方文档中进行查询
端口 9220 和 9320
ArcGIS Data Store 中提供的时空大数据存储通过端口 9220 (HTTP) 和 9320 (TCP) 进行通信。如果您使用GeoEvent Server将数据写入时空大数据存储，您需要打开这些端口。
用户名密码
其次，还需要ES的用户名和密码。就像其他的数据库中的用户名密码一样，有了用户名密码才可以使用ES。在ArcGIS DataStore中，使用工具查询manage的用户名和密码。工具的位置在C:\Program Files\ArcGIS\DataStore\tools\listmanageduser

查询es用户名密码
实用工具
管理es的实用工具套件包括kibana和sense。
kibana和es的版本有关。经过测试，kibana-5.5因版本过高，无法连接时空大数据存储的es。kibana4.5.2是可用的。其余版本没有进行测试。这里推荐<a href="https://www.elastic.co/downloa ... 4.5.2。
可以直接输datastore的IP:9220来查看ArcGIS Datastore中ES的版本。


时空大数据中es的版本为2.3.2
sense可以直接从github上下载。由于是master主分支，下载的文件名为sense-master。这是离线安装所需要的。这里可以使用在线安装。
在kibana目录运行命令安装 sense插件
./bin/kibana plugin —install elastic/sense
开始连接
工具安装完毕后，需要修改kibana.yml中
elasticsearch.username: "els_tctb96n"
elasticsearch.password: "fpinq3kv6ez6r8pw"
elasticsearch.url: "http://ip:9220"
然后在\kibana-4.5.2-windows\bin下，cmd输入命令kibana，即可运行此工具。
访问http://localhost:5601/app/status
可以查看当前es服务器的状态

当前es服务器状态
访问http://localhost:5601/app/sense 即可进入sense的界面


sense界面
需要修改ip和端口为datastore机器的ip和9220端口才可以使用。初次打开需要输入用户名密码，即kibana.yml中的elasticsearch.username: "els_tctb96n"和elasticsearch.password: "fpinq3kv6ez6r8pw"。
在sense界面，即可输入GET、PUT、DELETE等命令与Elasticsearch进行交互。
Elasticsearch的入门指南可以参考这本电子书Elasticsearch:权威指南
引用：Elasticsearch基础教程
文章来源：http://www.jianshu.com/p/3649942945c8