高分一号大数据在线批量处理原型系统
分享
-
2016-06-28
一、 背景
GF-1卫星搭载了两台2m分辨率全色/8m分辨率多光谱相机，四台16m分辨率多光谱相机。卫星工程突破了高空间分辨率、多光谱与高时间分辨率结合的光学遥感技术，多载荷图像拼接融合技术，高精度高稳定度姿态控制技术，5年至8年寿命高可靠卫星技术，高分辨率数据处理与应用等关键技术，对于推动我国卫星工程水平的提升，提高我国高分辨率数据自给率，具有重大战略意义。
大批量获取的高分一号影像数据，需要进行解压、正射校正、融合、镶嵌等预处理，这是一项非常耗时和耗力的工作。
2013年11月，ENVI/IDL原产商Exelis VIS公司发布了最新版本的企业级服务器产品ENVI Services Engine5.1，该产品是将IDL和ENVI的图像处理功能以服务的方式提供，可以部署到各种企业级环境中，包括集群环境、企业级服务器或者云平台等。客户端（移动端、网页端等）通过发送HTTP REST请求调用IDL和ENVI处理功能，处理结果通过标准的HTTP机制返回到客户端。
ENVI Services Engine提供了一个健壮的、可伸缩的负载均衡机制，支持并行处理和分布式处理。基于ENVI/IDL可以很容易的开发相应的遥感功能，并部署到ENVI Services Engine中。我们将这种技术应用到大批量获取的高分一号影像数据处理中，相比单机处理方式，处理效率得到极大的提高，并且可以通过Web客户端在线进行操作。
二、 解决方案
ENVI Services Engine产品支持在线处理、负载均衡和多任务并行，从而可以基于该产品构建一个批量处理高分一号数据的系统。
1、软硬件环境
计算机环境（DELL工作站）
l CPU:2个8核，2.4主频
l 内存：8G
l 硬盘：1.9T，15000转硬盘
软件环境
l 操作系统：Linux
l ENVI Services Engine5.1 ，4 个Works
2、数据处理流程
高分一号数据预处理包括：自动解压、正射校正、融合和镶嵌等。
图1 高分一号数据处理流程
3、Web客户端（高分一号数据在线批量处理系统）
基于ASP.net构建的客户端。
图2 Web客户端
4、测试结果：
在ENVI Services Engine管理员控制台中看到每个任务的运行情况：运行时间、排队时间、运行状态等。
数据：4对标准景高分PMS数据，即4景8米多光谱图像，4景2米全色图像。
4对标准景高分PMS数据测试结果如下表：
4对标准景数据总共处理时间为：35分55秒。
数据：2景高分WFV数据，16米分辨率。
图3 任务测试结果
2景高分WFV数据测试结果如下表：
三、 展望
除了高分一号数据的在线批量处理，您还可以基于ENVI Services Engine软件技术构建其他遥感影像数据处理平台，如高分数据（高分1和2（即将发射））、资源一号02C 等。如果将系统部署在更高性能的计算机中，或者集群，甚至云计算环境中，处理效率将会得到进一步的提升。
文章来源：http://blog.sina.com.cn/s/blog_764b1e9d0102uxra.html
GF-1卫星搭载了两台2m分辨率全色/8m分辨率多光谱相机，四台16m分辨率多光谱相机。卫星工程突破了高空间分辨率、多光谱与高时间分辨率结合的光学遥感技术，多载荷图像拼接融合技术，高精度高稳定度姿态控制技术，5年至8年寿命高可靠卫星技术，高分辨率数据处理与应用等关键技术，对于推动我国卫星工程水平的提升，提高我国高分辨率数据自给率，具有重大战略意义。
大批量获取的高分一号影像数据，需要进行解压、正射校正、融合、镶嵌等预处理，这是一项非常耗时和耗力的工作。
2013年11月，ENVI/IDL原产商Exelis VIS公司发布了最新版本的企业级服务器产品ENVI Services Engine5.1，该产品是将IDL和ENVI的图像处理功能以服务的方式提供，可以部署到各种企业级环境中，包括集群环境、企业级服务器或者云平台等。客户端（移动端、网页端等）通过发送HTTP REST请求调用IDL和ENVI处理功能，处理结果通过标准的HTTP机制返回到客户端。
ENVI Services Engine提供了一个健壮的、可伸缩的负载均衡机制，支持并行处理和分布式处理。基于ENVI/IDL可以很容易的开发相应的遥感功能，并部署到ENVI Services Engine中。我们将这种技术应用到大批量获取的高分一号影像数据处理中，相比单机处理方式，处理效率得到极大的提高，并且可以通过Web客户端在线进行操作。
二、 解决方案
ENVI Services Engine产品支持在线处理、负载均衡和多任务并行，从而可以基于该产品构建一个批量处理高分一号数据的系统。
1、软硬件环境
计算机环境（DELL工作站）
l CPU:2个8核，2.4主频
l 内存：8G
l 硬盘：1.9T，15000转硬盘
软件环境
l 操作系统：Linux
l ENVI Services Engine5.1 ，4 个Works
2、数据处理流程
高分一号数据预处理包括：自动解压、正射校正、融合和镶嵌等。
3、Web客户端（高分一号数据在线批量处理系统）
基于ASP.net构建的客户端。
图2 Web客户端
4、测试结果：
在ENVI Services Engine管理员控制台中看到每个任务的运行情况：运行时间、排队时间、运行状态等。
数据：4对标准景高分PMS数据，即4景8米多光谱图像，4景2米全色图像。
4对标准景高分PMS数据测试结果如下表：
4对标准景数据总共处理时间为：35分55秒。
数据：2景高分WFV数据，16米分辨率。
2景高分WFV数据测试结果如下表：
三、 展望
除了高分一号数据的在线批量处理，您还可以基于ENVI Services Engine软件技术构建其他遥感影像数据处理平台，如高分数据（高分1和2（即将发射））、资源一号02C 等。如果将系统部署在更高性能的计算机中，或者集群，甚至云计算环境中，处理效率将会得到进一步的提升。
文章来源：http://blog.sina.com.cn/s/blog_764b1e9d0102uxra.html
