云GIS架构的研究与实践

您所在的位置:网站首页 gis开发模式包括哪些内容 云GIS架构的研究与实践

云GIS架构的研究与实践

2024-06-17 20:32:41| 来源: 网络整理| 查看: 265

云GIS架构的研究与实践 摘要1.引言2.云计算(Cloud Computing)3.云GIS4. 云GIS在“多规合一”平台中的实践4.1. 实践思路4.2. 相关产品选择4.3. 私有云环境建设4.4. 云GIS环境建设4.4.1. 镜像库4.4.2. 配置规则4.4.3. 生产站点4.4.4. 部署要点 5.总结参考文献

摘要

本文结合天津市“一张蓝图、多规合一”综合管理平台项目,对云GIS 的构建、应用、管理方面进行了积极探索,通过将云计算与GIS技术进行融合,实现了计算资源、存储资源、GIS资源的弹性管理、按需分配。

1.引言

天津市“一张蓝图、多规合一”综合管理平台(以下简称“多规合一”平台)是实现国民经济和社会发展规划、城乡规划、土地利用总体规划、环境保护规划等涉及空间的各类规划相互衔接、相互协调及矛盾解决,支撑各部门工程建设项目审批前策划研究的业务协同工作平台。用户覆盖天津市市、区两级政府和各委办局的职能处室,数据资源涵盖基础地理信息数据、多规合一规划控制线数据、规划成果数据、部门专业现状数据、建设项目审批数据、规划核心指标数据及项目储备数据在内的几百种地理信息数据。 在“多规合一”平台建设过程中,GIS 面临着巨大的IT 挑战:数据密集型、并发访问密集型和时空密集型。云计算的出现为这些挑战提供了一个潜在的解决方案,搭建云计算环境下的GIS应用,为不同的业务需求,弹性扩容、动态计算、按需提供GIS资源。

2.云计算(Cloud Computing)

“云计算”[1-2](Cloud Computing)概念从埃里克·施密特(Eric Schmidt)在2006年8月首次提出到现在已经有10多年的时间,在国内外IT商业巨头[3]的推动下,取得了飞速的发展与翻天覆地的变化。云计算是一种计算资源的云化,将分布式计算、并行计算、网络存储、虚拟化等传统IT技术进行融合,形成的一种新型应用模式,它将计算任务分布在大量计算机构成的虚拟资源池之上,使用户能够按需获取计算能力、存储空间、数据信息和应用服务[4]。整个运行方式很像电网、自来水厂,终端用户可以按需、随时取用。云计算与传统的网络应用模式相比,具有虚拟化、动态可扩展、可靠性高、资源优化、数据共享等技术特点[5,6,7],可以以最小的代价将不同厂家的硬件异构集成与管理,将彼此孤立和割裂的计算、存储、网络设备在逻辑上整合成一台高性价比的“超大规模云计算机”,为上层软件提供弹性的按需供给资源的能力,实现硬件资源的弹性供给及其相互协同。 云计算根据部署环境或是应用对象不同可以分为公有云、私有云和混合云三种模式。公有云中云资源池为所有用户共享,一般通过互联网使用;私有云中客户独占使用云资源池,一般部署在企业数据中心或第三方托管场所;混合云中客户同时使用公有云资源和私有云资源,逻辑上是一个整体,可实现内部互联,既保证了用户的私有性,又能够灵活使用公有云。

3.云GIS

随着计算机科学和网络技术的飞速发展,许多新技术被应用到GIS 中,GIS应用模式发生了巨大变化。在经历了面向文件共享的第一代GIS、面向空间数据库共享的第二代GIS、以及面向服务共享的第三代GIS后进入了基于云计算平台实现计算资源、存储资源、应用服务、数据等资源在内的大规模共享的云GIS时代。 图 1 GIS应用模式的转变 云GIS不是一种新的技术[8],是将云计算的各种特征用于支撑地理空间数据的存储、建模、处理与分析,使得GIS应用从专业化应用走向智能、便捷、亲切化的应用。按照提供的服务内容不同,云GIS可以分为基础设施即服务(infrastructure as a service,IaaS)模式将底层的计算和存储等多种资源作为服务提供给用户;平台即服务(platform as a service,PaaS)模式将应用的开发或部署平台作为服务提供给用户;软件即服务(software as a service,SaaS)模式将GIS 应用以Web 服务的方式提供给用户;数据即服务(data as a service,DaaS)模式是将地理时空大数据作为服务提供给用户,是云GIS对云计算传统服务内容的丰富。

4. 云GIS在“多规合一”平台中的实践 4.1. 实践思路

“多规合一”平台中的云GIS环境是基于“云GIS是云计算技术与GIS 技术融合发展而来”的思想进行搭建的。首先利用虚拟化技术搭建私有环境的基础设施云(Iaas),将已有的IT基础设施资源(包括计算、存储、网络)做成虚拟资源池,实现计算、网络、存储、安全虚拟化的全面融合,达到共享服务器、存储和网络的目的。再将GIS软件平台与Iaas进行整合,使云具备空间计算能力、GIS资源管理与分享能力。然后基于分布式架构开发部署基于云GIS环境的应用,消费云中的GIS资源。

4.2. 相关产品选择

“多规合一”平台项目中的虚拟化产品采用的是新华三集团的H3C CAS虚拟化平台。该平台是H3C公司面向数据中心自主研发的企业级虚拟化软件,提供强大的虚拟化功能和资源池管理能力,能有效整合数据中心IT基础设施资源,通过简单易用的管理界面降低IT管理的复杂度,为用户提供成本更低、可靠性更高、维护更简单的基础架构,使数据中心从传统架构向云架构平滑演进。H3C CAS虚拟化平台包含CVK(虚拟化内核系统)、CVM(虚拟化管理平台)和CIC(云业务管理中心)。 “多规合一”平台项目中的GIS软件平台采用的是ESRI公司的ArcGIS Server。ArcGIS Server 是 ArcGIS Enterprise 的后端服务器软件组件,可以通过Web服务的形式将我们的地理信息提供给通过网络连接的任何人使用。

4.3. 私有云环境建设

云计算环境建设按照总体设计、架构设计、逐步实施的原则进行,在正式实施之前充分做好前期规划,包含网络环境、计算资源的估算、存储资源的估算、资源池划分四个方面的内容。 网络环境是由用户的使用环境决定的,像本文中的天津市“一张蓝图、多规合一”综合管理平台的最终用户是在天津市的政务外网,所以本文的云环境实质上是一朵私有云。 计算资源、存储资源的估算是建立在用户了解一定的硬件基础知识,同时对未来GIS应用场景有明确的认识的基础上,才能对现有需求环境下的计算资源配置进行合理的估算[8]。根据项目的实际应用场景,本研究规划的计算资源和存储见下表所示。 表2 计算资源估算 资源池的划分是根据硬件的配置组建不同的集群从而划分为不同级别的资源池。根据计算性能的优劣,可以划分存储型资源池、计算型存储池以应对不同的应用场景,提供资源利用率。在本项目应用中,根据服务器性能划分了2个计算资源池,1个资源池为由同一品牌高性能的6个服务器构成,用以部署各类GIS服务,另外1个资源池由不同品牌不同型号的6个服务器组成。存储资源划分为4部分,分别用于2个计算资源池中虚拟机的部署、数据库集群的数据存储、非关系型数据的分布式存储。整个私有云环境的部署架构如图2所示。 图 2 私有云环境部署架构

4.4. 云GIS环境建设

“多规合一”平台以虚拟机作为标准部署单位,通过网络提供GIS服务。通过创建镜像库、建立虚拟机实例化的配置规则、创建生产站点三个步骤完成云GIS环境的搭建,如图3所示。镜像库和配置规则的结合,可以实现动态创建生产站点。借助H3C CAS的云管理平台可以首先实现云中的GIS资源管理与分享,达到资源弹性动态调整。 图 3 云GIS环境搭建

4.4.1. 镜像库

镜像库是借助H3C CAS的虚拟机模板功能,由事先创建的虚拟机克隆或转换而成虚拟机模板,包含负载均衡、反向代理、GIS服务、业务服务、数据库服务等5类镜像资源,每类镜像资源可以根据不同应用场景配置相应规则创建对应的实例。 负载均衡镜像资源可以创建部署有负载均衡器Nginx的虚拟主机、也可以创建部署有ArcGIS Server自带的负载均衡器ArcGIS Web Adaptor的虚拟主机。 反向代理镜像资源可以创建具有反向代理功能的虚拟主机,该主机上部署有Nginx或Apache等反向代理中间件。 GIS服务镜像资源可以创建部署有ArcGIS Server的多主机站点。 业务服务镜像资源包含有Web服务器(如Tomcat)和Web应用程序,可以根据规则创建不同的业务实例,如单点登录等,可以通过添加或移除业务实例的方式动态调整集群的计算能力。 数据库镜像资源可以创建不同的数据库实例,通过添加或移除实例的方式动态调整数据库集群的性能。

4.4.2. 配置规则

配置规则是指在部署虚拟机实例时需要遵循的一系列标准规范,包括虚拟机部署主机规则、虚拟机的命名规则、IP地址的配置规范、计算能力配置规则、存储资源配置规则等等。

4.4.3. 生产站点

如图3所示,“多规合一”平台的生产环境采用数据、业务、负载均衡、反向代理四层架构模式进行部署。 数据层包括业务数据库集群、GIS数据库集群以及存储集群。业务数据库主要是针对特定应用而部署的数据库集群,比如日志管理、关系模型为主的业务;存储集群主要是一些分布式文件系统。 业务层包括各类业务集群和GIS站点。业务集群和GIS站点采取无状态化的多节点模式,每个站点可管理两台或多台服务器,并将其用作单个逻辑单元,这可为管理员提供极大的灵活性,可通过添加或移除计算机来轻松调整站点的计算能力。多节点站点可简化在多台 ArcGIS Server 计算机之间发布和更新服务的过程。为合理利用资源,“多规合一”平台根据用户的空间分布、硬件性能将GIS服务划分为市内6区GIS站点、环城4区GIS站点、郊区5县GIS站点以及地理处理站点,每个站点根据访问量,可以动态、灵活更改站点内的计算机数量,从而达到动态调整计算能力的目的。 负载均衡层部署于反向代理和业务层之间的中间位置,识别收到的请求后按照一定的逻辑将请求分配给站点(或集群)内的一个计算机,从而达到平衡客户端负载的目的。在“多规合一”平台中GIS站点使用ESRI自带的产品ArcGIS Web Adaptor,业务集群采用第三方负载均衡组件Nginx,通过检测计算机故障和向可用计算机自动重新分配流量来实现高可用性。 反向代理层是在隔离区(DMZ)或屏蔽子网中部署的计算机,处理来自外网的请求并将其转发到内部网络的计算机中。在“多规合一”平台中使用Nginx作为反向代理服务器,通过转发请求,掩藏了防火墙后面的计算机标识,阻止了外部用户访问内部网络,保护了内部计算机免受外部网络用户的直接攻击。

4.4.4. 部署要点

业务层内不同集群和站点内通信都应该是无状态的,有状态的通信需要规划在同一个业务应用中。 业务层内每个站点(或集群)采用多节点模式部署时,所有 计算机共享同一配置存储和服务器目录。 业务层内每个站点(或集群)采用多节点模式部署时,为了使站点能够正常运行,每台 ArcGIS Server 必须具有相同版本号。 ArcGIS Web Adaptor只能实现轮询模式分发请求,如果要实现指定权重、基于IP的哈希值、基于URL的哈希值等分发策略的话,只能使用第三方负载均衡器。

5.总结

本文对云GIS 的构建、应用、管理方面进行了积极探索,改变了传统GIS的应用方法和建设模式,实现了计算资源、存储资源、GIS资源的弹性管理、按需分配。本文虽然解决了传统GIS项目中技术资源利用率不高、人力物力投入高、快速响应能力不足、安全性能无法保障、无法适应多种业务场景、智能化管理不足等问题,但是云GIS应用中的GIS计算资源隔离、GIS数据资源隔离等问题还未解决。另外,我们也有待加强云GIS在交通卡口数据管理等方面的海量数据云存储研究;有待加强云GIS在大规模独立任务的分布式并行计算方面的研究,如创建影像金字塔、生成影像缩略图、数据格式转换、视频处理、分布式切图、数据分析、大规模地形分析、趋势分析、统计分析等。

参考文献 许子明,田杨锋.云计算的发展历史及其应用[J].信息记录材料,2018,19(8):66-67.王雄.云计算的历史和优势[J].计算机与网络,2019,45(2):44.成毅,刘兴科.一种适于云计算的地理信息服务架构.中国人民解放军信息工程大学测绘学院第五届博士生学术论坛,中国河南郑州,2010,232-235.刘鹏.云计算.北京:电子工业出版社,2010,5-13.李文军.计算机云计算及其实现技术分析[J].军民两用技术与产品,2018,(22):57-58.6王凤领.基于云计算的WebGIS 分析构架研究[J].计算机技术与发展,2014,24(3):113-116贾晨微.政务地理空间私有云技术研究:[硕士学位论文].重庆:电子科技大学,2012,17.李少华,李闻昊,蔡文文.云GIS技术与实践.北京:科学出版社,2017,158.


【本文地址】

公司简介

联系我们

今日新闻


点击排行

实验室常用的仪器、试剂和
说到实验室常用到的东西,主要就分为仪器、试剂和耗
不用再找了,全球10大实验
01、赛默飞世尔科技(热电)Thermo Fisher Scientif
三代水柜的量产巅峰T-72坦
作者:寞寒最近,西边闹腾挺大,本来小寞以为忙完这
通风柜跟实验室通风系统有
说到通风柜跟实验室通风,不少人都纠结二者到底是不
集消毒杀菌、烘干收纳为一
厨房是家里细菌较多的地方,潮湿的环境、没有完全密
实验室设备之全钢实验台如
全钢实验台是实验室家具中较为重要的家具之一,很多

推荐新闻


图片新闻

实验室药品柜的特性有哪些
实验室药品柜是实验室家具的重要组成部分之一,主要
小学科学实验中有哪些教学
计算机 计算器 一般 打孔器 打气筒 仪器车 显微镜
实验室各种仪器原理动图讲
1.紫外分光光谱UV分析原理:吸收紫外光能量,引起分
高中化学常见仪器及实验装
1、可加热仪器:2、计量仪器:(1)仪器A的名称:量
微生物操作主要设备和器具
今天盘点一下微生物操作主要设备和器具,别嫌我啰嗦
浅谈通风柜使用基本常识
 众所周知,通风柜功能中最主要的就是排气功能。在

专题文章

    CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭