中文 | EN

 

跨越“OpenStack企业落地最后一公里”

以社区和商业实践为源头,提炼适用于企业级客户的最佳实践

 

中国人民银行开发测试云

随着二代征信系统研发工作的不断深入,为提高已有基础设施的利用率,提升技术架构的灵活性。中国人民银行征信中心需要构建一个研发测试云平台,从而能快速搭建研发测试环境,以满足研发人员日程工作需要。另外,通过运维人员通过研发测试云平台的统一管理,降低业务维护和管理难度。

研发测试云平台采用基于OpenStack为底层基础架构进行构建,为人民银行征信中心提供一整套基于开源架构的开发持续集成的平台。依托云平台的虚拟化(资源池化)、标准化和自动化技术,实现中国人民银行征信中心在运维效率上的提升,服务质量上的提高、整体成本上降低和支持业务层面更高的利润收益。

总体架构

中国人民银行征信中心研发测试云采用主流的开源技术构建,从虚拟化层、管理层、业务层、运维监控层组成整个研发测试云体系。整个构建模块如下图所示:

\
 
• 物理层
– X86服务器
– FC存储
– 防火墙
– LB设备

• 虚拟化层
– 计算虚拟化(KVM/VMware/Docker)
– 存储虚拟化(Gluster/Ceph)
– 网络虚拟化(OVS)

• 管理层
– OpenStack组件
– 网络SDN控制器(OpenDaylight)

• 业务层
– 数据库应用(Mysql\Oracle)
– Web应用(Weblogic\Tomcat)
– 大数据应用(Hadoop)
– CI/CD应用(Jenkins)

• 运维监控层
– ELK
– Zabbix(Grafana)
– CMDB

采用开源软件平台为研发测试中心构建一套私有云环境,在此基础上并逐步迁移VMware环境的虚拟机。之后整个研发测试中心的业务都采用开源的软件方案构建,符合目前国家对于金融云自主安全可控的要求。

用户管理
中国人民银行征信中心研发测试云用户管理采用和原有的LDAP系统进行用户集成,从而保持账号的统一管理。在研发测试云中,根据不通的角色有如下几类的用户:
• 系统用户
– 用于OpenStack服务之间通讯
• 云管理员
– 用于OpenStack系统管理
• 普通用户
– 登陆OpenStack系统,能根据权限对IaaS资源操作

针对研发测试云所服务项目和用户的不同,目前对研发测试云根据需求做了如下的切分,已满足业务的要求。

\
• 自助项目
– 项目名称(pub-username)
– 登陆方式(LDAP用户和密码)
– 申请方式(无需提交申请)
– 开放范围(所有用户)
– 资源配额(默认配额,可申请扩容)

• 开发项目
– 开发团队专属项目
– 登陆方式(不提供用户登陆平台)
– 申请方式(需开发团队申请)
– 开放范围(开发团队)
– 资源配额(按需申请,且审核通过)

• 测试项目
– 测试团队专属项目
– 登陆方式(不提供用户登陆平台)
– 申请方式(需测试团队申请)
– 开放范围(测试团队)
– 资源配额(按需申请,且审核通过)

支撑研发流程

中国人民银行征信中心研发测试云通过CI系统自身调用OpenStack API来完成开发、测试过程中的资源的申请和回收,从而可以大大提高整个研发效率。也通过虚拟化的能力改善研发流程、支撑产品交付。而OpenStack又提供相对开发的接口为上层的研发测试流程打通做了很好的准备。

\


通过开源技术构建研发测试环境,支撑研发测试流程,目前采用的软件如下:
• OpenStack
• KVM/Docker
• Gluster/Ceph
• OVS
• Jenkins/Puppet/TestLink/Atrifactory

通过OpenStack的开放的API为上层研发测试服务快捷的提供所需的基础IaaS资源,并具备自动化获取资源的能力。目前可通过OpenStack获取如下资源:
• 开发资源
• 测试资源
• CI构建资源
• CI系统资源
• 生产资源

计算存储融合
整个研发测试云采用计算存储融合的架构进行设计,整个集群节点采用KVM虚拟化+Gluster分布式存储构成,对上提供VM的虚拟资源。

整个架构采用开放的软件架构构成,其主要的特点如下:
• 计算、存储虚拟化能力(KVM/Gluster)
• 基于OVS的虚拟网络能力

每个计算存储节点部署软件如下:
• OVS(虚拟网络组件)
• Gluster(分布式存储组件)
• KVM(虚拟化组件)
• CentOS 7.0(宿主操作系统)
• Nova-compute(OpenStack计算服务)
• Neutron-ovs-agent(网络服务)
• Celiometer-compute-agent(计量服务)

存储分级和FC集成

在存储分级方面,采用Gluster分布式存储作为计算存储融合的存储系统。同时为了满足一些业务的需求,也引入FC存储,以保证数据的可靠性。通过Cinder的多后端,来实现两种存储的统一管理,对不同类型的存储使用type类型进行标识,从而可以让上层用户很方便的操作不同类型的存储资源。

在存储分级中,计算存储融合部分采用Gluster分布式文件系统和标准的X86服务器构建。SSD硬盘全部构建一个SSD的卷, SAS硬盘构建成一个SAS的卷,考虑到镜像的容量和性能要求,单独给Glance一个Gluster卷。每个卷采用多副本的方式保证存储的可用性。

考虑到FC存储的稳定性和性能,对于Oracle等要求的应用,需要提供FC的存储。FC存储集成部分,通过Cinder的FC Driver为OpenStack提供基于FC协议的存储服务。FC存储集成过程中,FC存储和计算节点需要通过FC存储网络互联,并且在同一个Zone,对于有多路径需求的,需要在操作系统中安装对应的多路径软件,已符合高可用的需求。

VMware集成和迁移

整个研发测试云构建过程中,需要对原有的VMware的虚拟化环境做集成或者对VMware平台上的虚拟机迁移到新的OpenStack平台上。研发测试云采用OpenStack nova的vCenter的Driver集成VMware环境,集成条件如下:
• nova-network组件集成
• 网络使用flat模式
• 官方提供的vCenter的driver
• 管理网络和业务网络分离
• 需要配置VMware的vSwitch
• 不能直接管理原有的虚拟机

为了能逐步去除VMware,研发测试云平台在运维的过程中,逐步迁移VMware平台的虚拟机到OpenStack平台,通过v2v工具逐步对VMware平台的虚拟机迁移。

监控日志管理

在研发测试云监控平台方面,选择了业界主流的Zabbix来构建,并通过Grafana作为前端展现,更友好的为运维人员提供监控服务。

为了能支持运维过程中的日志管理,采用开源的ELK架构对现有的OpenStack日志进行收集和分析。ELK包含如下组件:
• ElasticSearch
• Logstash
• Kibana
• Redis

整个ELK平台实时的收集OpenStack相关服务的日志,并通过Kibana平台统一对日志进行展现。后端采用ElasticSearch对日志进行索引,为运维人员提供快速的图形化检索能力,从而能更快速和精确的定位问题。

项目成果


在项目实施过程中,九州云基于OpenStack,通过一系列的定制化开发,逐步为客户建设一个运维人员可以支持的IaaS服务,一个面向开发测试人员的PaaS服务和一个面向最终用户的SaaS应用商店,可以支持符合互联网特色的金融云。

中国人民银行征信中心研发测试云在OpenStack架构的基础上,整合了九州云的技术实力,结合实际的业务需求,从而打造了一个开放的研发测试云。整个研发测试云具有自主可控,具有行业特色,满足业务需求的特点,并能为整个人民银行征信中心研发测试提供可靠服务。

• 成本降低
o 提高资源使用率,降低单位资源使用成本
o 降低资源池更新建设成本
o 降低运维成本
• 服务质量提高
o 高可用的基础架构层
o 更可靠的容灾体系
• 效率提升
o 更加高效的运维体系
o 更加快速的资源获取能力
o 更快速的业务响应能力
o 更快的系统恢复能力

© 2012-2017 九州云信息科技有限公司 99Cloud 版权所有 咨询热线:400 006 0472 售后服务热线:400 670 7810 培训咨询热线:400 826 0070   ICP证:浙ICP备12032350号-1

网站建设:信达互联

北京网站建设公司