为了缓解移动通信枢纽电力资源压力,解决硬件设备陈旧老化,满足当前业务量和数据量提取、转换和加载,通过云计算的分布式计算、虚拟化技术和ETL(Extraction Transformation-Loading) 工具等方法,对IDC(Internet Data Center)机房中BASS(Business Analysis Support System) 系统的数据集市云架构进行了改造升级。经过实际测试应用表明,改造升级的BASS 系统的数据集市在数据处理方面更加精细化;在数据量交互计算方面,更加均衡、稳定、高效;同时,降低了BASS 系统整体运营成本,提高了基础资源的效率。
互联网数据中心(IDC:Internet Data Center),是基于Internet 网络的,电信部门利用已有的互联网通信线路、带宽资源,建立标准化的电信专业级机房环境,为企业、政府提供服务器托管、租用以及相关增值等方面的全方位服务。IDC 不仅是数据存储中心,而且是数据流通中心,应用于Internet 网络中数据交换最集中的地方。它是伴随着人们对主机托管和虚拟主机服务提出了更高要求的状况而产生的,从某种意义上说,它是由ISP 的服务器托管机房演变而来的,企业将主机、平台和系统托管等服务相关的一切事物交给专门提供网络服务的IDC 去完成,而将精力集中在增强核心竞争力的实际业务中。可见,IDC 是Internet 企业分工更加细化的产物。
IDC 可提供的具体服务分为基础服务、增值服务和应用服务。基础服务是指直接提供机房空间、网络资源、供电和空调等基础资源的服务,包括机房空间出租、主机托管和虚拟主机等服务; 增值服务是指客户根据自己的需求,在IDC 的基础服务之外选购的附加服务,包括网络监控、统计分析、数据存储备份和网络安全等服务; 应用服务是指网络系统和用户信息系统的应用开发服务,其中包括企业电子邮箱服务、电子商务加速服务和专业咨询等服务。
目前建设IDC 面临的主要问题。
1) 外部环境条件。在IDC 构建以及运营过程中,机房将不断产生很多热量,做好相应的冷却恒温工作至关重要; 同时在系统运行过程中,平稳的数据流通交互不容忽视,具备稳定的电源系统同样重要。处理好上述问题,是未来建设IDC 的先决条件。
2) 服务器配置。预估IDC 每台服务器,最优可承载的业务量和数据量,合理配置服务器的中央处理器性能、内存容量和硬盘大小等因素尤为重要。这不仅有利于提高服务器的使用寿命,还可有效降低资源耗费,提高服务器的使用效率。
3) 数据中心建设的虚拟化。大数据时代虚拟化主机和中间件的能力,可满足信息化建设不断发展的要求,虚拟化技术能有效整合IT 资源,减少数据中心空间不足的问题,极大改善资源的利用率和灵活度。
目前我国移动通信业务支撑系统在扩容升级过程中面临的问题。
1) 枢纽楼基础服务设施存在瓶颈。目前,我国移动通信枢纽现有电力机房,接近满负荷,无法满足业务分析支撑系统( BASS:Business Analysis Support System)、业务运营支撑系统( BOSS:Business&Operation Support System)和客户关系管理系统(CRM:Customer Relationship Management)扩容升级。存在生产资源用电缺口。
2) 枢纽楼机房设备陈旧老化,无法满足日益增长的业务量。目前,我国移动通信生产机房服务器等设备,大部分为2004 年以前采购使用,相对于如今移动通信飞速增长的业务量和数据量,较为落后,业务支撑系统的承载能力与服务器等设备陈旧老化的矛盾日显突出,严重制约着移动通信业务发展。
1.云计算与IDC建设相结合的意义
1) 云计算与IDC 关系。云计算是IDC 的一个应用方向,云计算模式能以按需方式,通过网络,方便访问IDC 的可配置计算资源共享池(如:网络,存储,服务器和应用程序)。在运营过程中,它以合理的管理开销和最短的时间与供应商进行交互,同时迅速配置提供或释放资源。
采用云计算的IDC 网络架构建设实现云计算,必须实现以下3 种关键技术:虚拟化技术、数据存储与数据管理技术、开放式编程模型。借助以上3 种技术和其他相关的弹性计算、数据传输等技术,云计算能完成PC 和一般服务器无法完成的大批量任务,同时其实现的工作量成本低于巨型计算机。虽然,云计算目前仍然无法实现大规模紧耦合的任务处理,但对于大批量、松耦合、可分解的中型任务,云计算具有其他方式无法比拟的效能。
2) 降低投资成本,提高运营效率。云计算应用于IDC 中,可减少企业前期投资,降低投资风险,企业不必再进行硬件和操作系统软件的采购,只需根据业务需求动态调整计算的空间和存储资源,通过云计算技术,实现IDC 业务的服务多元化,可以提高服务器等硬件资源的利用率。以低成本高效率的方式,完成企业各种IT 类业务需求,并改变了传统的IT 业务的交付方式。通过 IDC 建设与云计算技术相结合,解决移动通信电力系统所遇瓶颈,进行改善转型,提高了移动通信的核心竞争力。
3) 基于IDC 的云计算应用,实现迁移BASS 系统的建设。由于目前我国移动通信枢纽电力机房接近满负荷,无法继续实现BASS 系统升级改造等建设,BASS、BOSS、CRM 等系统需要足够电源供应,枢纽电力机房服务器等设备陈旧老化,无法满足日益飞速增长的业务量和数据量。根据某市业务支撑网各系统占用基础资源情况,综合分析,枢纽机房内使用空间有限,BASS 和BOSS 系统是耗电大户,若各系统同时迁移,风险多、周期长、投资成本高,通过云计算的分布式计算和虚拟机技术,可完成数据集市云架构应用改造,建设新节能高效的BASS 系统。
2.云计算在移动通信IDC建设中应用
2.1 BASS 系统改造前数据集市架构现状
某市业务支撑网BASS 系统数据集市系统目前采用小机+存储架构,涉及2 对集群数据库,有4 个主机分区。分别承载着数据集市,同时还包含数据挖掘以及原深运平台部分应用( 前端应用已纳入VGOP(Value-add Service General Operation Platform) 系统);改造前BASS 系统数据集市主要通过数据库链接方式获取数据仓库数据源。其工作原理如图1所示。
图1 改造前BASS 系统数据集市功能架构
Fig.1 Functional structure of the data mart in BASS system before the migration
2.2 IDC 云计算系统架构中分布式与虚拟化技术
IDC 云计算系统是向用户提供各种业务的分布式计算系统,系统对用户是透明的,其过程先把整体业务数据量分布式计算,再对每个分布式计算的数据量进行虚拟化计算。服务器和存储等资源进行动态部署、动态分配,以最合理的资源开销和最短的时间进行各种业务数据交互,同时迅速配置提供或释放资源。从而向用户提供满足QoS 要求的业务服务、数据存储服务以及各种平台服务。云计算平台是运行在一个多层虚拟化协议栈上的高度抽象系统,虚拟化技术是云计算平台的核心基础技术。IDC 云平台系统架构见图2。
图2 IDC 云平台系统架构图
Fig.2 The system architecture on IDC Cloud platform
如图2 所示,IDC 云计算平台系统,在底层业务支撑网IDC 基础上,先对业务支撑系统进行分布式计算,把整体业务数据量分成若干部分业务数据量,再对每部分业务数据量进行虚拟化计算。即将虚拟化网络、虚拟化服务器、虚拟化存储等资源,通过云计算的分布式计算和虚拟化技术抽象形成的一个复合化的平台架构,使业务支撑网各系统在运营过程中,具有降低电力能源消耗,提高资源使用效率的作用。
2.3 基于IDC 与云计算相结合BASS 系统改造后数据集市架构
综合考虑改造风险、改造周期、投资成本等因素,BASS 系统迁移改造后新数据集市架构,是在底层IDC 基础上,对原数据集市系统进行分布式计算。原数据集市获取数据源采用DB-LINK方式,改造后数据集市采用ETL(Extraction -Transformation-Loading)方式获取数据仓库数据源,不同的数据源需要经过数据提取、转换和加载,到达存放的指定位置。改造数据集市的同时,也对外围的增值业务综合运营平台(VGOP:Value-added Service General Operation Platform)系统和经分Portal 系统进行了修改,使平台系统数据源交互,通过ETL 方式对不同的数据源进行处理。新数据集市系统,在生产中心底层IDC 基础上,通过云计算的分布式计算、虚拟化技术和ETL工具形成一个复合化的平台架构(见图3)。
图3 改造后BASS 系统数据集市功能架构
Fig.3 Functional structure of the data mart in BASS system after the migration
在实际系统运行中,基于IDC 云化后数据集市系统架构比原数据集市架构,在数据提取、转换和加载方面,更加精细化; 在业务数据量交互计算方面,更具有均衡性、高效性和稳定性。在IDC 基础上,通过云计算的分布式计算、虚拟化技术和ETL 工具等方法改造,解决了枢纽电力机房接近满负荷运行状态; 服务器等设备陈旧老化,满足不了日益飞速增长的业务量和数据量等问题,还减少了BASS 系统改造后运营成本,节约了电力能源,提高了基础资源利用率。
3.结语
笔者通过云计算的分布式计算、虚拟化技术和ETL 工具等方法,对BASS 系统中数据集市云架构进行升级改造,不仅缓解了移动通信枢纽电力资源紧张,设备资源陈旧老化,满足不了日益增长业务量和数据量问题,而且还通过BASS 系统数据集市云架构的改造升级,在实际数据处理方面,更加精细化;数据量交互计算方面,更加均衡、稳定、高效; 同时,也降低了BASS 系统迁移改造后整体运营成本,提高了基础资源利用率。