新华社多媒体数据库系统备份案例
来源:中国计算机报 更新时间:2012-04-15

 

  1999年,为集中管理大量的多媒体数据(包括文本、图片、声音、影像等)及以往分散存储的各类历史数据,我社开始着手建设多媒体数据库及其信息系统,以方便分支机构和兄弟新闻单位实时浏览查询文字、图片、音视频新闻资料。

  作为一个能够实时为使用者提供大量信息的多媒体信息系统,我社多媒体信息数据库系统包括了大型服务器SUN E10000、Oracle数据库、EMC存储磁盘阵列、ADIC磁带库、App Servers和Web Server环境及其应用等一系列软硬件设备,系统结构相当复杂;同时本系统的数据量也非常庞大,用户访问量不断增加。如何实施安全高效的数据存储与全局管理,让用户随时都可以合理、高效、安全、可靠地利用这些数据资料,避免因突发事件导致系统不可用或数据毁坏丢失,是我们建设数据存储系统时要解决的关键问题。

  为确保这些数据的万无一失,主机扩容和备份项目组本着着眼应用需求、注重开放性及可扩展性、避免投资浪费等标准,基于不断扩展、稳步推进的实施策略,从众多厂商中选择与VERITAS公司合作,分三个阶段实施了数据保护及高可用性解决方案。

  在整个项目实施的第一阶段,我们采用了集中存放、多级存储的方式来组织管理多媒体信息数据库的数据。系统结构如图所示。

  

  从图中可以看出:SUN E10K通过主备方式划分成为2个域(Domain1与Domain2)形成集群环境,并通过2条心跳线进行探测性通讯,以保证主机系统的高可靠性;EMC Symmetrix通过光纤以冗余方式连接在E10K的2个域上,并在盘阵的内部做硬件级的RAID 1的镜象保护,提供在磁盘系统的高可靠性;ADIC磁带库的机械手和磁带机均通过SCSI Channel连接到2个分区上形成冗余连接,以提供带库硬件的故障切换基础。

  我们采用了VERITAS Cluster Server集群软件对SUN E10K的两个分区进行保护。实施效果表明:这样可以构造SUN E10K主机和EMC的Symmetrix存储子系统的高可用性系统,保证本地业务运行不间断,进而很好地达到了双机热备份的目的。

  同时,考虑到对现有及今后增加的磁盘阵列都需要进行在线管理,我们采用了VERITAS Volume Manager(卷管理器)来实现对磁盘阵列的灵活有效管理。无论是原来的SCSI模式,还是将来的SAN模式,也无论是现有的EMC单一存储系统,还是将来可能增加的多品牌存储系统,在VERITAS Volume Manager的管理之下,都可以通过统一接口实现对各种磁盘阵列的支持,并在不同的磁盘阵列之间提供Raid0,1,0+1,1+0,5等各种软件容错方案,同时支持SCSI模式到SAN模式的在线转换,转换前后也无需对应用及数据库作任何改动。

  第一阶段的项目实施完毕后,对于当时的应用而言,存储系统是一个效率好、可靠性高、可扩展的数据存储体系结构。但根据我们的估算,未来3年内盘阵上存放的数据量将达到2-3TB,而现有系统架构中的盘阵与磁带库并存、主机连接直接存储的结构都局限了整个系统的效率和资源,我们必须在下一阶段的建设中突破现有的硬件瓶颈,通过软件技术构造一个更加完善的存储系统,进一步提高系统性能和可靠性。