应用于VOD点播系统的解决方案
来源:天极网 更新时间:2012-04-15

 
  一、 客户需求

  随着信息技术的飞速发展和互联网的迅速普及,数据的共享应用以及集中存储管理、安全等已成为很多企事业单位信息化建设的目标。同时根据不同的单位、不同安全等级的数据,对信息化系统的建设提供了更多更加严格的要求,对系统硬件平台的先进性、可靠性提出了更高的要求。

  在某军事单位的媒体资源管理系统及VOD点播系统建设中,本方案提供的主要建设目标是为这两套系统构建先进、高可用、安全、可扩展的硬件平台系统。

  二、 技术分析

  某军事单位目前大量模拟视频数据保存在传统的录像带中,在当今各种数据资料通过计算机网络进行高效访问的情况下,传统的模拟数据已无法胜任目前广泛应用的网络数据服务。传统录像带,有很多缺点,例如:资料分散、管理复杂、使用检索不方便、利用率不高等。

  依据上述情况,需要通过专业的网络存储系统将现有的模拟视频数据通过编辑设备,分期分批的转化成数字视频数据,进行数据的集中存储并实现综合有效的管理、归档存储。

  目前某军事单位现有声像资料数据约为800小时,部分视频资料经过非线编系统编辑后以45Mb/s的高码流、高清晰度的数字文件分别存放在光盘和普通硬盘中,另有未经编辑的原始数据存放在录像带中,现有数据中大部分数据为绝密资料。未来某军事单位声像资料数据将以每年500小时以上的速度递增。

  在某军事单位目前的日常工作中还需要经常调用一些视频辅助资料,因此需要在线读取允许访问的视频数据。

  某军事单位声像资料管理系统的构建已经从提供相对单一的模拟视频数据服务进入到提供丰富的声像资料综合应用服务阶段,包括实现媒体资产高效、灵活、安全的管理,并实现部分声像资料的在线点播功能等。

  应用服务的多样化和综合化是客观上网络信息化技术演进的表现与要求,它代表着多种技术成分的综合,同时也是构架在先进、成熟的基础架构上的。这样,如何实现IT信息资源的共享,如何充分利用IT环境的投资,同时保证IT信息化系统的高度可用性、先进性、高性能以及投资保护等,就成为IT信息化系统建设中需要重点考虑的因素。

  根据某军事单位声像数据容量结合网络数据存储的换算公式计算可得:

  现有视频数据:

  45Mb/秒×60(秒)×60(分)=162000Mb/小时÷8=20250MB/小时

  20250MB/小时×800小时=16200000MB≈16.2T

  未来每年递增数据:

  45Mb/秒×60(秒)×60(分)=162000Mb/小时÷8=20250MB/小时

  20250MB/小时×500小时=10125000MB≈10.1T

  带库应支持20盘位。

  因此某军事单位迫切需要能满足声像资料未来3-5年的网络存储容量,具有跨平台、高性能、高可靠、高扩展性的网络存储系统,能够为应用提供最佳的硬件平台支撑。保证满足数据集中存储管理、快速备份、数据共享、灾难恢复等需求。

  三、 解决方案

  3.1 架构描述

  使用千兆以太网交换机搭建网络环境,图中使用iSCSI HBA(Host Bus Adapter,主机总线适配卡)连接服务器和交换机,iSCSI HBA包括网卡的功能,还需要支持OSI网络协议堆栈以实现协议转换的功能。在IP SAN中还可以将基于iSCSI技术的磁带库直接连接到交换机上,通过存储管理软件实现简单、快速的数据备份。

  基于iSCSI技术,利用现有的IP网络搭建IP SAN是极其简单的,且无须对现有IT员工进行培训即可掌握存储网络的管理。

  这种简单的配置可以在保证成本的前提下,满足用户的高可用性及高性能需求。在服务器、存储端,都可以通过高可用集群的方式实现高可用性,同时可以体现出光纤通道在处理关键数据时的高性能。在数据安全性方面,可以控制对特殊LUN的target的访问,因此,可以定位target中的重要数据。如果用户对扩展性及高可用性有需要,可以通过增加网络交换机和磁盘阵列来满足用户要求。

  3.2 存储方式

  3台服务器通过安装ISCSI客户端软件,实现存储空间的本地化。iSCSI可以实现在IP网络上运行SCSI协议,使其能够在诸如高速千兆以太网上进行路由选择。iSCSI技术最重要的贡献在于其对传统技术的继承和发展上:其一,SCSI(Small Computer Systems Interface,小型计算机系统接口)技术是被磁盘、磁带等设备广泛采用的存储标准,从1986年诞生起到现在仍然保持着良好的发展势头;其二,沿用TCP/IP协议,TCP/IP在网络方面是最通用、最成熟的协议,且IP网络的基础建设非常完善。这两点为iSCSI的无限扩展提供了夯实的基础。

  通过MetaSAN软件的作用,实现存储空间的共享,三个服务器可以同时对相同的存储空间进行操作,实现数据的共享。

  网络中主机和iSCSI存储都通过千兆以太网线连接以太网交换机。主机端安装Initiaor软件将以太网卡虚拟成iSCSI卡,就可以识别到iSCSI设备及iSCSI设备上卷。此时主机会将iSCSI设备当成本地存储设备,对其具有完全的权限。具有完全的权限意味着可通过Windows操作系统的磁盘管理器对iSCSI设备上的卷进行创建分区、格式化、建立文件系统等操作。由于操作系统对所连接设备有独占性,当连接到一个卷时,就会在卷的文件系统中加入自己独有的标识。当多台主机对同一个卷具有创建分区、格式化、建立文件系统等权限时,这个卷的文件系统信息就会发生混乱,引起文件系统损坏,造成卷中所有数据丢失。为了保证文件系统的安全和稳定,就需要通过特殊的软件来协调卷的管理权限,保证管理权限的统一。

  此方案采用方式是在所有主机上安装存储共享管理软件,通过存储共享管理软件来实现存储设备在多主机之间的共享访问。只有负责控制元数据信息传输的服务器,即MDC(MataDate Controller)服务器对共享卷拥有创建分区和文件系统等管理权限,其它主机只有访问权限。这种权限的管理方式与FC-SAN网络结构完全相同。

  WINDOWS操作系统下,在一台主机上创建分区、格式化、建立文件系统,设置VOLUME,一般采用NTFS文件系统。此时,存储共享管理软件会自动将该主机设置为该卷的MDC服务器,拥有完全管理权限,客户端主机将无法再对该卷进行格式化等操作。在MDC服务器上将卷的属性设置为共享,网络上其它主机映射MDC服务器上的共享磁盘为网络驱动器,以网络驱动器的形式,在MDC服务器的统一管理和协调下访问共享卷,对共享卷进行读写操作。

  四、 硬件产品介绍

  4.1 磁盘阵列A16E-G2130

  ² ISCSI磁盘阵列 A16E-G2130

  ² 这是一款结合了EonStor优异的硬件RAID技术以及成熟的iSCSI Protocol (让Block-level data/SCSI 区块型的数据可以在Ethernet/IP的网络上传送并储存的数据传输协议并) 的磁盘阵列系统。 提供4个标准的Gigabit Ethernet 信道用来连接在网络上的主机服务器,以及支持连接 SATA-II 硬盘机,单一机座可安装16台SATA-II (300MB/sec) 硬盘机并提供最先进的NCQ (Native Command Queuing) 技术来提升整体效能;EonStor A16E完全符合IETF iSCSI 标准(RFC 3720),并且采用了CHAP Authentication网络安全认证(RFC 1994),可兼容于Microsoft Windows 2003的VDS (Virtual Disk Service)。 透过了iSCSI的技术,它可以在Ethernet/IP的网络上被当做是一台共享的SCSI储存设备(iSCSI Target),提供给具备有iSCSI驱动程序或iSCSI HBA主机适配卡的网络主机服务器(iSCSI Initiator)来做到直接的数据存取,在这种架构下具有极大的弹性扩充和方便的安装连接,对于应用在整合性的储存资源管理(Storage Consolidation)、数据的异地复制(Data Replication)、Disk to Disk Volume Distribution and Backup等的使用者而言,相较于其它复杂的网络储存架构(如Fibre Channel),它提供了较低的建置和维护成本以及合理的存取效能,此系列是一绝佳的选择。

  五、 软件产品介绍

  5.1 MetaSAN

  MetaSAN是一个SAN存储共享软件,实现数据的存储和读取。在最新推出的MetaSAN 2.1版本中,引入了“Lan Intergration”这个全新特性,完美的整合了SAN与LAN。使网络既具备了SAN的高性能、高扩展性,同时,又继承了LAN的结构简单、造价低廉的优点。是纯软非编网络系统的最佳选择。它能够为用户提供修改和支配工作流程:内容创建,分配,和输出。MetaSAN2.1改变工作流程不仅具有高扩展性,光纤通道存储和网络基础构造功能,而且还可为用户增强虚拟存储的协作能力。以前的编辑、广电人士、图像艺术家、CTP管理者、放射线学者等等,他们总是与固定内容或大量媒体应用和相连的大容量文件打交道;使用MetaSAN2.1之后,他们可以把精力集中于工作本身,而不是花时间管理数据存储和网络系统。

  5.1.1 为什么要用MetaSAN存储共享管理软件?

  在SAN网中,一个卷 ( 如卷A, 或者LUN A) 可以让所有的SAN工作站看到. 当工作站 1 看到LUN A 时, 将其格式并放上NTFS (或 HFS+) 文件系统. 但当工作站 2看到LUN A 时, 并不知道上面已经有了一个NTFS. 工作站 2可能把自己的文件系统放在LUN A, 而摧毁本来在LUN A上的所有资料. 由此可见, 没有文件系统管理软件, SAN 是不可能真正共享的。

  5.1.2 MetaSAN功能介绍

  异质性平台(Heterogeneous OS)支持,可同时提供Windows、Linux及Mac OS X三种操作平台之档案分享(File sharing)功能。

  支持实时档案分享,可允许多个使用者,透过多台服务器同时存取同一个磁盘卷册(Disk Volume)。

  可支持原有NTFS及HFS+档案系统之格式,并支持操作平台之档案权限管理(Access right management),不需另外设定档案分享之权限。

  提供磁盘卷册权限(Volume security)管理功能,管理者可依照不同的使用者账户,给予不同的存取权限,包含Read & Write、Read Only及Not available等选项,加强光纤网络之数据安全性。

  不需设置固定的主控服务器(Metadata controller),可提供主控服务器之容错能力(Failover capability),并节省使用者额外的建置费用。

  提供流量控制(Bandwidth allocation)功能,可分别限制每一台服务器在光纤储存网络(SAN)中可利用的传输频宽。

  提供集中化管理接口(Centralized management),管理者可经由单一管理平台,进行每一台服务器设定之新增及修改等动作。

  支持软件划分(Soft zoning)功能,使分享于光纤储存网络(SAN)上之储存设备,可依照所设定之权限,让经过授权之设备或应用程序存取数据,以提供控制数据存取的高安全性。

  5.1 EonPath路径管理软件

  EonPath的软件安装在服务器上,所提供的动态容错技术,能够帮助避免宕机和由于单路径配置而导致的连接错误。EonPath使得主机和存储设备能够建立多个连接,这样即使发生连接错误,主机也可立即通过其它路径访问存储设备,从而保证了数据的连续操作性和高可用性。

  EonPath多路径技术是由两个主要功能组成的,即故障接管保护和负载平衡。它改良了盘阵性能为之提供了高可用性。

  5.2.1 故障接管

  RAID功能保护已存储的数据,但是不会增加存储设备和主机间传输数据的可靠性。如果HBA卡、电缆线或者串口线损坏,主机和盘阵间就无法进行资料存取。EonPath主机和盘阵间的冗余故障接管是让主机操作系统能够经由交换数据路径发送I/Os,这样对磁盘的访问就不会由于硬件故障而中断。

  5.2.2 负载平衡

  在任何高工作量或者需要连续性服务工作的情形下,避免通信瓶颈是非常重要的。负载平衡技术通过重新分配读/写请求,使得主机和存储设备之间达到最大数据吞吐量,从而提升了I/O性能。EonPath系统有多个数据路径,它能根据可用带宽重新分配从/到存储设备数据路径,从而增加数据吞吐量,避免通信瓶颈,使得负载达到平衡。

  5.2.3 EonPath亮点

  自动故障接管/自动恢复路径冗余,保护单个服务器或者服务器集群,避免硬件和路径故障

  负载平衡功能通过多数据路径监控和动态分配I/O流,实现最佳传输速度

  目标端口组群服务技术(TPGS)最优化I/O路径使用

  能将已连接的设备和关联的数据路径(HBA端口)组合成为一个逻辑硬盘。

  5.2.4 多平台支持

  Windows 2003 Sever x86,x64平台;微软MPIO认证

  Linux Red Hat AS v.3,EL v。4,Fedora v.5

  Solaris SPARC 9/10平台