大型门户网站宽频娱乐应用平台建设案例
来源:支点网 更新时间:2012-04-15
 项目背景

  21cn.com是当今业界具有咨询娱乐特色的宽频门户。自1999年2月9日正式发布以来,21CN以专业、时尚、创新的形象赢得了广大互联网用户的认可。为保持良好的发展态势,不断提高网站的综合竞争力,从2003年开始,21CN实施了大规模的网站升级工程。

  整个工程的重中之重是“VOD(Video on Demand,视频点播)”、“邮件”、“短信”、“彩信”和“IVR(Interactive Voice Response,互动语音服务,用户通过拨打网站提供的电话来点播自己需要的内容)”等五大应用平台的更新与建设。

  作为一个面向全国用户、提供普遍服务的综合性门户网站,在上述五大平台的建设过程中,21CN面临着与其它众多专业网站所不同的特殊挑战。其中最突出的挑战就是:在系统布局上,它必须适应用户分布与网络基础设施的配比特征,在全国主要中心城市“多点分散布局”。这样做的目的有二,一是力争在每个点上形成对于周边地区的最佳辐射效果;二是各点之间基于网络环境形成相互支持,在某个点特别繁忙时,其它点能够对其动态补充。

  面临挑战

  系统基础设施“多点分散布局”的特征,影响着21CN对于存储格局与硬件设施的选择。

  第一、数据资产的规模与多点分布要求,对于系统格局与系统成本提出了挑战

  上述五大平台都将持续产生海量的数据资产。以VOD系统为例,21CN计划提供5个大类、近百个子类、共约3万部高清晰视频,并且视频的内容每天都会不断增加,这就要求系统必须能够提供足够多的存储介质。

  考虑到五大系统各自独立以及系统基础设施“多点分散布局”的特征,21CN无法通过建设“大一统”的数据中心来满足自身的海量存储要求,而是必须在主要中心城市建立多个数据中心点,并在各个中心点上,合理规划并配置数据资产,以便最大限度地满足全国各地广大用户的应用需求。

  存储格局确定后,TCO(系统总体拥有成本,包括采购成本、后期维护与服务成本、长期运营成本(耗电量、机房空间占用)、未来升级机会成本等)就成为21CN在设备选型中必须重点考虑的因素。21CN对于服务器与存储设施的性能、稳定性、易管理性、易部署性、特别是设备的采购成本等各个方面,都提出了严格的要求。

  第二、系统的规模与系统多点分布的格局,对于供应商的供货能力和服务能力提出了挑战

  21CN要求:由公司总部按照统一的标准、向一家供应商集中采购,由供应商按照统一的标准、统一的价格、直接对21CN各地的分支机构集中供货,并向后者提供标准化的直接服务。这就要求设备提供商必须具备“集中供应、统一服务”的能力,传统的“分区、渠道式”供应模式与“分区服务”的服务模式,显然无法满足21CN的要求。

  解决方案

  考虑到上述要求,经过对产品整体性能、价格水平、供应商整体实力、服务模式等多方面的综合考察,21CN最终决定采用戴尔服务器和存储设施,构建“VOD”、“邮件”、“短信”、“彩信”、“IVR”等五大应用服务平台,各平台的具体内容如下:

  第一、VOD平台

  主机:VOD系统的主机采用了由大批戴尔PE2850服务器所构建的多个群集,在群集内部,多台PE2850采用DNS轮巡的方式实现全局性负载均衡,共同承担着“响应用户点播,提供流媒体服务”等使命。

  存储:各类VOD节目资源,包括5大类、近百个子类的视频信息,大多数存储在PE2850外挂的数十台戴尔PV220S SCSI盘阵中;除这些常规存储措施外,21CN还对热播影片采取了强化存储方案,将它们直接存储在PE2850内置的硬盘之中,以尽可能保证系统的响应效率。

  备份:VOD系统采取了增量备份的策略,即只对每日新增的视频资源进行备份,具体的备份任务由另外一批戴尔PV220S盘阵承担。

  第二、邮件平台

  主机:邮件系统的主机采用了多个由戴尔PE6850服务器构建的群集,它们具体承担了“运营21CN邮件系统”、“管理邮件数据库”、“管理用户日志和收费数据”等各方面任务。

  存储:邮件系统的数据资产由两部分构成:一部分为用户邮箱,另一部分为用户资料和邮件服务的收费信息。前者是21CN为广大用户提供的网络存储空间,这部分的存储任务由一组其它品牌的SCSI盘阵承担;后者属于有关系统运营的核心信息,由于其敏感度与重要性都很高,21CN方面专门引进了1套DELL EMC CX300光纤盘阵来承担其存储任务。

  备份:上述数据资产的备份任务由PV220S盘阵来承担。

  第三、短信、彩信、IVR平台

  主机:短信、彩信和IVR平台的系统结构完全相同;系统的主机采用了PE1855MC和PE6850等两类服务器,这些服务器组成了多个群集,它们具体承担着“用户接入”、“日志管理”、“收费数据管理”、“内容管理”等各类应用服务和数据库管理使命。

  存储:短信、彩信和IVR等3个系统数据(包括各系统的用户信息、用户日志、内容信息、收费信息等)的后台存储由DELL EMC CX300光纤盘阵来承担。

  备份:3个系统的数据备份任务,均由戴尔PV220S承担;备份是实时进行的,具体而言,系统采取了“一式两份、主从热备”的方式,在将源数据写入CX300的同时,备份数据也即时写入了PV220S之中。

  以上为五大平台在21CN广州中心机房内的系统方案。除广州中心机房外,21CN还在北京、上海等地建设了格局相似、规模较小的分支机房。这些机房加起来,共使用了10多台戴尔PE1855MC刀片服务器,200多台戴尔PE2850服务器,50多台戴尔PE6850服务器,10套DELL EMC CX300光纤盘阵,以及20多套戴尔PV220S SCSI盘阵。

  在配置方面,PE1855MC采用了“双路2.8GHz英特尔至强处理器、2GB 内存、2块73GB SCSI硬盘”的配置方案;PE2850采用了“双路3.6GHz英特尔至强处理器、2GB内存、4块146GB SCSI硬盘”的配置方案;PE6850采用了“四路3.4GHz英特尔至强处理器、4GB内存、4块146GB SCSI硬盘”的配置方案。

  在存储设备中,DELL EMC CX300采用了“每个阵列14块146GB FC硬盘”的配置方案与“RAID5+1”的阵列设置,此举保证了重要数据的高可靠性;与之类似,PV220S也采用了“每个阵列14块146GB SCSI硬盘”的配置方案,在全部20多套PV220S之中,担任VOD存储任务的PV220S采用了RAID0方式,以提高数据读写的速度;其余承担系统备份任务的PV220S则采用了RAID5+1的方式,以提高数据的可靠性。

  实施效果

  2005年中,21CN在全国范围内完成了上述五大应用服务平台的建设。目前,五大系统的运行状况良好,并已初步显示出升级的效益和效果。以“邮箱”系统为例,升级后的21CN邮箱系统,在速度、容量等方面都有了一定的提升。特别是在内容方面,在强大硬件系统的支持下,21CN进一步推出了“商务邮”、“经济邮”、“企业邮”、“免费邮”、“彩信邮”、“网络百宝箱”等六大系列服务,此举进一步稳固了21CN在大型门户网站中“领跑邮件服务”的特殊地位。

  其它几个系统的升级效果也非常明显。在彩信方面,无论是用户规模,还是服务内容,21CN均已达到了领先全国同行的水平;在VOD方面,21CN的系统规模已经稳居全国前列,流媒体的传输质量达到了25帧/秒,平均画面质量达到了352×288的分辨率水平;在“IVR”和“短信”方面,21CN的应用规模位居全国前列、华南第一。正如21CN系统的有关负责人、世纪龙信息网络有限责任公司技术部谭蔚华先生指出的那样:此次系统升级与五大平台的建设对于21CN实施“走向应用”的转型、实现“打造华南第一娱乐门户”的目标,都起到了重要作用。

  谈及五大平台的硬件设备选型,谭先生指出:“戴尔的服务器采用了标准化的技术与经过充分认证的配置,无论是单机TPC性能、多机集群性能、还是系统兼容性能,都比较强。从我们大规模部署的实际效果来看,戴尔的服务器完全可以胜任大型门户网站的任务关键型应用需求。”“戴尔的存储产品线较长,既有读写俱佳、性能卓越的光纤盘阵,也有容量巨大、单位存储成本低廉的SCSI盘阵,它们的合理搭配,比较好地满足了我们对数据资产和系统设施进行多点布局、分类存储的要求。”

  谭先生还对戴尔的直接经营模式,特别是“集中供应、统一服务”的模式,给予了充分的肯定,他说:“戴尔作为厂家,直接与我们进行沟通,根据我们的需求设计系统配置方案并向我们的全国各分支机构统一供货,这种直接模式有效地简化了我们的采购工作,缩短了系统部署所需的周期,为我们顺利实施规模庞大的硬件升级工程提供了保障。”“戴尔设备普遍具有冗余设计、部件热插拔和免工具维护等特征;在此基础上,戴尔又为我们提供了高水平的金牌技术支持。戴尔的设备与它的服务模式相结合,有效地降低了我们系统的总体拥有成本。”“戴尔直接对我们各地分支机构提供服务的做法,进一步减轻了总部技术支持人员的工作负担,提高了我们的系统管理效率。”