山东省政务外网流量统计分析解决方案
来源:中国电子政务网 更新时间:2012-04-15
山东省电子政务外网是山东省政府信息化建设的重点项目,通过建设统一的广域网络平台,利用MPLS VPN的技术手段可以实现各个政务部门共用同一个广域网平台,节省了大量各部门单独建设广域网的重复投资。大量的政务应用在同一个网络平台上运行必然带来一个新的问题,如何实现对各种政务应用的流量监控和分析?

  目前,绝大多数广域网还没有建设一套能够满足网络及业务流量分析的系统,还只是采用一些通用型的网络链路监视软件,如MRTG,利用SNMP协议对网络的重点链路和互联点进行简单的端口级流量监视和统计;或采用在网络中部分重点POP点加装RMON探针的方式,利用RMON I/II协议对网络中部分端口进行网络流量和上层业务流量的监视和采集。上述两种被普遍采用的网络流量分析系统都有其显著的技术局限性:

  1)利用SNMP协议能够对被监视的各个网络端口进出的数据包数和字节数进行采集,但采集到的流量信息较为粗糙,不但包括网络层的业务流量信息,还包括链路层的数据帧包头,Hello数据包,出错后重新传送的数据包等流量信息。而且SNMP协议还无法区分网络层数据流量中各种不同类型业务在总流量中的分布状况,也无法对进出的流量进行流向分析。

  2)利用RMON协议对网络进行流量和流向管理可以部分弥补SNMP协议的技术局限性,如可以对业务流量进行统计,但同时也暴露出新的技术局限性。首先,由于RMON协议需要对网络上传送的每个数据帧进行采集和分析,会耗用大量的CPU资源因而不可能由网络设备本身实现,需要额外购买和安装内置式或外置式的RMON探针。市场上现有的RMON探针处理能力有限,还不能支持监控端口速率超过1Gbps的网络端口。其次,因为RMON探针为硬件设备,价格较贵,所以不可能为每台网络设备都配备。由于RMON探针,特别是内置式RMON探针接入网络后不易变更,所以必然会造成出现异常事件时无法及时对特定的网络链路进行监控。最后,由于RMON探针采集到的管理数据是由分析每个数据包后得到的,数据量非常大且分散,协议缺乏内建的数据汇总机制,而且还不包括每个数据包的BGP AS号或路由Next Hop信息,所以不易对数据进行高层次的流向分析。这些因素都会阻碍利用RMON协议对大型网络进行流量和流向分析的有效性。

  为了解决以上两种方式的问题,华为3com公司提供网络流量和流向分析解决方案NTA(Network Traffic Analysis)。NTA解决方案就好像在网络中安装了一只精确的水表,能够量化网络流量并对其流量进行详细统计分析。

  Network Traffic Analysis解决方案包括:网流采样设备NTE(NetTraffic Exporter)、网流采集设备NTC(NetTraffic Collector)、数据分析处理设备NTP(NetTraffic Processor),三个设备之间的关系如下图所示:

  
 
NTE负责流量的采集和发送,NTC设备负责收集和存储NTE发来的流量统计数据信息;NTP从数据库中获取收集到的数据,经分析加工后以直观的图表、报表等方式为网络规划、网络优化、网络监控、应用监控等提供直接的数据依据。

  1)NetTraffic Exporter

  提供对设备各个端口进出的网络报文进行流分类统计,然后打包输出。在山东省电子政务外网中通过在核心路由器部署专用的硬件板件实现。

  2)NetTraffic Collector

  NTC可以采集多个NTE设备输出的数据,对数据进行过滤和聚合,并将数据存储在数据库中供分析处理。

  3)NetTraffic Processor

  NTP是一个网络流量的分析工具,对采集来的流量数据,根据不用的应用进行详细的分析处理。使用SQL数据库为中心的分布式数据集中和分析的方法,可以获得更好的分析样本以及统计粒度。为便于网络管理人员的操作,采用基于Web的直观的、图形化的管理界面,所有数据输出都以脚本语言(XML)的形式,直接在Web页面中显示。

  网络水表到底能给用户提供哪些帮助呢?

  1) 优化网络和常规流量

  通过网络水表,可以统计网络流量总数,分析流量的分布,便于网络管理员掌握网络利用状况,尽早发现网络结构的不合理,或是网络瓶颈,优化网络结构、设计,制定网络扩容规划,以有力的数据实现以最小网络管理成本达到最佳的网络性能和服务。同时,根据较长一段时间内的这些统计数据,就可以建立网络常规流量特征模型,然后可以根据这些特征值调整网络的QoS或安全策略,使网络带宽分配最优化,网络风险降到最低。

  2)广域网流量监控和分析

  对于山东省电子政务外网来说,广域网带宽是比较有限的,如果广域网链路的流量增大,就必须投资升级广域网链路,因此有必要监控广域网流量,掌握广域网流量特征,从而制定相应的策略(比如QoS和针对源或目的IP地址作流限制),使广域网带宽得到最合理最充分的使用,避免进行不必要的升级投资。

  业务应用/服务质量监控

  通过网络水表可以获得详细的网络应用信息。例如,网络管理员可以查看Web、文件传输协议(FTP)、Telnet和其它著名的TCP/IP应用所占通信量的百分比,保证那些重要的业务数据流量优先通过。

  山东省电子政务外网通过部署NTA(网络水表)解决方案真正做到了量化网络流量,并能够实现多种精确的统计和分析,给网络的管理带来了质的飞跃。