上证所信息化战略提升之路:交易所的生命力
来源:当代金融家 更新时间:2012-04-15

 
  证券交易所的全部家当就是一套电子化交易系统,上面层层叠叠爬满了以散户为主的证券投资人——这就是中国证券市场头一个10年的缩影。

  与海外证券市场上投资者和产品都以棋盘化进行规则布局相比,中国证券市场虽然在全球最早实现无纸化,傲人地在上个世纪90年代就占有电子交易先机,但囿于产品和服务结构太单一,交易所先进的交易系统就好象一棵被群蚁包围并疯狂啃噬的孤树。“蚂蚁”和“树”的命运,当时都让人汗颜。

 
 
  好在进入21世纪后,此景一去不复返。上海证券交易所的故事告诉人们,中国的交易所正从一条腿的电子化战略转型为一盘棋的信息化战略。曾经被业界讥为“躺着数钱”的交易所“大少”,面对正在海外潮起的交易所并购,这回真的换了个活法。

  被逼转型

  上海证券交易所的全部数据家当到底有多少?

  据上证所透露,目前上证所数据仓库共配备了16个NCR Teradata节点、20TB的裸盘。整个数据仓库的数据涵盖了1990年上证所建所以来的全部历史数据及最新增量数据,范围包括交易核心数据和交易相关数据,数据类型则包含结构化数据和非结构化数据。这相当于把上证所建所16年来的全部数据存满大约360台普通40G硬盘的电脑。其中,仅非结构化以Word文档保存的上市公司年报、季报和各类临时公告,如果打印出来,就有300万页以上。

  “上证所的数据仓库在整个亚太区(含日本)证券业中最大,大中华区(陆港台)金融业节点数第一,盘量第三。”上证所信息网络公司董事长赵小平说,“去年在美国,对全球各行业的数据仓库做过一次排名,上证所排第九。那是一次对数据仓库的整体评判,包括能量、功能、存储量、智能化等等一系列的考察,前三甲被零售业和电信业占据了。”

  实际上,早在建设数据仓库之前,上证所就清楚自己到底有多少数据家当。但是,那些数据全部被随意堆放在一起,未能合理分类。然而,堆得越多就越接近信息垃圾,因为实在难以查询。“就连中国证监会在审理案件过程中要求调阅数据,如查看过去某只股票在某个时点的交易情况,我们也得花上将近一周时间且昼夜不停地干。先把全场在那个时点前后10多个小时的若干盘磁带全部找出来,再一盘一盘、一分一秒地由近期向远期倒带,24小时不能间断。”上证所有关人士对那种夜不能寐的日子记忆犹新。而这种行情信息,还是相对好查询的结构化数据。如果想查询那些以Word文档保存的年报、季报和临时公告,那就真成了大海捞针。不仅因为这类信息在交易所保存了几百万页,而且当时还没有任何工具可以从非结构化的Word文档中迅速提取相关信息。

  这种混乱局面源于交易所最初推行的是电子化战略,而非信息化战略。虽然中国证券市场素来以电子化的高起点著称于世,但是一直以来重交易,轻信息。自上证所成立之初到1997年,为满足初期市场爆发性发展的需要,上证所交易系统从最初每秒仅3笔的运行速度,在短短几年内就几何级地提高到每秒几百笔、一两千笔,再达五六千笔,直至上万笔。

  虽然在上证所发展的头一个10年中,交易系统历经6次间隔时间很短的大规模升级,以该系统的成交效率论,在全球交易所都堪称“宝马”,但由于中国证券市场整个业务体系发展严重滞后,再加上交易所和券商在发展初期都被置于政府垄断的襁褓中,上证所也未能跨越当时的历史局限,没有先知先觉地同步建设信息系统。

  据业内资深人士介绍,在2001年上证所启动信息化战略之前,同国内所有交易所一样,在上证所称得上信息服务的,仅限于交易行情发布,而且只是卖卖每天现成的交易行情。至于行情软件的开发、升级,其功能及设计界面是否能给投资者提供最优服务,是否有助于交易所的信息披露和不断加强对交易过程的实时监控,交易所并不操心。他们甚至认为,信息服务基本是行情厂商和证券咨询公司的商业利益所在,自己不便过多参与。

  由于交易所信息服务的滞后,1990年代末网上证券初起,当交易所的行情开始热卖给证券圈外的电信和IT背景的证券网站时,曾围绕交易所收行情费问题掀起过一轮攻击波。当时市场最尖锐的批评是:如果没有在裸行情上的增值服务,交易所应免费提供裸行情,全球交易所都是如此,因为投资者交手续费了。

  然而,就在事态的发展眼看要扩大时,却在2000年前后突然平静下来。那次险情发生之后,上证所一些有识之士并未额首相庆,而是陷入了深刻反思。记者在2000年曾采访过上证所的有关人员,当时未公开报道,至今对那位交易所人发自内心的一段肺腑之言记忆犹新:“我们现在已经感到危机了。这次行情收费事件只是个导火索,而且这是整个中国证券市场的体制问题。但是互联网的出现,的确让我们感到震惊。我们了解到,国外交易所正在互联网上提供很有价值也很有前景的服务。我们在想自己该怎么办?”而就在不久前,赵小平几乎是用同样的话来回忆6年前交易所管理层的苦恼。

  虽然全球顶级交易所之间的购并还要滞后几年,但是对技术具有一流敏感的上证所已经清晰地意识到,互联网将会改变交易所。“当时我们就朦胧感到,互联网不仅在推动交易所的业务出现革命,在技术上已经有可能打破交易所之间的国土疆界。我们甚至担心过,会不会发展到连交易所都不存在了。”赵小平回忆说。

  当时有种种迹象表明,像路透这样的财经信息服务“大象”,似乎很有可能同时提供证券交易通道,成为集信息服务和通道服务为一身的新型交易所。连那些带着强大信息服务功能的全球门户网站在内,当时都开始在证券交易领域大举圈地。一时间,信息服务软肋对只有交易系统一条腿的中国证券期货交易所构成极大威胁。

  尽管后来的发展证明,由于证券产品和证券交易过程都具有全数字化特征,因此在互联网时代,交易所具有更顽强的生命力而不会轻易被取代,但在促进上证所于2000年前后开始酝酿转型上,那次心惊肉跳的反思起到了决定性作用。

  抢滩互联网

  2001年,上海证券交易所进入第二个10年,逐渐把自己的发展方向定为创办“国际一流交易所”。其标志是拉开了信息化战略大幕。

  2006年11月,上海证券交易所总经理朱从玖在接受记者采访时,完整阐述了证券交易所的4项主要职责:①提供丰富的产品并组织场内交易;②保证市场具有高效的流动性;③做好上市公司和股票价格的信息披露;④监控上市公司公开披露的信息都是真实且公平的。

  “交易所的核心是什么?其实就是两个,一是交易系统,一是数据。交易系统要更新、升级,机器设备会折旧,只有数据信息是时间越久越值钱。”赵小平在加盟上证所多年后,才对交易所的本质有了刻骨铭心的认识。

  虽然上证所的章程上写明其为会员制,即非盈利性机构,但在推出信息化战略之初,上证所就明确了一个目标,即信息服务要给交易所带来收入。 “早在2002财年(截止到2002年6月),全球主要交易所中,信息服务收入比例高者可占总收入的44%,平均也接近20%。而我们现在还非常之少,与上证所的实力和地位极不匹配。”上证所信息中心主任蒋建人慨叹。

  说不清从何时开始,收入已经成为交易所实力的重要体现。而信息费收入就如同银行业的中间业务,稳定可期,几乎不受行情波动的影响。为了应对接下来更激烈的竞争,过去看似天经地义的交易所会员制定位在全球正在出现变化,甚至有的交易所已经转为公司制。

  虽然信息化的战略已经确立,上证所却没有捷径可走。他们首先要做的,是从头开始全面清洗历年沉淀下来的数据。这些数据中大部分因为当时来不及收尾、归档而散乱堆放着,上证所要对其统一规格后再建立存放体系,以便今后在几秒钟之内能查到某股票在某时段、某秒的交易状况,或者是将上市公司的各类信息进行智能化检索。但直到真动手时他们才发现,简直无从下手。

  首先,格式化的行情数据还好说,那几百万页的年报等非格式化数据,除了能按年按季按月码得整整齐齐外,当时所有针对结构化文档而开发的智能化挖掘手段,在非结构化文档面前都显得“黔驴技穷”。其次,即使想尽一切办法开发出新的智能化工具,又该依照什么样的用途去建立一套既便于存放又便于调阅的数据管理体系呢?

  此时,交易所管理层立刻意识到,在建立信息数据的管理体系之前,需要先对交易所的信息化战略拿出一个可操作的实施方案。于是在2002年,上证所重金聘请全球顶级咨询公司做了一次即使今天来看都很前卫的互联网战略咨询。现在回头去看,上证所如今得以在XBRL标准制定和应用推广方面走在全球前列,并非偶然。

  当时,赵小平在上证所主持信息中心工作。就连在农村插队8年中都未曾间断文化知识“充电”的他,几十年来已习惯于关注前沿课题。因此在规划上证所的信息化战略时,他确信应该瞄准互联网的发展来做。当麦肯锡和第一波士顿(BCG)专门研究互联网发展的资深专家纷纷被请到上证所,宣讲互联网对传统证券交易所业务的冲击将在什么层面展开之后,上证所很快就得出一个全新判断,即“互联网战略就是上证所的信息化战略”。

  接下来是几家咨询公司咨询方案进入PK阶段。尽管他们都准确指出,互联网将从业务结构和组织体系上对传统交易所带来全面冲击,并都提出相应解决方案,但BCG的方案更打动上证所。BCG的方案不主张对上证所现有体制做伤筋动骨的拆卸,而是在“此前提下实施整合”。这对上证所来说更可行,因为在中国动交易所的体制,非交易所自己说了能算,惊动面太大变数也大,会贻误战机。

  BCG最重要的建议之一,就是在传统会员制的交易所之外,另成立一个公司治理结构的信息网络公司,由这个公司采用市场化的操作手段来规划并推进上证所的互联网战略,这样既可以避开沉重的体制羁绊,又可以给新战略以足够的发展空间。上海证券交易所信息网络有限公司就这样在2003年成立了,注册资金1.5亿元。

  一个信息网络公司的注册资金竟然上亿元,赵小平对此的解释是:“交易所的网站首先是信息服务平台,而且先是对交易所内部进行服务。在不远的将来,会将交易所相当多的业务转移到网上去。”让董事长赵小平感到十分惬意的是,“建这样一个全新的、国际化起点的证券交易所的网络公司,从一开张我们就非常清楚先做什么,后做什么。这就是事先做咨询的好处。”2004年,信息公司立项研发出新行情系统(Level-2),让10多年一直没变过样子的行情披露大为改观。和老行情系统(Level-1)相比,新行情中买卖委托盘由5档拓宽为10档,刷新速度快了一倍,能够提供逐笔成交明细。

  如今,上证所已经从纯粹的交易通道进入到了行情信息服务,很快更将以互联网为平台,推出基于上证所16年庞大数据库的各类信息服务。这就是上证所目标的网络时代交易所。

  尽管上证所内部对花几十万美元买咨询方案颇有争议,但在管理层来看,这钱花得值。因为后面几年的操作证明,上证所的信息化战略的确有了先手。“我们的互联网战略比东京交易所都先进,应该说在亚洲,除了韩国,我们是领先的。”赵小平说。

  站到巨人肩上

  在接受了国际水准的交易所信息化启蒙之后,上证所决定一鼓作气,再站到巨人肩上——请来金融信息业鼻祖路透集团麾下的路透咨询公司,为上证所信息化战略做整体布局。如果说BCG的咨询让上证所茅塞顿开,这回路透的咨询却让他们出了一身冷汗。

  实际上,上证所在2000年初就提出了“三新”的总体发展框架,即新一代交易系统、新信息系统和新网站。在这“三新”之间,基础是新一代交易系统,核心是新信息系统,未来国际竞争力的体现就是新网站。但不久他们就意识到,“三新”战略的核心部分有可能出现塌陷。因为在BCG为上证所做完互联网战略规划的同时,与埃森哲和德交所合作的新一代交易系统已经在紧罗密鼓的开发中,而此时,“三新”中只有最核心的新信息系统甚至还没有全面规划。而且,如何做出国际一流的交易所信息化战略,上证所当时也的确没底。

  为了不让核心战略出现塌陷,上证所没有任何迟疑,立刻请来路透咨询。这回不仅做战略规划,也包括实施规划。让曾经令上证所感到震动的路透来做老师,并不因为它是金融信息业的“大象”,也不因为上证所与路透集团10多年来交情不浅,而是因为这只大象在网络时代还能跳舞。“路透是个有百年历史的庞大跨国公司,竟然在互联网和新技术领域能迅速转型。这使我们确信,它肯定有非常宝贵的财富。”赵小平说。

  这次的咨询费近乎是上次的3倍。但在交易所内部讨论时,反倒没什么阻力。然而当路透专家的规划成果出炉时,上证所管理层在吓一跳的同时,也有些后怕,“倘若当时没有果断做这次咨询,后果恐怕不可想象”。

  摆在眼前的,是一幅全方位的交易所信息系统架构,犹如空中鸟瞰绘成的军事地图——新信息系统框架图。对比这张图上的三大系统,再扭头看看现实中的上证所信息系统阵营,那只能算是一片空地:最重要的数据仓库未建,非结构化数据管理系统缺失,就连交易所全部历史数据的灾难备份系统也没有做。当时让他们感到安慰的是,上证所率先建立了行情灾难备份中心。否则一旦遭遇“9?11”那样的不测,整个上证所就算被灭了!

  备感震动!上证所立刻忙活“补课”。首先从相对简单也刻不容缓的数据灾备着手,并到美国考察“9?11”事件发生时灾备的经验教训,回来后开始灾备地点的选址。在综合考察建设周期、成本等诸多因素后,上证所选择了千里之外的深圳,并与深交所实现数千里外互为备份。

  然而,就在路透咨询忙着给上证所做规划的前后,上证所内发生了一次对新信息系统建设来说近乎是釜底抽薪的组织架构变化——中国证券登记结算公司(以下简称中证登)从上证所独立出去,全面管理股民资产。这意味着,作为独立法人的中证登将带走上证所全部的历史数据存储系统。这次变动看似意外,但却为上证所建立一个供全所共享的数据仓库提出了必要性,也提供了可行性。

  很快,交易部作为上证所与中证登的业务接口部门,提出上证所应建设自己的历史数据存储系统。“最起码,我们要能方便地查找历史行情数据,支持业务需要。”时任上证所交易部总监的蒋建人,曾在登记公司工作过,对数据仓库的应用有深切体会。显然,交易部的这种需求也与路透咨询的数据仓库规划不谋而合。

  而且,对以服务为核心的信息化颇有心得的上证所非常清楚,数据仓库面向的,绝不仅仅是上证所交易部这一个部门,几乎所有内部的部门以及外部的监管者和海内外的市场参与者,都可以成为数据仓库的服务对象。而数据仓库的成败好坏,也将直接体现为交易所的核心价值。于是,上证所领导下决心,把数据仓库上升到上证所核心竞争力建设的高度,由信息中心统一协调各部门。

  2003年,上证所正式启动数据仓库项目,进程分为两个阶段:一期进行数据清洗,二期才是数据仓库本身的建设。由于工程量巨大,上证所首次为一个项目破格招募团队,而且是中层领导当“猎头”,亲自到北京、上海等地的各大名校招聘优秀人才,并专门设立交易所内与直属部门平级的项目组。

  “命运最终在自己手里”

  尽管上百万美元的咨询费花了,又兴师动众地拉起班子,但当时国内大型数据仓库建设的外围形势却一片萧条,项目一个接一个中途而辍。对此,上证所在上马数据仓库项目之前就看到了,但他们确信自己能成功,因为上证所可以解决其他企业未能解决的两大难题。

  首先,上证所有把握解决数据源不统一的问题。

  数据源不统一,是导致国内民航系统和银行系统大型数据仓库出问题的症结所在。而他们之所以会出现数据源不统一,以银行系统为例,主要是当时各地分行间所使用的系统版本不统一,就在银行内部为了采用什么数据作为数据源头而闹得不可开交时,花大钱从国外买回的数据仓库设备变成废铁。而在上证所不存在类似问题。尽管要将变迁6次的数据统一口径异常艰难,甚至不少存储磁盘已经坏损,但最终,上证所还是按照逻辑关系把缺失部分全部进行了修补并恢复。目前,上证所的历史数据一致率已达到100%。据了解,上证所监察部已经放弃以往每天闭市后自行清洗数据的惯例,转而全面使用上证所信息中心提供的数据。

  其次,上证所运用XBRL技术可以部分解决非结构化数据查询的“老大难”。

  上证所总经理助理、上证所总工程师白硕告诉记者:“在路透的战略规划图中,‘非结构化数据管理’与总线之间是一道粗粗的连线,意味着这部分内容的重要级别很高。而在‘9?11’事件之后,国际反恐专家2002年来上证所讲课时,一开口就指出,反恐的难点不是结构化数据,而是非结构化内容。”同样,在上证所以Word文档保存的非结构化信息超过300万页,法定须保留20年以上,它们主要是上市公司各类公告,而上市公司潜在的风险和潜在价值都埋在其中。关于这些信息的存储和快速查询,一直是上证所分管信息领导脑海中挥之不去的bug。所幸,证监会2002年意外发现,XBRL技术可以化解非结构化数据文档的难题,尤其是它具有“一次录入多次使用”的特征,可以在保证数据源头唯一性的前提下提供各类信息服务。在当前太多人连XBRL这4个字母都念不利落时,“上证所网站已经在全球率先做到了可查阅所有沪市上市公司当年季报的XBRL实例文档,将XBRL在整个沪市范围内推向实用阶段。”白硕说。

  2005年圣诞节前夕,上证所召开大规模新闻发布会,宣布数据仓库项目建成。当时的报道称,这“使得中国证券市场拥有了中国最大的民用数据仓库,也使得上证所数据仓库成为国际交易所三大数据仓库之一。”

  至此,虽然上证所的新信息化系统还在紧锣密鼓的建设中,特别是有关XBRL的应用和推广尚未充分展开,但如果再对比几年前路透画的那张新信息系统框架图,上证所阵营已不再是空的,三大系统都基本成型,并在国内开始据有战略性领先位置。

  “我们借力站到了巨人肩上,而命运最终还是要掌握在自己手里。”白硕道出了上证所人此时的心态。