无锡大数据中心
来源:中国电子政务网 更新时间:2017-08-04


[导读]到2020年,建成一批特色鲜明的智慧城市,聚集和辐射带动作用大幅增强,综合竞争优势明显提高,在保障和改善民生服务、创新社会管理、维护网络安全等方面取得显著成效。

为贯彻落实《中共中央国务院关于印发<国家新型城镇化规划(2014-2020年)>的通知》(中发[2014]4号)和《国务院关于促进信息消费扩大内需的若干意见》(国发[2013]32号)有关要求,促进智慧城市健康发展,国家发改委、工信部等8部委联合印发了《关于促进智慧城市健康发展的指导意见》,其中明确提出“到2020年,建成一批特色鲜明的智慧城市,聚集和辐射带动作用大幅增强,综合竞争优势明显提高,在保障和改善民生服务、创新社会管理、维护网络安全等方面取得显著成效。”

《智慧无锡建设三年行动纲要(2014年-2016年)》提出通过一中心、四平台和N个应用的建设,即无锡城市大数据中心、电子政务综合信息服务平台、城市管理综合信息服务平台、经济运行综合信息服务平台、民生服务综合信息服务平台和各行各业各领域的智慧应用建设,努力把无锡打造成为具有国际影响力的智慧城市建设先行示范区、具有一流竞争力的智慧经济发展产业集聚区、具有较强辐射力的智慧民生服务创新先导区。

 智慧无锡“一中心四平台”总体架构如图所示

智慧无锡“一中心四平台”总体架构如图所示

在基础IaaS层,该层将基础硬件资源进行整合,利用无锡城市云的基础设施,兼容云计算的虚拟化技术、云存储和云计算能力、云安全保障体系,集成无锡市物联网、视频资源、手机终端等输入端,通过虚拟化技术将硬件虚拟化、网络虚拟化、存储虚拟化,将整合后的虚拟化资源为政府、企业和个人提供计算能力、存储能力、安全保障等。

在管理DaaS层,即大数据层,该层利用大数据管理工具将大数据资源进行整合,组成无锡市大数据中心。无锡大数据中心存储的数据包括:人口库、法人库、空间地理库、宏观经济库、物联网数据库等基础数据库,还包括利用已有的大数据中心应用系统或者互联网数据采集手段,将特定数据进行采集和入库的互联网数据库。将各项数据进行时间序列的匹配和空间信息的定位,可以实现基础数据的可视化展示,查询统计,专题图管理等基础功能。例如可以对人口数据实现全生命周期的管理和展示。基础数据库和扩展数据的融合初步组成无锡大数据中心,大数据中心面向公众、企业、政府提供全方位的信息服务,大家共建共享,从而缩小市民间的数字鸿沟,降低企业的信息化采集成本,增强政府的社会管理和服务能力。

在分析PaaS层,即应用支撑层,该层提供针对“一中心四平台”的各类智能支撑工具,将基础数据进行优化和提升。各种基础数据实现专业能力的提升,利用大数据基础平台体系和大数据挖掘支撑体系实现“四平台”的基础支撑。利用DAAS层提供的基础数据和数据仓库数据,结合SOA服务框架,为电子政务综合信息服务平台、城市管理综合信息服务平台、经济运行综合信息服务平台、为民服务综合信息服务平台提供支撑工具集、分析工具集、开发测试工具集等二次开发接口。

在SaaS层,即应用层,该层将优化的数据进行共享包装。利用应用支撑层提供的数据和功能接口,加上各行业的专业模型等知识能力,能够实现“一中心四平台”各种智慧化的应用,服务于政府、企业和公众。

为了支撑大数据中心的未来运营,在大数据中心将提供运营管理支撑平台。包括运营、计费、监控等一系列功能。

为了保障城市大数据中心的有效、安全运行,以“一中心四平台”的管理和应用为出发点,制定全市运行和标准规范体系,大数据管理评价体系,安全保障体系,出台信息资源更新、交换、共享和开放的政策和措施,完善信息化应用的管理制度。

(一)建设内容

无锡市城市大数据中心(一期)建设项目是软件、数据、专业知识和平台服务的组合,依据智慧无锡“一中心四平台”总体架构,以政务外网为主,政务内网为辅,通过信息资源梳理、信息资源标准和管理规范制定、基础信息资源库建库、大数据平台搭建、基础支撑平台建设、安全体系建设等多方面的内容,基本建成城市大数据中心。

城市大数据中心建设需满足以下要求:

1、投标方提供的城市大数据中心技术架构能支持存储结构化数据的传统数据库和存储非结构化、半结构化的分布式数据库。

2、大数据中心支持PB级以上数据海量存储,包含结构化、非结构化、半结构化等数据类型。

3、大数据中心能够快速处理和分析海量数据。

4、支持采用分布式集群技术提供高度横向扩展能力。

1、基础信息资源梳理服务

包括信息需求的获取、现状信息环境调研、信息需求分析、数据建模设计等内容。需要充分对无锡市政府各委办局信息数据资源情况进行调研分析,以确定人口、法人、自然资源与空间地理基础信息库的来源与需求。

2、信息资源标准和管理规范制定

标准规范体系是无锡市城市大数据中心标准化工作的核心,也是无锡市城市大数据中心总体设计的重要内容。无锡市城市大数据中心标准规范体系要求按标准规范办事,使工程建设效果符合最新的行业技术质量标准规范,保证工程的先进性和可靠性,符合国家、省、市电子政务项目建设规范的要求。

投标人应阐述标准规范体系建设的总体思路和实施方案,协助采购人进行标准规范体系的建设。

3、基础信息资源库建设

基础信息资源库建设包括:综合采集、梳理、交换、整合、建立人口基础信息库和法人基础信息库,以及自然资源与空间地理基础信息库的整合重构方案设计;建设流动人口社会化服务管理系统。

4、大数据平台建设

大数据平台建设包括:大数据生产平台和大数据应用平台。大数据生产平台包括城市级数据共享交换平台、数据管理平台和舆情服务平台,大数据应用平台包括政务数据开放平台和信息资产管理和服务平台,并基于GIS平台对人口和法人基础信息库进行数据展示。

5、基础支撑平台建设

基础支撑平台主要为一中心四平台的运行提供基础支撑服务,基础支撑平台实现的服务包括:流程服务、消息服务、检索服务、报表服务、大数据分析组件服务、统一身份认证等。

6、安全体系建设

针对城市大数据中心,按照国家等级保护相关规定要求,进行安全体系设计,制定安全策略。

(二)技术要求

1、基础信息资源梳理需求

基础信息资源的梳理,是对政府部门的基础信息在采集、处理、传输、利用的全面梳理,并做出前瞻规划和初步的规范设计。基础信息资源梳理工作要求实现对政府所有组成部门的全部门、全业务、全覆盖梳理,统一标准,明确跨部门数据需求与交互关系,逐步建立跨部门基础信息交换平台,实现基础信息资源共享。由于梳理工作涉及部门多、人员广、业务深,基础信息资源应使用科学的方法与工具,保障信息资源梳理工作的顺畅推行。

要求采用标准化工具完成基础信息资源的梳理,资源梳理工具的管理内容包括系统目标、组织结构、业务角色、用户视图等;能够对业务流程图和数据流程图进行管理,能够识别协同关系和信息共享需求,能够明确职责、整理和挖掘数据资源、规范数据表示;能够对数据库的主题库、逻辑实体、实体关系图、数据映射图、数据元标准、信息分类编码进行管理;通过梳理明确信息资源的出口、入口、数据间关系;通过平台可以摸清业务需求、数据需求和集成需求;并能够支持信息资源的文档的自动化生成(数据库设计文档、信息资源目录、实体关系图等);能够支持思维导图等方式的可视化展示。信息资源梳理的成果要为数据交换提供数据来源、业务流程、资源目录、标准规范等服务支撑。

资源梳理工具的功能需包括高阶导图、思维导图、业务架构、数据架构、应用架构、需求管理、文档附件、系统编码、权限管理、项目管理、系统设置等。

政务信息资源梳理平台通过两类视角进行说明:管理视角、维护视角。

在管理视角下可以进行系统编码字典、用户及权限管理、项目模块管理、系统设置等系统管理级别操作。

在维护视角下可以对高阶导图、业务架构、数据架构、应用架构、需求管理等功能模块内容进行编辑和查询操作。

2、信息资源标准和管理规范需求

信息资源标准和管理规范包括:数据标准规范、技术标准规范、管理标准、质量保障体系、管理制度。

(1)数据标准规范

数据标准遵循《国家电子政务总体框架》中的约定,针对各部门的业务特点制定出无锡市基础数据标准规范。主要包括:

《无锡市基础信息库名词术语》

《无锡市基础信息库实体元数据信息标准》

《无锡市基础信息库关系元数据信息标准》

《无锡市基础地理信息元数据标准》

《无锡市基础信息库活动元数据信息标准》

《无锡市基础信息库数据代码规范目录》

《无锡市基础信息库部门数据标准》

《无锡市础信息库数据质量规范》

(2)技术标准规范

技术标准规范了基础数据采集过程、交换方式、数据处理等相关规范。主要包括:

《无锡市基础信息库数据交换方式》

《无锡市基础信息库数据交换内容标准》

《无锡市基础信息库数据接口标准》

《无锡市基础信息库数据采集规范》

《无锡市基础信息库数据处理规范》

(3)管理标准

管理标准明确了项目建设与运维过程中,需遵循的各类标准,具体包括:

《无锡市基础信息库运维管理标准》

《无锡市基础信息库项目管理标准》

《无锡市基础信息库文档管理标准》

(4)质量保障体系

为保障基础信息库存储信息的质量,需建立相应的质量保障体系,并明确相应的标准体系进行规范,质量保障体系标准与规范具体包括:

《无锡市基础信息库需求变更流程》

《无锡市基础信息库测试流程规范》

《无锡市基础信息库项目控制规范》

《无锡市基础信息库项目测试规范》

《无锡市基础信息库项目验收测试标准》

(5)管理制度

为保证基础信息库的完整性和及时性,需明确数据采集、管理、使用、运维等相关规范,在制度上规范操作行为。具体制度包括:

《无锡市基础信息库数据采集制度》

《无锡市基础信息库数据管理制度》

《无锡市基础信息库平台使用管理制度》

《无锡市基础信息库运维管理制度》

3、基础信息资源库建设需求

投标方需采购能满足50个用户使用的大型数据库软件(如Oracle11g),用于各类基础信息资源库的建设。

(1)人口基础信息库建设

人口基础信息库的建设可按照基本信息、扩充信息和共享应用信息三类,支持个人证照信息,并且根据需要可以及时追加基础信息。数据采集、交换、共享部门数不少于40个。

支持人口库的统计和查询功能,包括数据的采集、交换、使用等情况的统计和查询。

满足为政务数据开放平台提供人口库的基础信息查询数据要求。

支持按区域、按规则、按部门对人口基础信息的交换、共享和数据发布,依据数据时效性要求实现数据的双向同步。

人口基础信息采集后应满足数据质量要求,实现自动完成数据的清洗、自动比对校验、入库。支持数据处理的自动调度、自动处理、异常数据预警。

流动人口数据是人口基础信息库的重要组成部分,为实现对流动人口的管理,建设流动人口社会化服务管理系统,实现对流动人口信息的申报、比对、审核和房屋二维码管理等功能,具体包括:

n信息登记功能:为流动人口、单位等提供个人信息申报登记服务,包括信息登记、信息变更、信息注销、办证预约等功能;为房屋提供房屋二维码地址申报功能。

n审核比对功能:对登记的信息,实现民警审核和自动审核,实现扫码查询、信息审核缉控库比对、历史比对、任务下达等功能。

n信息交换共享:实现与城市大数据中心、缉控数据库、居住证办理系统、出租房屋管理系统的信息交换与共享。

n后台管理系统:实现对房屋二维码地址管理、信息管理和系统管理。

n门户系统:流动人口社会化服务管理系统需通过PC端和手机端对用户进行服务,故需提供门户、APP等服务方式。

n建设二维码地址信息库,与大数据中心进行数据交换与共享,建成后服务于无锡市的二维码地址库。

投标人需详细描述人口基础数据库建设的实施方案。

(2)法人单位基础信息库建设

法人基础信息数据库的建设可按照核心基础信息、法人扩展信息和法人共享信息三类划分,并且根据需要可以及时追加基础信息。数据采集、交换、共享部门数不少于40个。

支持法人库的统计和查询功能,包括数据的采集、交换、使用等情况的统计和查询。

满足为政务数据开放平台提供法人库的基础信息查询数据要求。

支持按区域、按规则、按部门对法人基础信息的交换、共享和数据发布,依据数据时效性要求实现数据的双向同步。

法人基础信息采集后应满足数据质量要求,实现自动完成数据的清洗、自动比对校验、入库。

支持数据处理的自动调度、自动处理、异常数据预警。

投标人需详细描述法人单位基础信息库建设的实施方案。

(3)自然资源与空间地理基础信息库整合重构方案设计

通过调研掌握无锡市空间地理信息需求现状,利用无锡市现有的空间地理建设成果,同时考虑无锡市未来空间地理信息发展需求,设计编制无锡市空间地理信息平台和空间地理库整合重构方案,为后续无锡市城市级的空间地理信息平台和空间地理库的建设提供指导和依据。

投标中需对自然资源与空间地理基础信息库的重构方案进行详细设计。

4、大数据平台建设需求

(1)数据管理平台

各部门的基础信息库数据经数据交换平台交换到中心,通过资源整合、清洗比对转换处理,在交换中心形成中心基础信息数据库,形成统一的数据标准及管理规范,实现对城市大数据中心数据库的日常管理与维护。

数据管理平台功能要求包括:监控整个系统运行情况,如:使用部门、频率、操作内容、数据流量、运行状态、非法使用等;对建立基础信息库及相关指标体系的有效管理;实现中心的用户认证、信息授权、系统管理等。投标人需对功能模块进行详细说明。

(2)城市级数据共享交换平台

城市级数据交换与共享平台负责各委办局相关业务信息资源数据的传输、交换、格式转换的工作,实现信息资源在全市范围内的交换与共享。城市级数据交换与共享平台需包含应用集成ESB中间件、应用集成ESB中间件适配器、数据集成中间件、消息中间件、通用文件传输中间件、应用中间件、数据交换管理监控系统。

(1)应用集成ESB中间件必须采用SOA架构,能够在多个异构系统(如不同的数据库、消息中间件、数据文件等)之间进行数据和应用集成,实现互连互通、数据共享交换、应用集成等功能,同时支持分布式多节点部署。

(2)应用集成ESB中间件适配器应实现应用集成,包括协议集成、数据采集、服务封装、服务集成、格式转换、数据汇集、装载入库服务。

(3)数据集成中间件应提供数据加载、加工转换、并行计算、高性能入库、清洗比对能力,提供基于转换引擎和任务引擎的应用框架。

(4)消息中间件应基于队列技术,提供可靠数据传输服务,保证大数据在网络异常、机器宕机、停电异常等情况确保数据不重、不漏、不丢。

(5)应用中间件应提供JavaEE架构支撑服务,符合GB/T26232-2010国家标准。

(6)通用文件传输中间件应提供非结构化文件交换,满足点对点、路由、业务域、单向、双向、广播的交换部署要求,提供基于交换任务、交换域的文件到文件、文件到文件夹、文件夹到文件夹的多排列式交换,支持双向同步交换。

(7)数据交换管理监控系统应提供交换中心、交换接入、中间件软件、数据交换量的统一监控,并支持用户管理、组织管理、多维数据交换量统计分析。

通过数据交换与共享平台将各个参建部门的业务信息资源数据汇总到城市大数据中心,城市级数据交换与共享平台可支撑多个交换域,从而形成无锡政务信息资源交换体系框架。利用交换平台实现异构系统的数据采集、可靠信息传输等功能。利用平台提供的适配器功能实现对数据的抽取、加载、格式转换等功能。投标人需对功能模块进行详细说明。

(3)舆情服务系统

重点针对城市管理、经济运行等方面,提供网络舆情服务,网络舆情来源于互联网数据采集(包括网页、微博等)并实现不同的专题分析,实现政府对网络舆情的监测,为政府管理服务提供数据支撑和依据。投标人需对功能模块进行详细说明。

(4)政务数据开放平台

基于GIS平台,结合人口、法人基础库,为其它部门提供高效率的在线查询服务功能。

人口基础信息服务面向政府部门和社会公众提供信息服务。

法人单位基础信息服务面向政府部门和社会公众提供信息服务。

投标人需政务数据开放服务内容进行详细说明。

(5)信息资源管理与服务平台

遵循国家政务信息资源目录体系标准,以及其他相关技术标准和管理规范的要求,基于可视化技术和大数据应用,实现对信息资产的开发与利用,实现信息资源的共享与服务,实现信息资产的登记、管理、发布等功能。投标人需对功能模块进行详细说明。

5、基础支撑平台

城市大数据中心通过基础支撑平台对“四平台”提供支撑服务。基础支撑平台实现的服务包括:流程服务、消息服务、检索服务、报表服务、大数据分析组件服务、统一身份认证等。投标人需对基础支撑平台实现的服务内容进行详细说明。

(1)流程服务

支持BPEL流程与WFMC流程两种标准,提供工作流引擎、工作流定义工具、管理控制台及工作单四部分,并提供标准的API接口。

(2)消息服务

支持邮件、短信、即时消息、传真等多种方式实现信息通知服务,并提供标准的API接口。

(3)检索服务

搜索服务提供搜索的管理能力,以及开发的API规范。提供基于数据中心开发与运行的所有平台,进行站内搜索的统一支撑平台。包括索引的建立、权限的控制以及搜索分析等。

(4)报表服务

报表服务提供高效的报表设计方案、强大的报表展现能力、灵活的部署机制,并且具备强有力的填报功能,为应用报表展现与数据分析提供高性能、高效率的报表解决方案。

报表服务涵盖自定义报表、自定义图表、OLAP分析、旋转、切片、钻取、自定义指标、自定义维度、数据过滤、多数据源连接、可视化拖拽、数据导出(Excel、pdf、xml、txt)、信息加密、自定义SQL、SSL、定时任务。

(5)大数据分析组件服务

大数据分析组件提供高效的多维数据分析模型和数据算法,为其他数据分析应用提供数据分析服务。该平台实现了分析模型语义引擎、分析模型构建、结构化和非结构化的大数据分析等组件服务功能。

(6)统一身份认证

城市大数据中心为“四平台”提供基础的帐号管理、认证管理等统一身份认证服务,“四平台”在此基础上制定各平台适用的权限管理、安全审计策略,满足不同的需求。

6、安全体系建设

按照等级保护三级要求对城市大数据中心的安全体系进行设计与建设,核心数据库(人口基础数据库、法人基础数据库)满足等级保护三级要求,其余部分不低于二级等保要求。

制定城市大数据中心信息安全规范,并据此建立符合国际标准的信息安全保障体系,从物理安全、主机及应用环境的安全、网络传输安全、区域边界安全、接入安全、CA系统和安全管理平台等多个方面进行考虑,确保网上信息传输的保密性,建立信任机制与安全的访问控制,建立监控和安全审计,建立数据资源的分级访问与管理功能,建立系统安全管理功能。

(三)非功能性要求

1、总体架构设计要求

(1)规范性

系统设计开发遵循国家标准、工信部有关软件行业的通用规范、通用的国际规范及各系统间接口标准,保障基础信息数据库及应用系统之间能够根据业需要实现有效的互连。

(2)开放性

系统设计的各种接口在遵循规范性原则的基础上,保证其可以集成不同设备厂商、系统或平台供应商、软件供应商的产品;保证系统的设备管理、系统扩容和业务维护不依赖于单一设备厂商、系统或软件供应商的产品。

(3)先进性与成熟性相结合

系统设计采用先进成熟的技术和手段,以保障系统具有高效、全面和稳定等良好品质。系统采用先进成熟的总体构架,数据采集、整合、应用服务等采用目前主流J2EE、中间件等技术。

(4)实用性

系统设计要切实保证实用性,能够解决项目的实际需求。

(5)可扩展性

系统设计应充分保证系统容量、处理能力和业务范围具有良好的扩展能力;具有适应业务变化的能力,对于系统用户数量及业务量的增长、规则或代码的变化、业务单据的变更、业务流程重组等,应保证业务变化对系统运行不造成影响。

(6)可靠性

保证系统具有较高的可靠性和完善的错误处理机制和自动失效转移,保证系统能够提供7x24小时不间断访问服务。

(7)易用性

系统设计需要保证系统软件容易使用,一方面是方便各类服务对象,另一方面是方便系统管理员和业务管理员。功能界面风格和操作流程一致,突出用户的中心地位,保证用户使用习惯。

(8)可维护性

采用面向服务的架构设计,以及结合动态流程建模,增强系统的可配置能力。

(9)可移植性

采用J2EE体系统设计,保障系统能跨不同平台进行移植。

(10)可管理性

保证系统应该具有完善的管理机制,保证所选产品应具有良好的可管理性和可维护性。

(11)安全保密性

保证系统在运营过程中管理的各种信息的安全,保证系统与其它相关系统信息交换过程的安全;保证系统应用服务的安全。对系统的操作需严格按照操作权限进行,并对每项操作留下完整的日志记录备查。

2、整体性能要求

(1)交换体系性能需求上具体要求如下:

对简单的实时交易,数据交换能在1秒内完成从接受请求到处理完成;

数据交换具有较高的稳定性,对10万次以上的连续请求处理无故障;

数据交换支持数据库、文件、服务的接入,消息队列传输,以及交换中心数据处理;

对实时或批量的数据交换业务请求给予响应,支持至少10个并发请求的响应,具备大并发量处理机制,支持实时与批量处理的均衡调度;

对大数据包的处理,记录量在10万左右,能在10分钟以内完成交易从接受请求到处理完成。

(2)法人基础信息库性能要求如下:

法人库的建设应以百万级法人单位的容量来设计,且能足将来数据扩展的要求;

吞吐量(每月数据、量高峰期每日数据量)在保证性能的前担下,系统设计能满足未来五年的高峰量;

系统不能宕机,响应时间应是即时(≤5秒)的,高峰期最大响应时间不得超过8秒;

事务处理查询时间平均不超过3秒;

普通应用查询时间平均不超过2秒;

统计分析类查询时间平均不超过4秒;

平均时间响应不超过≤5秒;

系统运行时峰值服务CPU所占比不超过60%(持续数秒为准,瞬时不算),内存所占比不超过80%(持续2秒为准,瞬时不算);

移植性要强,能够可跨平台运行,能兼容Linux、Windows等主流操作系统;

应用服务兼容性要强,能够多种应用服务中间件下部署运行;

样式和脚本要能够兼容多种不同内核浏览器进行访问;

输入输出数据整数精确至个位数,小数至少精确到至百分位,日期精确到天,时间精确到秒;

可兼容多种数据库;

法人单位基础信息数据库系统的设计必须充分满足以上性能要求,并在此基础上,结合建设过程中的实际要求做相应提升。

(3)人口基础信息数据库性能要求如下:

人口库的建设应以千万级人口单位的容量来设计,且能满足将来数据扩展的要求;

吞吐量(每月数据、量高峰期每日数据量)在保证性能的前担下,系统设计能能满足未来五年的高峰量;

系统不能宕机,响应时间应是即时(≤5秒)的,高峰期最大响应时间不得超过8秒;

事务处理查询时间平均不超过3秒;

普通应用查询时间平均不超过2秒;

统计分析类查询时间平均不超过6秒;

系统运行时峰值服务CPU所占比不超过60%,内存所占比不超过80%;

移植性强,可跨平台运行,兼容Linux、Windows等操作系统;

应用服务兼容性强,可部署在多种应用服务中间件下运行;

样式和脚本可兼容多种不同内核浏览器进行访问;

输入输出数据整数精确至个位数,小数至少精确到至百分位,日期精确到天,时间精确到秒;

可兼容多种数据库;

人口基础信息数据库系统的设计必须充分满足以上性能要求,并在此基础上,结合建设过程中的实际要求做相应提升。

(4)系统稳定性

系统有效工作时间≥99%,系统故障平均间隔时间≥90天。

(5)故障处理

系统在设计时应充分考虑稳定性及对用户误操作的容错功能,保证在正常情况下系统能保持长时间无故障运行。对于不可预见的原因导致的系统故障,提供各种故障处理恢复机制使系统在尽可能短的时间内恢复运行,保证数据的安全性和完整性。。

(6)标准规范要求

技术标准规范对项目实施起着至关重要的作用。投标方在方案中应提供如何建立无锡本地的标准规范体系,并能够给出标准清单目录。

标准规范应由一系列的规范、机制、制度组成,包含了业务数据库建设规范、信息接入规范、数据描述规范、信息服务接口规范和应用开发流程规范等部分组成。