在企业试验部门,长期的设计、仿真、试验会产生并积累了大量试验数据。由于试验数据的专业性、海量性以及格式多样性,传统的数据管理方式很难满足人们管理试验数据的需求,企业需要建立一个平台把企业所有的试验数据和所有与试验相关的信息和业务流程进行统一管理,在这种背景下TDM系统应运而生。
一、TDM系统的产生背景
试验是产品研发、生产制造、直至维修保障过程中必不可少的重要技术手段,在优化产品的性能、寿命、质量以及成本方面都起着至关重要的作用。试验技术和试验管理水平的高低,是一个企业或科研单位核心竞争力的重要体现。
在企业试验部门,长期的设计、仿真、试验会产生并积累了大量试验数据,以往这些试验数据多以数据文件或印刷文档方式保存和管理的,对于缺乏结构化的、格式不统一的文件资料,管理人员往往难以使用,更谈不上对信息进行二次处理。同时试验工具的更新换代和试验手段的不断改进,从试验中获取的数据模式也不断发生变化,因而要求能够统一管理这些模式相异,随时间变化的数据。随着试验的不断推进和研究的进一步深入,试验人员又提出了新的要求,要能够从大量的历史试验数据中分析、挖掘出一些隐藏在数据中的规律,并利用这些信息和经验来指导进一步的产品设计和试验。
相对于商业或者其它领域的数据,试验数据有着其特别之处:
•数据信息组织分散,数据往往以数据文件、印刷文档形式保存;
•数据类型复杂,格式多样且模式变化;
•数据处理与管理紧密耦合;
•数据的专业性;
•数据的海量性。
基于这些特点,传统的数据管理方式很难满足人们管理试验数据的需求。首先是难以管理复杂的模式,模式的变化使得很难实现数据组织管理的扩充。其次是难以实现大量数据的有效管理以及数据处理与管理间的耦合导致难以提供高效的访问接口。
此外还存在一些问题,比如试验规划较为粗糙,试验流程和试验资源占用情况无法实时监控和把握,试验数据无法高效共享、利用、反馈于设计系统,更加谈不上数据挖掘。试验资源与试验数据上缺乏有效统一的管理导致容易出错、安全保密性差、数据利用率低、无法进行有效系统的数据分析及容易造成数据的丢失和浪废、信息传输和共享困难。
企业需要建立一个平台把企业所有的试验数据和所有与试验相关的信息和业务流程进行统一管理,在这种背景下TDM系统应运而生。TDM是Test Data Management的缩写,其中文含义是试验数据管理,是指物理样机验证设计的数据管理平台,它包括试验前准备、试验执行和试验结果评估三个阶段,为试验业务用户提供从业务流程、试验资源、试验数据(原始、过程、结果)、知识和标准、与其他信息系统接口集成等服务,以业务管理和数据管理为核心,通过与专业的数据处理、分析工具进行整合,实现试验业务便利,提高试验业务效率。
与LIMS(实验室信息管理系统)不同,TDM系统是企业级的平台解决方案,主要针对研发性试验应用于制造业。而LIMS则是遵循特定的标准,针对检验性实验应用于石油、环境、化学、材料、食品安全等行业。
二、推动TDM系统发展的因素
试验数据管理问题最近几年才为国内企业所注意,但发展和应用非常迅速,目前市场上已经出现了商品化的TDM系统,典型的有Hi-key TDM、Newtera TDM、神鹰TDM、TDM 3000和APP TDM等。
现阶段TDM系统的应用主要集中在航空航天、船舶、兵器等军工相关企业,由于军工行业走在科技领域前端,对研发的投入多,信息化程度高,所以TDM系统最早在这些企业得到应用。其次是高铁、汽车和重型装备等民用制造企业,这些企业逐渐开始重视研发,信息化水平也会越来越高,而且民用企业占整个制造业的市场份额较大,所以以后TDM系统更多的会在这些企业应用。
推动TDM系统发展的主要因素有以下几点:
1)随着制造业转型升级,越来越重视研发水平的提升,而设计、仿真和试验作为整个产品研发周期,试验也逐步成为企业研发部门不可或缺的一个环节。
2)企业试验密度提高,试验种类不断增多,传统的原始Excel、独立数据库或者基于PDM的简单二次开发等落后的试验数据管理方法已经不能满足要求。
3)ERP、PDM、MES等信息化系统的实施之后,试验业务信息化也必然是企业信息化深化的发展方向,而要实现试验信息化TDM系统则是必不可少的。
4)科研水平高、信息化投入大的军工企业敢于首先尝试搭建TDM系统并取得成功,为民用制造企业起到了良好的带头作用,越来越多的民用制造企业会学习经验引进TDM系统。
三、TDM系统的体系结构
TDM系统的体系结构可以分别用物理结构和逻辑结构来描述,物理结构便于了解系统在物理部署方面是如何分解的。而逻辑结构可以更好的了解系统功能模块间的依赖关系。
1 物理结构
现阶段TDM系统的物理结构普遍采用基于B/S和C/S的三层体系结构。三层结构分别为数据库层、服务器层和客户端层。这三层结构在物理上可以是隔绝的,分别运行在不同的电脑上。
TDM系统的物理结构
数据库层可以采用Oracle/SQL Server关系数据库,具有强大的数据存储和查询能力,适用于海量数据管理,并具有良好的稳定性和扩充性。
服务器层由多个模块组成,其中包括试验数据管理应用服务器,系统流程应用服务器和MicrosoftIIS服务器。另外还包含试验数据管理系统的集成接口。
客户端层提供与用户交互的可视化工具和操作界面。其中系统管理工具、流程设计工具和数据导入工具采用C/S架构的Windows客户端,数据查询编辑和后置处理界面采用B/S架构的Web客户端。之所以将系统管理工具,流程设计工具和数据导入工具设计成C/S架构是因为这些工具需要强大的功能、灵活的交互性和快速反应性。这些工具的使用频率不高,使用用户为系统管理员和少数技术人员。大多数用户所需要的功能为数据查询编辑和后置处理等。因而采用Web客户端作为多数用户访问本系统的主要窗口,可以让用户方便快捷地完成试验规划、试验配置、查询浏览试验数据、数据分析绘图和试验报告生成等工作。
2 逻辑结构
系统逻辑结构可大体分为基础平台软件和应用子系统两大部分。其中基础平台软件由成熟的商业化软件平台构成,包括Microsoft NET技术以及数据库。应用子系统数据在平台基础上进行扩展应用功能,是针对具体的软件模块,负责完成某一与试验相关的具体业务功能。
TDM系统的逻辑结构
一般TDM系统需包括项目管理、流程管理、资源管理、数据管理、分析处理、知识中心、值班管理、系统管理等功能模块。这些功能模块下又有众多的功能子模块,确保实现以试验流程为主线的试验全过程数据管理的目标。通过试验流程的流转把试验项目中涉及到的各个环节的数据衔接起来,从而实现试验流程优化和智能管理。
四、TDM系统的关键技术
1 元数据驱动的软件架构
针对试验数据的多变性和专业型,TDM在设计时是将与业务相关的元素从软件中剥离出来,用外部的元数据来描述它们。从而允许试验业务人员而不是软件技术人员,通过使用TDM提供的简单易用的图形化工具,来直观和灵活地定义符合自身需求的业务元素,比如试验数据的存储结构、分类方式、检索方式、数据导入方式等。Design Studio自动将业务元素的定义转换成可被系统识别的元数据,并传送到TDM的引擎。引擎在元数据的驱动下能自动对数据库操作,自动更改业务逻辑和自动更新用户界面等,而不需要修改软件程序。元数据就像知识,引擎就像人的大脑,大脑可以学习知识,并能根据其所学到的知识进行思维和控制其它器官的行动。元数据驱动的软件架构提供了强大的灵活性和适应性,这是试验数据管理软件不可或缺的特性。
2 面向对象的数据库模型
为了使不同试验业务人员创建的试验数据库既能满足本试验的需要,又能遵从一定的标准规范,以便更好的实现试验数据的管理、共享和使用,TDM拟采用面向对象的数据库模型技术,因为传统的关系数据库不能有效地解决好这个问题,它完全依赖于建库人员是否遵从规范来建库,这种方式既不可靠又难以操作,面向对象的建库方式能很好地解决这一问题。利用面向对象的继承关系,可以建立符合一定规范的标准数据库模板,该模板包含抽象数据类、公共属性和抽象数据类之间的关联关系等。试验业务人员可通过添加子数据类的方式在该模板上进行扩展,从而确保了各专业的数据库即具有统一性又具有特殊性。更重要的是,基于面向对象的模板建库方式能大大简化试验业务人员的建库工作,为系统提供了良好的可操作性。TDM以关系数据库为基础,支持面向对象的建库方式,能自动将面向对象的数据模型映射为关系数据库的模型。
3 虚拟数据库技术
对试验数据管理的主要目的是为了更好和更方便地使用它们,而使用试验数据中很重要的环节就是将试验数据转换成各种数据格式来满足不同后置处理的要求。目前国际上流行的做法是用XML(可拓展标记语言)作为数据的通用表达格式。其好处有很多:XML相当于国际通用货币,很容易转换成其它非标准的格式;XML从诞生到现在已经很长时间了,已广泛被大多数软件厂家所采用,大多数的软件都支持XML,也有许多现成的工具可供使用。TDM的另一个重要技术特色是通将关系数据库中的数据映射成虚拟的XML数据。也就是说,从应用的角度来看,通过TDM平台所获取的数据都是以XML格式表示,而实际的数据则是以数据记录的方式存储在关系数据库中。这样既能充分利用关系数据库的强大存储和查询功能,又极大方便了对试验数据进行后置处理所需要的格式转换。
虚拟XML数据库
六、TDM系统的发展趋势及面临挑战
1 发展趋势
从传统的试验数据管理方法到现在的TDM系统管理,企业试验数据管理经历了三个阶段,在第一阶段业务人员用独立的数据库去简单的保存试验结果数据,这样势必造成试验数据文件被孤立而不能充分利用;第二阶段开始在数据的基础上构建整个试验业务,这里面包括了所有与试验相关的信息,从试验任务到人员设备调度,再到试验数据的采集、分析处理以及评估,后来的质量体系也会被包括进来形成有机整体;第三个阶段则是在第二阶段的基础上通过人工智能如数据挖掘和设备综合测控技术,总结行业经验形成知识库,并与设计仿真结合形成研发试验数据管理的一体化平台。把试验数据整理加工成信息并最终转化成知识,进而辅助决策。试验数据管理的变革正处于第三个阶段,它的发展趋势有以下几点。
1)平台化。企业管理软件开发从早期的完全定制开发到形成标准产品并大规模应用,再到由用户需求变化引发的标准产品+二次开发模式,最终形成了今天的产品平台化的开发趋势。平台化可以使TDM系统具有极大的灵活性、良好的可扩展性,并易于业务组件升级和维护。
2)行业模板化。虽然试验数据多样多变,不同行业的专业试验差异性很大,但是在同一行业试验具有一定的相似性,软件开发公司需要总结客户案例,浓缩行业经验形成知识库模版,这样能让行业内其他用户少走弯路,避免从零开始造成经验浪费。
3)工具集成。正如PDM系统与设计软件的集成,TDM系统也需要与大型的试验设备和数据采集系统进行集成,加强试验数据在TDM系统中的高效流动,实现试验信息系统的一体化。
4)设计、仿真、试验协同。在产品研发周期中,设计、仿真和试验会产生并积累了大量数据,试验数据可以用来验证仿真指导设计,形成研发数据的闭环。所以设计、仿真、试验应该在整个研发平台之上形成协同。
2 面临挑战
TDM系统的应用带来了试验管理的变革,保障试验数据的安全,实现多部门之间的数据共享和工作协同,提高试验数据管理水平和利用效率,保存和积累经验知识,充分挖掘试验数据的价值,改进和优化产品设计,提高设计质量。
目前国际和国内的TDM市场尚处于起步阶段,部分行业的一些单位已经开始尝试建立TDM系统。经过一批军工企业的成功试用之后,TDM系统已经逐渐被其他民用行业的试验和设计单位所关注,TDM市场也已经呈现出了蓬勃的朝气。但是随着试验数据的数量激增和数据应用形式的多样化,以及TDM技术本身的特点,TDM系统的发展也会面临着挑战。
1)“平台化”与“个性化”的矛盾。虽然平台化可以使TDM系统具有极大的灵活性、良好的可扩展性,并易于业务组件升级和维护,但是企业还是希望能应用一个完全按照自己需求的而搭建的个性化TDM系统,如何在最大程度上满足企业试验部门业务要求的基础上,开发出一个灵活稳定易扩展的平台,是TDM厂商需要考虑的问题。
2)海量数据分析处理。现在制造业产品的科技含量越来越高,TDM系统将更多地应用到复杂产品的研发中,这样必然会产生海量的专业性极强的试验数据,如何利用TDM系统来统一存储各类型数据,经过处理分析从中快速获得有价值的数据进而挖掘知识也是一个难题。
3)数据的共享与安全。企业各试验业务单位的协同机制的会逐步完善,而试验部门与设计、仿真等其他部门也必将形成一体化的研发体系,试验数据的共享流通不可避免,但同时试验数据是企业经过大量投入的科研成果,它的安全性必须得要保障。如何同时保证试验数据的共享与安全性,是企业和软件供应商面临的挑战。