第5章 元数据管理
近年来,大数据技术已经开始驶入快速发展的轨道,国内外从事大数据技术研究和应用的企业越来越多,应用领域也越来越广,应用行业也越来越细。但是,在行业应用中,由于缺乏统一的数据描述,使得数据在识别、传输、转换、共享等过程中常常出现歧义,数据的拥有者不能及时准确地按照业务要求提供数据的情况时有发生。在大数据时代,借助于元数据了解数据的业务含义、上下文等信息的需求越来越强烈。据了解,ISO/IEC、JTC1、SC32下设的多个工作组从事不同领域的标准研制工作,其中就包括元数据。对于我国大数据时代元数据标准的制定,有国内专家指出,我国迫切需要加强元数据标准或元数据模型的研究和应用,健全与完善元数据标准规范和元数据模型,使大数据向着标准化、条理化、脉络化方向发展,实现无歧义沟通、理解和共享使用,更好地对数据进行管控,挖掘大数据,发挥数据价值。
在传统金融体系外,大数据技术及应用风生水起,而作为拥有大量客户信息及客户交易数据的银行却越发显示出在数据标准体系建设、信息共享、信息挖掘和利用等方面的短板。
挖掘银行数据价值、发挥元数据作为银行数据信息地图的重要作用,将分散在不同系统、不同工具、不同人员中的元数据信息进行统一管理,实现从业务层面到技术层面的全面贯通,对银行业务的发展具有重大意义,是银行数据规范和高效管理的重要支撑。
元数据,英文名是Metadata,意指关于数据的数据,即对数据的描述。早在20世纪末,元数据管理体系的概念和相关工具就已经广泛出现,但由于当时的数据规模还不够大,而且元数据管理本身又包含了太多的内容,以至于它一直未得到充分的重视。而在今天看来,元数据正在成为解决诸多数据问题时必须要抓住的一个“精髓”要素。
元数据描述了数据的结构、内容等多项内容,提供了对数据对象的描述、定位、管理、检索、评估、选择和交互等功能,是数据治理的重要基础。元数据是数据对象的信息地图,通过元数据管理,能够准确勾勒出银行数据资产的整体视图,支持科学地制定信息数据管理政策。通过元数据管理,也能够建立统一的数据表达形式、元数据标准,使数据可视化,方便数据的灵活交互和扩展。
当前,我国银行业在元数据管理及体系建设方面起点不一,发展程度也不一样。根据IBM公司对元数据管理6个阶段的划分,结合我国银行元数据管理发展情况来看,目前我国部分元数据管理较为成熟的银行已发展到元数据集中管理和元模型驱动阶段。