公司如何管理好元数据?

最近,Gartner在研究报告中明确指出“元数据管理将是未来企业信息化的核心基础设施”。的确,在大数据环境下,如果企业不通过元数据管理来管理各种复杂的信息,就很难有效利用信息。然而,很多企业逐渐发现,元数据管理直接给企业业务创新带来的价值非常有限。元数据管理的现状如何?如何充分释放元数据管理的商业价值?有哪些实践经验可以借鉴?

目录:

一、现状分析:孤独企业元数据管理

第二,解决方案:为业务释放元数据价值。

三、技术实践:普元的企业元数据管理实践。

一、现状分析:孤独企业元数据管理

元数据管理无法给业务创新带来直接价值的主要原因是目前的元数据管理过于“孤独”,主要体现在以下四个方面:

管理范围窄:目前元数据管理范围窄主要体现在两个方面:一是只管理与数据仓库相关的元数据,元数据管理没有扩展到整个企业层面;第二,即使在数据仓库领域,也只管理部分技术元数据。技术元数据的缺失导致元数据系统无法展现企业系统的真实情况,业务元数据的缺失导致一堆缺乏具体业务含义的表结构。

业务难以结合:由于缺乏与业务的融合,很多企业在完成元数据管理系统后,发现只有数据管理部门的人在用,其他部门的人根本用不上。所有的系统都要为业务服务,只有一个部门使用的系统是没有生命的。如何让各个部门的人都用上元数据管理系统,是一件非常重要的事情。

缺乏应用场景:目前元数据的应用场景大多局限于元数据系统的内部功能,如血缘分析、谱系分析、版本管理等。这些功能是企业在信息化中使用的,但实际上元数据的作用并不仅仅体现在这些有限的功能上。

技术不完善:技术不完善导致以上一系列问题。扩展性不强,导致很多元数据管理工具无法管理企业业务数据和架构;采集能力差导致人工辅助记录,人力成本高,无法建立完整的信息链路;实时性不高,导致很多企业的元数据管理还停留在T+1的阶段(甚至不是T+1),无法实时了解数据资产的状态,跟不上企业数据的增长速度。

第二,解决方案:为业务释放元数据价值。

为了摆脱以上“孤独”的现状,元数据管理可以从四个方面入手:

在技术上增强扩展性,先实现自动采集,增强扩展性。目前大多数元数据产品都符合CWM标准,只能管理与数据仓库相关的元数据,不支持业务、架构等元数据的集合。基于位于CWM底层的MOF,可以有效解决可扩展性问题。这样,普元用元数据管理新一代平台The Platform中的整个微服务架构,实现服务、数据、运维流程的统一管理。第二,提高催收能力。元数据管理需要收集各种元数据,包括脚本、存储过程、报表等。,而且还需要分析各种语法树,对系统的采集能力要求很高。普元的元数据管理平台实现了自动化提高系统的采集性能,可以采集多种元数据,采集率几乎是100%。

提升业务元数据管理能力,使其被业务用户广泛使用,充分释放元数据管理的业务价值的前提是让业务人员学会使用元数据管理系统,因此如何收集业务元数据就变得非常重要。通过Excel采集业务元数据,需要业务人员填写各种数据项。即使采集到系统中,也无法建立业务元数据和技术元数据的关联,无法体现业务数据的技术路径。为了解决上述问题,自动采集必不可少。此外,通过从文档中分析业务元数据,然后对应技术元数据,可以让更多的用户参与到元数据系统的使用中。

目前,元数据管理系统仅限于使用特定的内部功能。为了充分发挥元数据管理的价值,应该将元数据做成面向服务的系统,嵌入到企业的各种场景中,为其他系统提供能力,让其他系统更加自动化,让元数据管理成为企业非常重要的基础设施,融入到企业信息化的各个方面。

打通数据生产线,形成自助式数据供应。很多企业都遇到过这样的问题:当开发人员向数据部门索要数据时,数据部门需要逐一解释数据的含义,并将数据引导过去。解释的难度随着系统的增加而增加。元数据可以帮助企业搭建自助数据生产线,让开发者从数据平台轻松获取所需数据,让整个行业线更简单,减少数据部门的工作量,提高业务开发者的满意度。

三、技术练习:

濮院企业元数据管理实践

东航:业务数据图原来的数据图只有技术人员才能看懂,但业务人员更关心的是业务相关的事情,以及业务数据的分布。因此,普元对东航的整个模型进行了梳理,将这些数据以业务人员能够理解的方式呈现出来。通过数据资产管理平台的建设,东航实现了运营数据地图的呈现。借鉴达美航空的经验,普元在航空领域模型中分析了近2000个实体,逐一核对了1249个业务系统表数据,梳理出了包括数据主题领域、数据实体、业务系统的三层数据图谱:包括航班、票务在内的13个主题领域,并为每个主题领域提供了多达227个业务实体目录和定义,以及每个业务实体对应的数据库。

浙江电力:基于业务元数据的业务用户自助数据查询。由于业务人员的IT水平有限,无法自行设计报表或自助数据查询,因此浙江电力每天都要处理大量来自业务人员的需求。普元帮助浙江电力整理了所有的元数据,并与报告行整合。通过对应的业务元数据和技术元数据,业务人员可以查询业务数据对应的技术通道,从而自行设计报表,大大减少了数据部门的工作量;普元还帮浙江电力做了业务流程的数据图。业务人员可以直接从数据图中看到各个流程节点对应的数据。这样,业务用户可以自己找到所需的数据。

德邦物流:自动化实时数据资产采集德邦建立了比较完善的数据平台——通用元数据管理平台,已经帮助德邦管理了90多个业务系统,优化了整个现有流程,实现了各种环境(数据库、ETL、服务、报表、GP、存储过程等)的自动采集。),准确率95%-99%。经过自动采集,德邦从500多份报告中安全剔除了50份与任何系统无关的无用报告,大大降低了报告的维护成本。

对于开发中的测试部署阶段,在理想条件下,设计状态、测试状态和生产状态中的元数据是一致的。通常开发经理需要对设计状态和生产状态进行对比,根据对比结果判断系统是否可以上线。运维人员还需要在系统上线前分析对其他系统的影响。在此之前,所有这些事情都需要手动完成。项目完成后,元数据已经融入到德邦的每一个开发环节。通过元数据管理系统,可以完整的比较不同状态之间的元数据差异,并直接给出比较差异报告。开发经理和运维人员可以根据报告判断系统是否可以上线。