数据中台-资产管理、数据安全

数据资产管理数据标准管理元数据管理主数据管理数据质量管理数据安全管理数据共享管理数据生命周期管理数据服务体系建设数据中台资产运营机制如何评估数据资产运营效果如何切入数据资产运营如何做数据资产运营数据安全管理数据中台解决方案参考零售行业数据中台功能体系网易数据中台功能体系菜鸟数据中台功能体系数据中台未来发展方向1)实时数据中台2)云上数据中台3)自动化代码构建4)智能元数据管理和自动分析

数据资产管理

随着企业数据越来越大，企业意识到数据是一种无形的资产，通过对企业各业务线产生的海量数据进行合理管理和有效应用，能盘活并充分释放数据的巨大价值。如果不能对海量数据进行有效管理和应用，企业堆积如山的数据给企业带来的是高昂的成本，数据就用不起来，也用不好。

通过数据资产管理可以保证数据的全生命周期高质量的能力，还可以为各类角色用户提供数据资产的直观视图，方便用户查看和使用数据资产，构建数据资产管理的最终目的是为了提升数据价值，使数据持续赋能业务。

数据资产管理和传统的数据治理实际上区别不大，包含了所有数据治理内容，同时还有数据价值管理和数据共享管理内容，可以认为数据资产管理就是数据治理的升级版，是数据治理2.0版本。

数据资产管理的内容主要包括：数据标准管理、元数据管理、主数据管理、数据质量管理、数据安全管理、数据交换管理（数据共享管理）、数据生命周期管理七个方面。

数据标准管理

数据标准（Data Standards）是进行数据标准化的主要依据，构建一套完整的数据标准体系是开展数据标准管理工作的良好基础，有利于打通数据底层的互通性，提升数据的可用性。用通俗的话讲数据标准就是在组织内定义一套关于数据的规范，好让我们都能理解这些数据的含义。例如：对于银行系统中的客户，核心系统人员认为在银行开户存钱的人就是客户，信贷系统人员认为在银行中贷款的人就是客户，理财系统的人认为理财的人就是客户等。

以上如果没有统一标准的话，不仅增加沟通成本，而且项目实施、交付、信息共享、数据集成、协同工作往往会出现各种问题，而数据标准管理就是将这一套数据标准，通过各种管理活动，推动数据进行标准化的一个过程，是数据标准落地必不可少的过程。数据标准管理包括标准定义、标准查询、标准发布。

元数据管理

元数据（Meta-data）是描述数据的数据。例如一个文本数据的大小，位置，创建人，创建日期等，这些数据就是该文本文件的元数据。元数据又分为业务元数据、技术元数据、操作元数据、管理元数据。

业务元数据：与业务规则、流程相关的描述性数据。例如：人员信息数据中的统计时间、统计周期、统计区域范围等。

技术元数据：与存储、访问等技术底层相关描述性数据。例如：人员信息数据存储在的位置、访问的URL地址，数据存储库，对应的表名，字段有哪些等。

操作元数据：与数据操作相关的描述性数据。例如：人员信息数据上传人，上传时间，修改时间等。

管理元数据：与数据管理相关的描述性数据。例如：人员信息数据访问权限，安全等级，质量等级，过期时间等。

元数据就是为了准确的描述我们拥有的所有数据。其核心的目的是降低人与数据之间的沟通成本。描述的越准确，我们使用数据的成本就越低。元数据管理主要包括元数据采集、血缘分析、影响分析等。

主数据管理

主数据（Master Data）就是关于业务实体的数据。主数据是关键业务实体的最权威、最准确、价值最大的数据，用于建立交易闭环。例如对于银行来说，用户账号、贷款账号信息、理财产品等就是主数据；对于电商网站，用户、商品就是主数据等。

由于IT系统建设的历史局限性，主数据分布在不同的应用系统，而不同的应用系统之间主数据的定义、属性、编码存在众多不一致，极大影响了系统和数据之间的融合与集成，因此需要进行主数据管理建设，统一规范企业级主数据。

主数据管理主要是对企业经营活动中所涉及的各类主数据制定统一数据标准和规范，如数据编码标准、主数据接口标准等，方便开发人员使用，统一企业各类数据。

数据质量管理

数据质量就是确保组织拥有的数据完整且准确，只有完整、准确的数据才可以供企业分析、共享使用，随着公司数据的来源、形式越来越多，数据质量的战略价值也急剧上升。例如：检查某业务数据唯一性、完整性、数据流程转换过程一致性、数据真实性等。数据质量管理包括质量规则定义、质量检查、质量报告等。

数据安全管理

企业有些数据非常重要且敏感，这些数据大部分集中在应用系统中，例如银行系统中客户的联络信息、资产信息等，如果不慎泄露，不仅给客户带来损失，也会给银行带来不利的声誉影响，因此数据安全在数据管理和治理过程中是相当重要的。数据安全管理包括数据权限管理、数据脱敏、数据加密等。

数据共享管理

数据共享管理就是数据交换管理，企业中随着时间和业务增长建立了众多的信息系统，但是随着信息系统的增加，各自孤立工作的信息系统将会造成大量的冗余数据和业务人员的重复劳动。例如数据仓库DM层分析人员信息中缺失数据，可以通过数据交换系统反哺到业务系统中，避免重复劳动。企业急需通过建立底层数据集成平台来联系横贯整个企业的异构系统、应用、数据源等，完成在企业内部的ERP、CRM、SCM、数据库、数据仓库，以及其它重要的内部系统之间无缝的共享和交换数据，避免“数据孤岛”问题。

数据生命周期管理

任何事物都具有一定的生命周期，数据也不例外。从数据的产生、加工、使用乃至消亡都应该有一个科学的管理办法，将极少或者不再使用的数据从系统中剥离出来，并通过核实的存储设备进行保留，不仅能够提高系统的运行效率，更好的服务客户，还能大幅度减少因为数据长期保存带来的储存成本。

数据生命周期一般包含在线阶段、归档阶段（有时还会进一步划分为在线归档阶段和离线归档阶段，即离线数仓和实时数仓构建，将数据存入数仓）、销毁阶段三大阶段，数据生命周期管理内容包括建立合理的数据类别，针对不同类别的数据制定各个阶段的保留时间、存储介质、清理规则和方式、注意事项等。

数据服务体系建设

数据服务是数据中台能力的出口，是支撑数据应用的重要支撑。数据资产只要形成数据服务被企业使用，才能体现价值，传统做法是根据某个应用产品的需求，独立构建非常多的数据接口与应用产品对接，这会造成大量接口的重复建设，且修改、运维、监控的成本都很大。我们可以构建可管理、可复用、可监控的统一标准下的数据服务体系，通过数据服务体系快速对接业务系统或应用系统，提升效率。

数据服务体系可以将数据内容以标准API方式输出以服务不同业务场景，其中常见的数据服务有如下三种：查询分析服务、推荐服务、圈人服务。

查询分析服务：

查询分析服务是指输入特定的查询条件，返回该条件下的数据，以API形式供上层应用调用。这里也包含大数据分析能力分析结构的查询，帮助企业数据化运营，分析决策。

推荐服务：

推荐服务就是按照约定的格式提供历史日志行为数据和实时访问数据，根据算法计算出的推荐模型生成相应的推荐API，从而为上层应用提供推荐服务。

圈人服务：

各行各业都会设计广告营销场景，而如何找到对的人推送广告就撑了大数据场景需要解决的问题，圈人服务就是从全量用户数据中基于标签组合筛选符合指定特征条件的人群，并以API形式对接上层应用系统，帮助服务使用者实现营销广告精准触达，最终达到老客户召回、休眠用户激活等运营目的。

数据中台资产运营机制

数据中台资产运营机制

企业数据中台搭建完完成之后，如何让数据中台中的数据资产越用越多，越用越活，越用越稳定，这就需要数据中台运营机制。

如何评估数据资产运营效果

数据中台不是一个简单的产品，而是一个让数据持续用起来的机制，我们可以通过数据运营机制让企业中的数据中台持续发挥更大的价值。可以参照以下图表来评估数据中台运营效果：

通过以上图表可以看出数据运营机制的目标：

1)数据质量及安全是中台可持续运营的基础。

2)提效降本是打造中台影响力的关键。

如何切入数据资产运营

数据中台运营工作可以从以下四个层面开展开工作：统一战略、搭建组织、打造氛围、实践创新。

1)统一战略

在企业战略层级上，管理层要坚定做数据中台的决心，让员工尤其是管理层和执行层都理解做数据中台的重要性，否则中台落地遥遥无期。

2)搭建组织

在组织架构上，需要配套相应的组织以及具体的人来负责。数据运营团队组织架构如下：

数据委员会主要负责制定数据建设战略方向，授权各个部门执行落地。例如拟定构建企业级推荐服务，建议指定相关部门的总监、主管等人来担任主要职位。

虚拟架构组主要负责提出解决方案，一般由来自各业务部门数据团队核心成员、熟悉数据建模理论、具有丰富开发经验的人来担任，例如：架构师

专家评审组则由各个团队推荐人员来担任，主要进行方案评审优化工作，就是看看提出的方案能不能实现，如果能就按照对应的规范生成指标规范或者维度规范等。

执行团队主要就是一线开发人员，主要按照规范实施建设。

3)打造氛围

打造氛围就是在各个人员到位后，工作中重点突出使用数据的氛围，例如：公司内部数据大屏，看着就很厉害，可以把数据以公司全视角呈现并公开分析，这样潜移默化，各个员工心里慢慢就形成数据的重要性。

4)实践创新

当数据意识被唤醒后，就要结合业务部门，一起做数据结合业务的创新实践，也就是使中台数据能赋能业务，赋能哪些业务？我们需要探讨、创新实践出来，让各个业务部门争相使用数据，形成企业内部竞合态势。

如何做数据资产运营

数据中台运营中最重要的就是数据资产运营，数据资产运营的目的就是将数据变得可阅读、易理解、好使用、有价值，最终目标是通过有序的正向循环不断挖掘并提升数据资产的价值。

我们可以构建一个中台运营机制平台，一般企业中也叫作数据地图，构建企业数据资产目录，帮助数据开发、数据分析师、数据产品运营快速发现数据，准确理解这些数据含义，数据地图中一般包含数据字典、数据血缘、数据量指标、标签调用次数、表访问热度、表分区信息等。运营机制平台具备以下四个数据资产运营目的：

1)可阅读

数据信息不能仅仅存放在数据库中，通过数据表、数据字段等形式展现，只有具备一定数据库基础的人员才能通过读懂操作，而业务人员往往不具备这种能力，可能直接就丧失了读取数据字段的兴趣，严重制约了业务人员使用数据的兴趣，因此我们需要一个平台可以展示资产地图，业务人员可以通过直接操作界面的方式了解、获取资产信息。

2)易理解

资产信息除了可阅读，还需要容易理解。因此需要将数据资产进行标签化，标签是面相业务人员来组织的。

例如:一个“年龄”标签就应该有标签名“年龄”；标签描述“通过注册身份证信息获得的年龄信息”；标签逻辑“身份证第7~10位信息抽取出的出生年份信息，进行年龄计算”；取值类型“数据类型”；值字典“0,1,2…”等基础的元标签信息。同时也应该有标签来源表字段信息，拥有“年龄”标签的用户覆盖量，“年龄”标签的历史调用量、调用方，“年龄”标签的价值分和质量分等信息，这些用来帮助业务人员真正了解数据，更好的使用。

3)好使用

数据资产被业务方理解之后，面临如何使用这些资产问题。传统使用数据资产的方式是业务人员告诉数据开发人员需要哪些数据字段，开发人员编写数据服务接口，对接业务系统或者数据应用系统供业务人员查看、查询、使用。

那么如果有了数据资产平台后，业务人员可以直接通过了解数据资产信息，自己做到直接配置使用，解决了业务人员难以准确描述需求的问题，同时数据服务配置生成过程简单快速，大大缩短了与数据开发人员沟通的时间，同时通过数据资产平台查看对应的数据资产业务大大降低了数据使用的试错成本。

4)有价值

数据资产运营的最终目的是让数据的价值越来越大，因此数据资产运营要始终围绕数据价值开展。在数据资产使用的过程中应该记录调用信息、效果信息、反馈信息所有能反应数据价值的信息。例如：某标签的历史调用总量、平均每日调用总量、环比同比、调用业务量等来间接评估标签的重要程度。

数据安全管理

在数据中台中所说的数据安全管理，侧重于企业内部的数据安全管理，是狭义的数据安全管理，重点放在大数据平台的安全管理技术手段上。

在大数据时代，数据的整个生命周期包含：数据产生、数据存储、数据传输、数据使用、数据共享、数据销毁这些环节，每个环节基于不同类型的数据，面向不同的人员都有不同的数据安全风险。在数据中台中数据安全可以借助一些技术手段实现。

1)统一的安全认证和权限管理

在大数据中有很多安全管理技术，例如：Kerberos、Ranger、Hive、ClickHouse也都有自带的数据权限管理，在数据汇集、数据开发、数据体系中我们可以借助这些技术实现数据安全管理。

2)数据资源隔离

对于业务方数据使用，我们也可以自己实现数据授权平台决定哪些部门、哪些人有权访问敏感数据，对不同权限的数据资源进行隔离。

3)数据加密

针对数据在网络之间传输时，可以考虑数据加密，数据加密是用某种特殊的算法改变原有的信息数据使其不可读或无意义，使未授权用户获得加密后的信息，因不知解密的方法仍无法了解信息内容。

4)数据脱敏

在数据传输、共享、展示时为了防止用户隐私数据、商业机密等信息泄漏，可以对数据使用大数据主键或者自建平台对数据进行脱敏处理。

数据中台解决方案参考

各个行业的数据中台解决方案类似，只是涉及到的业务不同，建设框架类似。下面以零售行业构建数据中台和网易构建的数据中台为例，说明构建数据中台的解决方案。

零售行业数据中台功能体系

网易数据中台功能体系

菜鸟数据中台功能体系

数据中台未来发展方向

纵观IT技术的发展历程，从企业管理系统的简单数据分析到传统企业数据仓库构建报表分析、再到大数据数据仓库构建及数据分析、再到基于数据湖的大数据数仓分析、再到现在的数据中台，针对企业数据价值提取，企业使用技术层出不穷，那么数据中台未来发展方向是什么样的呢?

由各个互联网企业使用数据中台的方式来看，未来数据中台发展会朝着以下几个方向发展。

1)实时数据中台

目前构架的数据中台大多数偏离线，虽然我们有一些实时任务，但是实时的任务比例还是比较低，实时任务在数据复用、公共计算逻辑方面做的还不够好。未来数据中台的构建可以将离线构建数据中台的这套方法论应用到实时链路中，构建实时数据中台，这是未来数据中台的发展的一个重要方向。

2)云上数据中台

数据中台未来发展的另一个重要方向就是基于云平台的数据中台，数据中台会拥抱k8s,实现弹性的资源调度，针对离线和在线的任务进行弹性调度，提升资源利用率，压缩成本。

3)自动化代码构建

现在我们构建的数据中台数据开发人员有很大的时间花费在ETL SQL编码、ETL代码构建上面，未来数据中台的实现可以朝着自动化代码构建和生成方向发展，也可以让非技术人员通过一些可视化操作完成自动任务的加工，临时表的加工，这个对于开发人员数据开发提升效率有很大帮助。

4)智能元数据管理和自动分析

从数据分析的角度来看，企业中的数据分析一般由数据分析师来决定分析的维度，他们决定这些分析维度也是根据经验，也就是说数据分析是有一定的门槛的。例如：这个月商品销量上升跟哪些指标有关?跟广告投入有关？还是跟用户分布有关?新用户贡献多？还是回购用户多？我们数据分析师根据经验知道分析哪些指标。

数据中台未来可以进行智能化的数据管理，可以通过设置那些表有哪些分析指标，这些指标有哪些可分析的维度，基于数据中台构建的数据管理平台，当用户提供一个指标时，平台立刻呈现当前指标可分析的维度，甚至可以在对应维度上进行自动分析。

例如：我是一个自行车销售商，我发现本月自行车销售额变的非常高，那么为什么本月销售额边的高？这时我们就可以从数据中台调出销售额可分析的维度，比如：地理、时间、品牌、天气、渠道、价格等，并且可以结合这些维度进行销售额分析。分析结果我们发现本月天气晴天多了，自行车出行多，导致销售额增加。这样就不需要我们根据经验判断销售额到底和哪些维度有关。