一、数据治理的驱动因素

    数据治理的驱动因素有两个大的方面：一是内部发展的需要；二是外部监管的需要。

1、内部发展因素

    随着信息化建设的不断深入，以及公司业务种类、范围等的逐渐延伸，使得IT系统产生的数据量以惊人的速度增长，面对巨大的数据规模，机构或组织如何在精准营销、风险控制、决策支持、产品定价、绩效考核等各方面得到准确、及时、完整的数据支持，是必须考虑的重要问题。

2、外部监管因素

    为了引导机构或组织加强数据治理，提高数据质量，充分发挥数据价值，提升经营管理水平，各行业监管和主管机构陆续发布了相关文件。比如银监会于2018年5月正式发布了《银行业金融机构数据治理指引》（以下简称《指引》），对于银行业金融机构的数据治理工作具有非常重要的指导意义。

    《指引》中明确提出了银行业金融机构数据治理的基本原则、组织架构、数据管理、数据质量、数据价值实现等方面的要求，并且明确提出数据治理与监管评级挂钩。

    数据治理不仅需要作为一项职能工作在公司内贯彻执行，而且应该成为一种企业文化在员工工作之间进行融合。企业文化建设必须落实到实处，应该从战略角度启动、开展和推进数据治理工作，建立一种以数据资产为导向的企业文化，将数据治理与信息科技治理、公司治理有机地结合起来。

二、数据治理体系

数据治理体系框架围绕企业数据应用的全生命周期，如图所示，从数据管理和服务的整体角度出发，描述了企业级数据活动涵盖的三个域、十五个具体事项。

    •数据治理：规划数据管理的范围与工作路线，对决策支持、风险识别等数据分析工作进行实际应用，同时加强宣传培训、评估数据工作的绩效，指导数据工作持续改进；通过数据管理和数据应用的组织模式、职责和岗位角色明确数据在各生命周期的管理和服务责任；以制度为手段，有效控制和规范数据管理活动的执行。

    •数据管理：建立企业完整的数据管控体系，提升数据管理专业能力；建立数据管理中业务和科技建设间的协作关系，实现全面的数据管理功能；构建专业化的数据管理系统与工具，以及专业化的人才梯队，提升数据管理的效率和效益。

    •数据应用：探索数据应用的服务模式，提升数据应用专业能力，有效进行统计分析和运营分析，支持高层决策的绩效评估和预测分析，为业务创新提供趋势洞察和商业模拟。

    数据治理是数据管理和数据应用的高阶规划和控制，良好的数据管理能更好地实现数据的应用，数据应用能反馈促进数据管理能力的提升。数据治理机制是数据治理工作的保障，数据的一切活动均需要在数据的指引下开展，并设立数据管理组织进行相关工作的决策、管理与执行，同时制度的制定、流程的明确是数据活动顺利开展的必要条件。

1、数据治理域

1）组织架构与职责

    在组织体系设计上要注意如下4点：

(1)数据治理是一项全公司性质的工作，因此应建立最高决策机构，负责重要事项的决策。

(2)数据治理工作是一项需要业务人员和科技人员共同参与的工作，信息管理中心作为总体协调部门，负责组织和协调工作。

(3)由于数据治理工作覆盖面广，因此拟针对各领域设计相应的组织结构，明确相应的工作职责及汇报关系。

(4)按照数据管理各领域的工作特点，定义各类角色，并通过数据认责机制逐步落实到各业务条线和综合管理部门。

    在项目中，在对每个领域的职责划分的基础上，借鉴RACI方法，把具体职责分配给相应的角色，从而帮助形成各个领域的管理流程环节。RACI是一个相对直观的模型，用以明确组织变革过程中的各个角色及其相关责任，可以确保各项职责的角色分配科学、明晰、精确。

2）管理流程与管理制度

管理流程

    因为数据管理各模块所管理的对象不同，所以不能构建统一的流程，需要根据实际情况制定各自的流程。以制定数据质量管理流程为例，需要考虑以下几个方面：

•强化日常的数据质量监控与问题评估工作。

•实现事前预防、事中监控、事后处理的全面数据质量管理。

•进行数据管理案例与经验的收集和管理。

    基于上述考虑，设计数据质量管理流程主要包括设计数据质量规则管理流程、数据质量监控及清洗流程、数据质量源头控制流程等。

管理制度

    根据数据管理的层次和授权决策次序，数据管理制度框架分为政策、制度、细则三个层次。该框架标准化地规定了数据管理的具体领域、各个数据管理领域内的目标、遵循的行动原则、需要完成的工作任务、实行的工作方式、采取的一般步骤和具体措施。

2、数据管理域

1）数据模型管理

    数据模型包括概念数据模型、逻辑数据模型和物理数据模型，是数据治理的关键和重点。理想的数据模型应该具有非冗余、稳定、一致、易用等特征。逻辑数据模型能涵盖整个组织的业务范围，以一种清晰的表达方式记录和跟踪组织的重要数据元素及其变动，并利用它们之间各种可能的限制条件和关系来表达重要的业务规则。数据模型必须在设计过程中保持统一的业务定义。

    为了满足将来不同的应用分析需要，逻辑数据模型的设计应该能够支持最小粒度的详细数据的存储，以支持各种可能的分析查询。同时，保障逻辑数据模型能够最大程度地减少冗余，并保障结构具有足够的灵活性和扩展性。

    物理数据模型是逻辑数据模型在数据库中的具体实现，是数据库系统中实际数据的定义或主机文件系统中的文件结构的定义，内容包括数据库内所有的表、视图、字段及其相关主键和外键的定义，以及系统内数据流向及系统间的数据交换关系。

2）元数据管理

    元数据是关于数据的数据，描述数据定义和属性。元数据主要包括业务元数据、技术元数据和管理元数据。元数据管理的目的是厘清元数据之间的关系与脉络，规范元数据设计、实现和运维的全生命周期过程。有效的元数据管理为技术与业务搭建了桥梁，为系统建设、运维、业务操作、管理分析和数据管控等工作的开展提供重要指导。元数据管理的内容主要包括元数据获取、元数据存储、元数据维护（变更维护、版本维护）、元数据分析（血缘分析、影响分析、实体差异分析、实体关联分析、指标一致性分析、数据地图展示）、元数据质量管理与考核等内容。

3）数据标准管理

    数据标准是组织建立的一套符合自身实际，涵盖定义、操作、应用的多层次数据的标准化体系。数据治理对标准的需求可以分为3类，即基础类数据标准、分析类数据标准和其他类数据标准。基础类数据是指组织日常业务开展过程中所产生的具有共同业务特性的基础数据。基础类数据可分为用户、资产、协议、产品、交易、渠道、财务、营销等主题。分析类数据是指为了满足组织内部管理需要及外部监管要求，在基础类数据的基础上按一定统计、分析规则加工后的可定量化的数据。其他类数据是指组织在业务经营及管理分析中所涉及的特有数据。

4）数据质量管理

数据质量的高低将影响数据应用程度。数据质量管理包含对数据的绝对质量管理、过程质量管理。绝对质量即数据的正确性、完整性、一致性等，是数据本身应具有的属性。过程质量即使用质量、存储质量和传输质量。

高质量的行业数据至少应满足以下要求：

(1)正确性。在转换、分析、存储、传输、应用流程中不存在错误。

(2)完整性。数据库应用或要求的所有记录、字段都存在。

(3)一致性。体现在整个数据库的定义和维护方面，确保数据在使用的整个过程中是一致的。

数据质量管理的规划和实施应至少包括以下内容：

(1)数据质量管控体系的建立，即建立数据质量的评估体系，定期评估数据质量状况。

(2)在各应用系统中的落实，包括每个应用系统中的数据质量检查等。

(3)在最开始建立数据质量管理系统时，借助数据治理平台，通过建立数据质量管理规则来集中建立数据质量管理系统，发现问题并持续改进。

(4)数据质量管理与业务稽核的结合，通过业务规则的稽核发现数据质量深层次的问题，将数据质量与业务一线人员结合，使业务人员对数据质量有更加清晰和明确的认识。

5）数据安全管理

由于组织的重要且敏感信息大部分被集中存储在应用系统中，因此数据安全至关重要。保障数据不被泄露和非法访问是非常关键的问题。数据安全管理主要解决的就是数据在保存、使用和交换过程中的安全问题。

数据安全管理主要体现在以下6个方面：

(1)数据使用的安全性，包括基础类数据的保存、访问和权限管理。

(2)数据隐私问题，系统中采集的敏感信息在下游分析系统和内部管理系统中是否进行加密，以避免数据被非法访问。

(3)访问权限统一管理，包括单点登录问题及用户名、数据和应用的访问授权统一管理。

(4)数据安全审计，为数据修改、使用等环节设置审计方法，事后进行审计和责任追究。

(5)制度及流程建立，逐步建立数据安全性的管理办法、系统开发规范、数据隐私管理办法及相应的应用系统规范、在管理决策和分析类系统中的审计管理办法等。

(6)应用系统权限的访问控制，建立公司级权限管理系统，增加数字水印等技术在应用系统中的使用。

6）数据生命周期管理

    数据生命周期管理一般包括数据生成及传输、数据存储、数据处理及应用、数据销毁4个方面。

(1)数据生成及传输。

    数据应该能够按照数据质量标准和发展需要产生，应采取措施保证数据的准确性和完整性，业务系统上线前应该进行必要的安全测试，以保证上述措施的有效性。对于在手工流程中产生的数据应在相关制度中明确要求，并通过事中复核、事后检查等手段保证其准确性和完整性。数据传输过程中需要考虑保密性和完整性的问题，对不同种类的数据分别采取不同的措施，防止数据泄漏或数据被篡改。

(2)数据存储。

    这个阶段除关注保密性、完整性外，更要关心数据的可用性，对于大部分数据应采取分级存储的方式，不仅存储在本地磁盘上，还应该存储在磁带上，甚至远程复制到磁盘阵列中，或者采用光盘库进行存储。对于存储的备份数据要定期进行测试，确保其可访问、数据完整。数据的备份恢复策略应该由数据的责任部门或责任人负责制定，信息化管理部门可以给予相应的支持。同时，还需要注意因为部门需要或故障处理的需要，可能对数据进行修改，必须在数据管理办法中明确数据修改的申请审批流程，审慎对待后台数据修改。

(3)数据处理及应用。

    信息化相关部门需要对数据进行分析处理，以挖掘出对管理及业务开展有价值的信息，保证处理过程中数据的安全性，一般采用联机处理，系统只输出分析处理的结果。但是在实际中，因为相关数据分析系统建设不到位，需要从数据库中提取数据后再对数据进行必要的分析处理，在这个过程中就需要关注数据提取操作是否可能对数据库造成破坏、提取出的数据在交付给分析处理人员的过程中其安全性是否会降低、数据分析处理环境的安全性等。

(4)数据销毁。

    这个阶段主要涉及数据的保密性。应明确数据销毁的流程，采用必要的工具，数据的销毁应该有完整的记录。尤其是需要送到外部修理的存储设备，在送修之前应该对数据进行可靠的销毁。

7）数据服务管理

    数据服务管理是指针对内部积累多年的数据，研究如何能够充分利用这些数据，分析行业业务流程，并优化业务流程。数据使用的方式通常是对数据的深度加工和分析，如通过各种报表、工具分析运营层面的问题，以及通过数据挖掘等工具对数据进行深度加工，从而更好地为管理者服务。通过建立统一的数据服务平台满足针对跨部门、跨系统的数据应用。通过统一的数据服务平台可以统一数据源，变多源为单源，加快数据流转速度，提升数据服务的效率。

8）主数据管理

    主数据管理要做的就是从各部门的多个业务系统中整合最核心的、最需要共享的数据（主数据），集中进行数据的清洗，并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据传送给组织范围内需要使用这些数据的操作型应用系统和分析型应用系统。

    主数据管理的信息流应为：

(1)某个业务系统触发对主数据的改动；

(2)主数据管理系统将整合之后完整、准确的主数据传送给所有有关的应用系统；

(3)主数据管理系统为决策支持和数据仓库系统提供准确的数据源。

    主数据管理要考虑运用主数据管理系统实现，主数据管理系统从建设初期就要考虑整体的平台框架和技术实现。

3、数据应用域

1）监管报送应用

    为了了解各机构的运营情况，主管部门或集团会要求提交业务运营相关数据，比如，为了保证金融市场的稳定和防范风险的发生，主管部门需要了解和汇总各银行的情况，之后出台针对性的政策和措施。各银行需要按照监管机构的要求报送本行的业务发展情况

2）精准营销应用

    随着业务的发展积累了大量的数据资源等待开发和利用，如何利用大数据技术建立精准营销来实现服务与营销及管理的转型，这也是各组织或机构业务增加核心竞争力的突破口。

(1)用户信息整合及验证。

    为了确保精准营销结果的准确性，还应建立严密的用户信息验证机制。用户信息校验包含两方面：一是错误信息的验证，如同一个用户在不同系统中的行业分类存在差异，数据平台将设置校验规则判定哪个来源数据正确，并自动用正确数据覆盖错误数据；二是数据时效的验证，如数据平台有多个来源提供某个证件有效期，系统将自动获取最新的日期作为证件有效期。

(2)用户画像及标签。

    根据精准营销的不同角度设置不同类别的标签，标签应当具有灵活性，可以随着业务发展和精准营销场景的变换随时增减或改变。

(3)精准营销模型。

    完善用户分析和产品匹配，建立精准营销应用模型。精准营销模型可拆分为多个子模型，部分子模型属于精准营销内部模型，如用户准入模型、行为分析模型、业务推荐模型等；还有部分子模型是调用其他系统的模型结果，属于精准营销调用的外部模型，如定价模型、用户评级模型、限额模型等。

    整体的精准营销模型是结合用户、产品、事件、行业及发展情况等各方面，按需调用不同的子模型进行进一步计算，获得最终的精准营销智能决策方案。

3）产品创新应用

    各组织或机构发展到今天已经过了扩大用户规模的阶段，而转向对存量用户的精耕细作的阶段。而且当前开发一款产品后，需要很长的一个IT建设周期或数据获取周期，没法利用数据实验室进行快速模拟测算。这就是在产品或业务创新过程中往往会遇到的“数据与业务创新脱节”“数据生产与应用脱节”“信息化建设与业务规范管理的脱节”“缺乏从业务维度对数据质量问题的分解手段”等挑战。

    为了解决这种困境，建议组织将数据治理管控扩展到产品管理领域，以业务规范定义为源头，将数据生命周期和产品管理流程相结合，借助产品目录、业务台账规范和数据标准等工具，通过产品识别、产品信息要素梳理、数据标准定义、数据标准落地等治理活动进行数据治理管控，形成产品创新阶段中数据治理的有效管控

三、如何开展数据治理

1、准确定位数据治理

    数据治理是需要企业自上而下形成统一共识的，为了实现战略目标而制定贯穿数据采集、存储、管理到应用等多个各环节的管理体系，并且需要持续性对该体系进行补充和完善。只有思想上统一，有着完善的管理体系，才是数据治理开展的基本保障。

2、明确数据应用方向

    必须有明确的数据应用方向来推动数据治理，才会凸显数据治理的价值。

    如建设基础数据平台，为各类数据分析应用提供一致的基础数据，支持业务人员可视化分析展现，具备将数据服务嵌入业务流程和场景应用的能力；基于大数据平台，引入机器学习、深度学习模型和算法，探索建立人工智能平台，面向各业务领域应用提供人工智能研发服务；提供用户、产品与风险等维度的统一视图；构建基于线上与线下相融合的用户标签体系，支持全流程、实时的精准营销服务和主动智能的风险管控等应用。

    以应用场景为出发点进行治理，能够很好地确定需要治理的数据范围，并且对这些数据可以进行深入的刨析，从根本上解决数据问题；而在这个过程之中所沉淀下来的流程、管理办法、标准、质量的方法，将被纳入到治理体系中进行固化。随着应用方向的增加，治理体系也会逐步完善，同时也能更好地展现数据治理的效果。

3、多层级全方位进行治理

    通过数据应用和管理的组织模式，建立合理的治理组织架构、岗位角色，以及各领域的管理流程，对每个岗位角色明确其在各生命周期中的治理职责；以数据制度为手段，能有效控制和规范数据管理活动的执行。建立完整数据管理体系，提升数据管理专业能力；打通数据管理中业务和科技建设间的协作，实现全面的数据管理能力；构建专业化的数据管理系统与工具和专业化的人才梯队，提升数据管理效率和效益。探索数据应用的服务模式，提升数据应用专业能力，有效地支持监管报送、风险管控和精准营销等业务开展。