• 阅读: 120 回复: 0
    数据驱动智能

    一文读懂数据治理那些事

    楼主 发表于 2021-09-14 18:24:56

    序言

        本文将讨论以下问题,以期和大家共同探讨和交流数据治理相关的话题。

    1. 什么是数据治理?

    2. 数据治理和数据管理的区别是什么?

    3. 数据治理最佳实践有哪些?

    4. 为什么需要制定数据治理框架?

    5. 如何实施敏捷的数据治理?

        一、什么是数据治理

        当今社会,竞争异常激烈,瞬息万变和快速发展的商业环境意味着只有最智能,最敏捷和最具创新性的企业才能取得成功。但是,在缺乏健壮的数据治理的情况下,企业的成功越来越难以实现。如今,企业可以捕获大量的内部和外部信息,因此需要利用这些数据来最大化价值,降低成本和管理风险。数据治理是帮助企业做到这一点的学科。

        对于许多组织而言,不仅有企业范围的数据存储库,大数据,非结构化数据,日益增加的复杂性,信息多样性并需创建具有众多业务的运营智能环境。因此需要一个彻底,一致的总体数据治理策略。

        1、数据治理的定义

        数据治理是确保有效地利用数据以支持组织实现其目标的一组策略,过程,标准,度量和角色。简而言之,数据治理是一个框架,可以帮助组织更好地管理数据资产。

        它确定了负责确定整个组织中数据的安全性和质量的职责和过程。数据治理明确了授权谁在什么情况下使用哪种技术对什么数据采取什么行动。精心设计数据治理策略对于所有企业(包括那些使用大数据的企业)都至关重要。

        例如,企业必须了解和理解“客户”一词在不同上下文中的含义,以及对每种上下文中对客户数据的管理意味着什么。 

        2、数据治理的好处 

        数据治理为企业带来了广泛的利益。这些包括: 

       (1)降低企业运营风险

        违反业务数据的质量,安全性,隐私,完整性,可用性和可靠性会带来重大风险。首先,如果决策所依据的信息不是必需的标准,则组织的运作将处于危险之中。其次,如果发现企业违反了GDPR和HIPAA等关键法律,则存在监管行动的威胁。第三,随着客户和员工开始不信任数据,公司的声誉可能会崩溃。数据治理通过系统地解决在不良数据处理之后可能危及业务的关键风险来降低企业运营风险。 

       (2)一致的数据理解 

        如今,组织可以捕获,存储和处理大量复杂的数据。这些数据是通过分布在多个业务部门的数十个、数百个乃至数千个接口捕获的。因此每个业务部门都很容易陷入孤岛,并对其使用的数据进行自己视角的定义,理解和分类。这只会导致在数据切换过程中发生冲突,或者导致数据处理策略的应用不一致。

    数据治理通过开发在整个组织中统一应用的通用术语来协调对数据的理解。 

       (3)改善数据质量 

        数据驱动企业决策。质量差的数据不可避免地会导致错误的决策。例如,考虑一家以婴儿用品为主要目标的企业,并且正在考虑在一个从未有过的城市中开展业务。它需要知道做出正确决定所需的一些数据是该城市的婴儿潮时期人口。如果它所依赖的数据不正确或已过时,则使用该数据所做的每个决策都会存在缺陷。

        数据治理创建了一个工作环境,可确保数据的一致性,完整性和准确性。 

       (4)数据地图映射

        组织中创建或接收数据的接口太多了,随着时间的流逝,很难清晰地了解公司所保管的数据。

        数据治理使企业能够映射所有数据的位置。这使得数据资产可检索,可用,易于集成并且更易于与战略要求建立联系。 

       (5)合规性的要求

        数据治理可改善客户体验,降低运营成本,增加收入并提高效率。但是对于许多组织而言,尤其金融和电信企业,数据治理计划主要是由对法规遵从性的需求驱动的。企业所遵循的实际数据处理法规将取决于行业和管辖范围。

    法规和标准可能包括HIPAA,GDPR,SOX和PCI DSS。违规的处罚可能会很严厉。在屡次违规的情况下,违规甚至可能导致吊销营业执照。 

       (6)改善数据管理 

        术语“数据治理”和“数据管理”通常可以互换使用,但是数据管理实际上是数据治理的子集。良好的数据治理框架将数据管理带入技术驱动和高度自动化的世界。

        它建立了数据管理中的最佳实践和行为准则,超越了对历史系统控制的过多关注。它确保一致,全面地应用数据管理的合规性,安全性和法律领域。 

       (7)更快更好的见解 

        数据治理实施有助于简化和组织企业信息。这样的组织不仅可以提高数据本身的质量,还可以带来更快更好的见解。

        通常,业务数据的分布,不规则,不一致和多变的性质可能使提取结论性见解变得困难。生成业务报告的过程要花费数小时甚至数天的时间并不罕见,这仅仅是因为必须进行格式化和协调才能有效利用数据。

    数据治理以加快洞察力提取的方式来加强数据整合和集成。 

      (8)更好的协作 

        企业可以拥有许多优秀的员工。但是优秀的员工并不一定能转化为有效的部门,而且有效的部门不会总是转化为有效的组织。部门之间的协作越好,组织的整体工作输出的质量就越高。

        实施数据治理计划意味着要打破部门之间的隔离,并鼓励采取协调一致的方法来处理数据。即使完成了数据治理框架的部署过程,已建立的协作渠道以及部门之间的协作氛围也会持续很长时间。

    此外,整个企业的高数据质量和一致的数据处理方式将消除许多之前存在的障碍。 

       (9)数据价值增加 

        仅在过去几年左右的时间里,企业才开始像建筑物,汽车,现金和员工一样把数据作为一种商业资产的位置。但是,业务数据的价值在于其有效地推动企业实现其战略目标的能力。

        数据治理框架可提高数据质量,从而使数据成为公司的资产。 

       (10)降低成本 

       治理不善的数据会以多种方式增加业务成本。错误的战略,部门间的冲突,有缺陷的模型,错误的产品开发以及拙劣的计划都是劣质数据导致决策失误的例子,最终导致公司付出高昂的代价。

        数据治理提高了业务数据的质量,从而消除了企业由此将会产生的不必要的支出。

        3、选择数据治理工具 

        数据治理虽然不仅仅涉及技术,但是在不依赖IT系统的情况下,几乎不可能以任何有意义的方式实施数据治理。毕竟,当今的大部分企业数据都以电子形式保存。有很多数据治理工具可供选择,它们的成本和功能差异很大。

    除了预算之类的基本注意事项外,还必须注意几个方面,以确保选择最合适的数据治理技术。这些包括可伸缩性,与现有系统的兼容性,客户支持的质量以及对以往用户的评价。 

        4、小结 

        数据治理的实施并非一劳永逸。相反,这是一个复杂而长期的过程。这意味着随着时间的流逝,参与者和利益相关者可能会失去热情。为了使项目更加令人兴奋,建议您使用项目管理的敏捷方法。

        因此,将数据治理分解为不同的事项,然后确定最优先考虑的事项。在敏捷工作中迭代执行优先级高的事项,直到它们满足数据治理的目标。当您完成一些工作事项时,请尝试一些新的事项。这样,治理计划将变得可管理且有限。

        关键业务推动力将确定哪些事项和数据需要最高优先级。例如,如果您的数据治理计划的推动力之一是确保对医疗保健信息的保护(遵守HIPAA和GDPR等法规),那么一项工作就是在采集,存储,传输和应用过程中保护患者数据。

        数据治理委员会应确保在计划开始时向业务部门负责人和其他利益相关者宣贯项目目标和达成效果。这样可以确保项目在正确的基础上启动,并清晰地了解治理的当前状态和计划的最终目标。

        二、数据治理与数据管理有何区别

        了解组织所拥有的数据并确定如何善用它对于实现战略目标至关重要。为了有效地做到这一点,您必须回答几个至关重要的问题。您的数据存储在哪里?您如何保证其准确性,时效性和及时性?数据值得信赖吗?在您的组织每天处理的数据中,哪一项是最高优先级?这些问题看似简单,但要准确回答这些问题并不容易。

        如果不区分数据治理与数据管理,就无法解决这些问题。虽然这两个术语通常由供应商和IT专业人员互换使用,但它们指的是数据处理的两个不同方面。清楚了解数据治理与数据管理的组织更有可能制定正确的数据策略。我们将仔细研究这两个术语,以消除最常见的误解。但是首先,让我们看看为什么数据如此有价值。 

        1、数据即资产

        如果有一件事可以定义当今最成功的业务,那就是它们捕获,分析,理解和利用数据的能力。实际上,一些分析家认为数据是新的石油。当您查看30年前按市值列出的全球最大公司的名单以及今天的名单时,这种说法确实有其道理。例如,谷歌的母公司Alphabet的市值几乎是石油巨头埃克森美孚(Exxon Mobil)的三倍。Google的业务主要围绕互联网上的数据组织而建立。

        数据具有许多特征,使其比石油等传统资产更具优势。首先,它是不可消耗的。单个数据包可以无数次分发和重用。其次,它是不可降解的。只要数据得到了应有的保护和维护,它就会无限期保留其特性并且不会磨损。第三,数据资产是持久的。他们可以创造价值多年。

        话虽如此,在谨慎地将其应用于实现业务目标之前,业务数据没有内在价值。数量惊人的公司对所拥有的数据,员工使用数据的能力/技能以及如何最大程度地部署数据作为支持其数据策略的武器。数据治理与数据管理的明显区别是正确获取业务数据的第一步。 

        2、什么是数据管理

        数据管理是一组策略,过程和程序,可让您以使数据可靠,可访问且在用户需要时保持最新的方式来控制,组织和使用数据。负责数据管理的技术团队通常将依赖广泛的工具来简化和自动化数据的收集,验证,存储,组织,保护,处理和维护。

        在计算的早期,数据管理是一个简单的过程,使用打孔卡来获取价值。如今,计算世界变得更加复杂,并具有各种数据捕获和操纵设备,包括台式计算机、笔记本电脑、智能手机和大量的IoT(物联网)设备。这使数据管理变得越来越复杂。

        没有有效的数据管理,数据可能变得无法使用,无法访问和数据过期。数据管理涵盖了数据的整个生命周期,从信息创建到报废。它支持客户,合作伙伴,员工,股东和监管机构的数据要求。

        3、什么是数据治理

        随着具有里程碑意义的隐私法规(例如欧盟的GDPR)的制定,数据治理已成为一个特别热门的话题。但是什么是数据治理?

    它是指导数据管理各个方面的总体框架。具有数据资产法律权限的是战略决策,执行和监视业务程序或机构。换句话说,数据管理集中在数据处理的过程上,但数据治理致力于数据处理的策略。因此,数据治理较少受技术驱动。

    从这个意义上讲,数据治理决策比数据管理在组织的更高层次上发生。这是要确定您将如何处理公司数据,然后再进行跟踪以确保它会发生。数据治理的核心是数据所有权,计划,流程,责任制和绩效管理。

        数据是高度政治性的资产,通常是组织内部部门间冲突的中心。即使这些业务数据与另一个部门持有的数据发生冲突,各个业务部门也会对他们认为持有的数据采取强硬的立场。这种冲突和竞争可能会导致效率低下的主要原因,并要求企业内的更高权限进行仲裁和解决。这是数据治理的主要目标之一。

    例如,如果公司中有30个不同的数据存储库,而您想将它们合并到一个主存储库中,则必须做出艰难的决定。这些只能在最高管理级别上进行,只要符合公司的最佳战略利益,就可以使不受欢迎的决定执行。

        数据治理旨在回答有关组织如何在减少或避免不良数据或不良数据风险的同时获得良好数据的财务收益的问题。良好的数据治理需要确定可接受的数据的属性,包括收集数据的位置,使用方式,准确度,遵循的规则,负责人以及允许谁处理。

        鉴于数据治理相对于数据管理的更广泛的作用,治理超出了技术部门的范围,并包含了来自组织不同部门的利益相关者。这样可以确保在整个企业中一致地应用数据治理策略和原则。

        在缺乏这种集中协调的数据治理方法的情况下,每个业务部门都可以采用自己的方法,这最终会导致出现孤岛和加剧混乱。数据治理汇集了数据处理的多个不同元素,包括可用性,安全性,隐私,合规性和集成性。 

        4、数据治理的好处

        数据治理具有多种好处,例如:

        提升企业数据的价值

        通过将资源集中在最相关和最优先的数据资产上来降低数据管理成本

        通过更好地利用公司数据来增加整体企业收入

        数据政策,程序和系统的标准化

        满足法规和合规要求

        解决数据本身的问题,例如不一致和损坏

        促进数据处理的透明度

        建立有关处理数据资产的培训和计划 

        5、数据治理和数据管理最佳实践

        我们已经定义了数据治理和数据管理,但是两者之间有很多共同点,尤其是在最佳实践方面。这是最重要的三个。 

       (1)数据治理不仅仅是由IT部门承担的事情

        我们在数据治理部分提到了这一点,但实际上这也适用于数据管理。尽管数据管理更加以技术为中心,但是如果没有组织领导层的大力支持以及其他业务部门的积极参与和支持,数据管理也将无法成功。

        IT团队可以无缝地执行其数据管理角色,但是如果企业的其余部门不在同一认知层面上,那么这一切都将变得无济于事。业务投入至关重要,因为技术人员不会总是知道哪个数据最有价值(因为这是各个业务部门的真正理解,因为它们是数据的实际用户)。

        IT部门可以提出出色的数据管理技术系统。但是,如果不了解全局,他们将不会为企业的数据目标增加真正的价值。 

       (2)获取外部专家的帮助

        许多企业领导者认为,顾问除了告诉他们已经知道的知识外,几乎没有任何作用。所以,当建立数据治理和数据管理框架时,不聘请专家数据顾问进行指导。

        聘请数据管理或治理专家在企业内部开展数据治理是合乎逻辑的事情(实际上是一件好事)。外部顾问可以就什么行得通和行不通提供宝贵的意见。虽然没有两个组织是相同的,但是有许多共同的原则适用于所有组织。由于数据治理和数据管理顾问已经与许多组织合作,因此他们具有深厚的知识,可以帮助您避免最常见的数据治理和数据管理陷阱。 

       (3)积极主动的开展数据治理

        多年来,企业管理的口号一直是:“积极主动而不被动”。但是,无论组织为减轻相关风险投入了多少精力和资源,都不能保证风险或威胁不会存在。

    尽管主动数据治理和数据管理是理想的选择,但必须有明确规定的机制来在发生火灾时扑灭火灾。组织必须平衡主动策略和被动策略,以确保在最坏的情况下都能覆盖所有需要解决的问题。

        6、小结

        认识到数据是一种资产,是组织从其拥有的大量信息中获得最佳回报的使命的第一步。通过适当地结合使用数据治理和数据管理实践和工具,它们可以使数据成为推动企业实现业务成功的动力。 

        三、数据治理最佳实践:策略和规则

        在过去的几年中,随着企业希望遵守相关的政府和行业法规,最小化成本,提高利润率并部署数据驱动的计划以提高收入,数据治理的概念随之迅速发展。与此相应,企业管理者正在开展包含员工,供应商,物资、设备和管理流程的数据治理最佳实践。

        数据治理最佳实践的最终目标因组织而异。在大多数情况下,是为了提高数据资产的可见性,以便更快,更好地制定业务决策,也有的企业是为了提高企业数据管理的效率。但是,也可以实施数据治理以符合GDPR,HIPAA,SOX和Solvency II等法规。

        制定数据治理的目标并不难,企业通常会努力开展和实施有效的治理程序。通过应用行之有效的数据治理最佳实践,组织可以在面对数据治理框架的实施时克服最常见的问题和陷阱。我们将在下面进一步介绍一些数据治理最佳实践。 

        1、任命数据领导和成立理事会 

        像任何组织范围内的计划一样,您需要一个清晰且定义明确的领导结构来负责数据治理计划。如果没有如此强大的明确领导,则数据治理计划注定会从一开始就失败,因为由于数据不一致而导致任务落空。确定一位“数据主管”,由首席执行官任命,以驱动和监督整个企业中数据治理的策略和规划的执行情况。

        通常,此人在公司内将有另一个职务(例如首席运营官或首席合规官)。但是,在大型组织中,首席数据官被赋予数据治理角色。

        数据治理本质上是一个深层的政治过程,需要广泛的内部利益相关者达成共识。通过让数据主管来负责该过程并直接向CEO汇报,可以更轻松地打破业务部门之间的壁垒,并使每个人共同努力实现同一目标。

        首席数据官将是数据治理委员会的负责人,该理事会应包括关键业务部门的代表。 

        2、制定策略 

        理事会应就其希望组织的数据治理在未来达到的目标制定愿景。理想情况下,该策略应专注于长期目标,但也应纳入短期和中期的里程碑,这些里程碑最终会达到最终目标。

        最终确定并批准该战略后,治理委员会可以通过定义实现战略所需的项目计划和里程碑来开展后续工作。关键绩效指标(KPI)和提交给CEO和董事会的定期报告要跟踪计划和里程碑,从而显示数据治理进度。

    不过,请注意,如果没有出色的战术,那么好的战略就毫无意义。正是在数据治理的战术方面,您才能将战略目标转化为确定的交付成果。 

        3、现状调研

        在建立了数据治理策略和领导力之后,下一步就是让治理委员会着手对整个组织中现有的数据治理策略进行详细的调查和清点。此项工作很重要,主要有两个原因。    首先,每个企业甚至在正式制定明确定义和结构良好的数据治理之前,就已经具有一些数据治理要素。这些可以合并到治理过程中。它们甚至可能是数据治理的核心点。

        第二,没有两个组织是相同的。每个公司在流程,程序,人员,供应商,风险和机会方面都有不同的特点。通过调查企业,您可以真实地了解组织在数据管理能力方面的位置。

        利用从调查中收集到的信息,数据治理委员会可以制定切实可行的路线图,以使组织应达到数据管理能力的位置。 

        4、识别痛点 

        调查的目的是收集需求。在此过程中,您需要注意的一件事是痛点。这些是业务用户表达的担忧,这些担忧需要纳入数据治理实践框架。

    我们正在谈论用户评论,即不信任他们收到的数据,依靠他们的直觉来做出关键决定;难以访问他们所需的数据,无法解释数据以及将数据与他们想要解决的问题相匹配。

        通过演示数据治理如何消除这些痛点,治理项目可能会从一开始就获得有力的支持。通常,员工将数据治理视为一个相对抽象的概念,与他们的日常现实情况相去甚远。使治理与痛点相匹配,使它成为一个更实际,更相关的计划。 

        5、从小开始 

        为了使数据治理成功,它需要业务所有部门的支持。现代的大中型组织是一个复杂的实体,其中包含成百上千个运行的部件。试图整合业务的各个方面并从一开始就争取所有业务部门的支持可能是不现实的。从小处着手,然后在整个组织中扩展也许对数据治理的成功更有意义。

        即使数据治理的最终结果是实现整个企业范围内的合规性,将计划分解为较小的里程碑也可以使实现如此庞大的事业变得更加可实现。此外,这种方法使理事会可以将有限的时间和资源集中用于实现每个里程碑。

        由于一开始将数据治理最佳实践和原则应用于选定的多个职能部门,业务部门或流程,对它们进行了测试和完善,以便理事会确定最有效的方法。当您在组织的更广泛的部门中实施治理计划时,整个过程将更加完善,高效和有效。 

        6、数据定价 

        如果您不能将特定的价值归于某物,则可能很难确定是否应将其分配给什么资源以及将哪些资源分配给它。同样,如果企业不知道其拥有的数据的价值,则不太可能充分衡量,保护和增强数据的价值。数据就像水一样,对业务运营至关重要。

        要分配财务价值,您必须为基于数据所有权,用户权利和数据管理技术的业务数据开发内部市场。这样,部门必须为他们使用的业务数据和数据技术付费。使用这种事务性的数据访问方法,可以更轻松地推动数据治理活动,因为各个部门可以意识到数据质量,完整性和流通性的损失将使他们付出代价。 

        7、数据治理不是一个项目而是一个过程 

        数据治理不是一次性完成的,这不是一个确定的结束日期且可以交付的项目,此后无需采取进一步的措施。数据治理是一个过程,这意味着它是多个项目的组合,没有结束日期,并且专注于总体结果而非可交付成果。

        随着一些治理计划项目的完成,所有新项目都应运而生,以使组织更接近其数据拥有的战略目标。一开始就具备这种理解至关重要,因为这可以确保董事会,高级管理人员,数据治理委员会和其他业务部门采取长远的眼光。 

         8、加强沟通

        数据治理不仅涉及数据,还涉及使用数据的人员。没有强有力,连贯和一致的沟通,将导致缺乏运营效率,深思熟虑的数据治理计划将无法启动。交流从数据治理工作的开始就开始发挥作用。在治理实施的早期阶段,传达计划的有益价值以培育持续支持。

        随着实施的进行,通过度量标准传达计划的成功,使员工兴奋地参与。数据治理委员会还必须明确定义每个计划参与者的角色以及他们必须遵循的准则。数据治理涉及变更管理,因此应使受影响的员工了解正在进行的变更并进行相应的准备。 

        9、持续监控 

        组织不是静态实体。由于市场需求,法规要求,运营调整和新技术,它们正在不断变化。这些变化会大大改变风险格局。不幸的是,许多企业每年仅评估一次企业数据风险。如果组织没有一个包含建立数据风险治理并监控日常业务流程的数据治理框架,那么它将面临不断落后于不断发展的企业环境的风险。

        组织的技术和程序的每项重大更改都应包括一个数据风险检查表,该表将评估该更改可能如何影响数据治理整体效果及影响范围。 

        10、小结 

        数据治理是一门综合学科,将数据管理,数据质量,数据策略,数据安全性,风险管理,合规性和业务流程管理结合在一起,以便有效、一致和统一地管理整个组织中的数据资产。

        四、数据治理框架:它是什么以及为什么组织需要制定

        业务数据可以提供强大的杠杆作用,从而提高生产力,提高市场准确性并增强竞争力。但是,数据还带有很大的风险,可能危及组织的生存。监管机构尤其加强了对企业如何处理数据的审查,并继续要求证明其符合数据隐私,安全和完整性法律。

        在这种情况下,许多业务领导者正在考虑构建(或正在考虑)一个总体数据治理框架,该框架使用跨职能的方法来简化数据流,增强利益相关者的信任并增加业务资产的价值。

        下面我们将仔细研究什么是数据治理框架,为什么需要一个和一些步骤才能使该框架成为您业务实现的保障。我们将探究为什么您必须花时间为组织确定,开发和利用最合适的治理结构。 

        1、理解数据治理

        数据是现代企业的命脉。企业处理快速增长的信息量,这些信息在实现目标中起着至关重要的作用。但是,尽管数据是无价的资产,但可以说,它是被最差的管理,保护,利用和维护。

        尽管“数字时代”已经存在数十年了,但企业领导者并不像对物质和金融资产那样,对电子数据等无形资产给予更多的关注。

        因此,数据治理是指应用于数据的规则,法规,标准和影响力,它是设置和监督适当数据处理策略的一种手段。数据治理模型可建立决策权以及确保数据安全性,责任性和完整性所需的控制。

        治理不是对数据的日常监督,而是构成数据管理系统基础的原则和政策的基础。数据治理框架的目标是鼓励和促进正确,一致地使用企业数据。 

        2、数据治理框架简史 

        至少从1980年开始,数据治理就已经成为一种概念,当时新兴的计算热潮促成了数据质量和元数据管理工具的发展。这些工具通常是在组织的一个部门内设计和使用的。它们通常是支持数据仓库和数据库营销的一种手段。

        但是,直到2000年初,数据治理才开始采用我们今天所知道的形式。像安然(Enron)和阿德菲亚(Adelphia)这样的几家大型公司由于财务问题而遭受了灾难性的倒闭,这些财务问题并未在其报告中明确披露。萨班斯-奥克斯利法案(SOX)进入其中,要求最高级别的管理人员对其业务发布的数据的准确性和完整性承担个人责任。

        从那时起,数据治理框架迅速发展并成熟。现在,它们涵盖了由多个法规和标准(例如GDPR,HIPAA和PCI DSS)驱动的更广泛的规则体系。 

        3、常见数据治理的陷阱 

        大多数高级管理人员都理解为什么必须将业务数据视为必不可少的资产。出现了诸如首席数据官之类的新角色,以帮助推动数据治理。

        然而,尽管这种认可对于启动良好的数据治理实践至关重要,但是许多组织仍然没有达到目标,因为它们没有明确定义的数据治理框架。框架可帮助组织避免经常困扰治理计划的陷阱。这些陷阱包括:

        未明确定义的治理。

        认为与电子数据有关的一切仅是技术问题,业务经理和非技术级主管无需任何参与

        没有考虑组织的文化

        公司结构分散,无法集中决策

        将数据治理视为一项学术活动或一项有限的项目。

        忽视或忽略现有团队和委员会的意见,这些团队具有执行数据治理项目所需的知识或影响力。

        执行不力,以及无法以可重复的方式管理数据。

        投资回报率(ROI)不清楚,因此很难将治理活动与实际业务价值联系起来。

        资源紧张,难以充分应对治理挑战。

        尽管您有最大的意愿和努力,但这些障碍可能使成功部署数据治理模型变得困难。数据治理框架是获取克服数据治理失败最常见点所需的广度,深度和灵活性的最佳选择。 

        4、制定一个务实的整体数据治理框架

        启动数据治理框架计划可能令人生畏。毕竟,您正在建立战略和策略,这些战略和策略将决定如何使用企业范围的数据资产。您正在有效地使企业将数据作为资产来处理,就像处理建筑物,知识产权,银行帐户和员工一样。为了使数据治理框架有效,它必须既务实又全面。

        务实的意义在于,它应该认识到跨部门的挑战和政治斗争,这是每个组织的组成部分。因此,数据治理计划的战术部署应分为多个阶段,以确保快速获胜并最大程度地减少疲乏。

        从整体意义上讲,必须将数据捕获,存储,维护和使用的每个元素都纳入数据治理框架的总体构想中。

        为了做到务实和全面,数据治理必须触及内部和外部系统,并推动打破组织孤岛的决策技术。它必须在企业级别提供数据质量责任。数据治理框架应通过精心计划和协调一致的举措来最大程度地减少数据故障。该计划需要围绕数据创建和管理的两个关键要素。

    • 通过明确定义的策略制定流程将业务投入纳入战略决策。

    • 需要技术杠杆来掌握生产数据。 

        5、数据治理框架的结构 

        尽管没有一个统一的数据治理框架可以应用于每个组织,但是其结构和组件在整体上都基本相同。 

       (1)战略要素 

        框架的顶部是治理的战略要素,包括数据治理的原则和需求。这些战略支柱旨在改善客户体验,确保符合相关数据管理法规,增强决策,简化运营,促进并购和推动项目管理。

        定义这些战略支柱对于培养组织最高领导层的支持和跨业务部门的共识至关重要。在可能的情况下,您应该将战略数据治理支柱与最重要的业务目标联系起来,例如盈利能力,转换率以及风险治理。

        当员工和部门负责人意识到该框架将使他们更容易实现目标时,他们将更加热衷于彻底了解该框架以成功采用。  

       (2)治理方法与解决方案 

        在战略要素之下是数据治理,管理方法与解决方案。包括数据定义,体系结构,安全性和数据质量等。这一层更关注治理的战术方面,包括执行策略和驱动数据管理的日常流程。

        必须有一组明确定义的利益相关者,绩效指标和ROI度量。还应该明确说明谁负责做什么。这是关于规划数据管理的未来愿景并制定路线图以使您达成目标。

        数据管理员的任务是按照数据治理委员会的指示采取行动,以统一定义,定义域,报告指标和确定使用情况。数据管理员通常是面向业务的,但是他们通常具有对IT的基本了解,可以使他们成为业务部门和IT部门之间的桥梁。

        请注意,数据管理员与数据维护人员不同,后者是IT部门在实施数据安全性和数据质量策略方面的关键人物。 

        6、小结

        随着组织越来越依赖数据,他们的持续成功最终将取决于他们对数据应用的能力。更清晰,更好的数据意味着更好的洞察力和更好的决策。

    数据治理框架为各种规模的组织建立和驱动数据治理程序提供了必要的结构。这样,您就可以为整个企业提供及时,可信赖的高质量数据。这将支持组织的响应速度更快,效率更高且更有效。

        前面我们提到需要将数据治理框架的实施分解为几分大小的里程碑,以减少疲劳和抵制的可能性,同时增加成功的机会。但是,这必须与考虑短期和长期目标的策略相结合,以便使企业有机会尽早享受良好数据治理的好处。

        五、敏捷数据治理

        敏捷方法论从根本上改变了软件开发过程,与瀑布模型相比,它具有许多优点。许多人没有意识到的是,敏捷方法不仅仅适用对开发项目的管理。

    实际上,敏捷仅是一种迭代项目管理技术,只要可以将活动明确,定义,确定优先级,分解为多个活动,然后将每个活动进一步分解为较小的任务,就可以应用敏捷。因此,可以进行敏捷的数据治理。 

        1、常规方法的缺点 

        敏捷方法在建立数据治理程序时并未得到充分的利用。许多组织遵循一条线性路径,该线性路径始于创建数据字典,定义整个企业的数据域并指定数据管理员来运行整个过程。

         但是,这种方法在数据管理者,数据管理委员会,数据使用者和利益相关者的前面都进行了大量工作。但是,这种方法在短期内不会产生任何有意义的或相称的价值。由于输入与输出之间的这种不对称性,不难看出该计划在付诸实践之前如何迅速耗尽动力。 

        2、为什么要进行敏捷数据治理 

        通过敏捷的数据治理,组织可以确定对业务具有战略重要性的小型,规模很小的计划,将其通过多次迭代加以完善,然后以成功经验为基础,逐步实施更多计划。这样,数据治理委员会可以使所有利益相关者了解决策,里程碑和胜利,同时保持工作投入集中和有限。

        商业利益的实现要快得多,因此在利益相关者之间产生了更多的数据治理热情。就是说,敏捷数据治理的危险之一是,由于关注点计划的规模较小,因此存在决策制定过程将被无意地限制在孤岛中的风险。但是,如果从一开始就为整个程序注入“大局”思维,则可以克服这一问题。

        3、结构紧密型还是松散型

        数据治理框架可以紧密联系或结构松散。两种类型的框架都可以工作。数据治理不同方法的适当性取决于组织的文化,成熟度,目标,结构,规模,复杂性和技术。

        为了一开始就做对,数据治理计划的基础阶段必须包括: 

       (1)发现机会

        发现以便识别机会,量化业务价值,识别利益相关者,评估情绪,确定重点领域的优先级,制定目标并定义数据治理模型路线图。 

       (2)实施基础 

        定义数据治理战略目标,利益相关者,获得高级管理层支持并指定数据管理员成为数据治理实施的基础。

        一旦完成了这些初始步骤,组织的数据治理委员会就可以决定是否采用高度结构化的框架或松散结构的框架。高度结构化的团队将由专门的角色以及明确定义的工具,模板和过程支持。

        一种结构化程度较低的方法是由一群松散的人组成的团队,他们会系统地制定路线图以实现数据治理目标。 

        4、应用敏捷数据治理的两种方法 

        无论组织选择采用哪种数据治理方法,都可以应用敏捷技术。敏捷数据治理有两种有用的方法。 

       (1)数据治理框架 

        建立整个企业范围的数据治理最佳实践框架。这是整个数据治理程序赖以生存的基石。它确定了一个数据管理者(即首席CEO任命的主要数据管理者),数据管理委员会(由数据管理者领导)和一个指导委员会。

    该框架还确定了战略目标,数据治理章程,政策,程序和培训。框架的所有这些元素都可以分解为事项或模块,然后对其进行敏捷迭代,然后在固定的时间段内确定优先级,完成并退出。 

      (2)可行的数据治理 

        可行的治理是指必须在数据治理程序的不同项目中定义,计划和最终执行的活动。例如,如果要向流程引入新的数据源,则在这种情况下可行的治理将要求知道数据集的涉众以及涉众使用数据的方式。 

        5、敏捷数据治理示例 

        为了使您更实际地了解敏捷数据治理,这里涉及一些关键活动。 

       (1)利益相关者的参与

        首先,将数据所有者纳入计划的指导委员会。数据所有者通常是负责确保数据准确性的业务部门的代表。

        接下来,确保这些数据所有者以及数据管理者和用户接受培训,以加深他们对治理需求,业务将如何受益以及他们在整个过程中预期扮演的特定角色的理解。这为参与者提供了所需的知识,传达了期望并传达了一致的信息。 

       (2)捕捉敏捷工作 

        通过参考组织的数据治理路线图,确定数据治理框架的要素是什么,并确定如何将这些要素捕获为敏捷事项。您可以继续以可操作的格式正式记录和详细说明事项,以简化执行过程。

        例如,您可以选择“作为市场经理,我想要近乎实时的市场信息和客户行为数据,以便我们可以将产品定位到合适的受众。” 

       (3)使其可见 

        捕获并定义了敏捷的事项后,现在该使它们可见。您可以通过简单的非技术(如便利贴,Intranet仪表板,大电视屏幕,敏捷项目管理软件或这些的任意组合)来实现。

        这样做的目的是确保每个人都了解需要做的事情,如果想澄清的话可以随时参考工作计划。指导委员会应该可以获取这些事项,以便他们可以随时随地掌握正在处理的问题。 

       (4)数据主管负责工作的优先级

        数据管理者是CEO委托在整个组织范围内推动数据管理计划的人。他们主持数据治理委员会,通常还担任指导委员会的主席。即使他们可能在业务中扮演其他角色(例如COO或CIO),他们对治理也有深刻的了解,这使他们可以有效地支持治理计划。

        由于组织首席执行官和董事会的支持,数据管理者最适合确定工作的优先级。优先级最高的工作将是对企业战略目标影响最大的工作。 

       (5)实施最小可行产品(MVP) 

        在企业内建立数据治理之前,可以看到的最少工作量是什么?这是敏捷数据治理的本质。这个问题的答案因组织而异。这首先取决于首先触发数据治理计划的因素(例如外部审计员的警告或监管机构的责难)以及哪些工作被视为高度优先事项。

        要正式定义MVP,数据治理委员会应将工作案例分为“必须具备”,“应该具备”和“可以具备”。一个或多个“必须具备”的工作事项应该是MVP的核心组成部分。 

       (6)持续交付 

        不要煮沸海洋。即使对于中小型企业,也不可能一口气有效地实施数据治理。而且这与您是否使用敏捷方法无关。

        但是,数据治理实现固有的交错特性使其适用于敏捷技术。例如,您可以计划每两周或每月以某种格式完成和批准工作。这可以迭代运行,直到工作结果符合治理框架的期望为止。 

       (7)回顾与改进 

        即使数据管理委员会和指导委员会认为工作已完成并已签字,但这并不表示工作已结束。总有改进的余地。因此,工作完成后,团队成员必须定期聚在一起以确定需要改进的地方。此回顾必须集成在框架中,因此它是自动触发的。 

        6、小结

        在过去的二十年中,敏捷方法论可能已经改变了软件开发过程,但是在IT行业中,它仍然未被很好地理解,更不用说非技术人员了。使用敏捷技术来驱动数据治理计划将需要大量的培训,实践,吸引外部专家并从早期开始学习。

    敏捷数据治理的回报是可观的。数据用户将更高兴地参与该计划,并将坚定地相信确实可以实现数据治理最佳实践框架的战略最终目标。

    本文内容转载自“数据驱动智能”(ID:Data_0101), 作者晓晓。

热门文章

一篇搞懂TCP、HTTP、Socket、Socket连接池

澜学院|Mock工具wiremock-py

Giraph源码分析(七)—— 添加消息统计功能

Giraph源码分析(八)—— 统计每个SuperStep中参与计算的顶点数目

最新文章

我DW

央视新闻《玩大小单双最厉害的回血老师》央视网

央视新闻《回血上岸最快的方法》央视网

央视新闻《大发最有实力带人回血的导师》央视网

  • 未登录

    回复楼主

    登录后可回复
    /1000