• 阅读: 249 回复: 0
    学习委员

    「数据治理那点事」系列之三:不忘初心方得始终,数据质量治理?

    本文是数据治理系列文章的第三篇,主要讲数据治理中的重要工作:数据质量管理。

    我将从数据质量管理的目标,质量问题产生的根源,讲到如何评估数据质量,如何贯彻数据质量管理流程,最后从取与舍两个角度谈谈我对质量问题的一些个人观点。

     

    一、数据质量管理的目标

    数据质量管理主要解决「数据质量现状如何,谁来改进,如何提高,怎样考核」的问题。

    为什么这篇文章的标题中有“不忘初心方得始终”这几个字呢。因为最开始的关系型数据库时代,做数据治理最主要的目的,就是为了提升数据质量,让报表、分析、应用更加准确。时至今日,虽然数据治理的范畴扩大了很多,我们开始讲数据资产管理、知识图谱、自动化的数据治理等等概念,但是提升数据的质量,依然是数据治理最重要的目标之一。

    为什么数据质量问题如此重要?

    因为数据要能发挥其价值,关键在于其数据的质量的高低,高质量的数据是一切数据应用的基础。

    如果一个组织根据劣质的数据分析业务、进行决策,那还不如没有数据,因为通过错误的数据分析出的结果往往会带来“精确的误导”,对于任何组织来说,这种“精确误导”都无异于一场灾难。

    根据统计,数据科学家和数据分析员每天有30%的时间浪费在了辨别数据是否是“坏数据”上,在数据质量不高的环境下,做数据分析可谓是战战兢兢。可见数据质量问题已经严重影响了组织业务的正常运营。通过科学的数据质量管理,持续地提升数据质量,已经成为组织内刻不容缓的优先任务。

     

    二、数据质量问题从何而来?

    做数据质量管理,首先要搞清楚数据质量问题产生的原因。原因有多方面,比如在技术、管理、流程方面都会碰到。但从根本上来时,数据质量问题产生的大部分原因在于业务上,也就是管理不善。许多表面上的技术问题,深究下去,其实还是业务问题。

    我在给客户做数据治理咨询的时候,发现很多客户认识不到数据质量问题产生的根本原因,局限于只想从技术角度来解决问题,希望通过购买某个工具就能解决质量问题,这当然达不到理想的效果。经过和客户交流以及双方共同分析之后,大部分组织都能认识到数据质量问题产生的真正根源,从而开始从业务着手解决数据质量问题了。

    从业务角度着手解决数据质量问题,重要的是建立一套科学、可行的数据质量评估标准和管理流程。

     

    三、数据质量评估的标准

    当我们谈到数据质量管理的时候,我们必须要有一个数据质量评估的标准,有了这个标准,我们才能知道如何评估数据的质量,才能把数据质量量化,并知道改进的方向,比较改进后的效果。

     

    目前业内认可的数据质量的标准有:

    准确性: 描述数据是否与其对应的客观实体的特征相一致。

     

    完整性: 描述数据是否存在缺失记录或缺失字段。

    一致性: 描述同一实体的同一属性的值在不同的系统是否一致

    有效性: 描述数据是否满足用户定义的条件或在一定的域值范围内。

    唯一性: 描述数据是否存在重复记录。

    及时性: 描述数据的产生和供应是否及时。

    稳定性: 描述数据的波动是否是稳定的,是否在其有效范围内。

     

    以上数据质量标准只是一些通用的规则,这些标准是可以根据数据的实际情况和业务要求进行扩展的,如交叉表校验等。

     

    四、数据质量管理流程

    要提升数据质量,需要以问题数据为切入点,注重问题的分析、解决、跟踪、持续优化、知识积累,形成数据质量持续提升的闭环。

    首先需要梳理和分析数据质量问题,摸清楚数据质量的现状;然后针对不同的质量问题选择适合的解决办法,制定出详细的解决方案;接着是问题的认责,追踪方案执行的效果,监督检查,持续优化;最后形成数据质量问题解决的知识库,以供后来者参考。上述步骤不断迭代,形成数据质量管理的闭环。

    很显然,要管理好数据质量,仅有工具支撑是远远不够的,必须要组织架构、制度流程参与进来,做到数据的认责,数据的追责。这和我在第一篇文章《数据治理:那些年,我们一起踩过的坑》中阐述的观点是一致的,大家可以参考那篇文章。

     

    五、数据质量管理的取与舍

    企业也好,政府也好,从来不是生活在真空之中,而是被社会紧紧地包裹。解决任何棘手的问题,都必须考虑到社会因素的影响,做适当的取舍。

    第一个取舍:数据质量管理流程。前面讲到的数据质量管理流程,是一个相对理想的状态,但是不同的组织内部,其实施的力度都是不同的,以数据追责为例:在企业内部推行还具有一定的可行性,但是在政府就很难适用。因为政府部门的大数据项目,牵头单位无论是谁,很可能没有相关的权限。举个例子:你很难想像市经信委去跟市政府办公厅进行数据质量的问责。这与数据治理的建设方在整个大的组织体系中的话语权有很大的关系。这就是我们做数据治理必须接受的现实。遇到这种问题,我们只能迂回地做些事情,尽量弥补某个环节缺失带来的不利影响,比如和数据提供方一起建立起数据清洗的规则,对来源数据做清洗,尽量达到可用的标准。

    第二个取舍:不同时间维度上的数据采取不同的处理方式。从时间维度上划分,数据主要有三类:未来数据、当前数据、历史数据。在解决不同种类的数据质量问题时,需要考虑取舍之道,采取不同的处理方式。

    1.   历史数据

    当你拿着一堆历史问题数据,找信息系统的负责人给你整改,对方通常不会给你好脸色看,可能会以“当前的数据问题都处理不过来,哪有时间给你处理历史数据的问题”为理由,拒你以千里之外。这时候你即便是找领导协调,一般也起不到太大的作用,因为这确实是现实情况:一个组织的历史数据通常是经年累月的积累,已经是海量的规模,很难一一处理。那么难道就没有更好的办法了吗?——对于历史数据问题的处理,我们可以发挥技术人员的优势,用数据清洗的办法来解决,对于实在清洗不了的,我们要让决策者判断投入和产出的效益比,结果往往是需要接受这种现状。

    从另一个角度来看:数据的新鲜度不同,其价值往往也有所区分。一般来说,历史数据的时间越久远,其价值越低。所以,我们不应该把最重要的资源放在历史数据质量的提升上,而是应该更多地着眼于当前产生和未来即将产生的数据。

    2.   当前数据

    当前数据的问题,需要从我们通过前面第四个章节讲过的梳理和发现问题,分析问题,解决问题,问题认责、跟踪和评估等几个流程环节来解决,管理过程中必须严格遵循流程,避免脏数据继续流到数据分析和应用环节。

    3.   未来数据

    管理未来的数据,一定要从数据规划开始,从整个组织信息化的角度出发,规划组织统一的数据架构,制定出统一的数据标准。借业务系统新建、改造或重建的时机,在创建物理模型、建表、ETL开发、数据服务、数据使用等各个环节遵循统一的数据标准,从根本上提升数据质量。这也是最理想、效果最好的数据质量管理模式。

    这样,通过对不同时期数据的不同处理方式,能做到事前预防、事中监控、事后改善,从根本上解决数据质量问题。

     

    六、总结

    提升数据质量,是数据治理最重要的目标之一。做数据质量管理,首先要弄清楚数据质量问题产生的根源大部分在于业务管理出了问题。

    其次,我们要根据组织架构,建立一套数据质量评估的标准和数据质量管理的流程。

    最后,在做数据质量管理过程中,我们要充分考虑到现状,对历史数据、当前数据、未来数据分别制定不同的处理策略。

     

    数澜科技的核心产品:一站式大数据平台“数栖”,集成了完善的数据质量管理功能,可以对表级、字段级的数据建立稽核规则,执行检查,生成数据质量报告,并融入到数据资产管理的闭环之中,帮助客户循环不断地提升数据质量。

  • 未登录

    回复楼主

    登录后可回复
    /1000