为什么指标对齐这么难?(数据质量系列之一)

氧气    发布于:2019-10-30 浏览 94

作为数据分析师,我们的日常工作中,“核对数据”在所难免;某些“命途多舛”的时节,甚至几天都在解决口径核对的问题。同样的一个指标名称,数值却千差万别;各方有各方的说辞,听上去都有道理,可凑到一起,除了“撕逼”再无其他。为了解决这样的困局,我们找到下面的文章,希望这段经验能为更多人所用。

本文转载自公众号:老树之见

作者:老树

作为数据分析师,我们的日常工作中,“核对数据”在所难免;某些“命途多舛”的时节,甚至几天都在解决口径核对的问题。同样的一个指标名称,数值却千差万别;各方有各方的说辞,听上去都有道理,可凑到一起,除了“撕逼”再无其他。为了解决这样的困局,最近我开始介入到口径治理这样的项目中。折腾快一个月,发现自己最初也低估了事情的难度。打算边干,边总结,边写,写成一个数据质量系列。希望这段经验能为更多人所用。

原因剖析

一、对数据业务发展阶段没有准确的认知

我所在的是某互联网独角兽公司。在这样的公司,大家往往会产生“我们数据量很大=我们的数据很全面=我们的业务是数据驱动的=我们能用好数据=我们能把数据分析做好”的美好幻觉。说实话,这个幻觉只有第一部分准确,而往往是数据量极大,才会使得后面的问题更加突出。本文的目的并不是一一戳破幻觉,因此暂不展开。

如上图,我是这么总结一个公司或者部门的数据业务发展阶段。要做到口径清晰,人人用对,至少发展到“分析师能描述&业务方懂量化”的程度。而现实是,我们还没有达到“分析师取对数&业务方要数据”的层次。

何谓“能描述”?即分析师能深入理解业务上下文,能构造一个或者多个信效度都优秀的指标,将业务问题准确表达。何谓“懂量化”?即业务方(数据结果的使用者),能够理解分析师构造的指标逻辑和目的,能够将指标的变化与业务变化对应上,并且在表达和应用中,保持“同名同意”。

二、数据基础设施不健全

取相同指标,10个人有10个数据源外加10种sql写法,3个环节都还会出错,要对齐,概率比中500万高不了多少。因此,在数据基础设施上总结起来就一句话:“异人,同源,同路,同法”。同源,即将数据分析师应用的数据源尽量减少。数据仓库的层次清晰:

  • 最细颗粒度的底层表,不同主体具备唯一性(如用户、商家、地区、订单等),专人高频维护。

  • 不同业务部门的数据汇总需求,做成主题式的表或视图,也保持相同主题的唯一性,继承于底层表。

  • 相同或相似主题的数据产品,起于一套数据源。

同路,即指标维护有相应的平台;核心指标的口径和样例代码,长期稳定,变更要有严格审核流程。
同法,即不同的分析师遵照同一平台和规范,定义指标并写代码。
(数据基础设施完善是一个专题,会有专门讨论的文章。)

三、我们都高估了自己的头脑

前面说到过数据量大造成的一系列幻觉。其中“我们是数据驱动=我们能用好数据”这个环节,尤其容易蒙蔽双眼。老板强调“数据驱动决策”本没有错,但并不意味着强调了,我们就掌握数据驱动。很营养的东西吃多了,并不会身强体健,而会消化不良。这当中有一个“学习消化”的环节。
训练自己的大脑,使其具备更清晰的逻辑思维能力,更多样化的思考框架,是应用数据的前提。现实情况中,我们总会发现,不管是分析师还是业务人员,面对着一堆数据、图表或者模型结果,不知所云;管理层听得似懂非懂,听众不懂装懂。我们大多数人(包括90%时间的我自己),面对问题和数据,只能应用最低效的思考方式,说好听点叫“启发式思维”,说难听点就是“想一出是一出,全靠蒙”。不训练,哪来的脑力提高?
举一个更具体的例子,我称之为“数据质量悖论”:

因为数据对不上的问题,许多业务人员没有安全感,会从多个数据源(多个分析师或者多个数据产品)取数核对,而多个数据源的计算逻辑是他们的“脑力”所不能支持的,因此会有更多核对不上的问题,造成更大的不安全感。这种不安全感会转化成对数据团队负面的反馈和评价,进而造成更多人的不安全感和数据团队的信心缺失,这个循环的波及面就会迅速扩大。

这个悖论,听上去让人很绝望,这就是数据对齐很难的一大核心原因。有解决方案吗?应该是有的,但我们正在寻找中。有一点可以明确,那就是控制自己脑子获取的数据量。我们都应该承认:我们是不够聪明的,而数据是复杂的(多指标交叉多维度)。所以,不要轻易“四处要数据”。

四、分析师没有规范&数据使用者没有质量意识

这一点,也许是目前困境的最直白表述。
目前,我们的某些分析师取数写码非常“想当然”,即只按自身理解来提取数据,完全不理会已有的数据平台上对于指标的标准定义和样例代码。加上业务方没有数据质量意识,拿了就用;再加上业务领导也没有数据质量意识,听了就信,信了就决策。。。
从这个角度说,我希望所有数据的使用者,拿到一个结果,先好好审核,有没有计算口径说明,是不是合理且标准的定义,多反问对接的分析师。以我的理念,在数据报告或者产品中,不写出口径定义的分析师,都是耍流氓,这是一种及其不负责任的行为。
许多分析师,总把注意力集中在模型、算法、业务决策、产品方案等看上去高大上的事情上,不是说这不对,但这需要根基。根基就是踏踏实实的数据质量:

  • 高质量的sql代码:注释全面、口径明确、层次清晰。

  • 严谨、负责的职业素养。

  • 全面、及时的沟通习惯。

五、知识的复合化程度不够

简单地说,就是所有人,都要多学习,而且是互相学习。如果人人都懂业务、懂数据分析、懂产品、懂开发,那我相信就没有这么多数据对不上的“幺蛾子”。但我知道这是不可能实现的。但人具备复合型的知识,非常有必要。我们不需要门门精通,但需要样样入门。锻炼我们的思维,梳理我们的逻辑,不要用我们既有的知识去理解发展当中的问题。


对文章版权如有异议,请添加数澜客服微信号进行申诉:shulan_shouhou

收藏此文章 点赞此文章

评论 (0)

暂无用户回复

评论此篇文章

登录后可回复
/1000