• 阅读: 282 回复: 0
    数据学堂

    基于企业服务总线的主数据管理系统(MDM)集成方案

    楼主 发表于 2021-10-14 19:31:01

    随着社会的发展,数据已成为最重要的生产资源,是企业发展的宝贵财富。大数据是工业社会的“自由”资源,谁掌握了数据,谁就掌握了主动权。然而现实中企业在使用这些数据的时候,却发现数据散落在多个系统当中,无法互相印证、共享,导致数据使用效率低下。

    为解决这个问题,目前主要有两种典型途径:

    途径一:建设公司级系统,囊括现有各内部系统的功能,统一存储数据,企业级ERP系统就是代表。这个途径的优势是数据统一存储、信息整合、标准化及一致性强;劣势是数据系统耦合性强、数据来源单一、系统庞大复杂、更新升级不便、系统投资大。

    途径二:建立数据共享平台,将公司内重要数据共享至这一平台。各项数据经清洗、标准化、发布后形成公司级数据,交由其他系统使用。此种方式的代表是主数据系统(MDM)。这个途径的优势各业务系统解耦,总体系统架构灵活,性能和扩展性强;劣势是数据实时性不强、因存在多副本数据有一定冗余。

    通过主数据管理系统,实现主数据为集团公司现有系统提供基础数据资源。实现基础数据在集团公司财务、物资集中管理、销售、生产等各业务领域的全方面应用。实现与集团公司在建的所需的各类主数据的接收/分发系统集成规范和接口功能开发。

    01 主数据概述

    主数据是指具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据,是单一、准确、权威的数据来源。

    主数据包含元数据、属性、定义、角色、关联关系、分类方法等内容,被不同的应用所使用,设计企业多数组织及业务单元。常见的主数据类型有产品、物料、供应商、客户(客商)、员工、会计科目、组织机构、项目等。

    主数据管理是一个全面的信息基础,用于决定和建立单一、准确、及时、权威的事实来源,主数据管理最重要的就是数据的唯一性、完整性和相互的关系,建立统一、集中的主数据系统是信息共享和集成的基础,良好的系统集成方式和效率是主数据系统应用的重要目标。

    主数据系统支持主动推送和数据共享两类发布方式,能够在主数据发生变化时将其推送至目标系统,也可建立主数据共享库,将发生变化的主数据以主题视图或其它方式存储于共享数据库中并实时更新,以便于业务系统采用,同时支持对有主数据需求的业务系统进行定义,通过标准接口或数据交换平台进行标准化的主数据分发。

    主数据系统与外部业务系统之间应具有较好的集成性,以保证主数据管理的及时性,能够反映当前业务的基础数据状况和满足当前业务运营对主数据管理的实际需求。

    系统建设必须遵照集团统一的数据规范和管理规范,不仅要考虑系统的完整实现,还要考虑企业现有系统与之相关业务的无缝集成能力。集成系统的接口不但要保证畅通的数据交换,还要满足扩展要求,符合接口标准规范。

    同时,系统要预留软、硬件接口,能够实现与集团现有信息系统的集成,实现数据共享。系统的内容与标准会随着企业的发展而产生变化,因此,系统建设随着业务的变化可以柔性地适应,要便于维护、升级,并留有数据接口,利于以后系统变更。

    02 主数据管理系统

    主数据的管理是针对异构系统建立的时间前后不一致所采用的折中方式,即在不破坏原有系统数据结构的基础上通过在各个系统上面加上一层“帽子”而采用的一种数据映射关系,企业集团公用的人员、客户、供应商、物资、财务等数据是被映射的主数据。

    这样既适应了集团企业的发展阶段,最大限度的保护了各个子公司单独的系统的完整性,又为集团集约化管控提供了公用数据。

    建立集团公司统一的主数据管理平台,可以使基础数据编码标准化,管理流程规范化,实现基础数据的集中管理,实现业务流程的标准化管理及监控,保证数据质量的真实性、一致性、完整性、及时性,提高全集团的数据管理能力和数据共享能力,提高通过数据综合分析为管理层决策提供依据的能力。

      

    一个完整的主数据管理空平台既能够满足主数据整合和分发,同时能够完整的满足主数据日常内容管理,以及结合服务共享层能力,实现主数据服务的共享和发布。

    在原有架构的基础上,对主数据管理平台进行重新分层,即分为基础层,应用层和共享层三层。基础层主要是提供基础引擎和技术服务能力,对于应用层则围绕主数据全生命周期展开,在应用层形成了完整的主数据视图后,再通过最上层的服务共享层提供的能力实现主数据数据服务的对外快速发布和共享。

    通过主数据平台与有关信息系统的集成,建立集团公司主数据的注册和订阅分发机制,发布标准化数据至各应用系统,实现整体数据源头清晰、标准统一、共享应用,促进上下游业务系统为核心的集团公司系统群充分发挥整体效用。

    03 总体集成架构

    主数据系统是各业务系统主数据的源头,及时有效的主数据自动分发方案才能确保主数据系统的成功实施。为保证数据分发,需在主数据系统与目标系统之间建立接口连接。

    系统主要采用WEB SERVICE方式对其它系统提供数据接口,具体访问地址和服务名称根据实际情况而定。

    系统架构具有灵活性和扩展性,能够以低成本、高效率的方式支持未来系统升级和业务流程变化。系统支持多语言环境,系统使用unicode编码进行系统间数据传输,对于需要一次传输大量数据量,采用分段异步数据传输或将同步消息进行拆分并分段传输的方式,保证系统数据传输的准确性,避免影响系统性能。

    系统接口支持标准WebService、MQ、Mail、文件、数据库等常用方式以及PI等数据交换中间件的集成,系统具备定时任务的功能。

    系统集成架构图

    集成方案有二种,其中一种是通过数据服务总线系统(PO)方式分发或订阅主数据,另外一种是通过主数据系统和目标系统后台表对表方式传递数据。结合集团的业务特点,一般推荐使用企业数据服务总线(PO)的方式进行系统集成。

    04 集成方案

    主数据系统支持系统集成以Web Service、RESTFul服务为传输协议,采用松耦合的方式进行集成。集成方案有二种,其中一种是通过主数据搭建接口服务的方式分发或订阅主数据,另外一种是通过主数据系统为目标系统建立接口表的方式,目标系统自主到表中获取数据的方式。

    3.1 数据来源为业务系统

    数据来源为业务系统的,例如:供应商准入系统等,表现为业务系统已经长时间运行,里面有大量历史数据,且数据与新制定标准不存在原则性冲突,同时业务部门将该业务系统作为主数据管理的主要平台。主数据系统上线后,针对此类主数据,其集成方式既要作为接收主数据的一方进行管理,同时又要作为发送一方进行管理。

    主要步骤有以下4步:

    ①业务系统数据发送至主数据接口模块,由主数据接口模块返回成功、失败标志,失败则重复上述步骤;

    ②主数据接口模块将数据发送至主数据系统,由主数据系统返回成功、失败标识至主数据接口模块,再由主数据接口模块将标识返回给业务系统,如果失败则重复上述步骤;

    ③主数据系统将数据发送至主数据接口模块,由主数据接口模块返回成功、失败标识,失败则重复上述步骤;

    ④主数据接口模块将数据发送至各个业务系统,由业务系统返回成功、失败标识至主数据接口模块,再由主数据接口模块将标识返回给主数据系统,如果失败则重复上述步骤。

    (注:初始化数据较大时,建议线下操作,如excel等。上述描述中主数据接口模块过程可省略,省略后即为主数据系统与业务系统点对点集成。)

    3.2 数据来源为主数据系统

    数据来源为主数据系统的,主要是通用性较高,无法在现有的单一业务系统里面进行管理的主数据。此类主数据,由于数据的产生、审核、变更、存储、分发都在同一个系统里面,因此系统集成时,主数据系统只作为一个分发系统,并不接受业务系统的主数据。

    主要步骤如下:

    ①主数据系统将数据发送至主数据接口模块,由主数据接口模块返回成功失败标识,失败则重复上述步骤;

    ②主数据接口模块将数据发送至各个业务系统,由业务系统返回成功、失败标识至主数据接口模块,再由主数据接口模块将标识返回给主数据系统,如果失败则重复上述步骤。

    3.3 新建系统的集成

    新的信息系统上线时,原则上所有主数据都应与主数据系统里的数据一致。因此,针对新建系统,主要有几方面工作要做:

    ①收集新建系统所需主数据类别;

    ②查看主数据系统代码体系内容,并下载所需代码;

    ③根据下载的代码,初始化新建系统,并根据主数据系统要求,调整主数据模板;

    ④新建系统与主数据系统约定好集成时间,在集成时间点,根据新建系统主数据需求,下载主数据系统内对应的静态主数据,并将其导入新建系统;

    ⑤新建系统完成与主数据接口模块的集成,增量数据通过主数据接口模块;

    ⑥方式接收;若新建系统在主数据系统内没有找到所需的代码,需向公司信息化管理部门申请在主数据系统新建对应的分类,待新建的代码或信息代码在主数据系统建立后再进行系统集成。

    3.4 已有系统的集成

    (1)数据映射方式。此类系统主要是其历史数据不能或者不愿意按照新的标准进行清洗,可采取数据映射的方式进行系统的集成。此类系统集成需要确认其历史数据与主数据系统内据的对应关系,并在业务系统内部建立映射关系表。

    (2)数据清洗方式。此类系统内的历史数据可以按照新标准进行清洗,可以直接接收主数据系统内的相关数据。此类系统的集成需先将历史数据导出,然后按照新标准清洗后,同时导入主数据系统和业务系统,然后再进行系统集成。

    05 集成测试

    系统集成完成后,需要模拟生产环境对集成接口进行验证,测试过程中既要选择有效、合理的数据进行测试,也要选择无效、不合理的数据进行测试,用以发现接口问题并及时处理。

    06 集成效果

    主数据管理系统通过系统接口,将一致的、唯一的、标准的数据发放给需要使用该数据的各个系统。主数据管理系统可确保主数据的全生命周期管理。

    从创建,修改,使用,停用等多个环节进行管理,统一各个业务系统主数据,避免使用主数据的业务系统不必再次进行功能重复建设。一定程度上节省了信息化建设资金。

    07 总结

    综上所述,通过搭建统一的主数据管理平台,将各类数据标准及数据明细进行统一管理,实现主数据的在线申请、审批、分发等功能。

    为集团公司及下属单位信息系统提供公共、开放、统一的数据共享服务,实现与集团公司及下属单位重点系统的数据集成工作,通过应用系统的接口发开,确保主数据管理系统与相关信息系统实现数据的共享与交换。切实提高集团公司信息化标准水平,为集团公司信息系统集成、业务协同贯通扫清障碍。

    本文内容转载自“数据学堂”(ID:data_school)

热门文章

一篇搞懂TCP、HTTP、Socket、Socket连接池

澜学院|Mock工具wiremock-py

Giraph源码分析(七)—— 添加消息统计功能

Giraph源码分析(八)—— 统计每个SuperStep中参与计算的顶点数目

最新文章

我DW

央视新闻《玩大小单双最厉害的回血老师》央视网

央视新闻《回血上岸最快的方法》央视网

央视新闻《大发最有实力带人回血的导师》央视网

  • 未登录

    回复楼主

    登录后可回复
    /1000