CN112396404A

CN112396404A - 一种数据中台系统

Info

Publication number: CN112396404A
Application number: CN202011368145.9A
Authority: CN
Inventors: 许可
Original assignee: Guangzhou Good Idea Information Technology Co ltd
Current assignee: Guangzhou Good Idea Information Technology Co ltd
Priority date: 2020-11-27
Filing date: 2020-11-27
Publication date: 2021-02-23

Abstract

本发明公开了一种数据中台系统，包括：数据汇聚模块，用于将各个业务系统的数据归集至数据中心；数据融合模块，用于根据业务需求构建对应的数据模型，以对业务数据进行加工处理；数据治理模块，用于消除各个业务系统的数据中的噪音；数据服务模块，用于根据数据服务目录为各个部门以及各个业务系统提供数据共享服务，提供基于数据资产的应用管理；资产管理模块，用于根据数据资产目录对数据资产进行动态追踪盘点。本发明能够通过建设数据中台，形成数据资产到业务应用的闭环，实现数据资产化和资产业务化，并提高数据整合利用效率和数据质量，打通数据孤岛，加强数据共享性，有利于全面掌握核心数据资产现状，保证数据共享安全合规性。

Description

一种数据中台系统

技术领域

本发明涉及数据处理及计算机技术领域，尤其是涉及一种数据中台系统。

背景技术

在当今的大数据时代背景下，数据作为越来越重要的生产要素，将成为比土地、石油、煤矿等更为核心的生产资源，如何加工利用数据，释放数据价值，实现企业的数字化转型，是企业面临的重要课题。虽然充分有效挖掘数据价值的过程中充满了障碍，但是数据中台逐步扫平了这些障碍。

但是，在对现有技术的研究与实践的过程中，本发明的发明人发现，现有的数据管理技术存在如下缺陷：企业的核心数据资源散落在不同的部门和业务系统中，数据源结构各异，缺少高效的核心数据归集、整合与分类管理手段，阻碍了数据治理和开发利用，导致数据难以整合利用；核心数据不一致、不唯一、不规范、不完整，导致数据统计分析不准确、业务难协同和领导难决策；目前企业内外部的数据孤岛普遍存在，造成数据孤岛的原因既包括技术上的，也包括标准和管理制度上的，这阻碍了跨部门、跨系统的数据共享，降低了资源利用率和数据的可得性；对于单位核心数据资产的总量、类别、分布、使用等情况不清楚，缺少动态可视化监测管理手段；数据在共享时容易造成数据泄露与数据滥用等安全风险，一旦发生数据安全事件，其对企业经营和用户利益的危害性将越来越大。因此，亟需能够克服至少上述一种缺陷的数据中台系统。

发明内容

本发明实施例所要解决的技术问题在于，提供一种数据中台系统，能够提高数据整合利用效率和数据质量，打通数据孤岛，加强数据共享。

为解决上述问题，本发明的一个实施例提供了一种数据中台系统，包括：

数据汇聚模块，用于将各个业务系统的数据归集至数据中心；

数据融合模块，用于根据业务需求构建对应的数据模型，以对业务数据进行加工处理；

数据治理模块，用于消除各个业务系统的数据中的噪音；

数据服务模块，用于根据数据服务目录为各个部门以及各个业务系统提供数据共享服务，提供基于数据资产的应用管理；

资产管理模块，用于根据数据资产目录对数据资产进行动态追踪盘点。

进一步地，所述数据汇聚模块，具体包括：

数据库连接单元，用于可视化配置数据库连接功能，并进行数据库连接测试；

文件数据源连接单元，用于批量导入不同格式的文件数据源；

服务数据源连接单元，用于连接服务数据源；

数据资产库配置单元，用于将连接的数据库配置为数据存储和治理的数据资产库。

进一步地，所述数据融合模块，具体包括：

库表建模单元，用于通过可视化方式建立库表数据集，通过库表复制的方式选择源库中的表模型，以1:1比例同步至新的数据模型；

文件建模单元，用于根据不同文件格式建立对应的文件数据集；

自助建模单元，用于通过图形化拖拽方式建立自助数据集，并将若干个数据源和数据资产库中的数据聚合为一个数据模型；

SQL建模单元，用于通过用户自定义的SQL脚本的执行结果生成数据模型。

进一步地，所述数据服务模块，包括：

编目管理单元，用于将数据发布至业务要求和企业标准编制数据服务的分类目录下，并对服务分类树进行服务分类的编辑处理；

数据服务发布单元，用于根据企业的数据服务分类要求将治理后的合规数据发布至对应的数据服务目录中；

数据服务目录单元，用于通过目录形式呈现发布的各类数据服务资源；

服务订阅申请单元，用于接收和审批服务订阅申请；

服务审批管理单元，用于审批用户的服务授权请求；

数据查询推送单元，用于对数据进行对外查询和推送；

数据服务监控单元，用于动态展现各项数据服务的订阅信息；

数据服务安全管理单元，用于提供注册管理和安全验证功能；

数据资产管理单元，用于对数据资产进行一站式动态追踪盘点，对数据进行查询检索；

中台全景图单元，用于通过系统动态图展示数据中台的全景；

数据运营大屏展示单元，用于通过大屏动态展现数据中台的数据运营情况；

即席查询单元，用于对通过自定义查询条件对数据进行可视化查询；

数据地图单元，用于对数据文件夹、数据集、元数据和数据内容的查询检索。

进一步地，所述数据中台系统，还包括：

数据更新模块，用于根据用户设置的数据更新策略实时更新数据状态；

具体的，所述数据更新模块，包括：

更新策略管理单元，用于设置数据更新策略；

更新任务监控单元，用于实时监控数据更新任务的执行进度，以及查询历史任务和出错情况告警；

数据断点续传单元，用于在网络中断情况下进行数据断点续传，以使在网络恢复后进行数据同步。

进一步地，所述数据中台系统，还包括：

数据分类管理模块，用于根据数据资产的目录进行数据分类管理；

具体的，所述数据分类管理模块，包括：

文件夹管理单元，用于通过文件夹形式对数据进行分类管理和分组，以及文件夹的编辑操作；

文件夹权限管理单元，用于按照用户角色分配文件夹数据权限。

进一步地，所述数据中台系统，还包括：

元数据管理模块，用于对数据中台系统中的元数据进行管理；

具体的，所述元数据管理模块，包括：

元数据采集单元，用于以自动化方式采集从数据产生系统到数据资产库到数据共享系统中的元数据；

元数据设置单元，用于对数据资产库中的字段元数据进行管理；

关联映射标准单元，用于对字段元数据与预设的数据标准规则进行关联映射，并对映射结果进行查看和管理；

质量规则管理单元，用于基于数据标准的质量规则设置元数据个性化的数据质量规则；

元数据展示单元，用于展示字段元数据的详情信息；

元数据搜索单元，用于根据数据存放位置和元数据名称检索对应的元数据信息。

进一步地，所述数据中台系统，还包括：

主数据管理模块，用于对数据中台系统中的主数据进行管理；

具体的，所述主数据管理模块，包括：

主数据定义单元，用于将经过数据治理的数据模型定义为主数据表，以使对主数据进行跟踪管理；

主数据同步单元，用于以数据资产库中聚合后的主数据为标准，通过数据服务管理或ESB服务总线完成主数据跨部门以及跨系统的同步；

主数据查询监测单元，用于通过若干种条件查询主数据，并跟踪主数据的质量和共享服务情况。

进一步地，所述数据中台系统，还包括：

数据血缘分析模块，用于记录数据的流向，并定位缺陷数据来源，清理无用数据，评估数据变化影响范围和数据价值；

具体的，所述数据血缘分析模块，包括：

血统分析单元，用于以图形化方式描述数据起源以及到当前位置的完整路径；

影响性分析单元，用于以图形化方式描述引用待分析对象数据的所有资源信息，评估数据发生变化范围；

全链分析单元，用于以图形方式对分析对象数据的来源和去向，进行全路径展现分析。

进一步地，所述数据中台系统，还包括：

数据质量管理模块，用于根据用户设置的质量规则和校验任务自动对数据进行检验，定期输出数据质量分析报告；

具体的，所述数据质量管理模块，包括：

质量规则设置单元，用于设置数据模型的质量规则标准；

质量规则校验单元，用于对所关注的数据执行质量规则的校验任务；

校验任务管理单元，用于对校验任务进行调度管理，设置指定校验任务及其执行周期；

质量监控分析单元，用于对质量规则校验的结果进行监控和分析；

质量报警单元，用于在发现质量问题时进行报警；

质量报告生成单元，用于定期数据质量分析报告；

数据比对处理单元，用于通过图像化拖拽凡是设置数据比对处理流程，并自动进行数据比对分析和处理，动态查看每个流程步骤的输出结果；

问题数据修正单元，用于通过可视化方式修改问题数据；

人工校正修正单元，用于以导出excel或生成数据库表的形式输出问题数据及其具体问题，分发至对应的业务部门。

实施本发明实施例，具有如下有益效果：

本发明实施例提供的一种数据中台系统，包括：数据汇聚模块，用于将各个业务系统的数据归集至数据中心；数据融合模块，用于根据业务需求构建对应的数据模型，以对业务数据进行加工处理；数据治理模块，用于消除各个业务系统的数据中的噪音；数据服务模块，用于根据数据服务目录为各个部门以及各个业务系统提供数据共享服务，提供基于数据资产的应用管理；资产管理模块，用于根据数据资产目录对数据资产进行动态追踪盘点。。

与现有技术相比，本发明实施例能够通过建设数据中台，形成数据资产到业务应用的闭环，实现数据资产化和资产业务化，并提高数据整合利用效率和数据质量，打通数据孤岛，加强数据共享性，有利于全面掌握核心数据资产现状，保证数据共享安全合规性。

附图说明

图1为本发明第一实施例提供的一种数据中台系统的结构示意图；

图2为本发明第一实施例提供的数据汇聚模块的结构示意图；

图3为本发明第一实施例提供的数据融合模块的结构示意图；

图4为本发明第一实施例提供的数据服务模块的结构示意图；

图5为本发明第一实施例提供的数据更新模块的结构示意图；

图6为本发明第一实施例提供的数据分类管理模块的结构示意图；

图7为本发明第一实施例提供的元数据管理模块的结构示意图；

图8为本发明第一实施例提供的主数据管理模块的结构示意图；

图9为本发明第一实施例提供的数据血缘分析模块的结构示意图；

图10为本发明第一实施例提供的数据质量管理模块的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

首先介绍本发明可以提供的应用场景，如提供一种数据中台系统对数据进行开发和管理。

本发明第一实施例：

请参阅图1-10。

如图1所示，本实施例提供了一种数据中台系统，包括：

数据汇聚模块100，用于将各个业务系统的数据归集至数据中心。

具体的，对于数据汇聚模块100，系统提供数据源连接功能，支持连接丰富的结构各异的数据源，帮助用户进行多样化的数据整合。一次建立数据连接后，便可随时抽取该数据源的数据进行建模、治理和共享服务。

数据融合模块200，用于根据业务需求构建对应的数据模型，以对业务数据进行加工处理；

具体的，对于数据融合模块200，系统提供可视化方式建立库表数据集、文件数据集、自助数据集、SQL数据集，帮助用户轻松建立满足业务需求的数据模型。

数据治理模块300，用于消除各个业务系统的数据中的噪音。

数据服务模块400，用于根据数据服务目录为各个部门以及各个业务系统提供数据共享服务，提供基于数据资产的应用管理。

具体的，对于数据服务模块400，提供对数据共享服务的统一管理，包括企业内部数据共享和外部数据流通，通过构建数据服务目录、授权数据服务等手段实现数据共享服务，有效完整的记录数据服务信息，形成数据服务统计，展示数据服务的价值。

资产管理模块500，用于根据数据资产目录对数据资产进行动态追踪盘点。

具体的，对于资产管理模块500，通过数据资产一站式动态追踪盘点，快速实时了解核心数据资产的总量、类别、内容、分布、使用等情况，并能对数据进行快速查询检索。

具体的，数据中台提供了数据汇聚、数据融合、数据治理、数据服务和资产管理五大能力。数据汇聚实现将各业务系统的数据归集到数据中心；数据融合支持根据业务需求建立数据模型并实现数据的加工处理；数据治理用于消除数据噪音，提升数据质量；数据服务基于数据服务目录为各部门、各业务系统提供数据共享服务，并支撑基于数据资产的新应用；资产管理基于数据资产目录实现对数据资产的动态追踪盘点。通过建设数据中台，形成数据资产到业务应用的闭环，实现数据资产化(对内增值)和资产业务化(对外增效)。

在优选的实施例中，如图2所示，所述数据汇聚模块100，具体包括：

服务数据源连接单元，用于连接服务数据源；

具体的，所述数据汇聚模块100，系统提供数据源连接功能，支持连接丰富的结构各异的数据源，帮助用户进行多样化的数据整合。一次建立数据连接后，便可随时抽取该数据源的数据进行建模、治理和共享服务。

在具体的实施例中，所述数据汇聚模块100还提供数据连接功能，支持系统通过浏览器中可视化配置数据连接，支持主流关系数据库和大数据平台；支持一键将数据连接设置为大数据库，同时实现对大数据库原有数据资产的自动识别及归入数据文件夹中进行可视化管理。

对于数据库连接单元，系统支持可视化配置数据库连接，并进行连接测试。支持连接的数据库包括：Oracle、DB2、MySQL、SQLServer、HANA、达梦等主流关系数据库；HadoopHive、SPARK、APACHE IMPALA等大数据平台；MongoDB、Redis等NO SQL数据库；Greenplum、TeraData等MPP数据库；BW、Intersystems Cache等多维数据库。

对于文件数据源连接单元，系统支持批量导入EXCEL、TXT、CSV等文件数据源，支持百万级数据一次性导入和分批追加。

对于服务数据源连接单元，系统支持连接Webservice、JSON等服务数据源。

对于数据资产库配置单元，系统支持一键将达梦、金仓等国产数据库连接配置为数据存储和治理的数据资产库，数据资产库原有的数据资产可被系统自动识别并归入数据文件夹中进行可视化管理。

在优选的实施例中，如图3所示，所述数据融合模块200，具体包括：

具体的，对于数据融合模块，系统提供可视化方式建立库表数据集、文件数据集、自助数据集、SQL数据集，帮助用户轻松建立满足业务需求的数据模型。

对于库表建模单元，系统提供可视化方式建立库表数据集，支持一键复制多个数据源的多张数据表结构和数据，实现高效的库表同步。

对于文件建模单元，系统支持根据EXCEL、TXT、CSV等文件格式建立文件数据集，支持数据批量导入和支持数据追加。

对于自助建模单元，系统支持使用图形化拖拽方式建立自助数据集，支持只用一个流程，将多个数据源与数据资产库中的数据聚合为一个模型，并提供字段选择、数据过滤、剪切字符串、行列互转、去除重复记录、值映射、计算器、字符串替换、合并记录等丰富的聚合能力。

系统支持直接在图形化建模界面中，通过鼠标点选实时查看每个处理步骤输出的数据结果，帮助用户即时验证流程的正确性，追朔问题步骤，从而正确及时的完成模型建设。

对于SQL建模单元，系统提供可视化方式通过自定义SQL灵活建模，支持设置SQL的自定义参数，包括参数名、参数类型和默认值，帮助用户便捷地进行模型调试。

在具体的实施例中，所述数据融合模块200还包括数据建模功能，支持在浏览器中以可视化方式一次复制多个数据源的多张数据表结构和数据到大数据库；支持断点续传；可以在浏览器中使用图形化流程设计器建立自助数据集，支持使用鼠标拖拽设计完整的数据加工流程，能将多个数据源与大数据库中的数据聚合为一个模型；系统提供字段选择、数据过滤、剪切字符串、行列互转、去除重复记录、值映射、计算器、字符串替换、合并记录等转换功能；支持在流程界面上预览各个处理环节输出的数据结果。

在优选的实施例中，如图4所示，所述数据服务模块400，包括：

具体的，提供编目管理功能，目录管理人员可以按照业务要求和企业标准编制数据服务的分类目录，数据提供者发布数据时可将数据发布到相应的目录下，以便数据消费者查询和检索。系统支持直接在服务分类树上进行服务分类的新增、修改、删除、查看、查询、移动。

具体的，数据提供方可以将治理后的合规数据根据企业的数据服务分类要求进行分类，并发布到数据服务目录中，以便数据消费方查看和获取数据。发布时可以设置数据共享服务的名称、类型(无条件共享、有条件共享、不予共享)、方式(数据推送、数据查询)。

数据提供方在发布数据共享服务时，若不想共享所有字段，可根据需求通过可视化过滤工具对共享的字段进行过滤。数据提供方在发布数据共享服务时，若不想共享所有字段，可根据需求通过可视化过滤工具对共享的记录进行过滤。

具体的，通过目录形式呈现发布的各类数据服务资源，数据消费方能够查看、查询各个条目数据的内容、提供方、共享类型、共享方式、更新周期等属性。

用户在查看服务目录资源时，系统会根据用户的权限确定用户可以执行的操作，阻止非法操作，并且会根据目录条目中资源过滤规则过滤用户可以访问和获取的数据，确保数据共享安全。

服务订阅申请单元，用于接收和审批服务订阅申请；

具体的，提供服务订阅申请功能，数据消费方在数据服务目录中找到需要的数据后，可以提出使用订阅申请，审批通过后方可获取数据。

服务审批管理单元，用于审批用户的服务授权请求；

具体的，提供服务授权审批功能，数据提供方可以对数据服务使用申请进行审批，授权的用户可以获取数据使用。提供服务管理功能，可以查看服务状态，并对服务进行停止/启用操作。

数据查询推送单元，用于对数据进行对外查询和推送；

具体的，实现数据对外查询和推送服务，前者用于在其他系统发出针对数据实时响应类查询请求时，返回所需数据，后者则用于提供批量数据推送服务。查询服务支持WebService、http两种主流服务接口。系统支持数据消费方对服务API进行在线调试。

具体的，提供服务监控功能，动态展现各项数据服务的有效性、订阅部门、访问次数、共享方式、对接系统等；支持对各用户订阅的服务进行管控。

具体的，提供注册管理功能，数据消费方在订阅服务之前，需要对获取数据的环境(查询数据的系统或接收数据的数据库)进行注册，以实现数据访问的授权控制，确保数据共享服务的安全。

通过服务API访问数据时，中台通过安全令牌对访问系统进行验证，确保数据只能被授权的用户使用。

具体的，通过数据资产一站式动态追踪盘点，快速实时了解核心数据资产的总量、类别、内容、分布、使用等情况，并能对数据进行快速查询检索。

具体的，系统一图动态展现平台全景，帮助用户实时掌握平台数据架构和单位核心数据资产状况。展现内容包括接入系统情况、数据资产库情况、数据分组分类情况，以及数据总量、采集量、共享量等关键运营指标。

具体的，支持通过大屏动态展现中台数据运营的总体情况，包括数据中台的系统对接情况，数据资产状况、数据归集情况、主数据情况、数据治理情况、数据融合情况、数据消费情况。

具体的，支持对数据的可视化查询功能，用户可自定义查询条件，支持将表中所有字段作为查询条件。

具体的，提供对数据文件夹、数据集、元数据和数据内容的快速检索查询功能。

在具体的实施例中，所述数据服务模块400包括数据共享功能，系统支持数据库表推送、webservice服务和http服务三种数据共享方式。支持多种数据共享类型，包括不共享、无条件共享和有条件共享，其中有条件共享支持选择共享部门，设置部门权限。支持通过筛选字段和数据记录，可视化配置共享数据范围；支持对服务的审批、监控、编辑等操作，并对服务资源目录实行分类管理。

在优选的实施例中，所述数据中台系统，还包括：

具体的，对于数据更新模块，系统支持灵活设置数据更新策略，实时查看更新状态，遇到故障断点续传，实现高效、稳定、自动化的数据采集交换，大幅度降低耗费的时间和人力成本。

具体的，如图5所示，所述数据更新模块，包括：

更新策略管理单元，用于设置数据更新策略；

具体的，系统支持灵活设置数据更新策略，包括时间和范围。更新时间支持定时、手动随时、延时更新三种，定时支持月、周、日、时/分/秒；更新范围支持全量、增量更新，增量默认新增，并可设置是否同步修改、删除。

具体的，系统支持实时监控数据更新任务的执行进度，支持历史任务查询和出错情况告警。

具体的，系统提供断点续传能力，在由于网络中断、服务器意外停机等不可预测情况下，能够保证设备和网络恢复后数据同步不丢失。

在优选的实施例中，所述数据中台系统，还包括：

数据分类管理模块，用于根据数据资产的目录进行数据分类管理，支持数据资产目录功能，帮助用户基于业务需求做好数据分类管理。

在具体的实施例中，所述数据分类管理模块还包括数据文件夹功能，系统支持以文件夹形式对数据进行分类管理，包括文件夹分组、新增、删除；支持在文件夹中直接查看所包含的数据集的结构和数据。

具体的，如图6所示，所述数据分类管理模块，包括：

具体的，系统支持数据文件夹功能，支持以文件夹形式对数据进行分类管理，支持文件夹分组，支持文件夹的新增、移动、删除等操作，支持在文件夹中直接查看所包含的数据集的结构和数据内容，支持对数据集中的字段进行重命名。

具体的，可以按照用户角色分配文件夹数据权限，保障数据安全。

在优选的实施例中，所述数据中台系统，还包括：

元数据管理模块，用于对数据中台系统中的元数据进行管理。

具体的，如图7所示，所述元数据管理模块，包括：

具体的，能够适应异构环境，支持对完成数据连接的数据源，以自动化方式采集从数据产生系统到数据资产库到数据共享系统中的元数据，包括过程中的数据实体(库、表、字段的描述)以及数据实体加工处理过程中的逻辑。

具体的，能够对数据资产库中的字段元数据进行管理，支持元数据命名、元数据描述。

具体的，可以将字段元数据与制定的标准进行关联映射，以实现数据标准的落地执行。提供数据标准在线映射配置功能，维护数据标准(含数据质量规则)与元数据之间的落地映射关系，并能对映射结果进行查看和管理。

具体的，能够基于数据标准的质量规则，设置元数据个性化的数据质量规则。

元数据展示单元，用于展示字段元数据的详情信息；

提供字段元数据的详情展示功能，包括元数据描述、所属表、数据类型、质量规则、数据质量、血统分析、影响分析、全链分析等。

具体的，可根据数据存放位置、元数据名称等检索元数据信息。

在优选的实施中，所述数据中台系统，还包括：

主数据管理模块，用于对数据中台系统中的主数据进行管理。

具体的，如图8所示，所述主数据管理模块，包括：

具体的，主数据是指用来描述企业核心业务实体的数据，是跨层级、跨部门、跨系统、跨业务共享应用的高价值的基础数据。系统支持将经过治理的数据模型定义为主数据表，以便于对主数据进行跟踪管理。

具体的，以数据资产库中聚合后的主数据为标准，通过数据服务管理或ESB服务总线实现主数据跨部门、跨系统的同步，达到业务协同的目标。

具体的，可通过多种条件查询主数据，并跟踪主数据的质量和共享服务情况。

在优选的实施例中，所述数据中台系统，还包括：

数据血缘分析模块，用于记录数据的流向，并定位缺陷数据来源，清理无用数据，评估数据变化影响范围和数据价值。

具体的，数据血缘分析是数据生命周期管理的关键环节，记录了数据从哪里来，到哪里去，帮助用户高效定位缺陷数据来源、清理无用数据、评估数据变化影响范围和数据价值。

具体的，如图9所示，所述数据血缘分析模块，包括：

具体的，血统分析能够以图形化方式描述数据起源以及到当前位置完整路径描述，帮助用户分析信息的使过程并且追溯在每一个节点上的特定用途。支持从字段、表两个层面分析数据血统。

具体的，影响性分析能够以图形化方式描述引用待分析对象的所有资源，帮助用户在某些数据发生变化或者需要修改时评估其影响范围。支持从字段、表两个层面分析数据影响性。

具体的，全链分析能够以图形化方式对分析对象的来源和去向进行全路径展现分析，帮助用户追溯数据来源，评估变化影响范围。支持从字段、表两个层面进行全链分析。

在优选的实施中，所述数据中台系统，还包括：

具体的，数据质量管理系统从数据使用角度监控管理数据的质量，其主要特点是自动化智能化，用户设置质量规则和校验任务后，系统可自动根据规则对数据进行检验，定期输出数据质量分析报告，准确定位问题数据，并通过血缘关系追朔问题源头，帮助用户从源头上解决数据问题，提升数据质量。

在具体的实施例中，所述数据质量管理模块包括数据质量管理功能，系统支持在数据标准中设置质量规则，包括基础规则、数据格式、数据范围、表达式；支持标准关联映射元数据，设置质量校验任务；支持对质量规则校验的结果进行监控和分析，包括查看任意问题数据项所违反的规则，查看任意规则校验出的问题数据；可以通过可视化方式直接操作修改、删除、导出发现的问题数据。

具体的，在经过质量校验后，系统将数据刷入大数据检索引擎，根据关联的元数据规则校验数据，并打上标识索引。系统优化数据表格的分页机制，整合原数据、校验索引以及异常信息的数据结构，使海量数据以通用表格的可视化形式秒级展示。数据表格根据异常索引，以特殊样式展示数据的异常状态并提示异常信息，异常数据可在单元格直接修改再反馈到目标数据库。

具体的，如图10所示，所述数据质量管理模块，包括：

质量规则设置单元，用于设置数据模型的质量规则标准；

具体的，提供质量规则设置功能，用于设置标准所应用的数据模型的质量规则。具体功能见数据标准中的质量规则设置。

具体的，提供对所关注的数据执行数据质量规则的校验任务。校验项目包括数据格式校验、数据范围校验、表达式校验、完整性校验、唯一性校验等。

具体的，提供对校验任务调度管理功能，指定校验任务周期执行。

具体的，对质量规则校验的结果进行监控和分析，校验结果能够准确定位到数据项。可对表和字段进行问题统计分析，可灵活查看某类问题下有哪些数据，以及某一数据项存在哪些问题。

质量报警单元，用于在发现质量问题时进行报警；

具体的，能够对质量问题及时进行报警，避免数据污染的发生，造成成本或业务损失。

质量报告生成单元，用于定期数据质量分析报告；

具体的，能够定期生成数据质量分析报告，在此基础上，能够根据报告结果，形成对问题数据的质量提高建议。

具体的，支持通过图形化拖拽的方式设置数据比对处理流程，实现流程化、自动化方式进行数据比对分析和处理，支持动态查看每个处理步骤的输出结果。

问题数据修正单元，用于通过可视化方式修改问题数据；

具体的，支持通过可视化方式直接操作修改发现的问题数据，无需编写程序。

具体的，对于需要分发给各业务部门进行人工核对修正的数据，支持以导出excel或生成数据库表的形式输出问题数据及其具体问题，并接收加载处理结果。

在具体的实施例中，本实施例还提供了系统管理模块，提供用户、组织机构、角色、权限、日志管理等功能。

所述系统管理模块，包括

用户管理单元，系统管理员可对各部门人员信息进行新增、修改、删除、密码重置、启用和禁用、查询等功能。用户信息包括用户账号、密码、姓名、电话、邮箱、所在部门等。

组织机构管理单元，系统管理员可对各部门的信息进行维护，包括新增、修改、删除、查询、部门用户查看和调整部门之间的层级结构。

角色管理单元，系统管理员可对系统角色信息进行维护，包括新增、修改、删除、查询，以及设置角色和用户的对应关系。

角色信息包括角色名称、角色描述等。用户与角色可以是多对多关系。

权限管理单元，提供用户/角色授权管理功能，通过将功能访问权限与用户/角色绑定，实现对用户/角色的授权管理。

日志管理单元，日志可记录系统运行、用户操作行为等信息，如用户登录信息、系统管理员操作记录、系统异常等。同时也可记录数据资源使用频度信息，以支撑今后数据应用状态的分析和数据搜索结果的展示。

系统管理员可根据日期、类型查询日志信息。日志信息包括发生时间、事件描述、操作人等。系统管理员可将日志信息导出并生成指定格式的文件到指定位置。

在具体的实施例中，本实施例还提供了无缝对接大数据智能分析工具，支持使用大数智能分析工具一键访问大数据库，基于数据模型，业务人员只需通过简单的拖拽就可以自助进行数据查询、复杂报表制作、多维分析，并通过对关键业务指标进行监测预警和分析预测，为单位领导提供决策支持服务。

在具体的实施例中，本实施例还提供了数据标准管理模块，用于建立单位数据标准，保障数据使用和交换的准确性和一致性。

具体的，所述数据标准管理模块，包括：

标准分类管理单元，提供对数据标准分类管理功能，支持直接在标准分类树上进行标准分类的新增、修改、移动、删除。

标准创建单元，提供数据标准创建功能，包括设置标准名称、所属分类、说明、状态、质量标准等。

质量规则设置单元，提供标准的质量规则设置功能，用于设置标准所应用的数据质量规则。能够设置的数据规则具体包括以下四类:

1、基础规则：设置标准的基础规则，包括空值校验、唯一性校验、数据长度校验，空格符校验；

2、数据格式：设置标准的数据格式要求，包括日期、时间、数值、货币等数据格式；

3、数据范围：设置标准的值域范围，支持录入范围和引用表字段范围；

4、表达式：通过设置正则表达式来校验标准应用的数据是否合规。提供内置的常用表达式，如身份证表达式，电子邮箱表达式等；支持自定义表达式。

标准维护单元，支持对标准内容和状态进行管理，包括查看、修改、删除、改变分类、停用、启用等。

标准映射，可以将制定的标准与实际数据进行关联映射，以实现数据标准的落地执行。可查看标准所映射的元数据。

本实施例提供的一种数据中台系统，包括：数据汇聚模块，用于将各个业务系统的数据归集至数据中心；数据融合模块，用于根据业务需求构建对应的数据模型，以对业务数据进行加工处理；数据治理模块，用于消除各个业务系统的数据中的噪音；数据服务模块，用于根据数据服务目录为各个部门以及各个业务系统提供数据共享服务，提供基于数据资产的应用管理；资产管理模块，用于根据数据资产目录对数据资产进行动态追踪盘点。

与现有技术相比，本实施例通过通过建设数据中台，形成数据资产到业务应用的闭环，实现数据资产化和资产业务化。同时提高数据整合利用效率，支持多源异构数据的可视化、自动化归集、加工与整合，降低数据准备门槛，缩短数据交付时间。提升数据质量，依托自动智能的数据质量稽核与清洗工具，建立常态化的数据质量管控体系，实现数据向优质资产的转变。打通数据孤岛，加强数据共享，提供公共数据的统一共享服务，打破数据孤岛，实现跨部门、跨系统的数据共享。全面掌握核心数据资产现状，通过数据资产一站式动态追踪盘点，快速实时了解核心数据资产的总量、类别、分布、使用等情况。保障数据共享安全合规，实现事前可管、事中可控、事后可查的数据共享安全管控，确保数据获取和使用合法合规。

同时，数据中台具有以下创新和突破：及时获取正确数据，在定位上，平台定位为提供公共数据服务的航母，打破传统的应用系统各自为政提供数据服务的模式，将平台既有的公共能力优势与应用的敏捷业务优势相结合，为用户业务及时提供高质量数据。自动智能，在运营上，平台以自动化、智能化运营为主，可实现数据调度、加工、稽核与服务的7×24小时无人作业，并提供独特的运营看板，帮助用户实时掌握数据运营的最新态势。使用简单，使用上，平台一举改变了过去传统的业务部门提需求、技术部门处理数据的模式，各部门无需编程便可进行数据的自助加工、质量管控和共享交换，让数据门槛更低、业务响应更快的同时，为用户带来前所未有的便捷体验。技术先进，在技术上，平台采用先进的大数据云连接技术，打通了异构数据生产、加工、消费环节和储存利用载体，彻底从技术上、流程上实现了从业务数据到基础数据、指标数据的共享互通，成为用户沉淀挖掘优质数据资源的首选利器。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的系统实施例仅仅是示意性的，例如所述模块的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变形，这些改进和变形也视为本发明的保护范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

Claims

1.一种数据中台系统，其特征在于，包括：

数据治理模块，用于消除各个业务系统的数据中的噪音；

2.根据权利要求1所述的数据中台系统，其特征在于，所述数据汇聚模块，具体包括：

服务数据源连接单元，用于连接服务数据源；

3.根据权利要求1所述的数据中台系统，其特征在于，所述数据融合模块，具体包括：

4.根据权利要求1所述的数据中台系统，其特征在于，所述数据服务模块，包括：

服务订阅申请单元，用于接收和审批服务订阅申请；

服务审批管理单元，用于审批用户的服务授权请求；

数据查询推送单元，用于对数据进行对外查询和推送；

5.根据权利要求1所述的数据中台系统，其特征在于，还包括：

具体的，所述数据更新模块，包括：

更新策略管理单元，用于设置数据更新策略；

6.根据权利要求1所述的数据中台系统，其特征在于，还包括：

具体的，所述数据分类管理模块，包括：

7.根据权利要求1所述的数据中台系统，其特征在于，还包括：

具体的，所述元数据管理模块，包括：

元数据展示单元，用于展示字段元数据的详情信息；

8.根据权利要求1所述的数据中台系统，其特征在于，还包括：

具体的，所述主数据管理模块，包括：

9.根据权利要求1所述的数据中台系统，其特征在于，还包括：

具体的，所述数据血缘分析模块，包括：

10.根据权利要求1所述的数据中台系统，其特征在于，还包括：

具体的，所述数据质量管理模块，包括：

质量规则设置单元，用于设置数据模型的质量规则标准；

质量报警单元，用于在发现质量问题时进行报警；

质量报告生成单元，用于定期数据质量分析报告；

问题数据修正单元，用于通过可视化方式修改问题数据；