CN116882931A - 一种进销存管理系统及其数据处理方法 - Google Patents
一种进销存管理系统及其数据处理方法 Download PDFInfo
- Publication number
- CN116882931A CN116882931A CN202310886746.6A CN202310886746A CN116882931A CN 116882931 A CN116882931 A CN 116882931A CN 202310886746 A CN202310886746 A CN 202310886746A CN 116882931 A CN116882931 A CN 116882931A
- Authority
- CN
- China
- Prior art keywords
- data
- subsystem
- storage
- service
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Engineering & Computer Science (AREA)
- Operations Research (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- Economics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出一种进销存管理系统及其数据处理方法,本发明方案通过构建数据中心和数据交互总线,开发统一的数据服务接口,进行部分关键数据的数据库同步,加上数据交互规范/协议和必要时的系统重构,可以实现进、销、存三子系统间的数据的智能高效地融合、同步和互通,可以长期优化进销存业务流程,提高其数据运营效率与质量。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种进销存管理系统及其数据处理方法。
背景技术
进销存管理系统是ERP(企业资源计划)系统的重要组成部分,它主要涉及到企业的采购、销售和库存三个核心流程,并将其整合到一起。随着企业的发展壮大和经营数据的积累,现有的进销存管理系统面临着巨大体量数据管理滞后的问题,在数据共享、同步、存储等方面都体现出不智能、低效率等问题。
发明内容
本发明正是基于上述问题,提出了一种进销存管理系统及其数据处理方法,通过通过构建数据中心和数据交互总线,开发统一的数据服务接口,进行部分关键数据的数据库同步,加上数据交互规范/协议和必要时的系统重构,可以实现进、销、存三子系统间的数据的智能高效地融合、同步和互通,可以长期优化进销存业务流程,提高其数据运营效率与质量。
有鉴于此,本发明的一方面提出了一种进销存管理系统,包括:进子系统、销子系统、存子系统、第一数据中心;
所述第一数据中心被配置为:
通过数据中心技术对所述进销存系统的第一数据进行采集、清洗、存储和管理;
建立第一数据交互总线,采用大数据流技术并通过所述第一数据交互总线与所述进子系统、所述销子系统、所述存子系统进行实时数据交互;
建立第一数据服务接口,当所述进子系统、所述销子系统、所述存子系统三者间需要相互调用对方的业务功能或访问数据时,通过所述第一数据服务接口进行业务功能调用和数据获取;
建立本地数据库辅助管理中心,当满足第一预设数据同步条件时,所述本地数据库辅助管理中心利用数据库机制,将所述进子系统、所述销子系统、所述存子系统分别在各自本地数据库中的关键业务数据进行同步;
制定第一数据交互规范和协议,确定所述进子系统、所述销子系统、所述存子系统三者间数据通信的频率、接口规范、字段映射规则,以确保高质量和高效率的数据交互;
对所述进子系统、所述销子系统和所述存子系统的第一历史数据进行分析,得到第一分析结果;
当所述第一分析结果符合第一预设修改条件时,分别对所述进子系统和/或所述销子系统和/或所述存子系统进行系统改造和重构以降低所述进子系统、所述销子系统、所述存子系统三者间的耦合度。
可选地,所述通过数据中心技术对所述进销存系统的第一数据进行采集、清洗、存储和管理的步骤,所述第一数据中心被配置为:
从所述进销存系统采用数据仓库技术、消息队列技术和大数据流技术实时或离线对所述第一数据进行采集;
利用预先通过机器学习技术训练好的第一数据处理模型对所述第一数据进行脏数据滤除、异常值修复、标准化处理,得到第二数据;
采用关系数据库、非关系型数据库、数据湖和数据仓库技术,按数据类型和业务需求对所述第二数据实现多层数据存储;
根据所述第二数据的第一属性特征,建立第一数据标准、第一数据字典和第一数据映射关系,进行标准化数据治理和管理;
配置用于防止对所述第二数据进行非法访问/篡改的第一用户身份认证机制和第一数据权限方案以加强所述第一数据中心的安全管理和监控;
获取对所述第一历史数据进行操作/管理的第一历史操作数据;
根据所述第一历史数据和所述第一历史操作数据分别建立多个第一类型数据开放模型和多个第二类型数据开放模型;
根据所述多个第一类型数据开放模型和所述多个第二类型数据开放模型将所述第一数据中心的数据与服务对不同的内部系统和外部系统开放以实现数据的共享交换与价值创造;
在所述第一数据中心基于大数据和人工智能技术实现OLAP分析、数据挖掘、预测建模,得到第一数据报告和第一预测预警报告,并根据所述第一数据报告和所述第一预测预警报告对所述进销存系统进行数据管理方案修改与系统升级;
采用各类系统集成技术,实现所述第一数据中心与所述进销存系统、其他企业系统之间的应用集成和工作流协同以保证数据流转安全;
根据预设的第一监测模型对所述第一数据中心进行运维与监控。
可选地,所述建立第一数据交互总线,采用大数据流技术并通过所述第一数据交互总线与所述进子系统、所述销子系统、所述存子系统进行实时数据交互的步骤,所述第一数据中心被配置为:
根据所述进销存系统的第一数据传输需求和所述第一历史数据的第一基本特征确定匹配的一个或多个第一数据流传输方案;
根据所述第一数据流传输方案在所述第一数据中心构建第一数据流传输服务,用于接收所述进子系统、所述销子系统、所述存子系统上报的数据,并实时下发对应数据至所述进子系统、所述销子系统、所述存子系统;
所述进子系统、所述销子系统、所述存子系统上报数据方式包括:直接将本地更新的数据通过所述第一数据流传输服务的API上报至所述第一数据中心;将本地数据库的更新日志通过所述第一数据流传输服务传输上报至所述第一数据中心;采用增量数据采集方法,定期将新增和更新数据通过所述第一数据流传输服务推送至所述第一数据中心;
所述第一数据中心通过所述第一数据流传输服务,将清洗与处理后的数据实时推送至所述进子系统、所述销子系统、所述存子系统的数据流服务,所述进子系统、所述销子系统、所述存子系统接收数据并同步更新本地系统;
所述第一数据中心对所述进销存系统的数据流转进行实时监测,得到第一实时监测数据;
根据所述第一实时监测数据,利用所述第一数据流传输服务的分区、批处理和微批功能,对所述进销存系统内的数据流转过程进行控制;
根据所述第一数据交互规范和协议,确定通过所述第一数据流传输服务进行数据流交互的字段、更新频率、传输内容。
可选地,所述建立第一数据服务接口,当所述进子系统、所述销子系统、所述存子系统三者间需要相互调用对方的业务功能或访问数据时,通过所述第一数据服务接口进行业务功能调用和数据获取的步骤,所述第一数据中心被配置为:
根据所述第一数据交互规范和协议确定第一接口协议;
根据所述第一接口协议和所述进子系统、所述销子系统、所述存子系统三者各自的子系统特征数据确定第一接口标准,所述第一接口标准包括接口地址、请求方法、参数、响应数据格式;
所述进子系统、所述销子系统、所述存子系统分别根据所述第一接口标准开发子系统内部数据服务接口,通过调用内部的业务服务获取数据并返回数据;
所述第一数据中心根据所述第一接口标准开发所述第一数据服务接口,所述第一数据服务接口通过调用所述进子系统、所述销子系统、所述存子系统开放的所述子系统内部数据服务接口获取数据,进行数据整合后返回给调用方;
所述进子系统、所述销子系统、所述存子系统调用所述子系统内部数据服务接口获取数据或业务服务,进行本地业务处理;
根据所述第一接口标准,为所述第一数据服务接口和所述子系统内部数据服务接口增加接口安全机制;
监控所述第一数据服务接口和所述子系统内部数据服务接口的性能与调用情况,得到第一接口监测数据;
根据所述第一接口监测数据完善与优化所述第一数据服务接口和所述子系统内部数据服务接口。
可选地,所述建立本地数据库辅助管理中心,当满足第一预设数据同步条件时,所述本地数据库辅助管理中心利用数据库机制,将所述进子系统、所述销子系统、所述存子系统分别在各自本地数据库中的关键业务数据进行同步的步骤中:
所述本地数据库辅助管理中心被配置为:
分别识别所述进子系统、所述销子系统、所述存子系统的所述关键业务数据;
分别分析所述进子系统、所述销子系统、所述存子系统的业务规则,确定所述关键业务数据之间的依赖/更新关系;
分别根据所述进子系统、所述销子系统、所述存子系统的所述子系统特征数据和所述依赖/更新关系确定对应的多个数据库同步机制;
根据所述多个数据库同步机制得到多个同步程序;
部署并测试所述多个同步程序,检查同步结果是否正确以及是否影响其他业务流程并生成同步检查结果;
根据所述同步检查结果维护与优化所述多个同步程序以确保其正常运行并同步最新业务规则;
检测是否满足第一预设数据同步条件,当不满足时,停止所述多个同步程序中对应的数据库同步程序以避免产生重复操作。
本发明的另一方面提供一种进销存管理系统数据处理方法,应用于一种进销存管理系统,所述进销存管理系统包括进子系统、销子系统、存子系统、第一数据中心,所述进销存管理系统数据处理方法包括:
构建所述第一数据中心,所述第一数据中心通过数据中心技术对所述进销存系统的第一数据进行采集、清洗、存储和管理;
建立第一数据交互总线,所述第一数据中心采用大数据流技术并通过所述第一数据交互总线与所述进子系统、所述销子系统、所述存子系统进行实时数据交互;
建立第一数据服务接口,当所述进子系统、所述销子系统、所述存子系统三者间需要相互调用对方的业务功能或访问数据时,通过所述第一数据服务接口进行业务功能调用和数据获取;
建立本地数据库辅助管理中心,当满足第一预设数据同步条件时,所述本地数据库辅助管理中心利用数据库机制,将所述进子系统、所述销子系统、所述存子系统分别在各自本地数据库中的关键业务数据进行同步;
制定第一数据交互规范和协议,确定所述进子系统、所述销子系统、所述存子系统三者间数据通信的频率、接口规范、字段映射规则,以确保高质量和高效率的数据交互;
所述第一数据中心对所述进子系统、所述销子系统和所述存子系统的第一历史数据进行分析,得到第一分析结果;
当所述第一分析结果符合第一预设修改条件时,分别对所述进子系统和/或所述销子系统和/或所述存子系统进行系统改造和重构以降低所述进子系统、所述销子系统、所述存子系统三者间的耦合度。
可选地,所述构建所述第一数据中心,所述第一数据中心通过数据中心技术对所述进销存系统的第一数据进行采集、清洗、存储和管理的步骤,包括:
从所述进销存系统采用数据仓库技术、消息队列技术和大数据流技术实时或离线对所述第一数据进行采集;
利用预先通过机器学习技术训练好的第一数据处理模型对所述第一数据进行脏数据滤除、异常值修复、标准化处理,得到第二数据;
采用关系数据库、非关系型数据库、数据湖和数据仓库技术,按数据类型和业务需求对所述第二数据实现多层数据存储;
根据所述第二数据的第一属性特征,建立第一数据标准、第一数据字典和第一数据映射关系,进行标准化数据治理和管理;
配置用于防止对所述第二数据进行非法访问/篡改的第一用户身份认证机制和第一数据权限方案以加强所述第一数据中心的安全管理和监控;
获取对所述第一历史数据进行操作/管理的第一历史操作数据;
根据所述第一历史数据和所述第一历史操作数据分别建立多个第一类型数据开放模型和多个第二类型数据开放模型;
根据所述多个第一类型数据开放模型和所述多个第二类型数据开放模型将所述第一数据中心的数据与服务对不同的内部系统和外部系统开放以实现数据的共享交换与价值创造;
在所述第一数据中心基于大数据和人工智能技术实现OLAP分析、数据挖掘、预测建模,得到第一数据报告和第一预测预警报告,并根据所述第一数据报告和所述第一预测预警报告对所述进销存系统进行数据管理方案修改与系统升级;
采用各类系统集成技术,实现所述第一数据中心与所述进销存系统、其他企业系统之间的应用集成和工作流协同以保证数据流转安全;
根据预设的第一监测模型对所述第一数据中心进行运维与监控。
可选地,所述建立第一数据交互总线,所述第一数据中心采用大数据流技术并通过所述第一数据交互总线与所述进子系统、所述销子系统、所述存子系统进行实时数据交互的步骤,包括:
根据所述进销存系统的第一数据传输需求和所述第一历史数据的第一基本特征确定匹配的一个或多个第一数据流传输方案;
根据所述第一数据流传输方案在所述第一数据中心构建第一数据流传输服务,用于接收所述进子系统、所述销子系统、所述存子系统上报的数据,并实时下发对应数据至所述进子系统、所述销子系统、所述存子系统;
所述进子系统、所述销子系统、所述存子系统上报数据方式包括:直接将本地更新的数据通过所述第一数据流传输服务的API上报至所述第一数据中心;将本地数据库的更新日志通过所述第一数据流传输服务传输上报至所述第一数据中心;采用增量数据采集方法,定期将新增和更新数据通过所述第一数据流传输服务推送至所述第一数据中心;
所述第一数据中心通过所述第一数据流传输服务,将清洗与处理后的数据实时推送至所述进子系统、所述销子系统、所述存子系统的数据流服务,所述进子系统、所述销子系统、所述存子系统接收数据并同步更新本地系统;
所述第一数据中心对所述进销存系统的数据流转进行实时监测,得到第一实时监测数据;
根据所述第一实时监测数据,利用所述第一数据流传输服务的分区、批处理和微批功能,对所述进销存系统内的数据流转过程进行控制;
根据所述第一数据交互规范和协议,确定通过所述第一数据流传输服务进行数据流交互的字段、更新频率、传输内容。
可选地,所述建立第一数据服务接口,当所述进子系统、所述销子系统、所述存子系统三者间需要相互调用对方的业务功能或访问数据时,通过所述第一数据服务接口进行业务功能调用和数据获取的步骤,包括:
根据所述第一数据交互规范和协议确定第一接口协议;
根据所述第一接口协议和所述进子系统、所述销子系统、所述存子系统三者各自的子系统特征数据确定第一接口标准,所述第一接口标准包括接口地址、请求方法、参数、响应数据格式;
所述进子系统、所述销子系统、所述存子系统分别根据所述第一接口标准开发子系统内部数据服务接口,通过调用内部的业务服务获取数据并返回数据;
所述第一数据中心根据所述第一接口标准开发所述第一数据服务接口,所述第一数据服务接口通过调用所述进子系统、所述销子系统、所述存子系统开放的所述子系统内部数据服务接口获取数据,进行数据整合后返回给调用方;
所述进子系统、所述销子系统、所述存子系统调用所述子系统内部数据服务接口获取数据或业务服务,进行本地业务处理;
根据所述第一接口标准,为所述第一数据服务接口和所述子系统内部数据服务接口增加接口安全机制;
监控所述第一数据服务接口和所述子系统内部数据服务接口的性能与调用情况,得到第一接口监测数据;
根据所述第一接口监测数据完善与优化所述第一数据服务接口和所述子系统内部数据服务接口。
可选地,所述建立本地数据库辅助管理中心,当满足第一预设数据同步条件时,所述本地数据库辅助管理中心利用数据库机制,将所述进子系统、所述销子系统、所述存子系统分别在各自本地数据库中的关键业务数据进行同步的步骤,包括:
所述本地数据库辅助管理中心分别识别所述进子系统、所述销子系统、所述存子系统的所述关键业务数据;
所述本地数据库辅助管理中心分别分析所述进子系统、所述销子系统、所述存子系统的业务规则,确定所述关键业务数据之间的依赖/更新关系;
所述本地数据库辅助管理中心分别根据所述进子系统、所述销子系统、所述存子系统的所述子系统特征数据和所述依赖/更新关系确定对应的多个数据库同步机制;
所述本地数据库辅助管理中心根据所述多个数据库同步机制得到多个同步程序;
所述本地数据库辅助管理中心部署并测试所述多个同步程序,检查同步结果是否正确以及是否影响其他业务流程并生成同步检查结果;
根据所述同步检查结果维护与优化所述多个同步程序以确保其正常运行并同步最新业务规则;
检测是否满足第一预设数据同步条件,当不满足时,停止所述多个同步程序中对应的数据库同步程序以避免产生重复操作。
采用本发明的技术方案,通过构建数据中心和数据交互总线,开发统一的数据服务接口,进行部分关键数据的数据库同步,加上数据交互规范/协议和必要时的系统重构,可以实现进、销、存三子系统间的数据的智能高效地融合、同步和互通,可以长期优化进销存业务流程,提高其数据运营效率与质量。
附图说明
图1是本发明一个实施例提供的进销存管理系统的示意框图;
图2是本发明一个实施例提供的进销存管理系统数据处理方法流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
下面参照图1至图2来描述根据本发明一些实施方式提供的一种进销存管理系统及其数据处理方法。
如图1所示,本发明一个实施例提供一种进销存管理系统,包括:进子系统、销子系统、存子系统、第一数据中心、安全服务器和虚拟服务器;
所述第一数据中心被配置为:
通过数据中心技术对所述进销存系统的第一数据进行采集、清洗、存储和管理;第一数据中心作为中心数据源,进销存系统的第一数据先到第一数据中心,并按进销存各子系统的各自的数据处理要求分别进行处理;对处理后的各数据建立并保存映射关系,再将建立了映射关系的数据分别按各子系统的不同需求发送至各子系统;前述三个子系统也可以主动从第一数据中心获取所需数据;本方案可以最大限度地降低系统间的数据依赖和耦合度;
建立第一数据交互总线,采用大数据流技术并通过所述第一数据交互总线与所述进子系统、所述销子系统、所述存子系统进行实时数据交互;通过数据流,第一数据中心可以实时下发最新数据到前述三个子系统,前述三个子系统也可以实时将本地更新的数据发送到第一数据中心;
建立第一数据服务接口,当所述进子系统、所述销子系统、所述存子系统三者间需要相互调用对方的业务功能或访问数据时,通过所述第一数据服务接口进行业务功能调用和数据获取以避免直接依赖于对方的本地应用系统接口;
建立本地数据库辅助管理中心,当满足第一预设数据同步条件时(如所述第一数据中心和/或所述第一数据交互总线的同步机制出现异常时),所述本地数据库辅助管理中心利用数据库机制,将所述进子系统、所述销子系统、所述存子系统分别在各自本地数据库中的关键业务数据进行同步;当第一数据中心或第一数据交互总线未及时同步数据时,可以暂时通过数据库机制保证业务规则的执行;
制定第一数据交互规范和协议,确定所述进子系统、所述销子系统、所述存子系统三者间数据通信的频率、接口规范、字段映射规则,以确保高质量和高效率的数据交互;
对所述进子系统、所述销子系统和所述存子系统的第一历史数据进行分析,得到第一分析结果;
当所述第一分析结果符合第一预设修改条件时,分别对所述进子系统和/或所述销子系统和/或所述存子系统进行系统改造和重构以降低所述进子系统、所述销子系统、所述存子系统三者间的耦合度;将相互依赖的业务逻辑和数据本地化,减少跨系统调用,这能使各系统更独立地运行和演进;
本发明方案通过构建数据中心和数据交互总线,开发统一的数据服务接口,进行部分关键数据的数据库同步,加上数据交互规范/协议和必要时的系统重构,可以实现进、销、存三子系统间的数据的智能高效地融合、同步和互通,可以长期优化进销存业务流程,提高其数据运营效率与质量。
应当知道的是,图1所示的进销存管理系统的框图仅作示意,其所示出的各模块的数量并不对本发明的保护范围进行限定。
在本发明一些可能的实施方式中,所述通过数据中心技术对所述进销存系统的第一数据进行采集、清洗、存储和管理的步骤,所述第一数据中心被配置为:
从所述进销存系统采用数据仓库技术、消息队列技术和大数据流技术实时或离线对所述第一数据进行采集;
利用预先通过机器学习技术训练好的第一数据处理模型对所述第一数据进行脏数据滤除、异常值修复、标准化处理,得到第二数据;
采用关系数据库、非关系型数据库、数据湖和数据仓库技术,按数据类型和业务需求对所述第二数据实现多层数据存储;
根据所述第二数据的第一属性特征,建立第一数据标准、第一数据字典和第一数据映射关系,进行标准化数据治理和管理,这是数据有效融合和利用的基础;
配置用于防止对所述第二数据进行非法访问/篡改的第一用户身份认证机制和第一数据权限方案以加强所述第一数据中心的安全管理和监控;
获取对所述第一历史数据进行操作/管理的第一历史操作数据(包括但不限于所述第一数据中心对所述第一历史数据的历史处理数据、同步数据、修改数据以及各子系统的历史上报数据、历史订阅数据等);
根据所述第一历史数据和所述第一历史操作数据分别建立多个第一类型数据开放模型(针对不同的内部系统)和多个第二类型数据开放模型(针对不同的外部系统);
根据所述多个第一类型数据开放模型和所述多个第二类型数据开放模型将所述第一数据中心的数据与服务对不同的内部系统和外部系统开放以实现数据的共享交换与价值创造;
在所述第一数据中心基于大数据和人工智能技术实现OLAP分析、数据挖掘、预测建模,得到第一数据报告和第一预测预警报告,并根据所述第一数据报告和所述第一预测预警报告对所述进销存系统进行数据管理方案修改与系统升级;
采用各类系统集成技术,实现所述第一数据中心与所述进销存系统、其他企业系统之间的应用集成和工作流协同以保证数据流转安全;
根据预设的第一监测模型对所述第一数据中心进行运维与监控(以保证其高可用和高可靠运行,一旦出现故障可以快速定位、解决与修复)。
通过本发明实施例采用的技术手段,可以构建具备数据采集、清洗、存储、分析、服务和系统集成等功能的企业数据中心,这是实现进销存系统数据融合、优化与创新的基础,能够为企业的数据化运营和决策提供有力支持。
在本发明一些可能的实施方式中,所述建立第一数据交互总线,采用大数据流技术并通过所述第一数据交互总线与所述进子系统、所述销子系统、所述存子系统进行实时数据交互的步骤,所述第一数据中心被配置为:
根据所述进销存系统的第一数据传输需求(包括但不限于传输协议、吞吐量、数据传输速率、误码率、信道容量、时延等)和所述第一历史数据的第一基本特征(包括但不限于传输协议、吞吐量、数据传输速率、误码率、信道容量、时延等)确定匹配的一个或多个第一数据流传输方案(如Kafka、Pulsar等分布式流式消息队列,具有高吞吐、低延迟的特点,适合在数据中心与系统间传输大量数据;因各子系统数据量、数据类型、服务响应要求等方面的不同,对传输协议、吞吐量、数据传输速率、误码率、信道容量、时延等的需求各不相同,故可以针对各子系统的不同需求生成与各自匹配的第一数据流传输方案);
根据所述第一数据流传输方案在所述第一数据中心构建第一数据流传输服务,用于接收所述进子系统、所述销子系统、所述存子系统上报的数据,并实时下发对应数据至所述进子系统、所述销子系统、所述存子系统(第一数据中心可以针对各子系统的不同需求生成与各自匹配的第一数据流传输方案,三子系统同样部署对应的数据流服务用于数据的上报和订阅);
所述进子系统、所述销子系统、所述存子系统上报数据方式包括:直接将本地更新的数据通过所述第一数据流传输服务的API上报至所述第一数据中心;将本地数据库的更新日志通过所述第一数据流传输服务传输上报至所述第一数据中心;采用增量数据采集方法,定期将新增和更新数据通过所述第一数据流传输服务推送至所述第一数据中心;
所述第一数据中心通过所述第一数据流传输服务,将清洗与处理后的数据实时推送至所述进子系统、所述销子系统、所述存子系统的数据流服务,所述进子系统、所述销子系统、所述存子系统接收数据并同步更新本地系统;
所述第一数据中心对所述进销存系统的数据流转进行实时监测,得到第一实时监测数据;
根据所述第一实时监测数据,利用所述第一数据流传输服务的分区、批处理和微批功能,对所述进销存系统内的数据流转过程进行控制以提高传输效率以及方便数据的过滤、转换和编排;
根据所述第一数据交互规范和协议,确定通过所述第一数据流传输服务进行数据流交互的字段、更新频率、传输内容以确保双方对数据定义和更新机制的一致理解;
通过本实施例的方案,可以构建基于大数据流技术的数据交互总线,实现第一数据中心与进销存三个子系统之间海量数据的实时及低延迟传输,进一步提高数据同步效率和降低系统耦合度。
在本发明一些可能的实施方式中,所述建立第一数据服务接口,当所述进子系统、所述销子系统、所述存子系统三者间需要相互调用对方的业务功能或访问数据时,通过所述第一数据服务接口进行业务功能调用和数据获取的步骤,所述第一数据中心被配置为:
根据所述第一数据交互规范和协议确定第一接口协议(如REST API,这种协议简单易用,支持多种数据格式,容易实现跨语言和跨系统调用);
根据所述第一接口协议和所述进子系统、所述销子系统、所述存子系统三者各自的子系统特征数据确定第一接口标准,所述第一接口标准包括接口地址、请求方法、参数、响应数据格式(需要根据进销存三子系统数据特征、传输需求、系统架构特征等确认以满足三子系统现有接口的兼容性);
所述进子系统、所述销子系统、所述存子系统分别根据所述第一接口标准开发子系统内部数据服务接口,通过调用内部的业务服务获取数据并返回数据;
所述第一数据中心根据所述第一接口标准开发所述第一数据服务接口,所述第一数据服务接口通过调用所述进子系统、所述销子系统、所述存子系统开放的所述子系统内部数据服务接口获取数据,进行数据整合后返回给调用方(这可以进一步降低三系统间的耦合度);
所述进子系统、所述销子系统、所述存子系统调用所述子系统内部数据服务接口获取数据或业务服务,进行本地业务处理(调用接口前应检查接口文档,构造正确的请求参数);
根据所述第一接口标准,为所述第一数据服务接口和所述子系统内部数据服务接口增加接口安全机制(如请求签名、token认证等,防止接口被未授权调用);
监控所述第一数据服务接口和所述子系统内部数据服务接口的性能与调用情况,得到第一接口监测数据(包括检查接口的响应时间、失败率、流量限制等指标,及时发现问题并进行解决);
根据所述第一接口监测数据完善与优化所述第一数据服务接口和所述子系统内部数据服务接口以保证满足三子系统日益增长的数据互通需求;
通过本实施例的方案,可以构建统一的数据服务接口,实现进销存三系统间业务数据和服务能力的互通,这是连接进销存三子系统、降低系统耦合的关键链路。
在本发明一些可能的实施方式中,所述建立本地数据库辅助管理中心,当满足第一预设数据同步条件时,所述本地数据库辅助管理中心利用数据库机制,将所述进子系统、所述销子系统、所述存子系统分别在各自本地数据库中的关键业务数据进行同步的步骤中:
所述本地数据库辅助管理中心被配置为:
分别识别所述进子系统、所述销子系统、所述存子系统的所述关键业务数据(这些数据直接影响业务规则的执行和数据一致性,如订单主表、商品主表、客户主表等);
分别分析所述进子系统、所述销子系统、所述存子系统的业务规则,确定所述关键业务数据之间的依赖/更新关系(如订单产生时,需同步更新订单商品表;客户信息变更时,需同步更新历史订单的客户信息等);
分别根据所述进子系统、所述销子系统、所述存子系统的所述子系统特征数据和所述依赖/更新关系确定对应的多个数据库同步机制,比如常用的有触发器、存储过程、自定义函数等;触发器:在数据插入、更新和删除之前或之后,自动执行一个SQL过程;可以实现跨表的数据更新同步;存储过程:一个预编译的SQL语句块,可以包含逻辑控制流程,更适合复杂的同步逻辑实现;自定义函数:用于批量更新其他表数据,在主表更新时通过函数调用实现同步;
根据所述多个数据库同步机制得到多个同步程序(可以根据业务规则确定的依赖/更新关系编写同步触发器、存储过程或函数,实现主要表与从表间的数据同步更新);
部署并测试所述多个同步程序,检查同步结果是否正确以及是否影响其他业务流程并生成同步检查结果;
根据所述同步检查结果维护与优化所述多个同步程序以确保其正常运行并同步最新业务规则;
检测是否满足第一预设数据同步条件,当不满足时(如所述第一数据中心和/或所述第一数据交互总线的同步机制修复后),停止所述多个同步程序中对应的数据库同步程序以避免产生重复操作。
通过本实施例的方案,可以利用关系型数据库本身的机制,实现简单业务场景下进销存三系统本地关键数据的同步,可以暂时弥补第一数据中心或大数据总线同步延迟的短板,确保重要业务规则的执行。
请参见图2,本发明另一实施例提供一种进销存管理系统数据处理方法,应用于一种进销存管理系统,所述进销存管理系统包括进子系统、销子系统、存子系统、第一数据中心、安全服务器和虚拟服务器,所述进销存管理系统数据处理方法包括:
构建所述第一数据中心,所述第一数据中心通过数据中心技术对所述进销存系统的第一数据进行采集、清洗、存储和管理;第一数据中心作为中心数据源,进销存系统的第一数据先到第一数据中心,并按进销存各子系统的各自的数据处理要求分别进行处理;对处理后的各数据建立并保存映射关系,再将建立了映射关系的数据分别按各子系统的不同需求发送至各子系统;前述三个子系统也可以主动从第一数据中心获取所需数据;本方案可以最大限度地降低系统间的数据依赖和耦合度;
建立第一数据交互总线,所述第一数据中心采用大数据流技术并通过所述第一数据交互总线与所述进子系统、所述销子系统、所述存子系统进行实时数据交互;通过数据流,第一数据中心可以实时下发最新数据到前述三个子系统,前述三个子系统也可以实时将本地更新的数据发送到第一数据中心;
建立第一数据服务接口,当所述进子系统、所述销子系统、所述存子系统三者间需要相互调用对方的业务功能或访问数据时,通过所述第一数据服务接口进行业务功能调用和数据获取以避免直接依赖于对方的本地应用系统接口;
建立本地数据库辅助管理中心,当满足第一预设数据同步条件时(如所述第一数据中心和/或所述第一数据交互总线的同步机制出现异常时),所述本地数据库辅助管理中心利用数据库机制,将所述进子系统、所述销子系统、所述存子系统分别在各自本地数据库中的关键业务数据进行同步;当第一数据中心或第一数据交互总线未及时同步数据时,可以暂时通过数据库机制保证业务规则的执行);
制定第一数据交互规范和协议,确定所述进子系统、所述销子系统、所述存子系统三者间数据通信的频率、接口规范、字段映射规则,以确保高质量和高效率的数据交互;
所述第一数据中心对所述进子系统、所述销子系统和所述存子系统的第一历史数据进行分析,得到第一分析结果;
当所述第一分析结果符合第一预设修改条件时,分别对所述进子系统和/或所述销子系统和/或所述存子系统进行系统改造和重构以降低所述进子系统、所述销子系统、所述存子系统三者间的耦合度;将相互依赖的业务逻辑和数据本地化,减少跨系统调用,这能使各系统更独立地运行和演进;
本发明方案通过构建数据中心和数据交互总线,开发统一的数据服务接口,进行部分关键数据的数据库同步,加上数据交互规范/协议和必要时的系统重构,可以实现进、销、存三子系统间的数据的智能高效地融合、同步和互通,可以长期优化进销存业务流程,提高其数据运营效率与质量。
在本发明一些可能的实施方式中,所述构建所述第一数据中心,所述第一数据中心通过数据中心技术对所述进销存系统的第一数据进行采集、清洗、存储和管理的步骤,包括:
从所述进销存系统采用数据仓库技术、消息队列技术和大数据流技术实时或离线对所述第一数据进行采集;
利用预先通过机器学习技术训练好的第一数据处理模型对所述第一数据进行脏数据滤除、异常值修复、标准化处理,得到第二数据;
采用关系数据库、非关系型数据库、数据湖和数据仓库技术,按数据类型和业务需求对所述第二数据实现多层数据存储;
根据所述第二数据的第一属性特征,建立第一数据标准、第一数据字典和第一数据映射关系,进行标准化数据治理和管理,这是数据有效融合和利用的基础;
配置用于防止对所述第二数据进行非法访问/篡改的第一用户身份认证机制和第一数据权限方案以加强所述第一数据中心的安全管理和监控;
获取对所述第一历史数据进行操作/管理的第一历史操作数据(包括但不限于所述第一数据中心对所述第一历史数据的历史处理数据、同步数据、修改数据以及各子系统的历史上报数据、历史订阅数据等);
根据所述第一历史数据和所述第一历史操作数据分别建立多个第一类型数据开放模型(针对不同的内部系统)和多个第二类型数据开放模型(针对不同的外部系统);
根据所述多个第一类型数据开放模型和所述多个第二类型数据开放模型将所述第一数据中心的数据与服务对不同的内部系统和外部系统开放以实现数据的共享交换与价值创造;
在所述第一数据中心基于大数据和人工智能技术实现OLAP分析、数据挖掘、预测建模,得到第一数据报告和第一预测预警报告,并根据所述第一数据报告和所述第一预测预警报告对所述进销存系统进行数据管理方案修改与系统升级;
采用各类系统集成技术,实现所述第一数据中心与所述进销存系统、其他企业系统之间的应用集成和工作流协同以保证数据流转安全;
根据预设的第一监测模型对所述第一数据中心进行运维与监控(以保证其高可用和高可靠运行,一旦出现故障可以快速定位、解决与修复)。
通过本发明实施例采用的技术手段,可以构建具备数据采集、清洗、存储、分析、服务和系统集成等功能的企业数据中心,这是实现进销存系统数据融合、优化与创新的基础,能够为企业的数据化运营和决策提供有力支持。
在本发明一些可能的实施方式中,所述建立第一数据交互总线,所述第一数据中心采用大数据流技术并通过所述第一数据交互总线与所述进子系统、所述销子系统、所述存子系统进行实时数据交互的步骤,包括:
根据所述进销存系统的第一数据传输需求(包括但不限于传输协议、吞吐量、数据传输速率、误码率、信道容量、时延等)和所述第一历史数据的第一基本特征(包括但不限于传输协议、吞吐量、数据传输速率、误码率、信道容量、时延等)确定匹配的一个或多个第一数据流传输方案(如Kafka、Pulsar等分布式流式消息队列,具有高吞吐、低延迟的特点,适合在数据中心与系统间传输大量数据;因各子系统数据量、数据类型、服务响应要求等方面的不同,对传输协议、吞吐量、数据传输速率、误码率、信道容量、时延等的需求各不相同,故可以针对各子系统的不同需求生成与各自匹配的第一数据流传输方案);
根据所述第一数据流传输方案在所述第一数据中心构建第一数据流传输服务,用于接收所述进子系统、所述销子系统、所述存子系统上报的数据,并实时下发对应数据至所述进子系统、所述销子系统、所述存子系统(第一数据中心可以针对各子系统的不同需求生成与各自匹配的第一数据流传输方案,三子系统同样部署对应的数据流服务用于数据的上报和订阅);
所述进子系统、所述销子系统、所述存子系统上报数据方式包括:直接将本地更新的数据通过所述第一数据流传输服务的API上报至所述第一数据中心;将本地数据库的更新日志通过所述第一数据流传输服务传输上报至所述第一数据中心;采用增量数据采集方法,定期将新增和更新数据通过所述第一数据流传输服务推送至所述第一数据中心;
所述第一数据中心通过所述第一数据流传输服务,将清洗与处理后的数据实时推送至所述进子系统、所述销子系统、所述存子系统的数据流服务,所述进子系统、所述销子系统、所述存子系统接收数据并同步更新本地系统;
所述第一数据中心对所述进销存系统的数据流转进行实时监测,得到第一实时监测数据;
根据所述第一实时监测数据,利用所述第一数据流传输服务的分区、批处理和微批功能,对所述进销存系统内的数据流转过程进行控制以提高传输效率以及方便数据的过滤、转换和编排;
根据所述第一数据交互规范和协议,确定通过所述第一数据流传输服务进行数据流交互的字段、更新频率、传输内容以确保双方对数据定义和更新机制的一致理解;
通过本实施例的方案,可以构建基于大数据流技术的数据交互总线,实现第一数据中心与进销存三个子系统之间海量数据的实时及低延迟传输,进一步提高数据同步效率和降低系统耦合度。
在本发明一些可能的实施方式中,所述建立第一数据服务接口,当所述进子系统、所述销子系统、所述存子系统三者间需要相互调用对方的业务功能或访问数据时,通过所述第一数据服务接口进行业务功能调用和数据获取的步骤,包括:
根据所述第一数据交互规范和协议确定第一接口协议(如REST API,这种协议简单易用,支持多种数据格式,容易实现跨语言和跨系统调用);
根据所述第一接口协议和所述进子系统、所述销子系统、所述存子系统三者各自的子系统特征数据确定第一接口标准,所述第一接口标准包括接口地址、请求方法、参数、响应数据格式(需要根据进销存三子系统数据特征、传输需求、系统架构特征等确认以满足三子系统现有接口的兼容性);
所述进子系统、所述销子系统、所述存子系统分别根据所述第一接口标准开发子系统内部数据服务接口,通过调用内部的业务服务获取数据并返回数据;
所述第一数据中心根据所述第一接口标准开发所述第一数据服务接口,所述第一数据服务接口通过调用所述进子系统、所述销子系统、所述存子系统开放的所述子系统内部数据服务接口获取数据,进行数据整合后返回给调用方(这可以进一步降低三系统间的耦合度);
所述进子系统、所述销子系统、所述存子系统调用所述子系统内部数据服务接口获取数据或业务服务,进行本地业务处理(调用接口前应检查接口文档,构造正确的请求参数);
根据所述第一接口标准,为所述第一数据服务接口和所述子系统内部数据服务接口增加接口安全机制(如请求签名、token认证等,防止接口被未授权调用);
监控所述第一数据服务接口和所述子系统内部数据服务接口的性能与调用情况,得到第一接口监测数据(包括检查接口的响应时间、失败率、流量限制等指标,及时发现问题并进行解决);
根据所述第一接口监测数据完善与优化所述第一数据服务接口和所述子系统内部数据服务接口以保证满足三子系统日益增长的数据互通需求;
通过本实施例的方案,可以构建统一的数据服务接口,实现进销存三系统间业务数据和服务能力的互通,这是连接进销存三子系统、降低系统耦合的关键链路。
在本发明一些可能的实施方式中,所述建立本地数据库辅助管理中心,当满足第一预设数据同步条件时,所述本地数据库辅助管理中心利用数据库机制,将所述进子系统、所述销子系统、所述存子系统分别在各自本地数据库中的关键业务数据进行同步的步骤,包括:
所述本地数据库辅助管理中心分别识别所述进子系统、所述销子系统、所述存子系统的所述关键业务数据(这些数据直接影响业务规则的执行和数据一致性,如订单主表、商品主表、客户主表等);
所述本地数据库辅助管理中心分别分析所述进子系统、所述销子系统、所述存子系统的业务规则,确定所述关键业务数据之间的依赖/更新关系(如订单产生时,需同步更新订单商品表;客户信息变更时,需同步更新历史订单的客户信息等);
所述本地数据库辅助管理中心分别根据所述进子系统、所述销子系统、所述存子系统的所述子系统特征数据和所述依赖/更新关系确定对应的多个数据库同步机制,比如常用的有触发器、存储过程、自定义函数等;触发器:在数据插入、更新和删除之前或之后,自动执行一个SQL过程;可以实现跨表的数据更新同步;存储过程:一个预编译的SQL语句块,可以包含逻辑控制流程,更适合复杂的同步逻辑实现;自定义函数:用于批量更新其他表数据,在主表更新时通过函数调用实现同步;
所述本地数据库辅助管理中心根据所述多个数据库同步机制得到多个同步程序(可以根据业务规则确定的依赖/更新关系编写同步触发器、存储过程或函数,实现主要表与从表间的数据同步更新);
所述本地数据库辅助管理中心部署并测试所述多个同步程序,检查同步结果是否正确以及是否影响其他业务流程并生成同步检查结果;
根据所述同步检查结果维护与优化所述多个同步程序以确保其正常运行并同步最新业务规则;
检测是否满足第一预设数据同步条件,当不满足时(如所述第一数据中心和/或所述第一数据交互总线的同步机制修复后),停止所述多个同步程序中对应的数据库同步程序以避免产生重复操作。
通过本实施例的方案,可以利用关系型数据库本身的机制,实现简单业务场景下进销存三系统本地关键数据的同步,可以暂时弥补第一数据中心或大数据总线同步延迟的短板,确保重要业务规则的执行。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,可轻易想到变化或替换,均可作各种更动与修改,包含上述不同功能、实施步骤的组合,包含软件和硬件的实施方式,均在本发明的保护范围。
Claims (10)
1.一种进销存管理系统,其特征在于,包括:进子系统、销子系统、存子系统、第一数据中心;
所述第一数据中心被配置为:
通过数据中心技术对所述进销存系统的第一数据进行采集、清洗、存储和管理;
建立第一数据交互总线,采用大数据流技术并通过所述第一数据交互总线与所述进子系统、所述销子系统、所述存子系统进行实时数据交互;
建立第一数据服务接口,当所述进子系统、所述销子系统、所述存子系统三者间需要相互调用对方的业务功能或访问数据时,通过所述第一数据服务接口进行业务功能调用和数据获取;
建立本地数据库辅助管理中心,当满足第一预设数据同步条件时,所述本地数据库辅助管理中心利用数据库机制,将所述进子系统、所述销子系统、所述存子系统分别在各自本地数据库中的关键业务数据进行同步;
制定第一数据交互规范和协议,确定所述进子系统、所述销子系统、所述存子系统三者间数据通信的频率、接口规范、字段映射规则,以确保高质量和高效率的数据交互;
对所述进子系统、所述销子系统和所述存子系统的第一历史数据进行分析,得到第一分析结果;
当所述第一分析结果符合第一预设修改条件时,分别对所述进子系统和/或所述销子系统和/或所述存子系统进行系统改造和重构以降低所述进子系统、所述销子系统、所述存子系统三者间的耦合度。
2.根据权利要求1所述的进销存管理系统,其特征在于,所述通过数据中心技术对所述进销存系统的第一数据进行采集、清洗、存储和管理的步骤,所述第一数据中心被配置为:
从所述进销存系统采用数据仓库技术、消息队列技术和大数据流技术实时或离线对所述第一数据进行采集;
利用预先通过机器学习技术训练好的第一数据处理模型对所述第一数据进行脏数据滤除、异常值修复、标准化处理,得到第二数据;
采用关系数据库、非关系型数据库、数据湖和数据仓库技术,按数据类型和业务需求对所述第二数据实现多层数据存储;
根据所述第二数据的第一属性特征,建立第一数据标准、第一数据字典和第一数据映射关系,进行标准化数据治理和管理;
配置用于防止对所述第二数据进行非法访问/篡改的第一用户身份认证机制和第一数据权限方案以加强所述第一数据中心的安全管理和监控;
获取对所述第一历史数据进行操作/管理的第一历史操作数据;
根据所述第一历史数据和所述第一历史操作数据分别建立多个第一类型数据开放模型和多个第二类型数据开放模型;
根据所述多个第一类型数据开放模型和所述多个第二类型数据开放模型将所述第一数据中心的数据与服务对不同的内部系统和外部系统开放以实现数据的共享交换与价值创造;
在所述第一数据中心基于大数据和人工智能技术实现OLAP分析、数据挖掘、预测建模,得到第一数据报告和第一预测预警报告,并根据所述第一数据报告和所述第一预测预警报告对所述进销存系统进行数据管理方案修改与系统升级;
采用各类系统集成技术,实现所述第一数据中心与所述进销存系统、其他企业系统之间的应用集成和工作流协同以保证数据流转安全;
根据预设的第一监测模型对所述第一数据中心进行运维与监控。
3.根据权利要求2所述的进销存管理系统,其特征在于,所述建立第一数据交互总线,采用大数据流技术并通过所述第一数据交互总线与所述进子系统、所述销子系统、所述存子系统进行实时数据交互的步骤,所述第一数据中心被配置为:
根据所述进销存系统的第一数据传输需求和所述第一历史数据的第一基本特征确定匹配的一个或多个第一数据流传输方案;
根据所述第一数据流传输方案在所述第一数据中心构建第一数据流传输服务,用于接收所述进子系统、所述销子系统、所述存子系统上报的数据,并实时下发对应数据至所述进子系统、所述销子系统、所述存子系统;
所述进子系统、所述销子系统、所述存子系统上报数据方式包括:直接将本地更新的数据通过所述第一数据流传输服务的API上报至所述第一数据中心;将本地数据库的更新日志通过所述第一数据流传输服务传输上报至所述第一数据中心;采用增量数据采集方法,定期将新增和更新数据通过所述第一数据流传输服务推送至所述第一数据中心;
所述第一数据中心通过所述第一数据流传输服务,将清洗与处理后的数据实时推送至所述进子系统、所述销子系统、所述存子系统的数据流服务,所述进子系统、所述销子系统、所述存子系统接收数据并同步更新本地系统;
所述第一数据中心对所述进销存系统的数据流转进行实时监测,得到第一实时监测数据;
根据所述第一实时监测数据,利用所述第一数据流传输服务的分区、批处理和微批功能,对所述进销存系统内的数据流转过程进行控制;
根据所述第一数据交互规范和协议,确定通过所述第一数据流传输服务进行数据流交互的字段、更新频率、传输内容。
4.根据权利要求3所述的进销存管理系统,其特征在于,所述建立第一数据服务接口,当所述进子系统、所述销子系统、所述存子系统三者间需要相互调用对方的业务功能或访问数据时,通过所述第一数据服务接口进行业务功能调用和数据获取的步骤,所述第一数据中心被配置为:
根据所述第一数据交互规范和协议确定第一接口协议;
根据所述第一接口协议和所述进子系统、所述销子系统、所述存子系统三者各自的子系统特征数据确定第一接口标准,所述第一接口标准包括接口地址、请求方法、参数、响应数据格式;
所述进子系统、所述销子系统、所述存子系统分别根据所述第一接口标准开发子系统内部数据服务接口,通过调用内部的业务服务获取数据并返回数据;
所述第一数据中心根据所述第一接口标准开发所述第一数据服务接口,所述第一数据服务接口通过调用所述进子系统、所述销子系统、所述存子系统开放的所述子系统内部数据服务接口获取数据,进行数据整合后返回给调用方;
所述进子系统、所述销子系统、所述存子系统调用所述子系统内部数据服务接口获取数据或业务服务,进行本地业务处理;
根据所述第一接口标准,为所述第一数据服务接口和所述子系统内部数据服务接口增加接口安全机制;
监控所述第一数据服务接口和所述子系统内部数据服务接口的性能与调用情况,得到第一接口监测数据;
根据所述第一接口监测数据完善与优化所述第一数据服务接口和所述子系统内部数据服务接口。
5.根据权利要求4所述的进销存管理系统,其特征在于,所述建立本地数据库辅助管理中心,当满足第一预设数据同步条件时,所述本地数据库辅助管理中心利用数据库机制,将所述进子系统、所述销子系统、所述存子系统分别在各自本地数据库中的关键业务数据进行同步的步骤中:
所述本地数据库辅助管理中心被配置为:
分别识别所述进子系统、所述销子系统、所述存子系统的所述关键业务数据;
分别分析所述进子系统、所述销子系统、所述存子系统的业务规则,确定所述关键业务数据之间的依赖/更新关系;
分别根据所述进子系统、所述销子系统、所述存子系统的所述子系统特征数据和所述依赖/更新关系确定对应的多个数据库同步机制;
根据所述多个数据库同步机制得到多个同步程序;
部署并测试所述多个同步程序,检查同步结果是否正确以及是否影响其他业务流程并生成同步检查结果;
根据所述同步检查结果维护与优化所述多个同步程序以确保其正常运行并同步最新业务规则;
检测是否满足第一预设数据同步条件,当不满足时,停止所述多个同步程序中对应的数据库同步程序以避免产生重复操作。
6.一种进销存管理系统数据处理方法,其特征在于,应用于一种进销存管理系统,所述进销存管理系统包括进子系统、销子系统、存子系统、第一数据中心,所述进销存管理系统数据处理方法包括:
构建所述第一数据中心,所述第一数据中心通过数据中心技术对所述进销存系统的第一数据进行采集、清洗、存储和管理;
建立第一数据交互总线,所述第一数据中心采用大数据流技术并通过所述第一数据交互总线与所述进子系统、所述销子系统、所述存子系统进行实时数据交互;
建立第一数据服务接口,当所述进子系统、所述销子系统、所述存子系统三者间需要相互调用对方的业务功能或访问数据时,通过所述第一数据服务接口进行业务功能调用和数据获取;
建立本地数据库辅助管理中心,当满足第一预设数据同步条件时,所述本地数据库辅助管理中心利用数据库机制,将所述进子系统、所述销子系统、所述存子系统分别在各自本地数据库中的关键业务数据进行同步;
制定第一数据交互规范和协议,确定所述进子系统、所述销子系统、所述存子系统三者间数据通信的频率、接口规范、字段映射规则,以确保高质量和高效率的数据交互;
所述第一数据中心对所述进子系统、所述销子系统和所述存子系统的第一历史数据进行分析,得到第一分析结果;
当所述第一分析结果符合第一预设修改条件时,分别对所述进子系统和/或所述销子系统和/或所述存子系统进行系统改造和重构以降低所述进子系统、所述销子系统、所述存子系统三者间的耦合度。
7.根据权利要求6所述的进销存管理系统数据处理方法,其特征在于,所述构建所述第一数据中心,所述第一数据中心通过数据中心技术对所述进销存系统的第一数据进行采集、清洗、存储和管理的步骤,包括:
从所述进销存系统采用数据仓库技术、消息队列技术和大数据流技术实时或离线对所述第一数据进行采集;
利用预先通过机器学习技术训练好的第一数据处理模型对所述第一数据进行脏数据滤除、异常值修复、标准化处理,得到第二数据;
采用关系数据库、非关系型数据库、数据湖和数据仓库技术,按数据类型和业务需求对所述第二数据实现多层数据存储;
根据所述第二数据的第一属性特征,建立第一数据标准、第一数据字典和第一数据映射关系,进行标准化数据治理和管理;
配置用于防止对所述第二数据进行非法访问/篡改的第一用户身份认证机制和第一数据权限方案以加强所述第一数据中心的安全管理和监控;
获取对所述第一历史数据进行操作/管理的第一历史操作数据;
根据所述第一历史数据和所述第一历史操作数据分别建立多个第一类型数据开放模型和多个第二类型数据开放模型;
根据所述多个第一类型数据开放模型和所述多个第二类型数据开放模型将所述第一数据中心的数据与服务对不同的内部系统和外部系统开放以实现数据的共享交换与价值创造;
在所述第一数据中心基于大数据和人工智能技术实现OLAP分析、数据挖掘、预测建模,得到第一数据报告和第一预测预警报告,并根据所述第一数据报告和所述第一预测预警报告对所述进销存系统进行数据管理方案修改与系统升级;
采用各类系统集成技术,实现所述第一数据中心与所述进销存系统、其他企业系统之间的应用集成和工作流协同以保证数据流转安全;
根据预设的第一监测模型对所述第一数据中心进行运维与监控。
8.根据权利要求7所述的进销存管理系统数据处理方法,其特征在于,所述建立第一数据交互总线,所述第一数据中心采用大数据流技术并通过所述第一数据交互总线与所述进子系统、所述销子系统、所述存子系统进行实时数据交互的步骤,包括:
根据所述进销存系统的第一数据传输需求和所述第一历史数据的第一基本特征确定匹配的一个或多个第一数据流传输方案;
根据所述第一数据流传输方案在所述第一数据中心构建第一数据流传输服务,用于接收所述进子系统、所述销子系统、所述存子系统上报的数据,并实时下发对应数据至所述进子系统、所述销子系统、所述存子系统;
所述进子系统、所述销子系统、所述存子系统上报数据方式包括:直接将本地更新的数据通过所述第一数据流传输服务的API上报至所述第一数据中心;将本地数据库的更新日志通过所述第一数据流传输服务传输上报至所述第一数据中心;采用增量数据采集方法,定期将新增和更新数据通过所述第一数据流传输服务推送至所述第一数据中心;
所述第一数据中心通过所述第一数据流传输服务,将清洗与处理后的数据实时推送至所述进子系统、所述销子系统、所述存子系统的数据流服务,所述进子系统、所述销子系统、所述存子系统接收数据并同步更新本地系统;
所述第一数据中心对所述进销存系统的数据流转进行实时监测,得到第一实时监测数据;
根据所述第一实时监测数据,利用所述第一数据流传输服务的分区、批处理和微批功能,对所述进销存系统内的数据流转过程进行控制;
根据所述第一数据交互规范和协议,确定通过所述第一数据流传输服务进行数据流交互的字段、更新频率、传输内容。
9.根据权利要求8所述的进销存管理系统数据处理方法,其特征在于,所述建立第一数据服务接口,当所述进子系统、所述销子系统、所述存子系统三者间需要相互调用对方的业务功能或访问数据时,通过所述第一数据服务接口进行业务功能调用和数据获取的步骤,包括:
根据所述第一数据交互规范和协议确定第一接口协议;
根据所述第一接口协议和所述进子系统、所述销子系统、所述存子系统三者各自的子系统特征数据确定第一接口标准,所述第一接口标准包括接口地址、请求方法、参数、响应数据格式;
所述进子系统、所述销子系统、所述存子系统分别根据所述第一接口标准开发子系统内部数据服务接口,通过调用内部的业务服务获取数据并返回数据;
所述第一数据中心根据所述第一接口标准开发所述第一数据服务接口,所述第一数据服务接口通过调用所述进子系统、所述销子系统、所述存子系统开放的所述子系统内部数据服务接口获取数据,进行数据整合后返回给调用方;
所述进子系统、所述销子系统、所述存子系统调用所述子系统内部数据服务接口获取数据或业务服务,进行本地业务处理;
根据所述第一接口标准,为所述第一数据服务接口和所述子系统内部数据服务接口增加接口安全机制;
监控所述第一数据服务接口和所述子系统内部数据服务接口的性能与调用情况,得到第一接口监测数据;
根据所述第一接口监测数据完善与优化所述第一数据服务接口和所述子系统内部数据服务接口。
10.根据权利要求9所述的进销存管理系统数据处理方法,其特征在于,所述建立本地数据库辅助管理中心,当满足第一预设数据同步条件时,所述本地数据库辅助管理中心利用数据库机制,将所述进子系统、所述销子系统、所述存子系统分别在各自本地数据库中的关键业务数据进行同步的步骤,包括:
所述本地数据库辅助管理中心分别识别所述进子系统、所述销子系统、所述存子系统的所述关键业务数据;
所述本地数据库辅助管理中心分别分析所述进子系统、所述销子系统、所述存子系统的业务规则,确定所述关键业务数据之间的依赖/更新关系;
所述本地数据库辅助管理中心分别根据所述进子系统、所述销子系统、所述存子系统的所述子系统特征数据和所述依赖/更新关系确定对应的多个数据库同步机制;
所述本地数据库辅助管理中心根据所述多个数据库同步机制得到多个同步程序;
所述本地数据库辅助管理中心部署并测试所述多个同步程序,检查同步结果是否正确以及是否影响其他业务流程并生成同步检查结果;
根据所述同步检查结果维护与优化所述多个同步程序以确保其正常运行并同步最新业务规则;
检测是否满足第一预设数据同步条件,当不满足时,停止所述多个同步程序中对应的数据库同步程序以避免产生重复操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310886746.6A CN116882931B (zh) | 2023-07-18 | 2023-07-18 | 一种进销存管理系统及其数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310886746.6A CN116882931B (zh) | 2023-07-18 | 2023-07-18 | 一种进销存管理系统及其数据处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116882931A true CN116882931A (zh) | 2023-10-13 |
| CN116882931B CN116882931B (zh) | 2024-03-19 |
Family
ID=88265957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310886746.6A Active CN116882931B (zh) | 2023-07-18 | 2023-07-18 | 一种进销存管理系统及其数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116882931B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117725122A (zh) * | 2023-12-25 | 2024-03-19 | 北京全网数商科技股份有限公司 | 一种业务管理平台的订单同步方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0022858D0 (en) * | 2000-09-18 | 2000-11-01 | Oracle Corp | Transaction reconstruction |
| EP1507226A1 (en) * | 2003-08-13 | 2005-02-16 | Accenture Global Services GmbH | Fraud detection method and system |
| CN113849483A (zh) * | 2021-09-29 | 2021-12-28 | 中国兵器装备集团自动化研究所有限公司 | 一种用于智能工厂的实时数据库系统架构 |
| CN113991874A (zh) * | 2021-12-27 | 2022-01-28 | 国家电网有限公司客户服务中心 | 一种基于中台的电网app运营支撑系统及方法 |
| CN115408004A (zh) * | 2022-07-29 | 2022-11-29 | 清华大学 | 一种Web应用系统存算一体化适配优化方法及装置 |
| CN115907439A (zh) * | 2023-03-01 | 2023-04-04 | 广东赛博威信息科技有限公司 | 一种一体化营销管理系统 |
-
2023
- 2023-07-18 CN CN202310886746.6A patent/CN116882931B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0022858D0 (en) * | 2000-09-18 | 2000-11-01 | Oracle Corp | Transaction reconstruction |
| EP1507226A1 (en) * | 2003-08-13 | 2005-02-16 | Accenture Global Services GmbH | Fraud detection method and system |
| CN113849483A (zh) * | 2021-09-29 | 2021-12-28 | 中国兵器装备集团自动化研究所有限公司 | 一种用于智能工厂的实时数据库系统架构 |
| CN113991874A (zh) * | 2021-12-27 | 2022-01-28 | 国家电网有限公司客户服务中心 | 一种基于中台的电网app运营支撑系统及方法 |
| CN115408004A (zh) * | 2022-07-29 | 2022-11-29 | 清华大学 | 一种Web应用系统存算一体化适配优化方法及装置 |
| CN115907439A (zh) * | 2023-03-01 | 2023-04-04 | 广东赛博威信息科技有限公司 | 一种一体化营销管理系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117725122A (zh) * | 2023-12-25 | 2024-03-19 | 北京全网数商科技股份有限公司 | 一种业务管理平台的订单同步方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116882931B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8938421B2 (en) | Method and a system for synchronizing data | |
| CN100541492C (zh) | 使用外部数据库表的数据可扩展性 | |
| RU2767149C2 (ru) | Способ и конфигурация для автоматизированной системы испытания | |
| CN107818431B (zh) | 一种提供订单轨迹数据的方法和系统 | |
| CN115374102A (zh) | 数据处理方法及系统 | |
| CN111538720B (zh) | 电力行业基础数据清理的方法及系统 | |
| CN116882931B (zh) | 一种进销存管理系统及其数据处理方法 | |
| CN109902919A (zh) | 服务器资产管理方法、装置、设备及可读存储介质 | |
| CN113888139A (zh) | 一种变电站数据资产统一调管系统的构建方法及系统 | |
| CN118410106B (zh) | 一种基于时间线映射的跨数据源实时同步方法 | |
| CN113626428A (zh) | 服务器物料清单模块化定制方法、系统、终端及存储介质 | |
| CN118484496A (zh) | 一种银行金融信息数据同步方法及系统 | |
| CN118377768A (zh) | 一种基于业务流的数据etl方法、装置、设备及介质 | |
| CN112580199A (zh) | 基于cim模型的电力系统多维数据统一构建系统 | |
| CN116192616A (zh) | 基于微服务的电力备调系统处理方法、装置和计算机设备 | |
| CN111181775A (zh) | 基于自动发现主机资产的一体化运维管理告警方法 | |
| CN113282431B (zh) | 异常数据处理方法及装置、存储介质及电子设备 | |
| CN115063212A (zh) | 跨平台自助办税系统 | |
| CN113886061A (zh) | 一种工业物联网运维平台 | |
| CN109726827A (zh) | 一种安防系统设备的智能运维管理方法 | |
| CN118261703A (zh) | 全链路交易视图构建方法、装置、电子设备及存储介质 | |
| CN115718690B (zh) | 一种数据准确性监控系统和方法 | |
| CN116126819A (zh) | 一种系统日志处理方法、设备及介质 | |
| US7956737B2 (en) | Method and apparatus for network service assurance | |
| CN112732516A (zh) | 一种设备监控方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |