CN109783163A - 一种基于多维数据变量的数据交互方法及平台 - Google Patents

Abstract

本发明提供一种基于多维数据变量的数据交互方法及平台，本发明分为三个模块：1、校验模块2、接口引擎3、配置解析引擎。校验模块采用布隆过滤器实现对垃圾数据进行过滤。在接口引擎中，对于多维数据变量的调用和读取采用并发安全策略，实现高性能，高可靠，确保在同一时刻多维数据交互实现数据准确性以及高效性。配置解析引擎负责对交互的数据进行自定义解析和封装。本发明能有效过滤垃圾数据，并能够在各系统之间实现高效实时数据互动，为各类数据服务提供高效稳定的数据支持。

Description

一种基于多维数据变量的数据交互方法及平台

技术领域：

本发明涉及数据交互信息技术领域，尤其涉及一种基于多维数据变量的数据交互方法及平台。

背景技术：

随着互联网，云技术、大数据技术不断融入我们的生活，人类积累的数据在互联网、通信、金融、商业、医疗等诸多领域不断增长和积累，而这些数据也已经推进了数据提供商和数据消费者的发展。数据消费者需要通过多方数据提供商提供的数据来支撑自己的业务体系。例在互联网金融领域，金融风控、信用评估都是建立在用户的数据基础上。各类系统中数据交互变得越来越频繁，但系统中频繁的数据交互也会带来一下几个问题：

数据交互耦合度高，不易扩展，若新增新的数据提供方提供数据，还需修改各层业务。若调用多方数据提供商，获取的数据自然会有一些相同，会产生数据冗余。若调用多方数据提供商以及调用次数多或者频繁，都将会导致一个性能迟钝的问题。线性访问各个数据提供商的服务器，产生的网络访问连接消耗累积耗时将会影响用户体验。一些请求数据中可能会存在垃圾数据，需避免对数据提供方产生数据污染或者侵入。

发明内容：

为解决上述技术问题，本发明提供一种基于多维数据变量的数据交互方法及平台，能有效过滤垃圾数据以及在各系统之间实现高效实时数据互动，为各类数据服务提供高效稳定的数据支持。

一种基于多维数据变量的数据交互平台分为三个模块：1、校验模块2、接口引擎3、配置解析引擎。所述校验模块，通过布隆过滤器实现对垃圾数据进行过滤；所述接口引擎，并发调用多个数据提供方接口以交互获取多维数据变量，并能返回有效数据放的功能；所述配置解析引擎，对所述接口引擎返回的数据进行自动以及私有化定制解析的功能。

进一步，校验模块根据解析出来的字段和数据类型来映射自身所提供的所有安全字段，以此筛选出安全可靠的字段，避免污染字段注入。

进一步，根据字段匹配合理的数据提供商的接口，若未指定具体数据提供商的接口，在此制定了一个最优匹配策略。首先，筛选出所有能满足所需字段的接口。其次，筛选出所有最稳定以及高效的接口。最后，优先选择访问最快的接口。

进一步，接口引擎根据接口类型并发访问各个数据提供商接口,以此进行多维数据变量交互获取。并发，在操作系统中，是指一个时间段中有几个程序都处于已启动运行到运行完毕之间，且这几个程序都是在同一个处理机上运行，但任一个时刻点上只有一个程序在处理机上运行，但又由于目前cpu处理性能高效，处理任务直观感受将会是同一时刻在进行。对于量级大的或者单个访问效率偏慢的，并发处理的性能会远远超过线性处理的性能。

进一步，配置解析引擎对接口引擎返回的数据进行解析封装。可在开始就配置多套解析封装方案，同时也可抽象出了私有方法供用户自定义解析封装。用户只需在访问请求时传入数据结构配置，配置解析引擎将会根据指定数据结构配置解析封装数据。

本发明还提供一种基于多维数据变量的数据交互方法，其包括以下步骤：

(1)数据请求方请求接入；

(2)利用布隆过滤器对接入的数据进行过滤，以过滤掉垃圾数据变量，解析请求参数，获取字段及其数据类型；

(3)通过与合法字段列表进行匹配，从而对(2)获取的所有字段进行合法校验，如果合法，则筛选出合法字段，然后执行(4)；如果不合法，则执行(8)；

(4)将(3)校验的合法字段，匹配提供商接口，如果与合法接口列表相匹配，执行(5)；否则执行(8)；

(5)并发请求提供商接口数据，即向各个数据提供商接口提出多维度并发请求，执行(6)；

(6)基于所述步骤(5)获取的数据结果，对数据进行解析封装，执行(7)；

(7)对结果进行合理性校验，校验合理，则返回结果给数据请求方，校验不合理执行(8)；

(8)将包含异常原因的结果返回给数据请求方。

所述步骤(3)中，字段合法性校验是通过给定所有合法字段映射校验，自动筛选。

进一步的，所述步骤(4)中，匹配提供商接口是根据数据提供商提供的合法字段接口数据字典来为字段映射接口，其中可能存在一个字段会映射到多个接口，是采取优先策略来选择，效率优先、稳定性优先。

进一步的，所述步骤(5)中，访问提供商接口是通过采取并发策略访问的，并发调用多个提供商提供的多维度接口。

进一步的，所述步骤(6)中，解析封装结果数据包括可定制化封装和系统自动封装两个策略。

有益效果：

基于布隆过滤器对数据变量进行垃圾数据过滤，可筛选出安全可靠的字段，避免污染字段注入；根据字段匹配合理的数据提供商的接口，以制定最优匹配策略；根据接口类型并发访问各个数据提供商接口,以此进行多维数据变量交互获取，对于量级大的或者单个访问效率偏慢的，并发处理的性能会远远超过线性处理的性能。因此，本发明能够实现有效过滤垃圾数据以及在各系统之间实现高效实时数据互动的功能，为各类数据服务提供高效稳定的数据支持。

附图说明：

图1是本发明提供的一种基于多维数据变量的数据交互平台的架构图；

图2是本发明提供的一种基于多维数据变量的数据交互方法的流程图。

具体实施方式

如图1所示，一种基于多维数据变量的数据交互平台分为三个模块：1、校验模块2、接口引擎3、配置解析引擎。数据请求方发起数据请求，对所需数据字段进行安全校验以及使用布隆过滤器算法对垃圾数据实现过滤。

布隆过滤器(Bloom Filter)的核心实现是一个超大的位数组和几个哈希函数。假设位数组的长度为m，哈希函数的个数为k。具体的操作流程：假设集合里面有3个元素{x,y,z}，哈希函数的个数为3。首先将位数组进行初始化，将里面每个位都设置位0。对于集合里面的每一个元素，将元素依次通过3个哈希函数进行映射，每次映射都会产生一个哈希值，这个值对应位数组上面的一个点，然后将位数组对应的位置标记为1。查询W元素是否存在集合中的时候，同样的方法将W通过哈希映射到位数组上的3个点。如果3个点的其中有一个点不为1，则可以判断该元素一定不存在集合中。反之，如果3个点都为1，则该元素可能存在集合中。基于布隆过滤器的原理，我们先将垃圾数据对位数组进行初始化，然后对于接受的数据变量进行垃圾数据过滤。

其中，校验模块通过布隆过滤器实现对垃圾数据进行过滤，根据解析出来的字段和数据类型来映射自身所提供的所有安全字段，以此筛选出安全可靠的字段，避免污染字段注入。

根据字段匹配合理的数据提供商的接口，若未指定具体数据提供商的接口，在此制定了一个最优匹配策略。首先，筛选出所有能满足所需字段的接口。其次，筛选出所有最稳定以及高效的接口。最后，优先选择访问最快的接口。

接口引擎根据接口类型并发访问各个数据提供商接口,以此进行多维数据变量交互获取。并发，在操作系统中，是指一个时间段中有几个程序都处于已启动运行到运行完毕之间，且这几个程序都是在同一个处理机上运行，但任一个时刻点上只有一个程序在处理机上运行，但又由于目前cpu处理性能高效，处理任务直观感受将会是同一时刻在进行。对于量级大的或者单个访问效率偏慢的，并发处理的性能会远远超过线性处理的性能。

配置解析引擎对接口引擎返回的数据进行解析封装。可在开始就配置多套解析封装方案，同时也可抽象出了私有方法供用户自定义解析封装。用户只需在访问请求时传入数据结构配置，配置解析引擎将会根据指定数据结构配置解析封装数据。

如图2所示，本发明提供的一种基于多维数据变量的数据交互方法包括以下步骤：

(1)数据请求方请求数据

(2)使用布隆过滤器算法对垃圾数据进行过滤

(3)提取请求参数中的字段及其数据类型，明确业务请求方所需的所有数据字段

(4)对所有数据字段进行合法性校验，具体通过与合法字段列表进行匹配，筛选出合法字段

(5)基于上述流程操作，根据字段匹配映射具体的数据提供商提供的接口，具体通过与合法数据提供商字段接口数据字典进行映射匹配

(6)并发请求数据提供商接口数据，具体通过并发请求各个接口数据调用，确保数据安全稳定。如数据提供商返回错误信息，则将错误信息返回给数据请求方

(7)基于上述流程操作，对从各个数据提供商获取的数据进行解析封装，通过已封装出的多个解析封装方法对数据进行解析封装。同时，该步骤提供私有化定制封装方法，数据请求方若访问请求时携带封装数据结构参数，此时可依照该数据结构封装数据。具体通过key-value映射数据结构配置数据。

(8)校验结果，对最终的封装结果进行最终校验。若校验失败，则返回异常结果信息给数据请求方。

基于以上所有流程操作，将最终的结果返回给数据请求方

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种基于多维数据变量的数据交互系统，其特征在于，包括：校验模块、接口引擎和配置解析引擎；其中

所述校验模块，通过布隆过滤器实现对垃圾数据进行过滤，筛选出合法字段；

所述接口引擎，并发调用多个数据提供方接口以交互获取多维数据变量，并能返回有效数据放的功能；

所述配置解析引擎，对所述接口引擎返回的数据进行解析封装，即自动以及私有化定制解析。

2.一种基于多维数据变量的数据交互方法，其特征在于，该方法包括以下步骤：

(1)数据请求方请求接入；

(2)利用布隆过滤器对接入的数据进行过滤，以过滤掉垃圾数据变量，解析请求参数，获取字段及其数据类型；

(3)通过与合法字段列表进行匹配，从而对(2)获取的所有字段进行合法校验，如果合法，则筛选出合法字段，然后执行(4)；如果不合法，则执行(8)；

(4)将(3)校验的合法字段，匹配提供商接口，如果与合法接口列表相匹配，执行(5)；否则执行(8)；

(5)并发请求提供商接口数据，即向各个数据提供商接口提出多维度并发请求，执行(6)；

(6)基于所述步骤(5)获取的数据结果，对数据进行解析封装，执行(7)；

(7)对结果进行合理性校验，校验合理，则返回结果给数据请求方，校验不合理执行(8)；

(8)将包含异常原因的结果返回给数据请求方。

3.根据权利要求2所述的基于多维数据变量的数据交互方法，其特征在于：所述步骤(3)中，字段合法性校验是通过给定所有合法字段映射校验，自动筛选。

4.根据权利要求2所述的基于多维数据变量的数据交互方法，其特征在于：所述步骤(4)中，匹配提供商接口是根据数据提供商提供的合法字段接口数据字典来为字段映射接口，其中可能存在一个字段会映射到多个接口，是采取优先策略来选择，效率优先、稳定性优先。

5.根据权利要求2所述的基于多维数据变量的数据交互方法，其特征在于：所述步骤(5)中，访问提供商接口是通过采取并发策略访问的，并发调用多个提供商提供的多维度接口。

6.根据权利要求2所述的基于多维数据变量的数据交互方法，其特征在于：所述步骤(6)中，解析封装结果数据包括可定制化封装和系统自动封装两个策略。