CN110928938B - 一种接口中间件系统 - Google Patents

Abstract

本发明提供一种接口中间件系统，涉及云计算数据库架构技术领域，包括：模型管理模块，用于存储若干数据模型和数据集市；第一接口管理模块，用于通过第一通用标准接口接收各业务系统发送的业务连接请求，并将每个业务连接请求分解为若干Hadoop处理事务；事务处理模块，包括：判断单元，用于在各Hadoop处理事务表示对应的业务连接请求是周期性统计查询时，生成相应的第一执行指令，以及在各Hadoop处理事务表示对应的业务连接请求不是周期性统计查询时，生成相应的第二执行指令；第二接口管理模块，用于通过第二标准接口将第一执行指令以及第二执行指令发送至Hadoop集群服务器。本发明有效降低上层应用开发分布式大数据应用的难度和周期，降低了迁移和开发成本。

Description

一种接口中间件系统

技术领域

本发明涉及云计算数据库架构技术领域，尤其涉及一种接口中间件系统。

背景技术

目前电信业面对海量的业务数据普遍存在管理和分析难的问题。如何有效利用庞大的电信业务海量数据，电信业内经过多年的研究和讨论，基本形成了两条发展主线。第一是建设云服务平台，为广大的客户提供云计算的服务。第二是建设海量数据的支撑平台，为电信的内部的业务系统提供大数据分析服务。

随着流量经营的理念在业内得到共识，基于用户行为的分析和挖掘已经成为电信业提高运营水平和管理能力的一个非常重要的方向。这种基于用户级的业务特征的挖掘分析往往涉及网络域和业务支撑域的大数据以及这些大数据之间的关联。电信内部存在数量庞大的各类业务系统，这些业务系统对海量数据的使用需求千差万别，有的要求快速查询，有些要求大数据量统计、有些则更关注于模型计算统计能力并且还要考虑到原有业务系统的平滑迁移。

Hadoop平台属于开源软件，组件众多，是目前应用最广泛的大数据平台，但是基于Hadoop平台开发的应用周期长，成本高，技术难度大，对应用开发者的能力和经验要求较高，因此其功能强大的同时也带来了很大的开发成本和学习成本。而目前运营商内部的许多系统都是基于传统的关系型数据库开发的，迁移成本较高。且Hadoop平台作为统一的数据存储和计算资源需要开放给多个上层应用使用，因此可能出现多个应用访问同样数据资源出现的资源竞争关系。

发明内容

针对现有技术中存在的问题，本发明提供一种接口中间件系统，所述接口中间件系统分别连接外部的若干业务系统以及外部的Hadoop集群服务器，所述接口中间件系统包括：

模型管理模块，用于存储预先生成的对应于周期性统计查询的若干数据模型和存储有若干数据分析结果的数据集市；

第一接口管理模块，用于向各所述业务系统提供第一通用标准接口，通过所述第一通用标准接口接收各所述业务系统发送的业务连接请求，并将每个所述业务连接请求分解为若干Hadoop处理事务；

事务处理模块，分别连接所述模型管理模块和所述第一接口管理模块，所述事务处理模块包括：

判断单元，用于在各所述Hadoop处理事务表示对应的所述业务连接请求是所述周期性统计查询时，生成第一判断结果，以及在在各所述Hadoop处理事务表示对应的所述业务连接请求不是所述周期性统计查询时，生成第二判断结果；

第一处理单元，连接所述判断单元，用于根据所述第一判断结果生成相应的第一执行指令并输出；

所述第一执行指令包括各所述Hadoop处理事务及对应的所述数据模型和所述数据分析结果；

第二处理单元，连接所述判断单元，用于根据所述第二判断结果生成相应的第二执行指令并输出；

所述第二执行指令包括各所述Hadoop处理事务；

第二接口管理模块，连接所述事务处理模块，用于向所述Hadoop集群服务器提供第二标准接口，通过所述第二标准接口将所述第一执行指令以及所述第二执行指令发送至所述Hadoop集群服务器。

优选的，所述Hadoop集群服务器包括：

第一执行模块，用于根据所述第一执行指令调用所述数据模型和所述数据分析结果执行各所述Hadoop处理事务，得到第一处理结果并输出；

第二执行模块，用于根据所述第二执行指令执行各所述Hadoop处理事务，得到第二处理结果并输出；

优选的，所述事务处理模块还包括数据传输单元，用于将所述第一处理结果发送至对应的所述业务系统，以及将所述第二处理结果发送至对应的所述业务系统。

优选的，所述第一通用标准接口为UDF接口。

优选的，所述第二标准接口JDBC接口，通过所述JDBC接口将所述第一执行指令发送至所述Hadoop集群服务器。

优选的，所述第二标准接口为UDF接口，通过所述UDF接口将所述第二执行指令发送至所述Hadoop集群服务器。

优选的，还包括高速采集模块，连接所述Hadoop集群服务器，用于对电信大数据进行实时采集，并将采集得到的所述电信大数据进行快速清洗并分类存入所述Hadoop集群服务器。

优选的，还包括集群监控模块，连接所述Hadoop集群服务器，用于监控所述Hadoop集群服务器的软硬件状态，并对所述软硬件状态进行告警采集、日志采集和阈值预告。

优选的，还包括用户管理模块，连接所述接口中间件系统，用于对所述接口中间件系统的使用者设定使用权限。

优选的，还包括报表引擎模块，连接所述接口中间件系统，用于保存预先生成的报表引擎，各所述业务系统通过所述报表引擎直接查询所述数据集市中的各所述数据分析结果。

上述技术方案具有如下优点或有益效果：

1)通过第一通用标准接口承接来自各业务系统的业务连接请求，将业务连接请求分解转化为Hadoop集群服务器可以执行的任务，实现了业务系统与Hadoop集群服务器的松耦合，有效降低上层应用开发分布式大数据应用的难度和周期，降低了应用系统迁移和开发成本；

2)有效解决了各业务系统的不同上层应用访问同类数据资源时可能出现的资源冲突问题。

附图说明

图1为本发明的较佳的实施例中，一种接口中间件系统的结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方式，只要符合本发明的主旨，则其他实施方式也可以属于本发明的范畴。

本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种接口中间件系统，如图1所示，接口中间件系统1分别连接外部的若干业务系统2以及外部的Hadoop集群服务器3，接口中间件系统1包括：

模型管理模块11，用于存储预先生成的对应于周期性统计查询的若干数据模型和存储有若干数据分析结果的数据集市；

第一接口管理模块12，用于向各业务系统提供第一通用标准接口，通过第一通用标准接口接收各业务系统发送的业务连接请求，并将每个业务连接请求分解为若干Hadoop处理事务；

事务处理模块13，分别连接模型管理模块11和第一接口管理模块12，事务处理模块13包括：

判断单元131，用于在各Hadoop处理事务表示对应的业务连接请求是周期性统计查询时，生成第一判断结果，以及在在各Hadoop处理事务表示对应的业务连接请求不是周期性统计查询时，生成第二判断结果；

第一处理单元132，连接判断单元131，用于根据第一判断结果生成相应的第一执行指令并输出；

第一执行指令包括各Hadoop处理事务及对应的数据模型和数据分析结果；

第二处理单元133，连接判断单元131，用于根据第二判断结果生成相应的第二执行指令并输出；

第二执行指令包括各Hadoop处理事务；

第二接口管理模块14，连接事务处理模块13，用于向Hadoop集群服务器3提供第二标准接口，通过第二标准接口将第一执行指令以及第二执行指令发送至Hadoop集群服务器3。

具体地，本实施例中，上述第一接口管理模块12主要负责各业务系统2的业务连接请求，各业务系统2优选通过第一通用标准接口中的UDF接口发送业务连接请求给接口中间件系统1，接口中间件系统1的第一接口管理模块12收到业务连接请求后根据业务参数和属性对业务连接请求进行分析，然后根据分析结果将每个业务连接请求按规则分解成若干Hadoop处理事务。

随后事务处理模块13负责将分解后的各Hadoop处理事务发送给Hadoop集群服务器3进行处理。其中，统计类的Hadoop处理事务优选直接通过JDBC接口发送SQL语句给Hadoop集群服务器3的HIVE进行处理，实时查询类的Hadoop处理事务优选通过UDF接口访问Hadoop集群服务器3的Hadoop组件，由Hadoop组件解释Hadoop处理事务的含义后访问Hadoop集群服务器的hbase数据库，并将查询结果返回至接口中间件系统1。

本发明通过设置构建于Hadoop集群服务器3的接口中间件系统1，设置于业务系统2和Hadoop集群服务器3之间，隔离了业务系统2到Hadoop集群服务器3的访问接口，采用标准的开放平台接口，即通用标准接口提供分布式数据存储和计算能力。接口中间件系统1负责解释来自业务系统2的业务连接请求，然后建立相关的任务到Hadoop集群服务器3，再经过Hadoop集群服务器3的任务执行后返回处理结果给接口中间件系统1，接口中间件系统1再对处理结果进行分页处理、整理后返回给业务系统2。

通过建立松耦合的接口中间件系统1，现有的业务系统2通过简单的Web Service接口即可访问Hadoop集群服务器3，只需要在原有的代码中根据数据访问需求加入一段访问代码就可以从Hadoop集群服务器3中获取相应的数据结果集进行数据操作。上述WebService接口采用标准的HTTP传输协议，几乎所有基于C/S和B/S架构的系统都可以轻松使用。各业务系统2不仅能够通过接口中间件系统1进行数据的获取和分析，并且可以获取其他业务系统的分析结果或数据，减少了不同业务系统之间对海量数据存储计算功能的重叠开发，有效提高数据资源的利用效率。

进一步地，在多个应用访问同样数据资源出现资源竞争关系时，可以通过接口中间件系统1的配置，根据数据操作的特性对访问任务进行调度安排，对于实时性要求比较高的访问任务给予较高的执行优先级和充足的资源分配；对于统计类的访问任务，特别是周期性统计查询，给予较低的执行优先级和较少的资源分配，并在实时性要求比较高的访问任务完成后，释放被占用资源，以供统计类的访问任务进行使用。根据数据的使用和操作级别动态安排任务执行的优先级并分配合理的资源，有效提高电信内部数据的利用率和计算资源的合理利用。

本发明的较佳的实施例中，Hadoop集群服务器3包括：

第一执行模块31，用于根据第一执行指令调用数据模型和数据分析结果执行各Hadoop处理事务，得到第一处理结果并输出；

第二执行模块32，用于根据第二执行指令执行各Hadoop处理事务，得到第二处理结果并输出。

具体地，本实施例中，模型管理模块11可以满足周期性统计查询的需求，利用模型管理模块11中存储的数据模型和数据集市，可以把常用的数据模型和数据分析结果进行固化，其中数据集市中保存的数据分析结果为较为简单的结果数据，以及简单的加减乘除以及求导等运算规则；数据模型相较于数据集市，具有较为复杂的运算逻辑。

在进行周期性统计查询时，事务处理模块13发出第一执行指令，Hadoop集群服务器根据该第一执行指令，首先命中各Hadoop处理事务需要处理的数据字段，随后按照数据模型或数据集市中存储的运算逻辑或运算规则对命中的数据字段进行处理，得到第一处理结果并发送至接口中间件系统1，以完成周期性统计查询过程。

本发明的较佳的实施例中，事务处理模块13还包括数据传输单元134，用于将第一处理结果发送至对应的业务系统2，以及将第二处理结果发送至对应的业务系统2。

本发明的较佳的实施例中，第一通用标准接口为UDF接口。

本发明的较佳的实施例中，第二标准接口JDBC接口，通过JDBC接口将第一执行指令发送至Hadoop集群服务器。

本发明的较佳的实施例中，第二标准接口为UDF接口，通过UDF接口将第二执行指令发送至Hadoop集群服务器。

本发明的较佳的实施例中，还包括高速采集模块4，连接Hadoop集群服务器3，用于对电信大数据进行实时采集，并将采集得到的电信大数据进行快速清洗并分类存入Hadoop集群服务器3。

具体地，本实施例中，由于电信网环境某些数据采集过程的数据量非常大，而且需要实时入库，因此需要高速采集模块4实现数据的快速清洗和入库。

本发明的较佳的实施例中，还包括集群监控模块5，连接Hadoop集群服务器3，用于监控Hadoop集群服务器3的软硬件状态，并对软硬件状态进行告警采集、日志采集和阈值预告。

本发明的较佳的实施例中，还包括用户管理模块6，连接接口中间件系统1，用于对接口中间件系统1的使用者设定使用权限。

具体地，本实施例中，通过用户管理模块6可以将业务系统2的数据获取方式和方法也纳入权限管理。

本发明的较佳的实施例中，还包括报表引擎模块7，连接接口中间件系统1，用于保存预先生成的报表引擎，各业务系统2通过报表引擎直接查询数据集市中的各数据分析结果。

本发明的一个较佳的实施例中，本发明的接口中间件系统1与连接的各业务系统2以及Hadoop集群服务器整体由下至上可以划分为数据层、功能层、接口层和应用层，其中：

数据层主要负责数据的采集和存储，数据采集过程，可以通过采集服务器，也可以通过数据接口由各个采集点自动上报。采集的数据类型支持文本、消息、常用的数据库格式文件等。目前采集的数据主要是用户呼叫记录和A10/A11接口数据等。其中用户呼叫记录数据有FTP接口和实时的Socket接口。考虑到用户呼叫记录数据和A10/A11接口数据的关联数据生成的最小粒度周期是5分钟，因此数据的采集周期也是5分钟粒度，对于用户呼叫记录则是实时存入Hadoop集群服务器3，以保证实时详单的查询需求。对于其他的数据源采集粒度根据数据量的大小设定固定的采集周期。

采集的数据通过ETL过程进行清洗和分类，根据数据特点和业务需求分类存储在Hadoop集群服务器的不同区域中。如需要快速查询响应的数据通过Hadoop集群服务器的HBASE进行存储划分，而大量的历史数据可以交给Hadoop集群服务器的HIVE进行管理。经过清洗和分类后的数据最后都是以文件的方式存储在Hadoop集群服务器的HDFS文件系统上。

功能层包括Hadoop集群服务器3的Hadoop组件以及接口中间件系统1的模型管理模块21和事务处理模块23，只要负责对大数据的各种需求进行分析并利用Hadoop组件执行对应的Hadoop处理事务。Hadoop组件有一些部件是没有事务管理功能的，例如HBASE，功能层提供了一个统一的事务管理模块，可以监控来自业务系统2提交的需求，并且根据需求的类别平滑的把来自上层的需求转移到Hadoop集群服务器3去运行。

功能层提供的事务管理功能可以满足周期性查询统计的需求，利用模型库和数据集市，还可以把一些常用的模型和分析结果数据进行固化。功能层还负责接口层的解析工作，并进行连接管理。例如来自接口层的一些SQL语句，经过功能层的调度和翻译后可以直接访问hadoop集群服务器的HIVE数据仓库，以满足非周期性查询的需要以及部分传统关系型数据库应用的平滑移植需求。

快速秒级查询的功能需要使用HBASE的查询功能，它是通过API直接调用功能层中的业务逻辑分析模型实现业务功能的识别，识别后被分解成相应的任务对HBASE进行操作。功能层与接口层通讯，通过一个统一的通用标准接口可以提供给应用层的所有应用功能使用。

接口层是连接应用层和功能层的连接桥梁，可以提供通用标准接口给应用层的功能需求模块使用。上述通用标准接口主要包括常用的JDBC接口(包含HIVE的JDBC接口)、文件接口、UDF接口(包含Web service和socket接口使用方式)。对于基于传统关系型数据库的应用功能，也提供了HIVE的JDBC连接管理。如果需要使用到其他的Hadoop组件，可以根据接口协议修改原有的应用功能的数据调用模式。

对于大多数的业务应用层来说，可以采用一个统一的接口标准访问hadoop集群服务器。如通过HTTP接口，可以通过一个远程的函数调用来获取结果数据。应用层只需要更改函数的参数就可以获取不同的查询功能。中间件通过这些参数可以判断出应用层是需要做统计查询还是需要做快速查询，然后判决后把任务送给HIVE处理或者是HBASE处理。而这个过程对上层的应用功能来说都是一个简单的函数调用过程。

应用层包含了各个业务系统，可以是某个系统的应用模块，也可以作为系统的基础数据平台。不同的业务系统对大数据的需求不尽相同。有些系统只有某个功能需要提取一些海量数据分析结果，这样的应用程序只需要发送一个调用指令，由功能层在相应的数据集市中提供结果数据。而有些系统需要频繁使用hadoop集群服务器中的数据，这类应用需要建立一个稳定的数据连接。需要根据业务需求的特点选择合适的接口类型。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (10)

1.一种接口中间件系统，其特征在于，所述接口中间件系统分别连接外部的若干业务系统以及外部的Hadoop集群服务器，所述接口中间件系统包括：

模型管理模块，用于存储预先生成的对应于周期性统计查询的若干数据模型和存储有若干数据分析结果的数据集市；

第一接口管理模块，用于向各所述业务系统提供第一通用标准接口，通过所述第一通用标准接口接收各所述业务系统发送的业务连接请求，并将每个所述业务连接请求分解为若干Hadoop处理事务；

事务处理模块，分别连接所述模型管理模块和所述第一接口管理模块，所述事务处理模块包括：

判断单元，用于在各所述Hadoop处理事务表示对应的所述业务连接请求是所述周期性统计查询时，生成第一判断结果，以及在在各所述Hadoop处理事务表示对应的所述业务连接请求不是所述周期性统计查询时，生成第二判断结果；

第一处理单元，连接所述判断单元，用于根据所述第一判断结果生成相应的第一执行指令并输出；

所述第一执行指令包括各所述Hadoop处理事务及对应的所述数据模型和所述数据分析结果；

第二处理单元，连接所述判断单元，用于根据所述第二判断结果生成相应的第二执行指令并输出；

所述第二执行指令包括各所述Hadoop处理事务。

第二接口管理模块，连接所述事务处理模块，用于向所述Hadoop集群服务器提供第二标准接口，通过所述第二标准接口将所述第一执行指令以及所述第二执行指令发送至所述Hadoop集群服务器。

2.根据权利要求1所述的接口中间件系统，其特征在于，所述Hadoop集群服务器包括：

第一执行模块，用于根据所述第一执行指令调用所述数据模型和所述数据分析结果执行各所述Hadoop处理事务，得到第一处理结果并输出；

第二执行模块，用于根据所述第二执行指令执行各所述Hadoop处理事务，得到第二处理结果并输出。

3.根据权利要求2所述的接口中间件系统，其特征在于，所述事务处理模块还包括数据传输单元，用于将所述第一处理结果发送至对应的所述业务系统，以及将所述第二处理结果发送至对应的所述业务系统。

4.根据权利要求1所述的接口中间件系统，其特征在于，所述第一通用标准接口为UDF接口。

5.根据权利要求1所述的接口中间件系统，其特征在于，所述第二标准接口JDBC接口，通过所述JDBC接口将所述第一执行指令发送至所述Hadoop集群服务器。

6.根据权利要求1所述的接口中间件系统，其特征在于，所述第二标准接口为UDF接口，通过所述UDF接口将所述第二执行指令发送至所述Hadoop集群服务器。

7.根据权利要求1所述的接口中间件系统，其特征在于，还包括高速采集模块，连接所述Hadoop集群服务器，用于对电信大数据进行实时采集，并将采集得到的所述电信大数据进行快速清洗并分类存入所述Hadoop集群服务器。

8.根据权利要求1所述的接口中间件系统，其特征在于，还包括集群监控模块，连接所述Hadoop集群服务器，用于监控所述Hadoop集群服务器的软硬件状态，并对所述软硬件状态进行告警采集、日志采集和阈值预告。

9.根据权利要求1所述的接口中间件系统，其特征在于，还包括用户管理模块，连接所述接口中间件系统，用于对所述接口中间件系统的使用者设定使用权限。

10.根据权利要求1所述的接口中间件系统，其特征在于，还包括报表引擎模块，连接所述接口中间件系统，用于保存预先生成的报表引擎，各所述业务系统通过所述报表引擎直接查询所述数据集市中的各所述数据分析结果。

Images