+

CN104036025A - 一种基于分布式的海量日志采集系统 - Google Patents

一种基于分布式的海量日志采集系统 Download PDF

Info

Publication number
CN104036025A
CN104036025A CN201410299857.8A CN201410299857A CN104036025A CN 104036025 A CN104036025 A CN 104036025A CN 201410299857 A CN201410299857 A CN 201410299857A CN 104036025 A CN104036025 A CN 104036025A
Authority
CN
China
Prior art keywords
data
layer
distributed
storage
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410299857.8A
Other languages
English (en)
Inventor
杨育斌
柯宗贵
赵必厦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Blue Shield Information Security Technology Co Ltd
Bluedon Information Security Technologies Co Ltd
Original Assignee
Blue Shield Information Security Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Blue Shield Information Security Technology Co Ltd filed Critical Blue Shield Information Security Technology Co Ltd
Priority to CN201410299857.8A priority Critical patent/CN104036025A/zh
Publication of CN104036025A publication Critical patent/CN104036025A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于分布式的海量日志采集系统，该系统包括数据源层、分布式缓存层、分布式存储与计算层、业务处理层、可视化展示层和统一调度与管理模块。通过本发明能够有效应对日志采集与高速入库的问题，同时，使用分布式存储与搜索引擎技术，加快查找与检索的速度，从而实现了高速、准确、可靠地对海量日志进行采集与分析。

Description

一种基于分布式的海量日志采集系统
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于分布式的海量日志采集系统。
背景技术
随着云计算、移动互联网、物联网的崛起与发展，大数据的时代已经来临。对大数据业务系统进行日志采集与分析，是评价节点主机健康度、对系统出现的问题进行分析、展示各类报表的依据所在。
开源的海量日志解决方案有很多，例如FaceBook的Scribe、Apache的Chukwa、LinkedIn的Kafka、Cloudera的Flume等，也有综合的解决方案，例如Kibana+Elasticsearch+LogStash、LogAnalyzer+MySQL+RSyslog、Splunk。这些解决方案，他们都具备三个基本组件，分别为agent、collector和store，其中agent封装数据源，将数据源中的数据发送给collector，collector接收多个agent的数据，并进行汇总后导入后端的store中，store为中央存储系统，应该具有可扩展性和可靠性，应该支持当前非常流行的HDFS。agent必须安装部署在进行日志采集的主机上面，还要配置相关参数以确定collector所在主机的位置。但是该方法中服务器端的安装部署比较麻烦，大部分都需要使用源代码进行编译安装，而且，开源的软件基本是国外的软件，由于中国大陆对国外大部分网站的封锁以及国外某些网站对中国的封锁，因此，有可能下载依赖软件的时候，会出现拒绝连接的问题。
Storm是一个实时流计算框架，可以以近实时的速度对输入源进行处理，然后输出。Storm具有如下的特性：
易于扩展。Storm使用Zookeeper进行集群协调，这样可以充分保证大型集群的良好运行。
每条消息的处理都可以得到保证。
Storm集群管理简易。
Storm的容错机能很好。一旦Topology递交，Storm会一直运行它直到Topology被废除或者被关闭。而在执行中出现错误时，也会由Storm重新分配任务。
一般使用Java，但是Storm中的Topology可以用任何语言设计。
但是Storm的Topology的业务逻辑，需要自己写代码实现，一定要在Spout中指定数据来源。
发明内容
本发明为了解决现有技术中的不足和缺陷，提出一种基于分布式的海量日志采集系统，可以有效应对日志采集与高速入库的问题，同时，使用分布式存储与搜索引擎技术，加快查找与检索的速度，从而实现了高速、准确、可靠地对海量日志进行采集与分析。
一种基于分布式的海量日志采集系统，其通过在目标主机上安装Agent进程，对目标主机的文本、应用程序、数据库等日志信息进行有选择地定向推送到服务器集群的统一访问接口，服务器端采用了分布式缓存与实时流处理框架技术；该系统包括数据源层、分布式缓存层、分布式存储与计算层、业务处理层、可视化展示层和统一调度与管理模块。
数据源层，由数据采集组件(生产者)模块对各个节点上面的文本、应用程序、数据库等进行采集，推送到分布式缓存层。
分布式缓存层，由LVS对各个节点的消息队列组件进行负载均衡，提供一个统一的接口来接收并写入数据源节点推送过来的数据，等待分布式存储与计算层的数据采集组件(消费者)来读取。
分布式存储与计算层，提供存储与计算的功能，包括数据采集组件(消费者)模块、离线计算模块、实时计算模块、分布式存储和搜索引擎；其中，数据采集组件(消费者)模块负责对分布式缓存层进行数据读取；离线计算模块由Hadoop及其生态系统组成；实时计算模块由Storm组成。
业务处理层，提供统计分析和数据挖掘的功能与服务，由上层进行调用。
可视化展示层，提供普通查询、全文检索、报表展示、导入导出等功能。
统一调度与管理模块，对上述5层进行统一的调度与管理，基于工作流，自动化处理。
本发明技术方案带来的有益效果：
1、由于使用了Storm实时流处理框架技术，因此，可以近实时地对Kafka分布式缓存中的消息进行处理并分类。
2、推送日志与读取日志是异步进行的，可以不用感知相互的存在，只需要往分布式消息队列Kafka里面写入或者读取即可。
3、每分钟可以处理100万条记录，可以有效应对大数据数据采集的问题，产生经济效益。
4、系统具有高可靠性，保证每条记录被处理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明中分布式数据采集系统的系统架构图；
图2是本发明中数据采集子系统的组成架构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本文提出了一种基于分布式的海量日志采集系统，通过在目标主机上安装Agent进程，对目标主机的文本、应用程序、数据库等日志信息进行有选择地定向推送到服务器集群的统一访问接口，服务器端采用了分布式缓存与实时流处理框架技术。通过本发明解决了现有技术中使用传统的日志采集技术，对海量日志进行采集的过程中会出现上传速度超过采集处理入库速度，导致系统假死或者日志记录丢失；使用开源的分布式日志采集组件，需要在各个节点安装与配置Agent，某些Agent需要依赖很多第三方软件，由于网络等原因，无法安装完成的缺点或不足，能够有效应对日志采集与高速入库的问题，同时，使用分布式存储与搜索引擎技术，加快查找与检索的速度，从而实现了高速、准确、可靠地对海量日志进行采集与分析。
如图1所示为一种基于分布式的海量日志采集系统的系统架构图。
本系统包括数据源层、分布式缓存层、分布式存储与计算层、业务处理层、可视化展示层和统一调度与管理模块。
数据源层，由数据采集组件(生产者)模块对各个节点上面的文本、应用程序、数据库等进行采集，推送到分布式缓存层。
分布式缓存层，由LVS对各个节点的消息队列组件进行负载均衡，提供一个统一的接口来接收并写入数据源节点推送过来的数据，等待分布式存储与计算层的数据采集组件(消费者)来读取。
分布式存储与计算层，提供存储与计算的功能，包括数据采集组件(消费者)模块、离线计算模块、实时计算模块、分布式存储和搜索引擎。其中，数据采集组件(消费者)模块负责对分布式缓存层进行数据读取；离线计算模块由Hadoop及其生态系统组成；实时计算模块由Storm组成。
业务处理层，提供统计分析和数据挖掘的功能与服务，由上层进行调用。
可视化展示层，提供普通查询、全文检索、报表展示、导入导出等功能。
统一调度与管理模块，对上述5层进行统一的调度与管理，基于工作流，自动化处理。
数据采集子系统是分布式日志采集系统的核心组成部分，包括数据源层、分布式缓存层、数据处理层和持久化层，其可以独立出来成为一个新的系统。其中，数据源层即分布式日志采集系统的数据源层；分布式缓存层即分布式日志采集系统的分布式缓存层；数据处理层即分布式日志采集系统的分布式存储与计算层的实时计算模块和统一调度与管理模块；持久化层即分布式日志采集系统的分布式存储与计算层的分布式存储模块。
数据采集子系统的组成，如图2所示。
数据采集子系统的核心，主要包括位于数据源层的数据采集组件(生产者)模块、分布式缓存层与数据处理层。
数据源层，包括很多的数据节点主机，每个主机上都安装了数据采集组件(生产者)模块，会启动Agent进程来负责接收服务端的采集指令，把本节点的文本、应用程序、数据库等数据推送到服务器集群中的统一访问接口中。
分布式缓存层，位于服务器集群里面，其主要由LVS负责把数据自动转发到Kafka集群中的某台节点主机进行写入，负责对外提供统一访问接口和分布式缓存服务。其中统一访问接口包括统一的域名/主机名和端口。
数据处理层，主要由Storm构成，其中Topology由1个Spout和若干个Bolt构成。KafkaReaderSpout负责读取Kafka集群里面的数据，然后把数据传输给ExecutorBolt，ExecutorBolt根据业务逻辑及日志的类型，往下传送数据到HbaseWriterBolt、HdfsWriterBolt或者SolrWriterBolt中进行持久化存储。其中，HbaseWriterBolt负责HBase的持久化存储，HdfsWriterBolt负责HDFS的持久化存储、SolrWriterBolt负责Solr-Cloud的持久化存储。
持久化层，主要由HBase、HDFS和Solr-Cloud组成。HBase主要是键值对存储，存储原始日志、分类处理后的日志；HDFS主要存储原始日志；Solr-Cloud主要对HBase存储的日志进行索引，加快检索速度，可以全文检索。
数据采集子系统的工作流程：
首先，数据源的所有节点主机的Agent进程会自动推送本节点的文本、应用程序、数据库等数据到服务器集群中的统一访问接口中。
接着，统一访问接口接收到数据，由LVS自动转发到某个Kafka节点中并写入数据，等待被读取。
最后，由实时计算模块Storm中的Topology进行业务处理，其中Topology由1个Spout和若干个Bolt构成。KafkaReaderSpout负责读取Kafka集群中的数据，然后把数据传输给ExecutorBolt，ExecutorBolt根据业务逻辑及日志的类型，往下传送数据到HbaseWriterBolt、HdfsWriterBolt或者SolrWriterBolt中进行持久化存储。其中，HbaseWriterBolt负责HBase的持久化存储，HdfsWriterBolt负责HDFS的持久化存储、SolrWriterBolt负责Solr-Cloud的持久化存储。
以上对本发明实施例所提供的一种基于分布式的海量日志采集系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种基于分布式的海量日志采集系统，其特征在于，该系统通过在目标主机上安装Agent进程，对目标主机的文本、应用程序、数据库等日志信息进行有选择地定向推送到服务器集群的统一访问接口，服务器端采用了分布式缓存与实时流处理框架技术；该系统包括数据源层、分布式缓存层、分布式存储与计算层、业务处理层、可视化展示层和统一调度与管理模块；
数据源层，由数据采集组件(生产者)模块对各个节点上面的文本、应用程序、数据库等进行采集，推送到分布式缓存层；
分布式缓存层，由LVS对各个节点的消息队列组件进行负载均衡，提供一个统一的接口来接收并写入数据源节点推送过来的数据，等待分布式存储与计算层的数据采集组件(消费者)来读取；
分布式存储与计算层，提供存储与计算的功能，包括数据采集组件(消费者)模块、离线计算模块、实时计算模块、分布式存储和搜索引擎；其中，数据采集组件(消费者)模块负责对分布式缓存层进行数据读取；离线计算模块由Hadoop及其生态系统组成；实时计算模块由Storm组成；
业务处理层，提供统计分析和数据挖掘的功能与服务，由上层进行调用；
可视化展示层，提供普通查询、全文检索、报表展示、导入导出等功能；
统一调度与管理模块，对上述5层进行统一的调度与管理，基于工作流，自动化处理。
2.根据权利要求1所述的系统，其特征在于，该系统的数据源层、分布式缓存层、分布式存储与计算层的实时计算模块和分布式存储模块、统一调度与管理模块是分布式日志采集系统的核心部分，即数据采集子系统，其包括数据源层、分布式缓存层、数据处理层和持久化层，其可以独立出来成为一个新的系统；其中，数据源层即分布式日志采集系统的数据源层；分布式缓存层即分布式日志采集系统的分布式缓存层；数据处理层即分布式日志采集系统的分布式存储与计算层的实时计算模块和统一调度与管理模块；持久化层即分布式日志采集系统的分布式存储与计算层的分布式存储模块。
3.根据权利要求2所述的系统，其特征在于，数据源层，包括很多的数据节点主机，每个主机上都安装了数据采集组件(生产者)模块，会启动Agent进程来负责接收服务端的采集指令，把本节点的文本、应用程序、数据库等数据推送到服务器集群中的统一访问接口中；
分布式缓存层，位于服务器集群里面，其主要由LVS负责把数据自动转发到Kafka集群中的某台节点主机进行写入，负责对外提供统一访问接口和分布式缓存服务；其中统一访问接口包括统一的域名/主机名和端口；
数据处理层，由Storm构成，其中Topology由1个Spout和若干个Bolt构成。KafkaReaderSpout负责读取Kafka集群里面的数据，然后把数据传输给ExecutorBolt，ExecutorBolt根据业务逻辑及日志的类型，往下传送数据到HbaseWriterBolt、HdfsWriterBolt或者SolrWriterBolt中进行持久化存储；其中，HbaseWriterBolt负责HBase的持久化存储，HdfsWriterBolt负责HDFS的持久化存储、SolrWriterBolt负责Solr-Cloud的持久化存储；
持久化层，由HBase、HDFS和Solr-Cloud组成。HBase主要是键值对存储，存储原始日志、分类处理后的日志；HDFS主要存储原始日志；Solr-Cloud主要对HBase存储的日志进行索引，加快检索速度，可以全文检索。
4.根据权利要求3所述的系统，其特征在于，数据采集子系统的核心，包括位于数据源层的数据采集组件(生产者)模块、分布式缓存层与数据处理层。
5.根据权利要求3或4所述的系统，其特征在于，数据采集子系统的工作流程为：首先，数据源的所有节点主机的Agent进程会自动推送本节点的文本、应用程序、数据库等数据到服务器集群中的统一访问接口中；
接着，统一访问接口接收到数据，由LVS自动转发到某个Kafka节点中并写入数据，等待被读取；
最后，由实时计算模块Storm中的Topology进行业务处理，其中Topology由1个Spout和若干个Bolt构成；KafkaReaderSpout负责读取Kafka集群中的数据，然后把数据传输给ExecutorBolt，ExecutorBolt根据业务逻辑及日志的类型，往下传送数据到HbaseWriterBolt、HdfsWriterBolt或者SolrWriterBolt中进行持久化存储；其中，HbaseWriterBolt负责HBase的持久化存储，HdfsWriterBolt负责HDFS的持久化存储、SolrWriterBolt负责Solr-Cloud的持久化存储。
CN201410299857.8A 2014-06-27 2014-06-27 一种基于分布式的海量日志采集系统 Pending CN104036025A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410299857.8A CN104036025A (zh) 2014-06-27 2014-06-27 一种基于分布式的海量日志采集系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410299857.8A CN104036025A (zh) 2014-06-27 2014-06-27 一种基于分布式的海量日志采集系统

Publications (1)

Publication Number Publication Date
CN104036025A true CN104036025A (zh) 2014-09-10

Family

ID=51466795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410299857.8A Pending CN104036025A (zh) 2014-06-27 2014-06-27 一种基于分布式的海量日志采集系统

Country Status (1)

Country Link
CN (1) CN104036025A (zh)

Cited By (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104239197A (zh) * 2014-10-10 2014-12-24 浪潮电子信息产业股份有限公司 一种基于大数据日志分析的管理用户异常行为发现方法
CN104468710A (zh) * 2014-10-31 2015-03-25 西安未来国际信息股份有限公司 一种混合大数据处理系统及处理方法
CN104579789A (zh) * 2015-01-23 2015-04-29 广东能龙教育股份有限公司 一种基于消息队列的海量用户行为数据采集方法与系统
CN104615777A (zh) * 2015-02-27 2015-05-13 浪潮集团有限公司 一种基于流式计算引擎的实时数据处理方法及装置
CN104714875A (zh) * 2015-03-11 2015-06-17 浪潮集团有限公司 一种分布式的自动化采集的方法
CN104750870A (zh) * 2015-04-20 2015-07-01 河海大学 一种基于HBase的日志存储系统及实现方法
CN104915259A (zh) * 2015-06-15 2015-09-16 浪潮软件集团有限公司 一种应用于分布式采集系统的任务调度方法
CN104933160A (zh) * 2015-06-26 2015-09-23 河海大学 一种面向安全监测业务分析的etl框架设计方法
CN105138592A (zh) * 2015-07-31 2015-12-09 武汉虹信技术服务有限责任公司 一种基于分布式架构的日志数据存储和检索方法
CN105205105A (zh) * 2015-08-27 2015-12-30 浪潮集团有限公司 一种基于storm的数据ETL系统及处理方法
CN105227619A (zh) * 2015-07-06 2016-01-06 国网天津市电力公司 一种基于Agent的远程监控数据库运行状态的方法
CN105243147A (zh) * 2015-10-22 2016-01-13 浪潮(北京)电子信息产业有限公司 一种MySQL数据库慢查询日志的管理方法及系统
CN105260452A (zh) * 2015-10-12 2016-01-20 成都视达科信息技术有限公司 离线日志收集查询和分析系统及方法
CN105391584A (zh) * 2015-11-30 2016-03-09 用友网络科技股份有限公司 一种在分布式环境中使用的异常预警系统
CN105450618A (zh) * 2014-09-26 2016-03-30 Tcl集团股份有限公司 一种api服务器处理大数据的运算方法及其系统
CN105468720A (zh) * 2015-11-20 2016-04-06 北京锐安科技有限公司 集成分布式数据处理系统的方法、相应系统及其数据处理方法
CN105577431A (zh) * 2015-12-11 2016-05-11 青岛云成互动网络有限公司 一种基于互联网应用的用户信息识别分类方法和系统
CN105577422A (zh) * 2015-11-11 2016-05-11 江苏瑞中数据股份有限公司 一种能源互联网的实时数据分析系统及其方法
CN105608188A (zh) * 2015-12-23 2016-05-25 北京奇虎科技有限公司 数据处理方法和数据处理装置
CN105677836A (zh) * 2016-01-05 2016-06-15 北京汇商融通信息技术有限公司 一种同时支持离线数据和实时在线数据的大数据处理解决系统
CN105824945A (zh) * 2016-03-21 2016-08-03 中国电力科学研究院 一种全球能源互联网技术资源数据收集方法
CN105824744A (zh) * 2016-03-21 2016-08-03 焦点科技股份有限公司 一种基于b2b平台的实时日志采集分析方法
CN105824618A (zh) * 2016-03-10 2016-08-03 浪潮软件集团有限公司 一种关于Storm使用的实时消息处理方法
CN105868075A (zh) * 2016-03-31 2016-08-17 浪潮通信信息系统有限公司 一种实时监控分析大量日志的系统及方法
CN105869396A (zh) * 2016-04-28 2016-08-17 泰华智慧产业集团股份有限公司 基于大数据平台的过车指数统计方法及系统
CN105933736A (zh) * 2016-04-18 2016-09-07 天脉聚源(北京)传媒科技有限公司 一种日志处理方法及装置
CN105979297A (zh) * 2016-06-14 2016-09-28 天脉聚源(北京)传媒科技有限公司 一种收看时长统计方法及系统
WO2016187967A1 (zh) * 2015-05-28 2016-12-01 中兴通讯股份有限公司 一种实现日志传输的方法及装置
CN106227877A (zh) * 2016-08-02 2016-12-14 北京集奥聚合科技有限公司 一种基于hadoop 的分布式日志采集系统及方法
CN106294556A (zh) * 2016-07-26 2017-01-04 江苏神州信源系统工程有限公司 一种使用Apache Drill集中搜索大数据库的方法
CN104331044B (zh) * 2014-10-17 2017-01-11 东北大学 一种电熔镁炉能耗远程监视系统及方法
CN106383758A (zh) * 2016-09-22 2017-02-08 郑州云海信息技术有限公司 一种基于操作系统的信息采集方法
CN106411639A (zh) * 2016-09-18 2017-02-15 合网络技术（北京）有限公司 访问数据的监控方法及系统
CN106445790A (zh) * 2016-10-12 2017-02-22 北京集奥聚合科技有限公司 一种分布式实时计算系统中计数对账的方法及装置
CN106503079A (zh) * 2016-10-10 2017-03-15 语联网（武汉）信息技术有限公司 一种日志管理方法及系统
CN106528847A (zh) * 2016-11-24 2017-03-22 北京集奥聚合科技有限公司 一种海量数据的多维度处理方法及系统
CN106557561A (zh) * 2016-11-16 2017-04-05 贵州大学 基于HBase的海量传感器数据存储系统及方法
CN106649670A (zh) * 2016-12-14 2017-05-10 北京五八信息技术有限公司 基于流式计算的数据监控方法及装置
CN106649377A (zh) * 2015-11-02 2017-05-10 中兴通讯股份有限公司 一种图像处理系统及图像处理的方法
CN106682073A (zh) * 2016-11-14 2017-05-17 上海轻维软件有限公司 基于ElasticSearch的HBase模糊检索系统
CN106790572A (zh) * 2016-12-27 2017-05-31 广州华多网络科技有限公司 一种分布式日志收集的系统和方法
CN106933720A (zh) * 2017-01-16 2017-07-07 国家电网公司 网络日志信息安全场景式分析系统及其分析方法
CN106980678A (zh) * 2017-03-30 2017-07-25 温馨港网络信息科技（苏州）有限公司 基于zookeeper技术的数据分析方法及系统
CN107016133A (zh) * 2017-05-24 2017-08-04 成都享之道网络科技有限公司 基于在线与离线双处理的大数据系统
CN107229639A (zh) * 2016-03-24 2017-10-03 上海宝信软件股份有限公司 分布式实时数据库的存储系统
CN107357804A (zh) * 2017-05-24 2017-11-17 上海你我贷互联网金融信息服务有限公司 互联网金融海量日志的分析系统及方法
WO2017198227A1 (zh) * 2016-05-19 2017-11-23 中兴通讯股份有限公司 一种交互式网络电视系统及用户数据实时获取方法
CN107463490A (zh) * 2017-08-15 2017-12-12 四川长虹电器股份有限公司 一种应用于平台开发中的集群日志集中收集方法
CN107508888A (zh) * 2017-08-25 2017-12-22 同方(深圳)云计算技术股份有限公司 一种车联网服务平台
CN107590182A (zh) * 2017-08-03 2018-01-16 华南理工大学 一种分布式日志收集方法
CN107622084A (zh) * 2017-08-10 2018-01-23 深圳前海微众银行股份有限公司 日志管理方法、系统以及计算机可读存储介质
US9900317B2 (en) 2016-02-25 2018-02-20 Red Hat, Inc. Access guards for multi-tenant logging
CN107766147A (zh) * 2016-08-23 2018-03-06 上海宝信软件股份有限公司 分布式的数据分析任务调度系统
CN107786565A (zh) * 2017-11-02 2018-03-09 江苏物联网研究发展中心 一种分布式实时入侵检测方法及检测系统
CN107800592A (zh) * 2017-11-09 2018-03-13 郑州云海信息技术有限公司 一种服务器测试结果采集方法
CN107872465A (zh) * 2017-12-05 2018-04-03 全球能源互联网研究院有限公司 一种分布式网络安全监测方法及系统
CN107959697A (zh) * 2016-10-17 2018-04-24 腾讯科技（深圳）有限公司 大数据离线计算中的源数据采集方法和系统
CN108073625A (zh) * 2016-11-14 2018-05-25 北京京东尚科信息技术有限公司 用于元数据信息管理的系统及方法
CN108076111A (zh) * 2016-11-15 2018-05-25 亿阳安全技术有限公司 一种在大数据平台中分发数据的系统及方法
CN108073705A (zh) * 2017-12-18 2018-05-25 郑州云海信息技术有限公司 一种分布式海量数据聚合采集方法
CN108153828A (zh) * 2017-12-12 2018-06-12 顺丰科技有限公司 一种实时数据的持久化方法、装置及设备、存储介质
WO2018130222A1 (zh) * 2017-01-16 2018-07-19 贵州白山云科技有限公司 一种写入日志的方法、系统、介质和设备
CN108647323A (zh) * 2018-05-11 2018-10-12 重庆工商职业学院 一种职业能力的数据汇总方法
CN108710563A (zh) * 2018-05-16 2018-10-26 广州市千钧网络科技有限公司 一种应用程序日志记录方法及装置
CN108717632A (zh) * 2018-05-29 2018-10-30 广东通莞科技股份有限公司 一种移动支付存储保护及恢复系统
CN108763310A (zh) * 2018-04-25 2018-11-06 江苏鸣鹤云科技有限公司 一种高可用的大数据平台
CN108810146A (zh) * 2018-06-14 2018-11-13 鹤壁北岩科技有限公司 基于分布式云平台的养殖控制系统及控制方法
CN108829879A (zh) * 2018-06-26 2018-11-16 天津城建大学 一种充电桩数据监控方法
CN108932352A (zh) * 2018-09-26 2018-12-04 江苏曲速教育科技有限公司 基于统计服务器的分布式缓存系统
CN108985981A (zh) * 2018-06-28 2018-12-11 北京奇虎科技有限公司 数据处理系统及方法
CN109151464A (zh) * 2018-11-14 2019-01-04 江苏鸿信系统集成有限公司 基于大数据流处理的iptv机顶盒故障实时检测方法
CN109167672A (zh) * 2018-07-13 2019-01-08 腾讯科技（深圳）有限公司 一种回源错误定位方法、装置、存储介质以及系统
CN109445949A (zh) * 2018-12-07 2019-03-08 武汉轻工大学 一种数据采集系统和数据采集方法
CN109542750A (zh) * 2018-11-26 2019-03-29 深圳天源迪科信息技术股份有限公司 分布式日志系统
CN109542638A (zh) * 2018-10-26 2019-03-29 深圳点猫科技有限公司 一种基于教育系统的文件处理方法及装置
CN109657125A (zh) * 2018-12-14 2019-04-19 平安城市建设科技(深圳)有限公司 基于网络爬虫的数据处理方法、装置、设备及存储介质
CN109710731A (zh) * 2018-11-19 2019-05-03 北京计算机技术及应用研究所 一种基于Flink的数据流多向处理系统
US10289383B2 (en) 2016-07-28 2019-05-14 International Business Machines Corporation Cross object synchronization
CN109857613A (zh) * 2018-12-25 2019-06-07 南京南瑞信息通信科技有限公司 一种基于采集集群的自动化运维系统
CN109886327A (zh) * 2019-02-12 2019-06-14 北京奇艺世纪科技有限公司 一种分布式系统中Java数据的处理系统及方法
CN110232054A (zh) * 2019-06-19 2019-09-13 北京百度网讯科技有限公司 日志传输系统及流式日志传输方法
CN110245120A (zh) * 2019-06-19 2019-09-17 北京百度网讯科技有限公司 流式计算系统及流式计算系统的日志数据处理方法
CN110262951A (zh) * 2019-06-10 2019-09-20 天翼电子商务有限公司 一种业务秒级监控方法及系统、存储介质及客户端
CN110309130A (zh) * 2018-03-21 2019-10-08 中国人民财产保险股份有限公司 一种用于主机性能监控的方法及装置
US10467757B2 (en) 2015-11-30 2019-11-05 Shanghai United Imaging Healthcare Co., Ltd. System and method for computer aided diagnosis
CN110442503A (zh) * 2019-07-29 2019-11-12 深圳数位传媒科技有限公司 一种应用日志指标的告警方法与装置
CN110659306A (zh) * 2019-08-29 2020-01-07 达疆网络科技(上海)有限公司 门店系统各级缓存同步方式
CN110688399A (zh) * 2019-08-26 2020-01-14 远光软件股份有限公司 一种流式计算实时报表系统及方法
CN111157838A (zh) * 2018-11-08 2020-05-15 中国铁路沈阳局集团有限公司科学技术研究所 一种铁路配电网运行状态大数据智能化管理系统
CN111200637A (zh) * 2019-12-20 2020-05-26 新浪网技术(中国)有限公司 一种缓存的处理方法及装置
CN111209314A (zh) * 2020-01-13 2020-05-29 国网浙江省电力有限公司信息通信分公司 一种电力信息系统海量日志数据实时处理系统
CN111258979A (zh) * 2020-01-16 2020-06-09 山东大学 一种云防护日志系统及其工作方法
CN111355788A (zh) * 2020-02-21 2020-06-30 深圳供电局有限公司 一种分布式数据中心管理系统
CN111552628A (zh) * 2020-03-20 2020-08-18 北京海致星图科技有限公司 一种针对图数据库及图服务接口进行分布式压测系统及方法
WO2020168756A1 (zh) * 2019-02-19 2020-08-27 平安科技（深圳）有限公司 集群日志特征提取方法、装置、设备及存储介质
CN111695126A (zh) * 2020-05-28 2020-09-22 武汉中海庭数据技术有限公司 一种众包数据解密方法、装置、电子设备及存储介质
CN112163060A (zh) * 2020-09-16 2021-01-01 安徽龙运智能科技有限公司 一种大数据技术处理海量gps数据系统
CN112347073A (zh) * 2020-10-27 2021-02-09 山东开创云计算有限公司 多数据系统
CN112433998A (zh) * 2020-11-20 2021-03-02 广东电网有限责任公司佛山供电局 一种基于电力系统的多源异构数据采集汇聚系统及方法
CN112818045A (zh) * 2021-01-22 2021-05-18 辽宁长江智能科技股份有限公司 一种大数据的数据接入统一管理平台
CN113220655A (zh) * 2021-04-30 2021-08-06 中核武汉核电运行技术股份有限公司 数据接入方法、装置、设备及可读存储介质
CN113868511A (zh) * 2020-06-30 2021-12-31 北京奇虎鸿腾科技有限公司 基于静态主机操作日志的定位检索方法、系统及存储介质
CN114116861A (zh) * 2021-10-12 2022-03-01 国家电网有限公司 一种基于多类型设备的大数据处理方法、系统及可读介质
CN114996335A (zh) * 2022-08-03 2022-09-02 海看网络科技(山东)股份有限公司 一种iptv日志实时聚类分析方法
CN115022402A (zh) * 2022-07-01 2022-09-06 杭州乘云数字技术有限公司 一种基于一栈式集成技术的agent采集方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050049924A1 (en) * 2003-08-27 2005-03-03 Debettencourt Jason Techniques for use with application monitoring to obtain transaction data
CN103138989A (zh) * 2013-02-25 2013-06-05 武汉华工安鼎信息技术有限责任公司 一种海量日志分析系统及方法
CN103399887A (zh) * 2013-07-19 2013-11-20 蓝盾信息安全技术股份有限公司 一种海量日志的查询与统计分析系统
CN103401934A (zh) * 2013-08-06 2013-11-20 广州唯品会信息科技有限公司 获取日志数据的方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050049924A1 (en) * 2003-08-27 2005-03-03 Debettencourt Jason Techniques for use with application monitoring to obtain transaction data
CN103138989A (zh) * 2013-02-25 2013-06-05 武汉华工安鼎信息技术有限责任公司 一种海量日志分析系统及方法
CN103399887A (zh) * 2013-07-19 2013-11-20 蓝盾信息安全技术股份有限公司 一种海量日志的查询与统计分析系统
CN103401934A (zh) * 2013-08-06 2013-11-20 广州唯品会信息科技有限公司 获取日志数据的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈涛: ""分布式日志数据采集代理框架的研究与设计"", 《万方数据企业知识服务平台》 *

Cited By (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105450618A (zh) * 2014-09-26 2016-03-30 Tcl集团股份有限公司 一种api服务器处理大数据的运算方法及其系统
CN104239197A (zh) * 2014-10-10 2014-12-24 浪潮电子信息产业股份有限公司 一种基于大数据日志分析的管理用户异常行为发现方法
CN104331044B (zh) * 2014-10-17 2017-01-11 东北大学 一种电熔镁炉能耗远程监视系统及方法
CN104468710A (zh) * 2014-10-31 2015-03-25 西安未来国际信息股份有限公司 一种混合大数据处理系统及处理方法
CN104579789A (zh) * 2015-01-23 2015-04-29 广东能龙教育股份有限公司 一种基于消息队列的海量用户行为数据采集方法与系统
CN104615777A (zh) * 2015-02-27 2015-05-13 浪潮集团有限公司 一种基于流式计算引擎的实时数据处理方法及装置
CN104714875A (zh) * 2015-03-11 2015-06-17 浪潮集团有限公司 一种分布式的自动化采集的方法
CN104750870B (zh) * 2015-04-20 2018-11-27 河海大学 一种基于HBase的日志存储系统及实现方法
CN104750870A (zh) * 2015-04-20 2015-07-01 河海大学 一种基于HBase的日志存储系统及实现方法
CN106301844A (zh) * 2015-05-28 2017-01-04 中兴通讯股份有限公司 一种实现日志传输的方法及装置
CN106301844B (zh) * 2015-05-28 2020-03-24 中兴通讯股份有限公司 一种实现日志传输的方法及装置
WO2016187967A1 (zh) * 2015-05-28 2016-12-01 中兴通讯股份有限公司 一种实现日志传输的方法及装置
CN104915259A (zh) * 2015-06-15 2015-09-16 浪潮软件集团有限公司 一种应用于分布式采集系统的任务调度方法
CN104933160A (zh) * 2015-06-26 2015-09-23 河海大学 一种面向安全监测业务分析的etl框架设计方法
CN104933160B (zh) * 2015-06-26 2019-06-28 河海大学 一种面向安全监测业务分析的etl框架设计方法
CN105227619A (zh) * 2015-07-06 2016-01-06 国网天津市电力公司 一种基于Agent的远程监控数据库运行状态的方法
CN105138592A (zh) * 2015-07-31 2015-12-09 武汉虹信技术服务有限责任公司 一种基于分布式架构的日志数据存储和检索方法
CN105138592B (zh) * 2015-07-31 2019-03-26 武汉虹信技术服务有限责任公司 一种基于分布式架构的日志数据存储和检索方法
CN105205105B (zh) * 2015-08-27 2019-04-16 浪潮集团有限公司 一种基于storm的数据ETL系统及处理方法
CN105205105A (zh) * 2015-08-27 2015-12-30 浪潮集团有限公司 一种基于storm的数据ETL系统及处理方法
CN105260452A (zh) * 2015-10-12 2016-01-20 成都视达科信息技术有限公司 离线日志收集查询和分析系统及方法
CN105243147A (zh) * 2015-10-22 2016-01-13 浪潮(北京)电子信息产业有限公司 一种MySQL数据库慢查询日志的管理方法及系统
CN106649377A (zh) * 2015-11-02 2017-05-10 中兴通讯股份有限公司 一种图像处理系统及图像处理的方法
CN105577422A (zh) * 2015-11-11 2016-05-11 江苏瑞中数据股份有限公司 一种能源互联网的实时数据分析系统及其方法
CN105468720A (zh) * 2015-11-20 2016-04-06 北京锐安科技有限公司 集成分布式数据处理系统的方法、相应系统及其数据处理方法
CN105391584A (zh) * 2015-11-30 2016-03-09 用友网络科技股份有限公司 一种在分布式环境中使用的异常预警系统
US10467757B2 (en) 2015-11-30 2019-11-05 Shanghai United Imaging Healthcare Co., Ltd. System and method for computer aided diagnosis
US10825180B2 (en) 2015-11-30 2020-11-03 Shanghai United Imaging Healthcare Co., Ltd. System and method for computer aided diagnosis
CN105577431A (zh) * 2015-12-11 2016-05-11 青岛云成互动网络有限公司 一种基于互联网应用的用户信息识别分类方法和系统
CN105608188A (zh) * 2015-12-23 2016-05-25 北京奇虎科技有限公司 数据处理方法和数据处理装置
CN105677836A (zh) * 2016-01-05 2016-06-15 北京汇商融通信息技术有限公司 一种同时支持离线数据和实时在线数据的大数据处理解决系统
US10263993B2 (en) 2016-02-25 2019-04-16 Red Hat, Inc. Access guards for multi-tenant logging
US9900317B2 (en) 2016-02-25 2018-02-20 Red Hat, Inc. Access guards for multi-tenant logging
US10609035B2 (en) 2016-02-25 2020-03-31 Red Hat, Inc. Access guards for multi-tenant logging
CN105824618A (zh) * 2016-03-10 2016-08-03 浪潮软件集团有限公司 一种关于Storm使用的实时消息处理方法
CN105824945A (zh) * 2016-03-21 2016-08-03 中国电力科学研究院 一种全球能源互联网技术资源数据收集方法
CN105824744A (zh) * 2016-03-21 2016-08-03 焦点科技股份有限公司 一种基于b2b平台的实时日志采集分析方法
CN105824744B (zh) * 2016-03-21 2018-06-15 焦点科技股份有限公司 一种基于b2b平台的实时日志采集分析方法
CN107229639A (zh) * 2016-03-24 2017-10-03 上海宝信软件股份有限公司 分布式实时数据库的存储系统
CN107229639B (zh) * 2016-03-24 2020-07-28 上海宝信软件股份有限公司 分布式实时数据库的存储系统
CN105868075A (zh) * 2016-03-31 2016-08-17 浪潮通信信息系统有限公司 一种实时监控分析大量日志的系统及方法
CN105933736A (zh) * 2016-04-18 2016-09-07 天脉聚源(北京)传媒科技有限公司 一种日志处理方法及装置
CN105869396A (zh) * 2016-04-28 2016-08-17 泰华智慧产业集团股份有限公司 基于大数据平台的过车指数统计方法及系统
WO2017198227A1 (zh) * 2016-05-19 2017-11-23 中兴通讯股份有限公司 一种交互式网络电视系统及用户数据实时获取方法
CN105979297B (zh) * 2016-06-14 2019-03-19 天脉聚源(北京)传媒科技有限公司 一种收看时长统计方法及系统
CN105979297A (zh) * 2016-06-14 2016-09-28 天脉聚源(北京)传媒科技有限公司 一种收看时长统计方法及系统
CN106294556A (zh) * 2016-07-26 2017-01-04 江苏神州信源系统工程有限公司 一种使用Apache Drill集中搜索大数据库的方法
US10289383B2 (en) 2016-07-28 2019-05-14 International Business Machines Corporation Cross object synchronization
CN106227877A (zh) * 2016-08-02 2016-12-14 北京集奥聚合科技有限公司 一种基于hadoop 的分布式日志采集系统及方法
CN107766147A (zh) * 2016-08-23 2018-03-06 上海宝信软件股份有限公司 分布式的数据分析任务调度系统
CN106411639A (zh) * 2016-09-18 2017-02-15 合网络技术（北京）有限公司 访问数据的监控方法及系统
CN106383758A (zh) * 2016-09-22 2017-02-08 郑州云海信息技术有限公司 一种基于操作系统的信息采集方法
CN106503079A (zh) * 2016-10-10 2017-03-15 语联网（武汉）信息技术有限公司 一种日志管理方法及系统
CN106445790A (zh) * 2016-10-12 2017-02-22 北京集奥聚合科技有限公司 一种分布式实时计算系统中计数对账的方法及装置
CN107959697B (zh) * 2016-10-17 2019-12-06 腾讯科技（深圳）有限公司 大数据离线计算中的源数据采集方法和系统
CN107959697A (zh) * 2016-10-17 2018-04-24 腾讯科技（深圳）有限公司 大数据离线计算中的源数据采集方法和系统
CN108073625B (zh) * 2016-11-14 2021-03-30 北京京东尚科信息技术有限公司 用于元数据信息管理的系统及方法
CN106682073A (zh) * 2016-11-14 2017-05-17 上海轻维软件有限公司 基于ElasticSearch的HBase模糊检索系统
CN108073625A (zh) * 2016-11-14 2018-05-25 北京京东尚科信息技术有限公司 用于元数据信息管理的系统及方法
CN108076111B (zh) * 2016-11-15 2021-07-09 亿阳安全技术有限公司 一种在大数据平台中分发数据的系统及方法
CN108076111A (zh) * 2016-11-15 2018-05-25 亿阳安全技术有限公司 一种在大数据平台中分发数据的系统及方法
CN106557561A (zh) * 2016-11-16 2017-04-05 贵州大学 基于HBase的海量传感器数据存储系统及方法
CN106528847A (zh) * 2016-11-24 2017-03-22 北京集奥聚合科技有限公司 一种海量数据的多维度处理方法及系统
CN106649670B (zh) * 2016-12-14 2020-07-17 北京五八信息技术有限公司 基于流式计算的数据监控方法及装置
CN106649670A (zh) * 2016-12-14 2017-05-10 北京五八信息技术有限公司 基于流式计算的数据监控方法及装置
CN106790572A (zh) * 2016-12-27 2017-05-31 广州华多网络科技有限公司 一种分布式日志收集的系统和方法
CN106933720A (zh) * 2017-01-16 2017-07-07 国家电网公司 网络日志信息安全场景式分析系统及其分析方法
WO2018130222A1 (zh) * 2017-01-16 2018-07-19 贵州白山云科技有限公司 一种写入日志的方法、系统、介质和设备
CN106980678A (zh) * 2017-03-30 2017-07-25 温馨港网络信息科技（苏州）有限公司 基于zookeeper技术的数据分析方法及系统
CN107357804A (zh) * 2017-05-24 2017-11-17 上海你我贷互联网金融信息服务有限公司 互联网金融海量日志的分析系统及方法
CN107016133A (zh) * 2017-05-24 2017-08-04 成都享之道网络科技有限公司 基于在线与离线双处理的大数据系统
CN107590182A (zh) * 2017-08-03 2018-01-16 华南理工大学 一种分布式日志收集方法
CN107590182B (zh) * 2017-08-03 2020-06-19 华南理工大学 一种分布式日志收集方法
CN107622084A (zh) * 2017-08-10 2018-01-23 深圳前海微众银行股份有限公司 日志管理方法、系统以及计算机可读存储介质
CN107463490B (zh) * 2017-08-15 2020-06-30 四川长虹电器股份有限公司 一种应用于平台开发中的集群日志集中收集方法
CN107463490A (zh) * 2017-08-15 2017-12-12 四川长虹电器股份有限公司 一种应用于平台开发中的集群日志集中收集方法
CN107508888A (zh) * 2017-08-25 2017-12-22 同方(深圳)云计算技术股份有限公司 一种车联网服务平台
CN107786565A (zh) * 2017-11-02 2018-03-09 江苏物联网研究发展中心 一种分布式实时入侵检测方法及检测系统
CN107800592A (zh) * 2017-11-09 2018-03-13 郑州云海信息技术有限公司 一种服务器测试结果采集方法
CN107872465A (zh) * 2017-12-05 2018-04-03 全球能源互联网研究院有限公司 一种分布式网络安全监测方法及系统
CN108153828A (zh) * 2017-12-12 2018-06-12 顺丰科技有限公司 一种实时数据的持久化方法、装置及设备、存储介质
CN108073705A (zh) * 2017-12-18 2018-05-25 郑州云海信息技术有限公司 一种分布式海量数据聚合采集方法
CN108073705B (zh) * 2017-12-18 2022-06-14 浪潮云信息技术股份公司 一种分布式海量数据聚合采集方法
CN110309130A (zh) * 2018-03-21 2019-10-08 中国人民财产保险股份有限公司 一种用于主机性能监控的方法及装置
CN108763310A (zh) * 2018-04-25 2018-11-06 江苏鸣鹤云科技有限公司 一种高可用的大数据平台
CN108647323A (zh) * 2018-05-11 2018-10-12 重庆工商职业学院 一种职业能力的数据汇总方法
CN108710563A (zh) * 2018-05-16 2018-10-26 广州市千钧网络科技有限公司 一种应用程序日志记录方法及装置
CN108717632A (zh) * 2018-05-29 2018-10-30 广东通莞科技股份有限公司 一种移动支付存储保护及恢复系统
CN108810146A (zh) * 2018-06-14 2018-11-13 鹤壁北岩科技有限公司 基于分布式云平台的养殖控制系统及控制方法
CN108829879A (zh) * 2018-06-26 2018-11-16 天津城建大学 一种充电桩数据监控方法
CN108985981B (zh) * 2018-06-28 2021-04-23 北京奇虎科技有限公司 数据处理系统及方法
CN108985981A (zh) * 2018-06-28 2018-12-11 北京奇虎科技有限公司 数据处理系统及方法
CN109167672B (zh) * 2018-07-13 2020-07-10 腾讯科技（深圳）有限公司 一种回源错误定位方法、装置、存储介质以及系统
CN109167672A (zh) * 2018-07-13 2019-01-08 腾讯科技（深圳）有限公司 一种回源错误定位方法、装置、存储介质以及系统
CN108932352A (zh) * 2018-09-26 2018-12-04 江苏曲速教育科技有限公司 基于统计服务器的分布式缓存系统
CN109542638A (zh) * 2018-10-26 2019-03-29 深圳点猫科技有限公司 一种基于教育系统的文件处理方法及装置
CN111157838A (zh) * 2018-11-08 2020-05-15 中国铁路沈阳局集团有限公司科学技术研究所 一种铁路配电网运行状态大数据智能化管理系统
CN109151464A (zh) * 2018-11-14 2019-01-04 江苏鸿信系统集成有限公司 基于大数据流处理的iptv机顶盒故障实时检测方法
CN109710731A (zh) * 2018-11-19 2019-05-03 北京计算机技术及应用研究所 一种基于Flink的数据流多向处理系统
CN109542750A (zh) * 2018-11-26 2019-03-29 深圳天源迪科信息技术股份有限公司 分布式日志系统
CN109445949A (zh) * 2018-12-07 2019-03-08 武汉轻工大学 一种数据采集系统和数据采集方法
CN109657125A (zh) * 2018-12-14 2019-04-19 平安城市建设科技(深圳)有限公司 基于网络爬虫的数据处理方法、装置、设备及存储介质
CN109857613A (zh) * 2018-12-25 2019-06-07 南京南瑞信息通信科技有限公司 一种基于采集集群的自动化运维系统
CN109857613B (zh) * 2018-12-25 2021-10-08 南京南瑞信息通信科技有限公司 一种基于采集集群的自动化运维系统
CN109886327A (zh) * 2019-02-12 2019-06-14 北京奇艺世纪科技有限公司 一种分布式系统中Java数据的处理系统及方法
WO2020168756A1 (zh) * 2019-02-19 2020-08-27 平安科技（深圳）有限公司 集群日志特征提取方法、装置、设备及存储介质
CN110262951A (zh) * 2019-06-10 2019-09-20 天翼电子商务有限公司 一种业务秒级监控方法及系统、存储介质及客户端
CN110232054A (zh) * 2019-06-19 2019-09-13 北京百度网讯科技有限公司 日志传输系统及流式日志传输方法
CN110245120A (zh) * 2019-06-19 2019-09-17 北京百度网讯科技有限公司 流式计算系统及流式计算系统的日志数据处理方法
CN110232054B (zh) * 2019-06-19 2021-07-20 北京百度网讯科技有限公司 日志传输系统及流式日志传输方法
CN110245120B (zh) * 2019-06-19 2021-06-11 北京百度网讯科技有限公司 流式计算系统及流式计算系统的日志数据处理方法
CN110442503A (zh) * 2019-07-29 2019-11-12 深圳数位传媒科技有限公司 一种应用日志指标的告警方法与装置
CN110688399A (zh) * 2019-08-26 2020-01-14 远光软件股份有限公司 一种流式计算实时报表系统及方法
CN110659306A (zh) * 2019-08-29 2020-01-07 达疆网络科技(上海)有限公司 门店系统各级缓存同步方式
CN111200637A (zh) * 2019-12-20 2020-05-26 新浪网技术(中国)有限公司 一种缓存的处理方法及装置
CN111200637B (zh) * 2019-12-20 2022-07-08 新浪网技术(中国)有限公司 一种缓存的处理方法及装置
CN111209314A (zh) * 2020-01-13 2020-05-29 国网浙江省电力有限公司信息通信分公司 一种电力信息系统海量日志数据实时处理系统
CN111258979B (zh) * 2020-01-16 2022-04-15 山东大学 一种云防护日志系统及其工作方法
CN111258979A (zh) * 2020-01-16 2020-06-09 山东大学 一种云防护日志系统及其工作方法
CN111355788A (zh) * 2020-02-21 2020-06-30 深圳供电局有限公司 一种分布式数据中心管理系统
CN111552628A (zh) * 2020-03-20 2020-08-18 北京海致星图科技有限公司 一种针对图数据库及图服务接口进行分布式压测系统及方法
CN111695126A (zh) * 2020-05-28 2020-09-22 武汉中海庭数据技术有限公司 一种众包数据解密方法、装置、电子设备及存储介质
CN113868511A (zh) * 2020-06-30 2021-12-31 北京奇虎鸿腾科技有限公司 基于静态主机操作日志的定位检索方法、系统及存储介质
CN112163060A (zh) * 2020-09-16 2021-01-01 安徽龙运智能科技有限公司 一种大数据技术处理海量gps数据系统
CN112347073A (zh) * 2020-10-27 2021-02-09 山东开创云计算有限公司 多数据系统
CN112433998A (zh) * 2020-11-20 2021-03-02 广东电网有限责任公司佛山供电局 一种基于电力系统的多源异构数据采集汇聚系统及方法
CN112433998B (zh) * 2020-11-20 2022-01-21 广东电网有限责任公司佛山供电局 一种基于电力系统的多源异构数据采集汇聚系统及方法
CN112818045A (zh) * 2021-01-22 2021-05-18 辽宁长江智能科技股份有限公司 一种大数据的数据接入统一管理平台
CN113220655A (zh) * 2021-04-30 2021-08-06 中核武汉核电运行技术股份有限公司 数据接入方法、装置、设备及可读存储介质
CN114116861A (zh) * 2021-10-12 2022-03-01 国家电网有限公司 一种基于多类型设备的大数据处理方法、系统及可读介质
CN115022402A (zh) * 2022-07-01 2022-09-06 杭州乘云数字技术有限公司 一种基于一栈式集成技术的agent采集方法及系统
CN114996335A (zh) * 2022-08-03 2022-09-02 海看网络科技(山东)股份有限公司 一种iptv日志实时聚类分析方法

Similar Documents

Publication Publication Date Title
CN104036025A (zh) 一种基于分布式的海量日志采集系统
CN111400326B (zh) 一种智慧城市数据管理系统及其方法
Shree et al. KAFKA: The modern platform for data management and analysis in big data domain
Zicari Big data: Challenges and opportunities
CN110489459A (zh) 一种基于大数据平台的企业级业数融合数据分析系统
Saxena et al. Practical real-time data processing and analytics: distributed computing and event processing using Apache Spark, Flink, Storm, and Kafka
US9935912B2 (en) Ad hoc message sharing between email and social networks
Xhafa et al. Processing and analytics of big data streams with yahoo! s4
CN103399887A (zh) 一种海量日志的查询与统计分析系统
CN105518644B (zh) 在地图上实时处理并显示社交数据的方法
CN112948492A (zh) 一种数据处理系统、方法、装置、电子设备及存储介质
US11256713B2 (en) Virtual transaction queues for database replication
CN107609085A (zh) 一种基于大数据技术的智能电网量测数据处理方法及系统
CN105391777A (zh) 一种解耦逻辑代码与性能代码的算法托管PaaS平台
Li et al. The overview of big data storage and management
CN108846072A (zh) 一种基于可视化分析的数据实现封装技术
Di Stefano et al. Prometheus and aiops for the orchestration of cloud-native applications in ananke
Sánchez et al. Distributed data collection for the ATLAS EventIndex
US11250085B2 (en) User-specific summary generation based on communication content analysis
Cea et al. Towards the cloudification of the social networks analytics
CN112328569A (zh) 基于Flume分布式数据收集架构的构建方法
US9912545B2 (en) High performance topology resolution for non-instrumented nodes
CN111625532A (zh) 数据血缘关系处理方法、装置、计算机设备及存储介质
Riaz et al. Filtering the big data based on volume, variety and velocity by using Kalman filter recursive approach
Park et al. An implementation of a high throughput data ingestion system for machine logs in manufacturing industry

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140910

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载