CN109828988A - 一种大数据统计方法及用于大数据统计的系统 - Google Patents
一种大数据统计方法及用于大数据统计的系统 Download PDFInfo
- Publication number
- CN109828988A CN109828988A CN201910071475.2A CN201910071475A CN109828988A CN 109828988 A CN109828988 A CN 109828988A CN 201910071475 A CN201910071475 A CN 201910071475A CN 109828988 A CN109828988 A CN 109828988A
- Authority
- CN
- China
- Prior art keywords
- data
- big data
- statistics
- wake
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007619 statistical method Methods 0.000 title claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims abstract description 30
- 239000012634 fragment Substances 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000013480 data collection Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000003860 storage Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 7
- 230000001788 irregular Effects 0.000 claims abstract 8
- 238000013467 fragmentation Methods 0.000 claims description 22
- 238000006062 fragmentation reaction Methods 0.000 claims description 22
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims 1
- 238000013500 data storage Methods 0.000 claims 1
- 230000002618 waking effect Effects 0.000 description 6
- 150000001875 compounds Chemical class 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 238000013433 optimization analysis Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种大数据统计方法及用于大数据统计的系统，包括以下步骤：数据收集，大数据采集系统，进行采集数据，得到数据碎片，数据碎片处理，大数据处理系统对数据碎片进行分析处理，去除重复碎片，数据碎片分类，大数据系统，对数据碎片进行初步分类，并暂存到预处理模块中；一种大数据统计方法用于大数据统计的系统，包括用于数据采集的数据收集模块；用于存储临时数据的存储模块；用于检测处理器负荷状态的分析模块；用于根据处理器负荷状况分析统计数据的不定时统计模块。本发明可以提高处理数据统计效率，同时不影响处理器的正常运行，保证大数据的稳定，节约时间，对数据进行大小分类，提高统计成功率。
Description
技术领域
本发明涉及大数据技术领域，尤其涉及一种大数据统计方法及用于大数据统计的系统。
背景技术
进入2012年，大数据(bigdata)一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据。截止到2012年，数据量已经从TB(1024GB＝1TB)级别跃升到PB(1024TB＝1PB)、EB(1024PB＝1EB)乃至ZB(1024EB＝1ZB)级别。国际数据公司(IDC)的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数据量更是高达1.82ZB，相当于全球每人产生200GB以上的数据量。
对海量数据进行统计分析，是一件非常耗时的事，特别是在面对ZB级别的数据时进行实时数据统计不但不能及时返回统计结果，而且更有可能将系统应用拖垮。
发明内容
基于背景技术存在的技术问题，本发明提出了一种大数据统计方法及用于大数据统计的系统。
本发明提出的一种大数据统计方法及用于大数据统计的系统，包括以下步骤：
S1：数据收集，大数据采集系统，进行采集数据，得到数据碎片；
S2：数据碎片处理，大数据处理系统对数据碎片进行分析处理，去除重复碎片；
S3：数据碎片分类，大数据系统，对数据碎片进行初步分类，并暂存到预处理模块中；
S4：处理器状态反馈，大数据处理器反馈处理器的负荷状态，大数据采集系统根据大数据处理器的负荷状态调整数据碎片处理的速度；
S5：鉴权分析，对不定时统计系统端口进行鉴权分析，与处理器预存储鉴权信息进行比；
S6：不定时统计，若鉴权分析完成，则进行不定时统计，对存储在预处理模块中的数据进行分析统计；
S7：唤醒指令，当大数据系统接收到唤醒指令，对指令进行分析，匹配数据碎片中与指令相关的数据；
S8：唤醒统计，对配合完成的数据进行唤醒统计，生成统计结果；
S9：大数据，将唤醒统计和不定时统计的结果存储到大数据系统中的存储模块。
优选地，所述S2中，中间系统对S1过程中采集的数据碎片进行去重，并临时存储到存储模块。
优选地，所述S8唤醒统计和S6不定时统计平行执行，并将分析结果分类存储到大数据系统中的存储模块中。
优选地，所述S5中鉴权因子可以是单不局限与终端设备的鉴权码，若鉴权不通过，重新进行匹配鉴权因子，并发出提示，生产报告。
优选地，所述S3中，对数据碎片进行区分，并对同类数据按照数据大小进行分类。
优选地，所述S6中，根据处理器的负荷情况，如果处理器负荷严重，则优选分析数据大小较小的数据，所述S8中，对与唤醒指令相匹配的数据进行全面统计，唤醒指令可以是但不局限于检索词，进行唤醒指令匹配的同时，检索大数据存储模块，调用符合唤醒指令的分析结果，对统计结果进行反检索，若成功检索到符合的信息，且对未检索到复合唤醒指令但为分析的数据，则直接反馈检索信息。
本发明还提出一种大数据统计方法用于大数据统计的系统，包括用于数据采集的数据收集模块；用于存储临时数据的存储模块；用于检测处理器负荷状态的分析模块；用于根据处理器负荷状况分析统计数据的不定时统计模块；用于对不定时统计模块进行鉴权的鉴权模块；用于对唤醒指令进行识别分析的识别模块；用于对唤醒指令进行分析的指令配合模块；用于对配合唤醒指令内容数据进行统计分析的唤醒统计模块
本发明中的有益效果为：
1.通过进行处理器状态反馈，可以提高处理数据统计效率，同时不影响处理器的正常运行，保证大数据的稳定，同时配合不定时统计，节约时间，利用处理器空闲时间进行数据统计，对数据进行大小分类，降低后续统计的难度，提高后续统计的反馈速度，降低零时统计任务量对服务器的负荷，提高统计成功率。
2.通过进行唤醒统计，可以针对性进行统计分析，减少处理器负荷，同时对统计结果进行反向减少，避免重复统计，提高效率，反馈效率块，减少等待时间，提高工作效率。
附图说明
图1为本发明提出的一种大数据统计方法的结构示意图；
图2为本发明提出的一种大数据统计方法的数据交换拓扑。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例1，参照图1-2，一种大数据统计方法及用于大数据统计的系统，包括以下步骤：
S1：数据收集，大数据采集系统，进行采集数据，得到数据碎片；
S2：数据碎片处理，大数据处理系统对数据碎片进行分析处理，去除重复碎片；
S3：数据碎片分类，大数据系统，对数据碎片进行初步分类，并暂存到预处理模块中；
S4：处理器状态反馈，大数据处理器反馈处理器的负荷状态，大数据采集系统根据大数据处理器的负荷状态调整数据碎片处理的速度；
S5：鉴权分析，对不定时统计系统端口进行鉴权分析，与处理器预存储鉴权信息进行比；
S6：不定时统计，若鉴权分析完成，则进行不定时统计，对存储在预处理模块中的数据进行分析统计；
S7：唤醒指令，当大数据系统接收到唤醒指令，对指令进行分析，匹配数据碎片中与指令相关的数据；
S8：唤醒统计，对配合完成的数据进行唤醒统计，生成统计结果；
S9：大数据，将唤醒统计和不定时统计的结果存储到大数据系统中的存储模块。
本发明中，所述S8唤醒统计和S6不定时统计平行执行，并将分析结果分类存储到大数据系统中的存储模块中，所述S5中鉴权因子，若鉴权不通过，重新进行匹配鉴权因子，并发出提示，生产报告，所述S6中，根据处理器的负荷情况，如果处理器负荷严重，则优选分析数据大小较小的数据，所述S8中，对与唤醒指令相匹配的数据进行全面统计，进行唤醒指令匹配的同时，检索大数据存储模块，调用符合唤醒指令的分析结果，对统计结果进行反检索，若成功检索到符合的信息，且对未检索到复合唤醒指令但为分析的数据，则直接反馈检索信息。
实施例2，参照图1-2，一种大数据统计方法及用于大数据统计的系统，包括以下步骤：
S1：数据收集，大数据采集系统，进行采集数据，得到数据碎片；
S2：数据碎片处理，大数据处理系统对数据碎片进行分析处理，去除重复碎片；
S3：数据碎片分类，大数据系统，对数据碎片进行初步分类，并暂存到预处理模块中；
S4：处理器状态反馈，大数据处理器反馈处理器的负荷状态，大数据采集系统根据大数据处理器的负荷状态调整数据碎片处理的速度；
S5：鉴权分析，对不定时统计系统端口进行鉴权分析，与处理器预存储鉴权信息进行比；
S6：不定时统计，若鉴权分析完成，则进行不定时统计，对存储在预处理模块中的数据进行分析统计；
S7：唤醒指令，当大数据系统接收到唤醒指令，对指令进行分析，匹配数据碎片中与指令相关的数据；
S8：唤醒统计，对配合完成的数据进行唤醒统计，生成统计结果；
S9：大数据，将唤醒统计和不定时统计的结果存储到大数据系统中的存储模块。
本发明中，所述S2中，中间系统对S1过程中采集的数据碎片进行去重，并临时存储到存储模块，所述S8唤醒统计和S6不定时统计平行执行，并将分析结果分类存储到大数据系统中的存储模块中，所述S5中鉴权因子，鉴权因子为终端设备的鉴权码，若鉴权不通过，重新进行匹配鉴权因子，并发出提示，生产报告，所述S6中，根据处理器的负荷情况，如果处理器负荷严重，则优选分析数据大小较小的数据，所述S8中，对与唤醒指令相匹配的数据进行全面统计，唤醒指令是检索词，进行唤醒指令匹配的同时，检索大数据存储模块，调用符合唤醒指令的分析结果，对统计结果进行反检索，若成功检索到符合的信息，且对未检索到复合唤醒指令但为分析的数据，则直接反馈检索信息。
一种大数据统计方法用于大数据统计的系统，包括用于数据采集的数据收集模块；用于存储临时数据的存储模块；用于检测处理器负荷状态的分析模块；用于根据处理器负荷状况分析统计数据的不定时统计模块；用于对不定时统计模块进行鉴权的鉴权模块；用于对唤醒指令进行识别分析的识别模块；用于对唤醒指令进行分析的指令配合模块；用于对配合唤醒指令内容数据进行统计分析的唤醒统计模块。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种大数据统计方法，其特征在于，包括以下步骤：
S1：数据收集，大数据采集系统，进行采集数据，得到数据碎片；
S2：数据碎片处理，大数据处理系统对数据碎片进行分析处理，去除重复碎片；
S3：数据碎片分类，大数据系统，对数据碎片进行初步分类，并暂存到预处理模块中；
S4：处理器状态反馈，大数据处理器反馈处理器的负荷状态，大数据采集系统根据大数据处理器的负荷状态调整数据碎片处理的速度；
S5：鉴权分析，对不定时统计系统端口进行鉴权分析，与处理器预存储鉴权信息进行比；
S6：不定时统计，若鉴权分析完成，则进行不定时统计，对存储在预处理模块中的数据进行分析统计；
S7：唤醒指令，当大数据系统接收到唤醒指令，对指令进行分析，匹配数据碎片中与指令相关的数据；
S8：唤醒统计，对配合完成的数据进行唤醒统计，生成统计结果；
S9：大数据，将唤醒统计和不定时统计的结果存储到大数据系统中的存储模块。
2.根据权利要求1所述的一种大数据统计方法，其特征在于，所述S2中，中间系统对S1过程中采集的数据碎片进行去重，并临时存储到存储模块。
3.根据权利要求1所述的一种大数据统计方法，其特征在于，所述S8唤醒统计和S6不定时统计平行执行，并将分析结果分类存储到大数据系统中的存储模块中。
4.根据权利要求1所述的一种大数据统计方法，其特征在于，所述S5中鉴权因子可以是单不局限与终端设备的鉴权码，若鉴权不通过，重新进行匹配鉴权因子，并发出提示，生产报告。
5.根据权利要求1所述的一种大数据统计方法，其特征在于，所述S3中，对数据碎片进行区分，并对同类数据按照数据大小进行分类。
6.根据权利要求1所述的一种大数据统计方法，其特征在于，所述S6中，根据处理器的负荷情况，如果处理器负荷严重，则优选分析数据大小较小的数据，所述S8中，对与唤醒指令相匹配的数据进行全面统计，唤醒指令可以是但不局限于检索词，进行唤醒指令匹配的同时，检索大数据存储模块，调用符合唤醒指令的分析结果，对统计结果进行反检索，若成功检索到符合的信息，且对未检索到复合唤醒指令但为分析的数据，则直接反馈检索信息。
7.根据权利要求1所述的一种大数据统计方法用于大数据统计的系统，其特征在于，包括用于数据采集的数据收集模块；用于存储临时数据的存储模块；用于检测处理器负荷状态的分析模块；用于根据处理器负荷状况分析统计数据的不定时统计模块；用于对不定时统计模块进行鉴权的鉴权模块；用于对唤醒指令进行识别分析的识别模块；用于对唤醒指令进行分析的指令配合模块；用于对配合唤醒指令内容数据进行统计分析的唤醒统计模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910071475.2A CN109828988A (zh) | 2019-01-25 | 2019-01-25 | 一种大数据统计方法及用于大数据统计的系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910071475.2A CN109828988A (zh) | 2019-01-25 | 2019-01-25 | 一种大数据统计方法及用于大数据统计的系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109828988A true CN109828988A (zh) | 2019-05-31 |
Family
ID=66862374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910071475.2A Pending CN109828988A (zh) | 2019-01-25 | 2019-01-25 | 一种大数据统计方法及用于大数据统计的系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109828988A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111159253A (zh) * | 2019-12-28 | 2020-05-15 | 重庆友辉建筑科技有限公司 | 一种轻钢别墅部件大数据统计系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102549523A (zh) * | 2009-09-24 | 2012-07-04 | 高通股份有限公司 | 用于优化无线设备的功耗的装置和方法 |
| CN103944830A (zh) * | 2013-01-17 | 2014-07-23 | 株式会社日立解决方案 | 计算机系统 |
| CN105335814A (zh) * | 2015-09-25 | 2016-02-17 | 湖南中德安普大数据网络科技有限公司 | 在线大数据智能云审计方法及系统 |
| CN105634845A (zh) * | 2014-10-30 | 2016-06-01 | 任子行网络技术股份有限公司 | 一种用于对海量dns日志进行多维统计分析的方法及系统 |
| CN106815338A (zh) * | 2016-12-25 | 2017-06-09 | 北京中海投资管理有限公司 | 一种大数据的实时存储、处理和查询系统 |
| CN106970953A (zh) * | 2017-03-10 | 2017-07-21 | 中国联合网络通信集团有限公司 | 基于大数据分析的网络建设管控方法及其平台 |
| CN107229695A (zh) * | 2017-05-23 | 2017-10-03 | 深圳大学 | 多平台航空电子大数据系统及方法 |
| CN107908690A (zh) * | 2017-11-01 | 2018-04-13 | 南京欣网互联网络科技有限公司 | 一种基于大数据运营分析的数据处理方法 |
| CN107992584A (zh) * | 2017-12-08 | 2018-05-04 | 中国船舶重工集团公司第七二四研究所 | 一种海洋大数据分类解析与网格化存储方法 |
| CN108898029A (zh) * | 2018-10-08 | 2018-11-27 | 马鞍山沐及信息科技有限公司 | 一种能源监控大数据管理系统及方法 |
-
2019
- 2019-01-25 CN CN201910071475.2A patent/CN109828988A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102549523A (zh) * | 2009-09-24 | 2012-07-04 | 高通股份有限公司 | 用于优化无线设备的功耗的装置和方法 |
| CN103944830A (zh) * | 2013-01-17 | 2014-07-23 | 株式会社日立解决方案 | 计算机系统 |
| CN105634845A (zh) * | 2014-10-30 | 2016-06-01 | 任子行网络技术股份有限公司 | 一种用于对海量dns日志进行多维统计分析的方法及系统 |
| CN105335814A (zh) * | 2015-09-25 | 2016-02-17 | 湖南中德安普大数据网络科技有限公司 | 在线大数据智能云审计方法及系统 |
| CN106815338A (zh) * | 2016-12-25 | 2017-06-09 | 北京中海投资管理有限公司 | 一种大数据的实时存储、处理和查询系统 |
| CN106970953A (zh) * | 2017-03-10 | 2017-07-21 | 中国联合网络通信集团有限公司 | 基于大数据分析的网络建设管控方法及其平台 |
| CN107229695A (zh) * | 2017-05-23 | 2017-10-03 | 深圳大学 | 多平台航空电子大数据系统及方法 |
| CN107908690A (zh) * | 2017-11-01 | 2018-04-13 | 南京欣网互联网络科技有限公司 | 一种基于大数据运营分析的数据处理方法 |
| CN107992584A (zh) * | 2017-12-08 | 2018-05-04 | 中国船舶重工集团公司第七二四研究所 | 一种海洋大数据分类解析与网格化存储方法 |
| CN108898029A (zh) * | 2018-10-08 | 2018-11-27 | 马鞍山沐及信息科技有限公司 | 一种能源监控大数据管理系统及方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111159253A (zh) * | 2019-12-28 | 2020-05-15 | 重庆友辉建筑科技有限公司 | 一种轻钢别墅部件大数据统计系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111382327B (zh) | 一种字符串匹配装置及方法 | |
| WO2019041628A1 (zh) | 基于Eclat的多元时间序列关联规则挖掘方法 | |
| CN103390163B (zh) | 一种信函地址自动采集方法 | |
| CN110837874B (zh) | 基于时间序列分类的业务数据异常检测方法 | |
| CN103678718A (zh) | 数据库同步方法及系统 | |
| CN102799682A (zh) | 一种海量数据预处理方法及其系统 | |
| WO2024031930A1 (zh) | 一种异常日志检测方法、装置、电子设备及存储介质 | |
| CN106971254A (zh) | 一种业务监控系统及方法 | |
| CN107943802A (zh) | 一种日志分析方法和系统 | |
| CN110955651A (zh) | 基于深度卷积生成式对抗网络的电机故障数据的增强方法 | |
| CN106534784A (zh) | 一种用于视频分析数据结果集的采集分析存储统计系统 | |
| CN114638391A (zh) | 运单风险场景识别处理方法、装置、计算机设备和介质 | |
| CN113409555A (zh) | 一种基于物联网的实时报警联动方法及系统 | |
| CN109828988A (zh) | 一种大数据统计方法及用于大数据统计的系统 | |
| CN104935567A (zh) | 一种未知协议报文格式推断方法 | |
| CN110753049B (zh) | 一种基于工控网络流量的安全态势感知系统 | |
| CN113094154A (zh) | 一种基于阿里云的大数据处理方法及系统 | |
| CN115408926B (zh) | 用于隧道掘进岩体参数预测的数据处理方法和装置 | |
| CN109842511A (zh) | 一种tcp性能参数的确定方法及系统 | |
| CN107273435A (zh) | 基于MapReduce的视频人员模糊检索并行化方法 | |
| CN110968596A (zh) | 一种基于标签系统的数据处理方法 | |
| CN117149787B (zh) | 基于大数据的关键信息抓取与展示方法 | |
| CN113723501A (zh) | 一种病原微生物参考知识库的最大多样性聚类构建方法 | |
| CN113934967A (zh) | 煤炭样品的智能化存储查样反馈监管系统 | |
| CN115378702B (zh) | 一种基于Linux系统调用的攻击检测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190531 |
|
| RJ01 | Rejection of invention patent application after publication |