CN107154966A - 一种视频数据写入方法以及装置 - Google Patents
一种视频数据写入方法以及装置 Download PDFInfo
- Publication number
- CN107154966A CN107154966A CN201710272285.8A CN201710272285A CN107154966A CN 107154966 A CN107154966 A CN 107154966A CN 201710272285 A CN201710272285 A CN 201710272285A CN 107154966 A CN107154966 A CN 107154966A
- Authority
- CN
- China
- Prior art keywords
- storage
- storage node
- capacity
- node
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种视频数据写入方法,预先根据各存储节点的规格容量相对于所有存储节点的规格容量之和的比例设置各存储节点的容量权重,随后根据存储节点的容量权重在存储节点上分配与监控设备的目录所对应的存储空间,根据容量权重设置在每轮视频数据写入中向存储节点写入的文件的数量,将该数量作为存储节点的写文件数,根据存储节点的最大写入路数以及容量权重分配存储节点的任务数,最后根据任务数以及写文件数从目录向存储节点执行视频数据写入。从而能够在不同容量空间的存储节点之间实现视频数据的均衡存储,提高了视频监控存储系统的适应性以及减少技术人员的额外工作。
Description
技术领域
本发明涉及视频监控技术领域,特别涉及一种视频数据写入方法。本发明同时还涉及一种视频数据写入装置。
背景技术
视频监控在安防行业里占据大半江山,其主要特点是图像信息量大,所以对存储空间需求明显。但视频监控步入高清化时代,而且强烈需求智能化的融入。举个例子,目前高清最基本的是720P的,每小时录像可压缩至3GB左右,一个月下来大概是17T(17000G)。在监控系统中几百甚至几千路的高清监控,其产生的庞大视频文件涌向存储器,在安防视频清晰度不断提高和安防监控路数不断增加的情况下,安防行业的存储问题愈加凸显。云存储作为安防发展的重要技术支持,成为视频监控的重要技术支撑。
在视频监控云存储中,融合了录像/图片留存期管理,满覆盖删除,视频索引管理等复杂的视频监控应用,既要尽量确保视频/图片均衡离散的分布到所有的云存储节点上,又要保证单节点不超过允许的最大性能规格,因此视频监控云存储容量均衡是一个比较复杂的工作。
为了实现视频监控云存储容量均衡,现有技术将云存储各节点提供的容量空间保持一致,这样每路IPC(IP Camera,网络摄像机)写视频的时候轮询写每一个存储节点,每个节点写入相同大小的文件。满覆盖删除的时候每个节点删除相同大小的文件。
然而,发明人在实现本发明的过程中发现,虽然现有技术的方案简单且容易实现,但其实现的关键点在于保证所有的节点容量空间一致,要实现这样的配置比较困难,尤其当底层资源是RAID(Redundant Arrays of Independent Disks,磁盘阵列)阵列的时候,会配置多出很多的磁盘,导致整个方案性价比不高,扩容也不方便。
发明内容
本发明提供了一种数据写入方法,用以解决现有技术中视频监控存储无法在不同的磁盘之间均衡存储数据文件的技术问题,该方法应用于包含监控设备以及多个存储节点的视频监控存储系统中,预先根据各所述存储节点的规格容量相对于所有存储节点的规格容量之和的比例设置各所述存储节点的容量权重,该方法还包括:
根据所述存储节点的容量权重在所述存储节点上分配与所述监控设备的目录所对应的存储空间;
根据所述容量权重设置在每轮视频数据写入中向所述存储节点写入的文件的数量,将所述数量作为所述存储节点的写文件数;
根据所述存储节点的最大写入路数以及所述容量权重分配所述存储节点的任务数,所述任务数不大于所述存储节点的总任务数;
根据所述任务数以及所述写文件数从所述目录向所述存储节点执行所述视频数据写入。
优选地,所述目录包含多个视频文件,各所述视频文件的大小相同,根据所述任务数以及所述写文件数从所述目录向所述存储节点执行所述视频数据写入,具体为:
将本轮未执行过所述数据写入且任务数最少的存储节点作为待写入节点,根据所述待写入节点的写文件数向所述待写入节点写入所述目录的视频文件,并在写入完成后继续将本轮未执行过所述数据写入且任务数最少的存储节点作为新的待写入节点;
当所有存储节点在本轮均写入一次所述视频文件后,结束本轮视频数据写入,并在所述存储节点的存储空间尚未写满的情况下执行新一轮所述视频数据写入。
优选地,还包括:
当所述监控设备到达预设的留存期或所述存储节点的存储空间已满时,删除所述存储节点中留存时间超过预设的时间阈值的视频文件;
或,当所述监控设备到达预设的留存期或所述存储节点的存储空间已满时,按照留存时间从长到短的顺序,根据所述视频监控存储系统中所述存储节点的数量以及所述视频文件的大小删除所述存储节点中的视频文件。
优选地,还包括:
当所述视频监控存储系统加入新的存储节点后,重新根据所述视频监控存储系统中各存储节点的规格容量相对于所有存储节点的规格容量之和的比例设置各所述存储节点的容量权重,并在所述容量权重设置完毕后判断所述视频监控存储系统中是否存在存储空间已满的存储节点。
优选地,根据各所述存储节点的规格容量相对于所有存储节点的规格容量之和的比例设置各所述存储节点的容量权重,具体为:
获取各所述存储节点上报的规格容量;
将所有存储节点的规格容量之和作为总规则容量;
依次确定各所述存储节点的规格容量在所述总规格容量中所占的比例;
根据所述比例确定所述容量权重。
相应地,本申请还提出了一种视频数据写入装置,该装置应用于包含监控设备以及多个存储节点的视频监控存储系统中,该装置包括:
第一设置模块,预先根据各所述存储节点的规格容量相对于所有存储节点的规格容量之和的比例设置各所述存储节点的容量权重,
第一分配模块,根据所述存储节点的容量权重在所述存储节点上分配与所述监控设备的目录所对应的存储空间;
第二设置模块,根据所述容量权重设置在每轮视频数据写入中向所述存储节点写入的文件的数量,将所述数量作为所述存储节点的写文件数;
第二分配模块,根据所述存储节点的最大写入路数以及所述容量权重分配所述存储节点的任务数,所述任务数不大于所述存储节点的总任务数;
写入模块,根据所述任务数以及所述写文件数从所述目录向所述存储节点执行所述视频数据写入。
优选地,所述目录包含多个视频文件,各所述视频文件的大小相同,所述写入模块具体用于:
将本轮未执行过所述数据写入且任务数最少的存储节点作为待写入节点,根据所述待写入节点的写文件数向所述待写入节点写入所述目录的视频文件,并在写入完成后继续将本轮未执行过所述数据写入且任务数最少的存储节点作为新的待写入节点;
当所有存储节点在本轮均写入一次所述视频文件后,结束本轮视频数据写入,并在所述存储节点的存储空间尚未写满的情况下执行新一轮所述视频数据写入。
优选地,还包括:
删除模块,当所述监控设备到达预设的留存期或所述存储节点的存储空间已满时,删除所述存储节点中留存时间超过预设的时间阈值的视频文件,或按照留存时间从长到短的顺序,根据所述视频监控存储系统中所述存储节点的数量以及所述视频文件的大小删除所述存储节点中的视频文件。
优选地,所述第一设置模块,还用于当所述视频监控存储系统加入新的存储节点后,重新根据所述视频监控存储系统中各存储节点的规格容量相对于所有存储节点的规格容量之和的比例设置各所述存储节点的容量权重,并在所述容量权重设置完毕后判断所述视频监控存储系统中是否存在存储空间已满的存储节点。
优选地,所述第一设置模块具体用于:
获取各所述存储节点上报的规格容量;
将所有存储节点的规格容量之和作为总规则容量;
依次确定各所述存储节点的规格容量在所述总规格容量中所占的比例;
根据所述比例确定所述容量权重。
由此可见,通过应用本申请的技术方案,预先根据各存储节点的规格容量相对于所有存储节点的规格容量之和的比例设置各存储节点的容量权重,随后根据存储节点的容量权重在存储节点上分配与监控设备的目录所对应的存储空间,根据容量权重设置在每轮视频数据写入中向存储节点写入的文件的数量,将该数量作为存储节点的写文件数,根据存储节点的最大写入路数以及容量权重分配存储节点的任务数,最后根据任务数以及写文件数从目录向存储节点执行视频数据写入。从而能够在不同容量空间的存储节点之间实现视频数据的均衡存储,提高了视频监控存储系统的适应性以及减少技术人员的额外工作。
附图说明
图1为本申请提出的一种视频数据写入方法的流程示意图;
图2为本申请具体实施例所提出的一种视频监控云存储系统的结构示意图;
图3为本申请具体实施例中为每个摄像机的目录分配空间的示意图;
图4为本申请提出的一种视频数据写入装置的结构示意图。
具体实施方式
有鉴于背景技术中所提出的技术问题,本申请提出了一种视频数据写入方法,该方案能够允许视频数据存储系统中的各个节点容量空间不同,并在此基础上能保证视频/图片文件仍然均衡的分布到每一个节点,以实现容量均衡,同时使每个节点上性能不超过允许的最大规格。
由于该方法应用于包含监控设备(这些监控设备包含各类视频监控领域中的前后端设备)以及多个存储节点的视频监控存储系统中,为了达到以上目的,本申请的方案预先根据各存储节点的规格容量相对于所有存储节点的规格容量之和的比例设置各存储节点的容量权重,以此将各个存储节点提供的容量空间能力抽象为容量权重。每个存储节点的容量权重能够准确的反应该存储节点的规格容量(即最大可存储的数据量)占视频监控存储系统中所有存储节点的规格容量之和的比例。在本发明的一个优选实施例中,容量权重的确定方式如下:
步骤a)获取各所述存储节点上报的规格容量;
步骤b)将所有存储节点的规格容量之和作为总规则容量;
步骤c)依次确定各所述存储节点的规格容量在所述总规格容量中所占的比例;
步骤d)根据所述比例确定所述容量权重。
举例来说,假设视频监控存储系统中存在A、B、C三个不同的存储节点,其规格容量分别是a、b、c,在该具体实施例中,首先通过存储节点自己上报或者主动获取的方式确定该三个存储节点的规格容量,在此基础上确定所有存储节点的规格容量之和a+b+c,那么A、B、C三个不同的存储节点在总规格容量中所占的比例分别为a/(a+b+c)、b/(a+b+c)以及c/(a+b+c)。基于各个存储节点的比例,技术人员可以将各个比例的具体数值作为存储节点对应的容量权重,或是将比例的百分比值作为存储节点对应的容量权重,这些都在本申请的保护范围之内。
以具体应用场景中的实施例进行说明,在如图2所示的视频监控云存储系统中,假设有3个CDV(Cloud Direct virtual,云直存虚拟)存储节点,分别提供1T,3T,4T的存储空间(即规格容量),本申请的具体实施例通过以下步骤将CDV提供的容量空间能力抽象为容量权重:
CDS(Cloud Direct Storage,云直存储)系统中每个云存储节点上有一个CDV服务,CDV服务提供存储空间服务,每个CDV服务向CDM(云直存管理服务器)管理服务器上报自己的存储空间能力(即规格容量)。CDV1上报自己有1TB的存储空间服务能力,CDV2上报自己有3TB的存储空间服务能力,CDV3上报自己有4TB的存储空间服务能力。则CDM给云存储节点1赋予0.125(1/(1+3+4))的容量权重,云存储节点2赋予0.375的容量权重,云存储节点3赋予0.5的容量权重。在后续的流程中,该具体实施例在每个存储节点上分配的配额就按照总的所需的存储空间*容量权重。
需要说明的是,以上容量权重的确定方式以及表现形式仅为本申请提出的优选实施例方案,在使容量权重能够准确反映该存储节点相对于所有存储节点的容量占比的前提下,不同的容量权重的表现形式以及获取方式均属于本申请的保护范围。
基于为各存储节点确定的容量权重,本申请提出的一种视频数据写入方法如图1所示,具体包括以下步骤:
S101,根据所述存储节点的容量权重在所述存储节点上分配与所述监控设备的目录所对应的存储空间。
每路监控设备有一个目录,该目录的存储空间大小为该监控设备在留存期内所需的存储空间,基于每个存储节点的容量权重,本申请技术方案将容量权重作为存储节点为每个监控设备对应的目录分配配额容量的系数。由于不同的存储节点对应不同的容量权重,为了使待存储的数据能够均匀存储到各个不同容量的存储节点中,该步骤基于每个存储节点的容量权重分别确定每个存储节点存储的数据量的多少。
在本申请的具体实施例中,该步骤在为每个摄像机(即监控设备)的目录(该目录包含了监控设备所采集的多个视频文件)分配空间的时候以容量权重作为系数,这样的话,监控设备的各个目录在CDV节点的容量配额(即存储空间)就相当于目录总容量与容量权重系数的乘积。具体分配方式如图3所示,摄像机1对应的目录1需要100G存储空间,摄像机2对应的目录2需要200G存储空间,摄像机3对应的目录3需要300G存储空间。现在云存储系统有3个CDV节点,节点容量空间不同,容量权重如前所述。根据每个存储节点的容量权重,CDV1给目录1分配的容量配额为12.5G,CDV2给目录1分配的容量配额为37.5G,CDV3给目录1分配的容量配额为50G。目录2和目录3依次类推,在此不再赘述。
S102,根据所述容量权重设置在每轮视频数据写入中向所述存储节点写入的文件的数量,将所述数量作为所述存储节点的写文件数。
由于设备性能的限制,视频数据的完全写入需要多次向同一存储节点进行写入操作。由于所有视频文件大小是固定的(即目录里的视频文件都是相同大小),为了尽量离散均衡,本申请为设置每个监控设备在每个存储节点上写入文件个数与容量权重相同,这样才能保证视频文件写入次数与容量规格比例,具体通过设置在每轮视频数据写入中向存储节点写入的文件的数量来实现。
以具体的实施例进行说明,为将每个存储节点上文件的比例控制在系数范围之内,可以根据目录中单个视频文件的大小设置每次要写入的文件的数量,但是每个存储节点每次写入的文件的数量必须以容量权重所构成的比例相同。例如,不同的存储节点直接的容量权重比例为1:3:4,则在CDV1上写1个文件,CDV2上每次写3个文件,CDV3上每次写4个文件。如果不是正好倍数比例,比如1:1.1:1.2,则CDV1每次写1个文件,CDV2上每次写2个文件的比例控制在10%,CDV3上每次写2个文件的比例控制在20%。在具体的应用场景中,技术人员可以通过容量权重构造一个随机函数,使得CDV2多写1个文件的比例控制在10%,以及使CDV3上每次写2个文件的比例控制在20%。
S103,根据所述存储节点的最大写入路数以及所述容量权重分配所述存储节点的任务数,所述任务数不大于所述存储节点的总任务数。
由于每个存储节点上的任务数不是完全相同的,而是与容量权重成比例,因此为每个存储节点上分配的任务数不能超过总任务数,从而保证每个CDV节点的写入路数不超过节点最大性能规格,实际上节点的容量是与路数成正比,比如存储节点的的容量权重的比例是1:3:4,因此与各个存储节点所对应的写入路数比例也是1:3:4。
在本申请的具体实施例中,写入路数与任务数是对应的。在分配任务数的时候,可以根据该节点实际的写入路数关联,比如CDV1是100路,CDV2是300路,CDV3是400路,则CDV1上总的任务数不要超过100,CDV2上总的任务数不要超过300,CDV3上总的任务数不要超过400,根据这个规则分配写入视频文件。
S104,根据所述任务数以及所述写文件数从所述目录向所述存储节点执行所述视频数据写入。
为了实现容量负载均衡,同时尽可能保持每路监控设备均衡离散的分布到每个存储节点上,本申请的技术方案在每一轮的每次数据写入操作中,都是将任务数最少的存储节点作为当前的存储设备使用,但不要超过该CDV上总的任务数,并且在同一轮中针对同一用户目录存储需要切换文件时,限定视频监控存储系统中各存储节点只能够被写入一次。
基于上述规则,本申请的优选实施例通过以下方式实现视频数据写入:
将本轮未执行过所述数据写入且任务数最少的存储节点作为待写入节点,根据所述待写入节点的写文件数向所述待写入节点写入所述目录的视频文件,并在写入完成后继续将本轮未执行过所述数据写入且任务数最少的存储节点作为新的待写入节点;
当所有存储节点在本轮均写入一次所述视频文件后,结束本轮视频数据写入,并在所述存储节点的存储空间尚未写满的情况下执行新一轮所述视频数据写入。
相应地,在具体实施例中,每当CDM需要基于上述原则筛选出CDV以存储监控设备的目录时,会将共享池下所有的CDV按照一定排列方式组成一个链表,而对于监控设备来说,只取该链表的表头。因此,在排列CDV链表时,本轮中使用过的CDV不能排表头,且未使用过的CDV按照任务数从少到多排序,但不能超过该CDV上总的任务数。这样组成的链表表头必定为本轮中未使用过且任务数最少的CDV。因此当接受到监控设备的创建新文件请求时,CDM将该链表返回,监控设备只需选取表头的CDV执行视频数据写入即可。
举例来说,摄像机1对应的目录1,当摄像机写视频文件的时候,首先写CDV1,CDV1写了一个视频文件之后,切换到CDV2继续写文件,根据容量比例,写三个文件,再切换到CDV3,根据容量比例,写四个文件,再切换到下一轮。
需要说明的是,以上基于任务数以及写文件数执行视频数据写入的方式仅为本申请所提出的优选实施方案,在遵循写入原则的前提下,技术人员可以针对写入流程进行改进或者扩展,这些均属于本申请的保护范围。
在视频监控系统的日常使用过程中,保存在存储节点中的视频文件都有一个保存期限,由于视频文件都是来源于监控设备的目录,因此每个监控设备都会设有一个留存期,该留存期以及存储节点中的空间是否用尽都是用于确定是否需要从存储节点删除视频文件的判断依据。
基于上述说明,当某个监控设备对应的留存期到了或者某个存储节点容量空间全部用完了,[z1][MZ2]本申请技术方案与容量要求相同的CDV节点满覆盖删除不同(即每个节点删除一个最老的视频文件),而是启动满覆盖删除流程,之所以称为满覆盖删除流程,是因为该删除仅针对某一个存储容量达到规格容量或是该存储节点的为监控设备保持的视频文件时间达到留存期了,具体处理方式包括以下两种:
(1)当所述监控设备到达预设的留存期或所述存储节点的存储空间已满时,删除所述存储节点中留存时间超过预设的时间阈值的视频文件。
由于每个视频文件在写入存储节点的同时都会记录有对应的写入时间,在该方案下,可直接根据写入时间确定各个视频文件在存储节点中的留存时间,随后将留存时间超过时间阈值的视频文件删除。
(2)当所述监控设备到达预设的留存期或所述存储节点的存储空间已满时,按照留存时间从长到短的顺序,根据所述视频监控存储系统中所述存储节点的数量以及所述视频文件的大小删除所述存储节点中的视频文件。
该方案是基于当前存在的存储节点的数量主动地从存储节点中删除视频文件,在确定了需要删除的文件的总大小后,该删除方案在删除文件时也按照留存时间从长到短的顺序将旧的视频文件删除。在具体的应用场景中,可按照N*p GB大小删除存储节点中最老的视频文件(N是CDV节点数量,p是每个视频文件大小),但该视频文件不一定分布在所有的CDV上,也许只在某几个CDV上。
以上方案能允许共享池的CDV节点有不同的容量空间,解决了要求CDV节点容量空间相同带来的硬盘配置增加的问题。在此基础上,本申请优选实施例还提出了扩容方案,通过以下方式实现根据用户需要逐步扩容的目的:
当所述视频监控存储系统加入新的存储节点后,重新根据所述视频监控存储系统中各存储节点的规格容量相对于所有存储节点的规格容量之和的比例设置各所述存储节点的容量权重,并在所述容量权重设置完毕后判断所述视频监控存储系统中是否存在存储空间已满的存储节点。
以视频监控存储系统中已存在A、B、C三个不同的存储节点为例,其规格容量分别是a、b、c,而A、B、C三个不同的存储节点在总规格容量中所占的比例分别为a/(a+b+c)、b/(a+b+c)以及c/(a+b+c)。在该具体实施例中,当增加了一个规格容量为d的存储节点D后,那么A、B、C、D四个不同的存储节点在总规格容量中所占的比例分别为a/(a+b+c+d)、b/(a+b+c+d)、c/(a+b+c+d)以及d/(a+b+c+d)。基于重新确定的各个存储节点的容量权重,后续当监控设备有新的目录中的视频文件需要向扩容后的存储节点写入时,即可按照重新确定的容量权重以S101-S104的方式进行写入。
相应地,若重新确定的容量权重导致原有的存储节点的存储空间已满后,原有存储节点通过上述实施例中的满覆盖删除方式将其中存储的视频文件删除,在此不再赘述。[z3][MZ4]
以上方案不要求扩容一定按照相同容量节点进行扩容,可根据实际需求逐步扩容,扩容可在现有CDV节点上增加阵列或扩展柜(只要不超过该CDV节点的性能),也可增加CDV节点。以图2所示的具体应用场景为例,说明如下:
增加CDV4,容量空间2TB,则容量权重系数需要重新调整,调整后目录1的CDV1配额为10G,目录1的CDV2配额为30G,目录1的CDV3的配额为40G,目录1的CDV4的配额为20G。调整之后不会马上删除原有CDV节点超过配额的部分(会导致留存期缩短),而是会逐步触发满覆盖删除,直到所有CDV节点达到配额容量,容量就均衡了。
该具体实施例在为新增CDV节点根据设置容量配额时,也是按照S101中的方式为不同的监控设备目录进行视频云存储分配,在分配完成后,可以按照S102-S104的步骤将监控设备目录中新增的录像写入到该节点,或者是写入其他CDV节点在进行满覆盖删除操作后所空出的空间,直到最后均衡,也可保证新增录像的持续写入直至最后达到离散均衡。
通过应用本申请的技术方案,预先根据各存储节点的规格容量相对于所有存储节点的规格容量之和的比例设置各存储节点的容量权重,随后根据存储节点的容量权重在存储节点上分配与监控设备的目录所对应的存储空间,根据容量权重设置在每轮视频数据写入中向存储节点写入的文件的数量,将该数量作为存储节点的写文件数,根据存储节点的最大写入路数以及容量权重分配存储节点的任务数,最后根据任务数以及写文件数从目录向存储节点执行视频数据写入。从而能够在不同容量空间的存储节点之间实现视频数据的均衡存储,提高了视频监控存储系统的适应性以及减少技术人员的额外工作。
为达到以上技术目的,本申请还提出了一种视频数据写入装置,如图4所示,该装置应用于包含监控设备以及多个存储节点的视频监控存储系统中,该装置包括:
第一设置模块401,预先根据各所述存储节点的规格容量相对于所有存储节点的规格容量之和的比例设置各所述存储节点的容量权重,
第一分配模块402,根据所述存储节点的容量权重在所述存储节点上分配与所述监控设备的目录所对应的存储空间;
第二设置模块403,根据所述容量权重设置在每轮视频数据写入中向所述存储节点写入的文件的数量,将所述数量作为所述存储节点的写文件数;
第二分配模块404,根据所述存储节点的最大写入路数以及所述容量权重分配所述存储节点的任务数,所述任务数不大于所述存储节点的总任务数;
写入模块405,根据所述任务数以及所述写文件数从所述目录向所述存储节点执行所述视频数据写入。
在具体的应用场景中,所述目录包含多个视频文件,各所述视频文件的大小相同,所述写入模块具体用于:
将本轮未执行过所述数据写入且任务数最少的存储节点作为待写入节点,根据所述待写入节点的写文件数向所述待写入节点写入所述目录的视频文件,并在写入完成后继续将本轮未执行过所述数据写入且任务数最少的存储节点作为新的待写入节点;
当所有存储节点在本轮均写入一次所述视频文件后,结束本轮视频数据写入,并在所述存储节点的存储空间尚未写满的情况下执行新一轮所述视频数据写入。
在具体的应用场景中,还包括:
删除模块,当所述监控设备到达预设的留存期或所述存储节点的存储空间已满时,删除所述存储节点中留存时间超过预设的时间阈值的视频文件,或按照留存时间从长到短的顺序,根据所述视频监控存储系统中所述存储节点的数量以及所述视频文件的大小删除所述存储节点中的视频文件。
在具体的应用场景中,所述第一设置模块,还用于当所述视频监控存储系统加入新的存储节点后,重新根据所述视频监控存储系统中各存储节点的规格容量相对于所有存储节点的规格容量之和的比例设置各所述存储节点的容量权重,并在所述容量权重设置完毕后判断所述视频监控存储系统中是否存在存储空间已满的存储节点。
在具体的应用场景中,所述第一设置模块具体用于:
获取各所述存储节点上报的规格容量;
将所有存储节点的规格容量之和作为总规则容量;
依次确定各所述存储节点的规格容量在所述总规格容量中所占的比例;
根据所述比例确定所述容量权重。
由此可见,通过应用本申请的技术方案,预先根据各存储节点的规格容量相对于所有存储节点的规格容量之和的比例设置各存储节点的容量权重,随后根据存储节点的容量权重在存储节点上分配与监控设备的目录所对应的存储空间,根据容量权重设置在每轮视频数据写入中向存储节点写入的文件的数量,将该数量作为存储节点的写文件数,根据存储节点的最大写入路数以及容量权重分配存储节点的任务数,最后根据任务数以及写文件数从目录向存储节点执行视频数据写入。从而能够在不同容量空间的存储节点之间实现视频数据的均衡存储,提高了视频监控存储系统的适应性以及减少技术人员的额外工作。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可以通过硬件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施场景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本发明序号仅仅为了描述,不代表实施场景的优劣。
以上公开的仅为本发明的几个具体实施场景,但是,本发明并非局限于此,任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
Claims (10)
1.一种视频数据写入方法,其特征在于,所述方法应用于包含监控设备以及多个存储节点的视频监控存储系统中,预先根据各所述存储节点的规格容量相对于所有存储节点的规格容量之和的比例设置各所述存储节点的容量权重,该方法还包括:
根据所述存储节点的容量权重在所述存储节点上分配与所述监控设备的目录所对应的存储空间;
根据所述容量权重设置在每轮视频数据写入中向所述存储节点写入的文件的数量,将所述数量作为所述存储节点的写文件数;
根据所述存储节点的最大写入路数以及所述容量权重分配所述存储节点的任务数,所述任务数不大于所述存储节点的总任务数;
根据所述任务数以及所述写文件数从所述目录向所述存储节点执行所述视频数据写入。
2.如权利要求1所述的方法,其特征在于,所述目录包含多个视频文件,各所述视频文件的大小相同,根据所述任务数以及所述写文件数从所述目录向所述存储节点执行所述视频数据写入,具体为:
将本轮未执行过所述数据写入且任务数最少的存储节点作为待写入节点,根据所述待写入节点的写文件数向所述待写入节点写入所述目录的视频文件,并在写入完成后继续将本轮未执行过所述数据写入且任务数最少的存储节点作为新的待写入节点;
当所有存储节点在本轮均写入一次所述视频文件后,结束本轮视频数据写入,并在所述存储节点的存储空间尚未写满的情况下执行新一轮所述视频数据写入。
3.如权利要求1所述的方法,其特征在于,还包括:
当所述监控设备到达预设的留存期或所述存储节点的存储空间已满时,删除所述存储节点中留存时间超过预设的时间阈值的视频文件;
或,当所述监控设备到达预设的留存期或所述存储节点的存储空间已满时,按照留存时间从长到短的顺序,根据所述视频监控存储系统中所述存储节点的数量以及所述视频文件的大小删除所述存储节点中的视频文件。
4.如权利要求3所述的方法,其特征在于,还包括:
当所述视频监控存储系统加入新的存储节点后,重新根据所述视频监控存储系统中各存储节点的规格容量相对于所有存储节点的规格容量之和的比例设置各所述存储节点的容量权重,并在所述容量权重设置完毕后判断所述视频监控存储系统中是否存在存储空间已满的存储节点。
5.如权利要求1-4任一项所述的方法,其特征在于,根据各所述存储节点的规格容量相对于所有存储节点的规格容量之和的比例设置各所述存储节点的容量权重,具体为:
获取各所述存储节点上报的规格容量;
将所有存储节点的规格容量之和作为总规则容量;
依次确定各所述存储节点的规格容量在所述总规格容量中所占的比例;
根据所述比例确定所述容量权重。
6.一种视频数据写入装置,其特征在于,所述装置应用于包含监控设备以及多个存储节点的视频监控存储系统中,该装置包括:
第一设置模块,预先根据各所述存储节点的规格容量相对于所有存储节点的规格容量之和的比例设置各所述存储节点的容量权重,
第一分配模块,根据所述存储节点的容量权重在所述存储节点上分配与所述监控设备的目录所对应的存储空间;
第二设置模块,根据所述容量权重设置在每轮视频数据写入中向所述存储节点写入的文件的数量,将所述数量作为所述存储节点的写文件数;
第二分配模块,根据所述存储节点的最大写入路数以及所述容量权重分配所述存储节点的任务数,所述任务数不大于所述存储节点的总任务数;
写入模块,根据所述任务数以及所述写文件数从所述目录向所述存储节点执行所述视频数据写入。
7.如权利要求6所述的装置,其特征在于,所述目录包含多个视频文件,各所述视频文件的大小相同,所述写入模块具体用于:
将本轮未执行过所述数据写入且任务数最少的存储节点作为待写入节点,根据所述待写入节点的写文件数向所述待写入节点写入所述目录的视频文件,并在写入完成后继续将本轮未执行过所述数据写入且任务数最少的存储节点作为新的待写入节点;
当所有存储节点在本轮均写入一次所述视频文件后,结束本轮视频数据写入,并在所述存储节点的存储空间尚未写满的情况下执行新一轮所述视频数据写入。
8.如权利要求6所述的装置,其特征在于,还包括:
删除模块,当所述监控设备到达预设的留存期或所述存储节点的存储空间已满时,删除所述存储节点中留存时间超过预设的时间阈值的视频文件,或按照留存时间从长到短的顺序,根据所述视频监控存储系统中所述存储节点的数量以及所述视频文件的大小删除所述存储节点中的视频文件。
9.如权利要求8所述的装置,其特征在于,
所述第一设置模块,还用于当所述视频监控存储系统加入新的存储节点后,重新根据所述视频监控存储系统中各存储节点的规格容量相对于所有存储节点的规格容量之和的比例设置各所述存储节点的容量权重,并在所述容量权重设置完毕后判断所述视频监控存储系统中是否存在存储空间已满的存储节点。
10.如权利要求6-9任一项所述的装置,其特征在于,所述第一设置模块具体用于:
获取各所述存储节点上报的规格容量;
将所有存储节点的规格容量之和作为总规则容量;
依次确定各所述存储节点的规格容量在所述总规格容量中所占的比例;
根据所述比例确定所述容量权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710272285.8A CN107154966A (zh) | 2017-04-24 | 2017-04-24 | 一种视频数据写入方法以及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710272285.8A CN107154966A (zh) | 2017-04-24 | 2017-04-24 | 一种视频数据写入方法以及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107154966A true CN107154966A (zh) | 2017-09-12 |
Family
ID=59792840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710272285.8A Pending CN107154966A (zh) | 2017-04-24 | 2017-04-24 | 一种视频数据写入方法以及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107154966A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110351532A (zh) * | 2019-08-08 | 2019-10-18 | 杭州阿启视科技有限公司 | 视频大数据云平台云存储服务方法 |
| CN111526315A (zh) * | 2020-04-28 | 2020-08-11 | 杭州海康威视数字技术股份有限公司 | 视频数据的存储方法、装置、系统及设备 |
| CN111831206A (zh) * | 2019-04-15 | 2020-10-27 | 浙江宇视科技有限公司 | 存储空间切换方法及后端监控系统 |
| CN112291292A (zh) * | 2019-07-26 | 2021-01-29 | 浙江宇视科技有限公司 | 数据存储方法、装置、设备和介质 |
| CN112748850A (zh) * | 2019-10-29 | 2021-05-04 | 伊姆西Ip控股有限责任公司 | 用于存储管理的方法、设备和计算机程序产品 |
| CN114116199A (zh) * | 2021-10-27 | 2022-03-01 | 北京旷视科技有限公司 | 负载均衡方法、电子设备及计算机程序产品 |
| CN118377434A (zh) * | 2024-06-21 | 2024-07-23 | 杭州海康威视系统技术有限公司 | 数据处理方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102088472A (zh) * | 2010-11-12 | 2011-06-08 | 中国传媒大学 | 面向广域网的动漫渲染任务分解支持方法及实现系统 |
| US20120089778A1 (en) * | 2010-10-11 | 2012-04-12 | Intransa, Inc. | Storage system having cross node data redundancy and method and computer readable medium for same |
| CN103929500A (zh) * | 2014-05-06 | 2014-07-16 | 刘跃 | 一种分布式存储系统的数据分片方法 |
| CN104158758A (zh) * | 2014-08-26 | 2014-11-19 | 上海斐讯数据通信技术有限公司 | Sdn网络基于用户报文时间反馈的负载均衡处理方法及系统 |
| CN104754001A (zh) * | 2013-12-30 | 2015-07-01 | 方正宽带网络服务股份有限公司 | 云存储系统和数据存储方法 |
| CN105224244A (zh) * | 2015-09-07 | 2016-01-06 | 浙江宇视科技有限公司 | 一种文件存储的方法和装置 |
-
2017
- 2017-04-24 CN CN201710272285.8A patent/CN107154966A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120089778A1 (en) * | 2010-10-11 | 2012-04-12 | Intransa, Inc. | Storage system having cross node data redundancy and method and computer readable medium for same |
| CN102088472A (zh) * | 2010-11-12 | 2011-06-08 | 中国传媒大学 | 面向广域网的动漫渲染任务分解支持方法及实现系统 |
| CN104754001A (zh) * | 2013-12-30 | 2015-07-01 | 方正宽带网络服务股份有限公司 | 云存储系统和数据存储方法 |
| CN103929500A (zh) * | 2014-05-06 | 2014-07-16 | 刘跃 | 一种分布式存储系统的数据分片方法 |
| CN104158758A (zh) * | 2014-08-26 | 2014-11-19 | 上海斐讯数据通信技术有限公司 | Sdn网络基于用户报文时间反馈的负载均衡处理方法及系统 |
| CN105224244A (zh) * | 2015-09-07 | 2016-01-06 | 浙江宇视科技有限公司 | 一种文件存储的方法和装置 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111831206A (zh) * | 2019-04-15 | 2020-10-27 | 浙江宇视科技有限公司 | 存储空间切换方法及后端监控系统 |
| CN111831206B (zh) * | 2019-04-15 | 2022-06-14 | 浙江宇视科技有限公司 | 存储空间切换方法及后端监控系统 |
| CN112291292A (zh) * | 2019-07-26 | 2021-01-29 | 浙江宇视科技有限公司 | 数据存储方法、装置、设备和介质 |
| CN112291292B (zh) * | 2019-07-26 | 2023-04-07 | 浙江宇视科技有限公司 | 数据存储方法、装置、设备和介质 |
| CN110351532A (zh) * | 2019-08-08 | 2019-10-18 | 杭州阿启视科技有限公司 | 视频大数据云平台云存储服务方法 |
| CN112748850A (zh) * | 2019-10-29 | 2021-05-04 | 伊姆西Ip控股有限责任公司 | 用于存储管理的方法、设备和计算机程序产品 |
| CN112748850B (zh) * | 2019-10-29 | 2024-04-19 | 伊姆西Ip控股有限责任公司 | 用于存储管理的方法、设备和计算机程序产品 |
| CN111526315A (zh) * | 2020-04-28 | 2020-08-11 | 杭州海康威视数字技术股份有限公司 | 视频数据的存储方法、装置、系统及设备 |
| CN111526315B (zh) * | 2020-04-28 | 2023-03-14 | 杭州海康威视数字技术股份有限公司 | 视频数据的存储方法、装置、系统及设备 |
| CN114116199A (zh) * | 2021-10-27 | 2022-03-01 | 北京旷视科技有限公司 | 负载均衡方法、电子设备及计算机程序产品 |
| CN118377434A (zh) * | 2024-06-21 | 2024-07-23 | 杭州海康威视系统技术有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN118377434B (zh) * | 2024-06-21 | 2024-09-06 | 杭州海康威视系统技术有限公司 | 数据处理方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107154966A (zh) | 一种视频数据写入方法以及装置 | |
| US10853139B2 (en) | Dynamic workload management based on predictive modeling and recommendation engine for storage systems | |
| CN108829352B (zh) | 一种分布式存储系统的用户配额方法及系统 | |
| CN107104992B (zh) | 一种视频云存储的存储资源分配方法和装置 | |
| CN102255962B (zh) | 一种分布式存储方法、装置和系统 | |
| US11262916B2 (en) | Distributed storage system, data processing method, and storage node | |
| CN105224244B (zh) | 一种文件存储的方法和装置 | |
| CN101799797B (zh) | 分布式存储系统中用户磁盘配额的动态分配方法 | |
| US20090249018A1 (en) | Storage management method, storage management program, storage management apparatus, and storage management system | |
| US20100125715A1 (en) | Storage System and Operation Method Thereof | |
| US12307110B2 (en) | Resource allocation method, storage device, and storage system | |
| CN109428913B (zh) | 一种存储扩容方法及装置 | |
| CN105573682B (zh) | 一种san存储系统及其数据读写方法 | |
| CN105242983B (zh) | 一种数据存储方法以及一种数据存储管理服务器 | |
| CN107087031B (zh) | 一种存储资源负载均衡方法及装置 | |
| CN107423301B (zh) | 一种数据处理的方法、相关设备及存储系统 | |
| CN110244901B (zh) | 任务分配方法及装置、分布式存储系统 | |
| CN105446653A (zh) | 一种数据合并方法和设备 | |
| CN108073723A (zh) | 一种用于分布式集群存储上的文件自精简方法及设备 | |
| CN111722783B (zh) | 数据存储方法及装置 | |
| Hsieh et al. | The incremental load balance cloud algorithm by using dynamic data deployment | |
| CN107948229B (zh) | 分布式存储的方法、装置及系统 | |
| CN112084173A (zh) | 数据迁移方法和装置及存储介质 | |
| CN111371583B (zh) | 服务器的扩容方法及装置、服务器、存储介质 | |
| CN103530319B (zh) | 一种操作请求的处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170912 |