CN111385512B - 视频数据处理方法和装置 - Google Patents
视频数据处理方法和装置 Download PDFInfo
- Publication number
- CN111385512B CN111385512B CN201811638680.4A CN201811638680A CN111385512B CN 111385512 B CN111385512 B CN 111385512B CN 201811638680 A CN201811638680 A CN 201811638680A CN 111385512 B CN111385512 B CN 111385512B
- Authority
- CN
- China
- Prior art keywords
- target area
- target
- original image
- video frame
- restoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 13
- 238000011084 recovery Methods 0.000 claims abstract description 78
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种视频数据处理方法和装置,该方法包括:保存视频帧中的目标区域原图以及目标区域原图的来源属性,并对所述视频帧中的目标区域进行遮挡;其中,所述目标区域为视频帧中需要遮挡的区域,所述目标区域原图的来源属性用于标识所述目标区域原图所属的目标视频帧以及在所述目标视频帧中的位置;根据所述目标区域原图对目标区域存在遮挡的视频帧进行恢复。该方法可以在满足视频遮挡需求的情况下,实现对存在遮挡的视频画面的恢复。
Description
技术领域
本申请涉及视频监控技术,尤其涉及一种视频数据处理方法和装置。
背景技术
随着视频监控技术的高速发展,视频监控的部署越来越广泛。在一些特定的视频监控场景中,会存在对视频画面中的特定区域进行遮挡的情况。例如,在某些视频画面的特定区域叠加OSD(On-Screen Display,屏幕显示)时间或/和监控设备的布控地点,如某某市某某街道某某商场某某层等信息。这些信息对于查看监控画面带来很大方便,但是由于叠加了一些信息会遮挡到视频画面的特定区域,在该特定区域包含重要信息时,需要将原图恢复出来。
因此,如何对特定区域存在遮挡的视频画面进行恢复称为一个亟待解决的技术问题。
发明内容
有鉴于此,本申请提供一种视频数据处理方法和装置。
具体地,本申请是通过如下技术方案实现的:
根据本申请实施例的第一方面,提供一种视频数据处理方法,包括:
保存视频帧中的目标区域原图以及目标区域原图的来源属性,并对所述视频帧中的目标区域进行遮挡;其中,所述目标区域为视频帧中需要遮挡的区域,所述目标区域原图的来源属性用于标识所述目标区域原图所属的目标视频帧以及在所述目标视频帧中的位置;
根据所述目标区域原图对目标区域存在遮挡的视频帧进行恢复。
根据本申请实施例的第二方面,提供一种视频数据处理装置,包括:
保存单元,用于保存视频帧中的目标区域原图以及目标区域原图的来源属性,其中,所述目标区域为视频帧中需要遮挡的区域,所述目标区域原图的来源属性用于标识所述目标区域原图所属的目标视频帧以及在所述目标视频帧中的位置;
遮挡单元,用于对所述视频帧中的目标区域进行遮挡;
恢复单元,用于根据所述目标区域原图对目标区域存在遮挡的视频帧进行恢复。
根据本申请实施例的第三方面,提供一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述视频数据处理方法。
根据本申请实施例的第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述视频数据处理方法步骤
本申请实施例的视频数据处理方法,通过保存视频帧中的目标区域原图以及目标区域原图的来源属性,并对视频帧中的目标区域进行遮挡,进而,根据目标区域原图对目标区域存在遮挡的视频帧进行恢复,在满足视频遮挡需求的情况下,实现了对存在遮挡的视频画面的恢复。
附图说明
图1是本申请一示例性实施例示出的一种视频数据处理方法的流程示意图;
图2是本申请一示例性实施例示出的一种视频数据遮挡的流程示意图;
图3是本申请一示例性实施例示出的一种目标区域原图匹配的流程示意图;
图4是本申请一示例性实施例示出的一种目标区域原图与视频帧匹配的流程示意图;
图5是本申请一示例性实施例示出的一种视频帧恢复的流程示意图;
图6是本申请一示例性实施例示出的一种视频数据处理装置的流程示意图;
图7是本申请又一示例性实施例示出的一种视频数据处理装置的流程示意图;
图8是本申请又一示例性实施例示出的一种视频数据处理装置的流程示意图;
图9是本申请又一示例性实施例示出的一种视频数据处理装置的流程示意图;
图10是本申请又一示例性实施例示出的一种视频数据处理装置的流程示意图;
图11是本申请又一示例性实施例示出的一种视频数据处理装置的流程示意图;
图12是本申请一示例性实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,并使本申请实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本申请实施例中技术方案作进一步详细的说明。
请参见图1,为本申请实施例提供的一种视频数据处理方法的流程示意图,如图1所示,该视频数据处理方法可以包括以下步骤:
步骤S100、保存视频帧中的目标区域原图以及目标区域原图的来源属性,并对该视频帧中的目标区域进行遮挡;其中,目标区域为视频帧中需要遮挡的区域,目标区域原图的来源属性用于标识目标区域原图所属的目标视频帧以及在目标视频帧中的位置。
本申请实施例中,对于任一需要进行遮挡的视频帧,可以获取该视频帧中需要遮挡的区域(本文中称为目标区域)的原图,例如,可以将目标区域的原图从视频帧中扣出,并保存该目标区域原图以及目标区域原图的来源属性。
其中,目标区域原图的来源属性可以包括帧属性(用于标识目标区域原图所属的视频帧(本文中称为目标视频帧))以及区域属性(用于标识目标区域原图在目标视频帧中的位置)。
例如,可以将获取目标视频帧的视频采集设备的标识以及目标视频帧的时间戳作为目标区域原图的帧属性,并将目标区域原图在指定大小的目标视频帧中的坐标作为目标区域原图的区域属性。
需要说明的是,在本申请实施例中,对视频帧中的目标区域进行遮挡之后,还可以保存遮挡后的视频帧。
其中,为了提高视频安全性,遮挡后的视频帧和目标区域原图可以分离保存,例如,保存在不同的文件中。
步骤S110、根据目标区域原图对目标区域存在遮挡的视频帧进行恢复。
本申请实施例中,当需要对目标区域存在遮挡的视频帧进行恢复时,可以根据所保存的目标区域原图对目标区域存在遮挡的视频帧进行恢复。
可见,在图1所示方法流程中,通过在对视频帧进行目标区域遮挡时,保存目标区域原图以及目标区域原图的来源属性,当对目标区域存在遮挡的视频帧进行恢复时,根据所保存的目标区域原图对目标区域存在遮挡的视频帧进行恢复,在满足视频遮挡需求的情况下,实现了对存在遮挡的视频画面的恢复。
在本申请其中一个实施例中,上述根据目标区域原图对目标区域存在遮挡的视频帧进行恢复,可以包括:
根据恢复条件确定匹配的第一目标区域原图;
根据第一目标区域原图对匹配的目标区域存在遮挡的第一视频帧进行恢复。
在该实施例中,恢复条件为用于确定需要进行恢复的目标区域存在遮挡的视频帧。
其中,该恢复条件可以包括时间范围或需要恢复目标(如人脸或车牌)的属性信息。
举例来说,当恢复条件包括时间范围时,可以根据所保存的目标区域原图的时间戳信息,将时间戳信息在该时间范围内的目标区域原图确定为匹配的目标区域原图,并将与该目标区域原图匹配的目标区域存在遮挡的视频帧确定为需要进行恢复的视频帧。
又举例来说,当恢复条件包括需要恢复目标的属性信息时,可以根据该恢复条件查询所保存的目标区域原图,以确定与该恢复条件匹配的目标区域原图,并将与该目标区域原图匹配的目标区域存在遮挡的视频帧确定为需要进行恢复的视频帧。
其中,待恢复目标的属性信息可以包括但不限于以下之一或多个:
待恢复目标的图片、待恢复目标的模型以及待恢复目标的特征信息。
需要说明的是,在该实施例中,当恢复条件为待恢复目标的图片时,可以分别对待恢复目标的图片以及所保存的目标区域原图进行建模,并将待恢复目标的图像对应的模型与目标区域原图的模型进行比对,以确定与待恢复目标的图片匹配的目标区域原图;
当恢复条件为待恢复目标的模型时,可以对所保存的目标区域原图进行建模,并将待恢复目标的模型与目标区域原图的模型进行比对,以确定与待恢复目标的模型匹配的目标区域原图;
当恢复条件为待恢复目标的特征信息(如车牌的车牌号码)时,可以对所保存的目标区域原图进行分析,以提取目标区域原图的特征信息,并将待恢复目标的特征信息与目标区域原图的特征信息进行比对,以确定与待恢复目标的特征信息匹配的目标区域原图。
在该实施例中,当根据恢复条件确定了匹配的目标区域原图(本文中称为第一目标区域原图)时,可以根据该第一目标区域原图对匹配的目标区域存在遮挡的视频帧(本文中称为第一视频帧)进行恢复。
在一个示例中,上述根据第一目标区域原图对匹配的目标区域存在遮挡的第一视频帧进行恢复,可以包括:
根据第一目标区域原图的来源属性,确定与第一目标区域原图匹配的第一视频帧;
根据第一目标区域原图对第一视频帧进行恢复。
在该示例中,确定了第一目标区域原图之后,可以根据第一目标区域原图的来源属性中的帧特征,确定与第一目标区域原图匹配的第一视频帧。
对于与任一第一目标区域原图匹配的第一视频帧,可以根据该第一目标区域原图的区域属性确定该第一目标区域原图在第一视频帧中的位置,并根据第一目标区域原图对第一视频帧进行恢复。
需要说明的是,在本申请实施例中,对于任一目标区域存在遮挡的视频帧,当该视频帧中存在多个目标区域时,可以根据目标区域原图对该视频帧的部分或全部目标区域进行恢复,即允许视频帧中存在部分目标区域保持为被遮挡状态,而另外部分目标区域为恢复后的状态,提高视频恢复的灵活性。
此外,在本申请实施例中,对于存在多个目标区域的视频帧,可以对该视频帧进行多次恢复,每次对该视频帧进行恢复时,恢复的目标区域可以不同,从而,可以提高视频恢复的灵活性。
例如,假设视频帧中存在目标区域1~3,则在一次对该视频帧的恢复中,可以仅恢复目标区域1;在另一次对该视频帧的恢复中,可以恢复目标区域2和3;在又一次对该视频帧的恢复中,可以恢复目标区域1和3。
在本申请其中一个实施例中,上述根据目标区域原图对该视频帧的部分或全部目标区域进行恢复,可以包括:
根据接收到的恢复请求中携带的身份验证信息确定对应的目标恢复策略;其中,恢复策略包括对视频帧的部分或全部目标区域进行恢复;
根据目标恢复策略以及目标区域原图对该视频帧进行恢复。
在该实施例中,当需要进行视频帧恢复时,可以获取接收到的恢复请求中携带的身份验证信息,并根据该身份验证信息确定对应的恢复策略(本文中称为目标恢复策略)。
其中,在本申请实施例中,恢复策略可以包括对视频帧的部分或全部目标区域进行恢复。
在一个示例中,根据接收到的恢复请求中携带的身份验证信息确定对应的目标恢复策略,可以包括:
确定恢复请求中携带的身份验证信息对应的目标权限等级;
根据目标权限等级确定对应的目标恢复策略。
在该示例中,可以预先配置权限等级与恢复策略的对应关系,例如,高权限等级对应的恢复策略为对视频帧的全部目标区域进行恢复;低权限等级对应的恢复策略为对视频帧的部分目标区域进行恢复。
相应地,当接收到恢复请求时,可以获取恢复请求中携带的身份验证信息,并确定该身份验证信息对应的权限等级(本文中称为目标权限等级)。
确定目标权限等级之后,可以根据该目标权限等级查询预先配置的权限等级与恢复策略的对应关系,以确定目标权限等级对应的目标恢复策略。
在该实施例中,确定了目标恢复策略之后,可以根据目标恢复策略以及目标区域原图对该视频帧进行恢复。
在一个示例中,根据目标恢复策略以及目标区域原图对该视频帧进行恢复,可以包括:
当目标恢复策略为对该视频帧的部分目标区域进行恢复时,获取待恢复目标的属性信息;
根据待恢复目标的属性信息确定匹配的目标区域原图,并根据匹配的目标区域原图对该视频帧进行恢复。
在该示例中,当目标恢复策略为对视频帧的部分目标区域进行恢复时,可以获取待恢复目标的属性信息。
例如,可以获取接收到的待恢复请求中携带的待恢复目标的属性信息,或者,可以输出提示信息,以提示输入待恢复目标的属性信息,并接收响应该提示信息输入的待恢复目标的属性信息。
获取到待恢复目标的属性信息之后,可以根据该待恢复目标的属性信息确定匹配的目标区域原图,并根据匹配的目标区域原图对该视频帧进行恢复,其具体实现可以参见上述实施例中的相关实现,本申请实施例在此不做赘述。
需要说明的是,在该实施例中,当目标恢复策略为对视频帧的全部目标区域进行恢复时,可以根据所保存的目标区域原图对该视频帧的全部目标区域进行恢复,其具体实现在此不做赘述。
在本申请另一个实施例中,上述根据目标区域原图对该视频帧的部分或全部目标区域进行恢复,可以包括:
根据接收到的恢复请求中携带的身份验证信息确定对应的目标权限等级;
根据权限等级不超过目标权限等级的目标区域原图对该视频帧进行恢复;或,根据目标区域原图对该视频帧中权限等级不超过目标权限等级的目标区域进行恢复。
在该实施例中,当需要进行视频帧恢复时,可以获取接收到的恢复请求中携带的身份验证信息,并确定该身份验证信息对应的权限等级(即目标权限等级)。
在一个示例中,可以预先为各目标区域原图设置权限等级,例如,为不同类型的目标区域原图设置不同的权限等级。
举例来说,当目标区域原图中包括人脸时,对应的权限等级为高权限等级;当目标区域原图中未包括人脸(如包括车牌信息或其他商标或品牌信息)时,对应的权限等级为低权限等级。
相应地,在该示例中,确定了目标权限等级之后,可以从所保存的目标区域原图中,获取权限等级不超过目标权限等级的目标区域原图,并对所获取到的权限等级不超过目标权限等级的目标区域原图对该视频特征进行恢复。
在另一个示例中,可以预先为视频帧中各目标区域设置不同的权限等级,例如,根据目标区域中存在的目标的类型为各目标区域设置不同的权限等级。
相应地,在该示例中,确定了目标权限等级之后,可以确定视频帧中权限等级不超过目标权限等级的目标区域,并根据所保存的目标区域原图对视频帧中权限等级不超过目标权限等级的目标区域进行恢复。
例如,确定当前用户恢复遮挡的权限为受限等级一,假设受限等级一仅允许恢复视频中的一个目标的所有遮挡,整个视频的200帧视频帧中有15个人的人脸均被遮挡,在用户通过鼠标点击、触屏、或者语音指示等方式选定恢复红衣服的目标人物A后,目标人物A的在200帧中的19帧中出现的人脸均被恢复。又例如,在接收到恢复遮挡的指示时,确定当前权限为等级二,假设整个视频的100帧中有5个人的人脸等级为1,有4个人的人脸等级为2,并且假设权限等级二高于人脸等级1,权限等级二与人脸等级2同级,在接收到该指示后,恢复人脸等级1和2的9个人的人脸。可以理解,等级高低的限定可以根据需求调整,在可选实施例中,既可以限定序号高的等级权限高,也可以限定序号高的等级权限低,例如设定浏览权限1的权限等级高于浏览权限2,还可以通过其他命名方式设定权限等级的高低,例如,代号“天空”的权限高于代号“白云”,在此不作限制。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,下面结合具体实例对本申请实施例提供的技术方案进行说明。
在该实施例中,视频帧的遮挡和恢复流程如下:
一、视频帧的遮挡
如图2所示,在该实施例中,视频帧的遮挡流程可以包括以下步骤:
步骤S200、对于任一视频帧,判断该视频帧中是否存在需要遮挡的目标区域。若是,则转至步骤S210;否则,结束当前流程。
在该实施例中,需要遮挡的目标区域可以包括固定遮挡区域和动态遮挡区域。
其中,固定遮挡区域可以为预先配置的需要遮挡的区域,如用于叠加OSD时间或/和监控设备的布控地点的区域。
动态遮挡区域可以通过对视频画面进行分析后确定,例如,假设需要对视频画面中的人脸进行遮挡(如打马赛克)时,可以通过对视频画面进行分析,以识别视频画面中出现的人脸,并将对应的区域确定为需要遮挡的区域。
步骤S210、保存目标区域原图以及目标区域原图的帧特征和区域特征。
在该实施例中,确定了视频帧中需要遮挡的目标区域之后,可以将目标区域原图从视频帧中扣出,并保存该目标区域原图。
在该实施例中,对于任一目标区域原图,在对该目标区域原图进行保存时,还可以关联保存用于标识该目标区域原图所属视频帧的特征信息(即帧特征)以及用于标识该目标区域原图在所属帧中的位置的特征信息(即区域特征)。
步骤S220、对视频帧中的目标区域进行遮挡。
在该实施例中,在获取了视频帧中的目标区域原图,并保存了目标区域原图以及目标区域原图的帧特征和区域特征之后,可以对视频帧中的目标区域进行遮挡。
需要说明的是,在该实施例中,对于任一视频帧,当该视频帧中存在多个需要遮挡的目标区域时,对于任一目标区域,可以分别按照步骤S210~步骤S220中描述的方式进行目标区域原图的保存和目标区域的遮挡,其具体实现在此不做赘述。
二、视频帧的恢复
1、目标区域原图的匹配
在该实施例中,当需要进行视频帧恢复时,可以先确定用于进行视频帧恢复的目标区域原图。
如图3所示,在该实施例中,以进行人脸恢复为例,即对视频帧中被遮挡的人脸进行恢复为例,假设恢复条件为目标人脸图像,目标区域原图的匹配流程可以包括以下步骤:
步骤S300、获取目标区域原图集合。
在该实施例中,目标区域原图集合可以包括所保存的目标区域原图。
步骤S310、获取目标人脸图像集合。
在该实施例中,目标人脸图像集合可以包括一帧或多帧人脸图像。
步骤S320、判断目标区域原图集合以及目标人脸图像集合是否均非空。若是,则转至步骤S330;否则,结束当前流程。
步骤S330、从目标区域原图集合或目标人脸图像集合中选取一个元素,并与另一个集合中的所有元素进行匹配。
在该实施例中,当目标区域原图集合以及目标人脸图像集合均非空时,可以从其中一个集合中选取一个元素,并与另一个集合中的所有元素进行匹配。
例如,可以从目标人脸图像集合中选取一个元素(即目标人脸图像),并与目标区域原图集合中的所有元素进行匹配。
其中,人脸图像匹配的具体实现可以参见现有相关技术中的相关描述,本申请实施例在此不做赘述。
为便于描述,下文中以从目标人脸图像集合中选取目标人脸图像,并将所选取的目标人脸图像分别与目标区域原图集合中各目标区域原图进行匹配为例。
步骤S340、判断另一个集合中是否存在与所选取的元素的相似度超过预设相似度阈值的元素。若是,则转至步骤S350;否则,将所选取的元素从所在集合中删除,并转至步骤S320。
在该实施例中,当目标区域原图集合中各目标区域原图均与所选取的目标人脸图像的相似度不超过预设相似度阈值时,则将所选取的目标人脸图像从目标人脸图像集合中删除,并当目标人脸图像集合非空时,重新选取目标人脸图像。
步骤S350、将匹配的目标区域原图添加至待恢复集合,并将所选取的元素和匹配到的元素从各自的集合中删除,并转至步骤S320。
在该实施例中,当目标区域原图集合中存在与所选取的目标人脸图像的相似度超过预设相似度阈值的目标区域原图时,可以将该匹配的目标区域原图(即与所选取的目标人脸图像的相似度超过预设相似度阈值的目标区域原图)添加到待恢复集合,并将该匹配的目标区域原图以及所选取的目标人脸图像从各自的集合中删除。
需要说明的是,对于任一目标人脸图像,可以存在一个或多个匹配的目标区域原图。
2、目标区域原图与视频帧的匹配
在该实施例中,按照图3所示的方法流程获取到匹配的目标区域原图(添加至待恢复集合的目标区域原图)之后,可以根据待恢复集合中的目标区域原图进行视频帧匹配,以确定可以进行恢复的视频帧。
如图4所示,在该实施例中,目标区域原图与视频帧的匹配流程可以包括以下步骤:
步骤S400、获取视频帧集合。
在该实施例中,视频帧集合可以包括所保存的视频数据。
其中,为了保证视频数据的流畅性,所保存的视频数据中可以包括不存在遮挡的视频帧。
步骤S410、获取待恢复集合。
在该实施例中,待恢复集合中包括按照图3所示流程所匹配到的目标区域原图。
步骤S420、判断视频帧集合与待恢复集合是否均非空;若是,则转至步骤S430;否则,结束当前流程。
在该实施例中,为了保证待处理集合中视频的连续性,当待恢复集合为空,但视频帧集合不为空时,可以将视频帧集合中的视频帧均添加至待处理集合。
其中,待处理集合中各视频帧按照时间从先到后(即时间戳从小到大)的顺序排序。
步骤S430、分别从两个集合中选取排序最前的元素。
在该实施例中,以目标区域原图的帧特征为时间戳为例,即目标区域原图的帧特征为其所属视频帧的时间戳;其中,不同视频帧的时间戳不同。
视频帧集合以及待恢复集合中各元素均以时间从先到后(即按照时间戳从小到大)的顺序排序。
步骤S440、判断所选取的视频帧与所选取的目标区域原图是否匹配。若是,则转至步骤S450;否则,转至步骤S470。
在该实施例中,从视频帧集合中选取视频帧,并从待恢复集合中选取目标区域原图之后,可以比较所选取的视频帧的时间戳与所选取的目标区域原图的时间戳;若二者相同,则确定所选取的视频帧与所选取的目标区域原图匹配;否则,确定所选取的视频帧与所选取的目标区域原图不匹配。
步骤S450、绑定匹配的视频帧与目标区域原图,并添加至待处理集合。
在该实施例中,当确定所选取的视频帧与所选取的目标区域原图匹配时,可以将所选取的视频帧与所选取的目标区域原图进行绑定,并添加至待处理集合。
需要说明的是,在该实施例中,当待处理集合中存在多个时间戳相同的视频帧(绑定有目标区域原图)时,可以将该多个时间戳相同的视频帧合并为一个绑定有多个目标区域原图的视频帧(该视频帧中存在多个被遮挡的目标区域)。
步骤S460、将所选取的目标区域原图从待恢复集合中删除,并转至步骤S420。
步骤S470、判断所选取的视频帧是否早于所选取的目标区域原图。若是,则转至步骤S480;否则,转至步骤S490。
步骤S480、将所选取的视频帧添加至待处理集合,并将所选取的视频帧从视频帧集合中删除,并转至步骤S420。
在该实施例中,由于视频帧集合以及待恢复集合中各元素均按照时间戳从小到大的顺序排序,因此,当所选取的视频帧早于所选取的目标区域原图,即所选取的视频帧的时间戳小于所选取的目标区域原图时,该视频帧的时间戳将小于待恢复集合中的全部目标区域原图的时间戳,即该视频帧与待恢复集合中的全部目标区域原图均不会匹配,此时,可以将所选取的视频帧从视频帧集合中删除。
此外,为了保证待处理集合中视频的连续性,因此可以将所选取的该视频帧也添加至待处理集合。
步骤S490、将所选取的目标区域原图从待恢复集合中删除,并转至步骤S420。
在该实施例中,当所选取的目标区域原图早于所选取的视频帧,即所选取的目标区域原图的时间戳小于所选取的视频帧的时间戳时,可以确定该目标区域原图与视频帧集合中的全部视频帧均不会匹配,此时,可以所选取的目标区域原图从待恢复集合中删除。
3、视频帧的恢复
在该实施例中,按照图4的流程确定了目标区域原图所匹配的视频帧时,可以根据视频帧与目标区域原图的绑定对视频帧进行恢复。
如图5所示,在该实施例中,视频帧的恢复流程可以包括以下步骤:
步骤S500、获取待处理集合。
步骤S510、判断待处理集合是否为空。若是,则结束当前流程;否则,转至步骤S520。
步骤S520、选取待处理集合中的第一个视频帧。
在该实施例中,待处理集合中各视频帧按照时间从先到后的顺序排序。
步骤S530、判断该视频帧是否绑定有目标区域原图。若是,转至步骤S540;否则,将该视频帧输出,并从待处理集合中删除,转至步骤S510。
步骤S540、根据目标区域原图的区域特征对该视频帧进行恢复。
在该实施例中,对于绑定有目标区域原图的视频帧,可以根据该视频帧所绑定的目标区域原图的区域特征确定目标区域原图在视频帧中的位置,并根据所确定的位置将目标区域原图恢复至该视频帧。
其中,对于任一视频帧,当该视频帧绑定有多个目标区域原图时,可以依次根据各目标区域原图对视频帧进行对应的目标区域的恢复。
步骤S550、将恢复后的视频帧输出,并转至步骤S510。
在该实施例中,对于待处理集合中的各视频帧,可以采取逐帧恢复、逐帧输出的方式进行恢复和输出,在实现视频帧恢复的同时,保证视频的连续性。
本申请实施例中,通过保存视频帧中的目标区域原图以及目标区域原图的来源属性,并对视频帧中的目标区域进行遮挡,进而,根据目标区域原图对目标区域存在遮挡的视频帧进行恢复,在满足视频遮挡需求的情况下,实现了对存在遮挡的视频画面的恢复。
以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述:
请参见图6,为本申请实施例提供的一种视频数据处理装置的结构示意图,如图6所示,该视频数据处理装置可以包括:
保存单元610,用于保存视频帧中的目标区域原图以及目标区域原图的来源属性,其中,所述目标区域为视频帧中需要遮挡的区域,所述目标区域原图的来源属性用于标识所述目标区域原图所属的目标视频帧以及在所述目标视频帧中的位置;
遮挡单元620,用于对所述视频帧中的目标区域进行遮挡;
恢复单元630,用于根据所述目标区域原图对目标区域存在遮挡的视频帧进行恢复。
在一种可选的实施方式中,如图7所示,所述装置还包括:
第一确定单元640,用于根据恢复条件确定匹配的第一目标区域原图;
所述恢复单元630,具体用于根据所述第一目标区域原图对匹配的目标区域存在遮挡的第一视频帧进行恢复。
在一种可选的实施方式中,所述恢复条件为待恢复目标的属性信息;
所述恢复单元630,具体用于根据所述待恢复目标的属性信息查询所保存的目标区域原图,以确定与所述待恢复目标的属性信息匹配的目标区域原图。
在一种可选的实施方式中,所述待恢复目标的属性信息包括以下之一或多个:
待恢复目标的图片、待恢复目标的模型以及待恢复目标的特征信息。
在一种可选的实施方式中,如图8所示,所述装置还包括:
第二确定单元650,用于根据所述第一目标区域原图的来源属性,确定与所述第一目标区域原图匹配的第一视频帧;
所述恢复单元630,具体用于根据所述第一目标区域原图对所述第一视频帧进行恢复。
在一种可选的实施方式中,所述恢复单元630,具体用于对于任一目标区域存在遮挡的视频帧,当该视频帧中存在多个目标区域时,根据所述目标区域原图对该视频帧的部分或全部目标区域进行恢复。
在一种可选的实施方式中,如图9所示,所述装置还包括:
第三确定单元660,用于根据接收到的恢复请求中携带的身份验证信息确定对应的目标恢复策略;其中,恢复策略包括对视频帧的部分或全部目标区域进行恢复;
所述恢复单元630,具体用于根据所述目标恢复策略以及所述目标区域原图对该视频帧进行恢复。
在一种可选的实施方式中,所述第三确定单元660,具体用于确定所述身份验证信息对应的目标权限等级;根据所述目标权限等级确定对应的目标恢复策略。
在一种可选的实施方式中,如图10所示,所述装置还包括:
获取单元670,用于当所述目标恢复策略为对视频帧的部分目标区域进行恢复时,获取待恢复目标的属性信息;
所述恢复单元,具体用于根据所述待恢复目标的属性信息确定匹配的目标区域原图,并根据匹配的目标区域原图对该视频帧进行恢复。
在一种可选的实施方式中,如图11所示,所述装置还包括:
第四确定单元680,用于根据接收到的恢复请求中携带的身份验证信息确定对应的目标权限等级;
所述恢复单元630,具体用于根据权限等级不超过所述目标权限等级的目标区域原图对该视频帧进行恢复;或,根据所述目标区域原图对该视频帧中权限等级不超过所述目标权限等级的目标区域进行恢复。
请参见图12,为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可以包括处理器1201、通信接口1202、存储器1203和通信总线1204。处理器1201、通信接口1202以及存储器1203通过通信总线1204完成相互间的通信。其中,存储器1203上存放有计算机程序;处理器1201可以通过执行存储器1203上所存放的程序,执行上文描述的视频数据处理方法。
本文中提到的存储器1203可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,存储器1202可以是:RAM(Radom AccessMemory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
本申请实施例还提供了一种存储有计算机程序的机器可读存储介质,例如图12中的存储器1203,所述计算机程序可由图12所示电子设备中的处理器1201执行以实现上文描述的视频数据处理方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (20)
1.一种视频数据处理方法,其特征在于,包括:
保存视频帧中的目标区域原图以及目标区域原图的来源属性,并对所述视频帧中的目标区域进行遮挡,保存遮挡后的视频帧;其中,所述目标区域为视频帧中需要遮挡的区域,所述目标区域原图的来源属性用于标识所述目标区域原图所属的目标视频帧以及在所述目标视频帧中的位置;
根据所述目标区域原图对目标区域存在遮挡的视频帧进行恢复;其中,对于任一目标区域原图,所述根据所述目标区域原图对目标区域存在遮挡的视频帧进行恢复,包括:
根据该目标区域原图在所属的目标视频帧中的位置,根据该目标区域原图对所述目标视频帧进行恢复。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标区域原图对目标区域存在遮挡的视频帧进行恢复,包括:
根据恢复条件确定匹配的第一目标区域原图;
根据所述第一目标区域原图对匹配的目标区域存在遮挡的第一视频帧进行恢复。
3.根据权利要求2所述的方法,其特征在于,所述恢复条件为待恢复目标的属性信息;
所述根据恢复条件确定匹配的第一目标区域原图,包括:
根据所述待恢复目标的属性信息查询所保存的目标区域原图,以确定与所述待恢复目标的属性信息匹配的目标区域原图。
4.根据权利要求3所述的方法,其特征在于,所述待恢复目标的属性信息包括以下之一或多个:
待恢复目标的图片、待恢复目标的模型以及待恢复目标的特征信息。
5.根据权利要求2所述的方法,其特征在于,所述根据所述第一目标区域原图对匹配的目标区域存在遮挡的第一视频帧进行恢复,包括:
根据所述第一目标区域原图的来源属性,确定与所述第一目标区域原图匹配的第一视频帧;
根据所述第一目标区域原图对所述第一视频帧进行恢复。
6.根据权利要求1所述的方法,其特征在于,所述根据所述目标区域原图对目标区域存在遮挡的视频帧进行恢复,包括:
对于任一目标区域存在遮挡的视频帧,当该视频帧中存在多个目标区域时,根据所述目标区域原图对该视频帧的部分或全部目标区域进行恢复。
7.根据权利要求6所述的方法,其特征在于,所述根据所述目标区域原图对该视频帧的部分或全部目标区域进行恢复,包括:
根据接收到的恢复请求中携带的身份验证信息确定对应的目标恢复策略;其中,恢复策略包括对视频帧的部分或全部目标区域进行恢复;
根据所述目标恢复策略以及所述目标区域原图对该视频帧进行恢复。
8.根据权利要求7所述的方法,其特征在于,所述根据接收到的恢复请求中携带的身份验证信息确定对应的目标恢复策略,包括:
确定所述身份验证信息对应的目标权限等级;
根据所述目标权限等级确定对应的目标恢复策略。
9.根据权利要求7或8所述的方法,其特征在于,所述根据所述目标恢复策略以及所述目标区域原图对该视频帧进行恢复,包括:
当所述目标恢复策略为对视频帧的部分目标区域进行恢复时,获取待恢复目标的属性信息;
根据所述待恢复目标的属性信息确定匹配的目标区域原图,并根据匹配的目标区域原图对该视频帧进行恢复。
10.根据权利要求6所述的方法,其特征在于,所述根据所述目标区域原图对该视频帧的部分或全部目标区域进行恢复,包括:
根据接收到的恢复请求中携带的身份验证信息确定对应的目标权限等级;
根据权限等级不超过所述目标权限等级的目标区域原图对该视频帧进行恢复;或,根据所述目标区域原图对该视频帧中权限等级不超过所述目标权限等级的目标区域进行恢复。
11.一种视频数据处理装置,其特征在于,包括:
保存单元,用于保存视频帧中的目标区域原图以及目标区域原图的来源属性,其中,所述目标区域为视频帧中需要遮挡的区域,所述目标区域原图的来源属性用于标识所述目标区域原图所属的目标视频帧以及在所述目标视频帧中的位置;
遮挡单元,用于对所述视频帧中的目标区域进行遮挡;
所述保存单元,还用于保存遮挡后的视频帧;
恢复单元,用于根据所述目标区域原图对目标区域存在遮挡的视频帧进行恢复;其中,对于任一目标区域原图,根据该目标区域原图在所属的目标视频帧中的位置,根据该目标区域原图对所述目标视频帧进行恢复。
12.根据权利要求11所述的装置,其特征在于,所述装置还包括:
第一确定单元,用于根据恢复条件确定匹配的第一目标区域原图;
所述恢复单元,具体用于根据所述第一目标区域原图对匹配的目标区域存在遮挡的第一视频帧进行恢复。
13.根据权利要求12所述的装置,其特征在于,所述恢复条件为待恢复目标的属性信息;
所述恢复单元,具体用于根据所述待恢复目标的属性信息查询所保存的目标区域原图,以确定与所述待恢复目标的属性信息匹配的目标区域原图。
14.根据权利要求13所述的装置,其特征在于,所述待恢复目标的属性信息包括以下之一或多个:
待恢复目标的图片、待恢复目标的模型以及待恢复目标的特征信息。
15.根据权利要求12所述的装置,其特征在于,所述装置还包括:
第二确定单元,用于根据所述第一目标区域原图的来源属性,确定与所述第一目标区域原图匹配的第一视频帧;
所述恢复单元,具体用于根据所述第一目标区域原图对所述第一视频帧进行恢复。
16.根据权利要求11所述的装置,其特征在于,
所述恢复单元,具体用于对于任一目标区域存在遮挡的视频帧,当该视频帧中存在多个目标区域时,根据所述目标区域原图对该视频帧的部分或全部目标区域进行恢复。
17.根据权利要求16所述的装置,其特征在于,所述装置还包括:
第三确定单元,用于根据接收到的恢复请求中携带的身份验证信息确定对应的目标恢复策略;其中,恢复策略包括对视频帧的部分或全部目标区域进行恢复;
所述恢复单元,具体用于根据所述目标恢复策略以及所述目标区域原图对该视频帧进行恢复。
18.根据权利要求17所述的装置,其特征在于,
所述第三确定单元,具体用于确定所述身份验证信息对应的目标权限等级;根据所述目标权限等级确定对应的目标恢复策略。
19.根据权利要求17或18所述的装置,其特征在于,所述装置还包括:
获取单元,用于当所述目标恢复策略为对视频帧的部分目标区域进行恢复时,获取待恢复目标的属性信息;
所述恢复单元,具体用于根据所述待恢复目标的属性信息确定匹配的目标区域原图,并根据匹配的目标区域原图对该视频帧进行恢复。
20.根据权利要求16所述的装置,其特征在于,所述装置还包括:
第四确定单元,用于根据接收到的恢复请求中携带的身份验证信息确定对应的目标权限等级;
所述恢复单元,具体用于根据权限等级不超过所述目标权限等级的目标区域原图对该视频帧进行恢复;或,根据所述目标区域原图对该视频帧中权限等级不超过所述目标权限等级的目标区域进行恢复。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811638680.4A CN111385512B (zh) | 2018-12-29 | 2018-12-29 | 视频数据处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811638680.4A CN111385512B (zh) | 2018-12-29 | 2018-12-29 | 视频数据处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111385512A CN111385512A (zh) | 2020-07-07 |
CN111385512B true CN111385512B (zh) | 2022-11-01 |
Family
ID=71222464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811638680.4A Active CN111385512B (zh) | 2018-12-29 | 2018-12-29 | 视频数据处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111385512B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101389005A (zh) * | 2007-09-11 | 2009-03-18 | 华为技术有限公司 | 一种对图像特定位置进行遮挡的方法及装置 |
EP2102584A1 (en) * | 2006-12-20 | 2009-09-23 | Scanalyse Pty Ltd | A system and method for orientating scan cloud data relative to base reference data |
EP2605983A1 (en) * | 2010-08-20 | 2013-06-26 | Skylife Technology Holdings LLC | Supply packs and methods and systems for manufacturing supply packs |
CN108024144A (zh) * | 2017-11-28 | 2018-05-11 | 网宿科技股份有限公司 | 视频播放方法、终端和计算机可读存储介质 |
CN108040230A (zh) * | 2017-12-19 | 2018-05-15 | 司马大大(北京)智能系统有限公司 | 一种保护隐私的监控方法及装置 |
CN108447080A (zh) * | 2018-03-02 | 2018-08-24 | 哈尔滨工业大学深圳研究生院 | 基于分层数据关联和卷积神经网络的目标跟踪方法、系统和存储介质 |
CN109040824A (zh) * | 2018-08-28 | 2018-12-18 | 百度在线网络技术(北京)有限公司 | 视频处理方法、装置、电子设备和可读存储介质 |
-
2018
- 2018-12-29 CN CN201811638680.4A patent/CN111385512B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2102584A1 (en) * | 2006-12-20 | 2009-09-23 | Scanalyse Pty Ltd | A system and method for orientating scan cloud data relative to base reference data |
CN101389005A (zh) * | 2007-09-11 | 2009-03-18 | 华为技术有限公司 | 一种对图像特定位置进行遮挡的方法及装置 |
EP2605983A1 (en) * | 2010-08-20 | 2013-06-26 | Skylife Technology Holdings LLC | Supply packs and methods and systems for manufacturing supply packs |
CN108024144A (zh) * | 2017-11-28 | 2018-05-11 | 网宿科技股份有限公司 | 视频播放方法、终端和计算机可读存储介质 |
CN108040230A (zh) * | 2017-12-19 | 2018-05-15 | 司马大大(北京)智能系统有限公司 | 一种保护隐私的监控方法及装置 |
CN108447080A (zh) * | 2018-03-02 | 2018-08-24 | 哈尔滨工业大学深圳研究生院 | 基于分层数据关联和卷积神经网络的目标跟踪方法、系统和存储介质 |
CN109040824A (zh) * | 2018-08-28 | 2018-12-18 | 百度在线网络技术(北京)有限公司 | 视频处理方法、装置、电子设备和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111385512A (zh) | 2020-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021179898A1 (zh) | 动作识别方法及装置、电子设备、计算机可读存储介质 | |
US10062406B2 (en) | Video masking processing method and apparatus | |
KR101611440B1 (ko) | 이미지 처리 방법 및 장치 | |
US20230014519A1 (en) | Video search device, data storage method and data storage device | |
US20100289924A1 (en) | Imager that adds visual effects to an image | |
EP2742442B1 (en) | A method for detecting a copy of a reference video, corresponding apparatus for extracting a spatio-temporal signature from video data and corresponding computer readable storage medium | |
CN102156707A (zh) | 一种视频摘要形成和搜索的方法、系统 | |
JP2022518459A (ja) | 情報処理方法および装置、記憶媒体 | |
JP7419080B2 (ja) | コンピュータシステムおよびプログラム | |
CN104980681A (zh) | 一种视频获取方法及装置 | |
JP2008146191A (ja) | 画像出力装置および画像出力方法 | |
US20190012363A1 (en) | Information processing device, data processing method therefor, and recording medium | |
JP5192437B2 (ja) | 物体領域検出装置、物体領域検出方法および物体領域検出プログラム | |
US8823833B2 (en) | Imager that adds visual effects to an image and records visual effects information in an image file | |
JP6234146B2 (ja) | 記録制御装置、記録制御方法、及び、プログラム | |
CN113297416B (zh) | 视频数据存储方法、装置、电子设备和可读存储介质 | |
JP6214762B2 (ja) | 画像検索システム、検索画面表示方法 | |
CN111385512B (zh) | 视频数据处理方法和装置 | |
US20200026866A1 (en) | Method and device for covering private data | |
JP2007213183A (ja) | デジタル画像データの分類装置、デジタル画像データの分類方法およびデジタル画像データの分類プログラム | |
CN106250426A (zh) | 一种照片处理方法和终端 | |
JP4888111B2 (ja) | 被写体認識装置、画像検索方法、および被写体認識プログラム | |
US20120041919A1 (en) | Information processing apparatus and information processing method | |
CN103886031B (zh) | 浏览图像的方法和设备 | |
CN110876092B (zh) | 视频摘要生成方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |