+

CN119383447A - 图像处理装置、图像处理方法、系统、计算机程序产品、存储介质和计算机实现的方法 - Google Patents

图像处理装置、图像处理方法、系统、计算机程序产品、存储介质和计算机实现的方法 Download PDF

Info

Publication number
CN119383447A
CN119383447A CN202410988974.9A CN202410988974A CN119383447A CN 119383447 A CN119383447 A CN 119383447A CN 202410988974 A CN202410988974 A CN 202410988974A CN 119383447 A CN119383447 A CN 119383447A
Authority
CN
China
Prior art keywords
virtual
camera
input device
viewpoint
virtual camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410988974.9A
Other languages
English (en)
Inventor
米田圭吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2024025121A external-priority patent/JP2025018896A/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN119383447A publication Critical patent/CN119383447A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供图像处理装置、图像处理方法、系统、计算机程序产品、存储介质和计算机实现的方法。用于生成虚拟视点视频的图像处理装置包括：第一视点确定单元，其被布置为，基于来自第一输入设备的输入值，生成第一虚拟照相机的照相机参数；回放位置确定单元，其被布置为，基于来自第一输入设备的输入值，确定虚拟视点图像的回放位置；第一视频生成单元，其被布置为，基于第一虚拟照相机和回放位置，生成第一虚拟视点视频；第二视点确定单元，其被布置为，基于来自第一输入设备的输入值以及来自第二输入设备的输入值，生成第二虚拟照相机的照相机参数；以及第二视频生成单元，其被布置为，基于第二虚拟照相机和回放位置，生成第二虚拟视点视频。

Description

图像处理装置、图像处理方法、系统、计算机程序产品、存储介 质和计算机实现的方法
技术领域
本发明涉及用于虚拟视点图像的图像处理装置、其控制方法和程序。
背景技术
近年来，出现了如下技术：通过使用多个视点图像(这些视点图像是通过利用安装在不同位置的多个照相机的同步摄影而拍摄的)，除了照相机位置的图像外，还生成来自任意一个或多个视点的虚拟视点图像。使用虚拟视点图像的服务使得视频制作者能够根据例如足球或篮球比赛的视频录像制作出功能强大的视点内容。这些服务还使得正在观看内容的用户能够在自由移动其视点的同时观看比赛，从而使得用户能够从任意位置观看虚拟视点图像。
日本特开2012-109719号公报公开了如下方法：控制虚拟照相机的位置，以实现虚拟照相机的操作者期望的构图。
然而，日本特开2012-109719号公报中公开的技术并未考虑多个用户之间虚拟视点图像的协调。例如，在教练使用根据篮球比赛的录像生成的虚拟视点图像指示队员的使用情况中，可以想象教练和队员正在分开的设备上观看虚拟视点图像。在这种情况下，教练很难对虚拟视点图像进行协调，使得队员能够在一定程度上操作虚拟视点图像以掌握其周围环境，同时还将用于指导队员的期望镜头反映到队员侧的虚拟视点图像上。
发明内容
根据本发明的一方面的图像处理装置包括：获取单元，其被布置为，获得由多个摄像装置拍摄的多个图像；第一视点确定单元，其被布置为，基于来自第一输入设备的输入值，生成第一虚拟照相机的照相机参数；回放位置确定单元，其被布置为，基于来自所述第一输入设备的输入值，确定要回放的虚拟视点图像的回放位置；第一视频生成单元，其被布置为，基于所述多个图像、所述第一虚拟照相机的照相机参数以及所述回放位置，生成第一虚拟视点视频；第二视点确定单元，其被布置为，基于来自所述第一输入设备的输入值以及来自第二输入设备的输入值，生成第二虚拟照相机的照相机参数；以及第二视频生成单元，其被布置为，基于所述多个图像、所述第二虚拟照相机的照相机参数以及所述回放位置，生成第二虚拟视点视频。
附图说明
图1A和图1B是示出根据第一实施例的虚拟视点图像生成系统的配置的示例的图。
图2A是示出根据第一实施例的信息处理装置的硬件配置的示例的框图。
图2B是示出根据第一实施例的图像处理装置的硬件配置的示例的框图。
图3是示出根据第一实施例的图像处理系统的功能配置的示例的图。
图4A至图4D是示出根据第一实施例的虚拟视点图像的显示形式的示例的图。
图5是示出根据第一实施例的图像处理装置的处理过程的示例的流程图。
图6是示出第一实施例的变型例中的虚拟视点图像的显示形式的示例的图。
图7是示出根据第二实施例的图像处理系统的功能配置的示例的图。
图8是示出根据第二实施例的图像处理装置的处理过程的示例的流程图。
具体实施方式
下面将参照附图详细描述本发明的实施例。应当理解，以下实施例并不限制所要求保护的发明。虽然实施例描述了多个特征，但并非多个特征的所有特征都是本发明所需要的，并且多个特征的任意组合都是可能的。换句话说，下文描述的实施例可以单独实施，或者可以在必要时或在将单独实施例中的元素或特征组合到单个实施例中是有益的情况下作为多个元素或特征的组合来实施。在附图中，相同或相似的部件由相同的附图标记表示，并且可以省略冗余描述。
第一实施例
本实施例示出了如下系统，该系统用于基于由多个摄像装置拍摄的多个图像和指定的虚拟视点，来生成表示来自指定的虚拟视点的视图的虚拟视点图像。本实施例中的虚拟视点图像不限于与用户自由指定的视点相对应的图像，还包括与用户从多个候选(虚拟视点候选)中选择的视点相对应的图像。虽然在本实施例中，描述主要集中在通过用户操作来进行虚拟视点的指定的情况，但也可以基于图像分析的结果等来自动进行虚拟视点的指定。
在本实施例中，使用术语“虚拟照相机”进行描述。虚拟照相机与实际安装在目标摄像区域周围的多个摄像装置不同，而是为方便起见，用于描述用来生成虚拟视点图像的虚拟视点的概念。具体地，虚拟视点图像可被视为从设置在与目标摄像区域相关联的虚拟空间中的虚拟视点拍摄的图像。虚拟视点在摄像中的位置和姿势可以被表示为虚拟照相机的位置和姿势。换句话说，如果在空间中设置的虚拟视点的位置处存在照相机，则虚拟视点图像是由该照相机拍摄的图像的模拟图像。
虚拟视点图像生成系统的配置
首先，将参照图1A和图1B描述根据本实施例的虚拟视点图像生成系统的配置。
根据本实施例的虚拟视点图像生成系统包括各自包括至少一个照相机(摄像装置)的n个传感器系统101a至101n。除非另有说明，否则n个传感器系统在下文中称为多个传感器系统101，而不在传感器系统之间进行区分。
图1A是示出多个传感器系统101的安装的示例的图。多个传感器系统101安装在作为目标摄像区域的区域120周围，以从不同方向拍摄区域120的图像。在本实施例的示例中，目标区域120是进行足球比赛的体育场场地，并且在体育场场地周围安装了n个(例如100个)传感器系统101。然而，安装的传感器系统101的数量不受限制，并且目标区域120不限于体育场场地。例如，目标区域120可以包括体育场观众席，或者可以是室内演播室或舞台。
多个传感器系统101不一定要安装在区域120的整个周边周围，而由于位置约束或其他限制，可以只安装在区域120的部分周边。
多个传感器系统101的多个照相机可包括具有不同功能的摄像装置，诸如长焦照相机和广角照相机。
多个传感器系统101的多个照相机同步拍摄图像。这些照相机拍摄的多个图像被称为多视点图像。本实施例中的多视点图像可以是拍摄的图像、或通过进行图像处理(诸如从拍摄图像中提取预定区域的处理)而获得的图像。
除照相机外，多个传感器系统101还可包括麦克风(未示出)。多个传感器系统101的麦克风同步收集声音。基于收集到的声音，多个传感器系统101可生成要与图像在图像显示装置上的显示一起回放的声学信号。为便于解释，将省略关于声音的描述。图像和声音基本上是一起处理的。
图像处理系统1包括图像处理装置20、第一信息处理装置100和第二信息处理装置200。图像处理系统1从多个传感器系统101获取多视点图像，并将多视点图像与用于摄像的时间码一起存储在数据库(未示出)中。时间码是用于唯一识别摄像装置拍摄图像的时间的信息。可以以诸如“日：时：分：秒：帧号”的格式指定时间码。图像处理装置20根据存储的多视点图像生成虚拟视点图像。
第一信息处理装置100在第一显示设备30上显示从图像处理装置20接收的虚拟视点图像。第一信息处理装置100接收用户利用第一输入设备10对虚拟照相机210的手动操作，并将该操作提供给图像处理装置20。第二信息处理装置200在第二显示设备50上显示从图像处理装置20接收的虚拟视点图像。第二信息处理装置200接收用户利用第二输入设备40对虚拟照相机的手动操作，并将该操作提供给图像处理装置20。第一信息处理装置100和第二信息处理装置200的示例包括平板终端、智能电话、头戴式显示器(HMD)和其他便携式终端。
虚拟照相机210可以设置在与区域120相关联的虚拟空间中与多个传感器系统101的所有照相机的视点不同的视点处。这里，针对要提供给第一信息处理装置100的虚拟视点图像和要提供给第二信息处理装置200的虚拟视点图像设置不同的虚拟照相机。图像处理装置20生成的虚拟视点图像是表示来自虚拟照相机210的视图的图像。本实施例中的虚拟视点图像也称为自由视点视频。
在本实施例中，描述主要集中在虚拟视点图像是运动图像的情况，但虚拟视点图像可以是静止图像。
图像处理装置和信息处理装置的配置
接下来，将参照图2A和图2B描述根据本实施例的信息处理装置和图像处理装置的硬件配置的示例。
图2A示出了信息处理装置的硬件配置的示例。虽然描述了第一信息处理装置100的配置，但第二信息处理装置200也具有相同的配置。
中央处理单元(CPU)101通过使用随机存取存储器(RAM)102作为工作存储器执行存储在只读存储器(ROM)103和/或硬盘驱动器(HDD)105中的程序，来经由系统总线112控制下述配置。因此，可以执行以下各种处理。
HDD接口(I/F)104的示例是串行ATA(SATA)，其将信息处理装置连接到HDD 105、光盘驱动器、固态驱动器(SSD)、闪存或其他二次存储设备。在本实施例中，HDD 105被用作二次存储设备的示例。CPU 101能够经由HDD接口(I/F)104与HDD 105进行数据读写。CPU 101将HDD 105中存储的数据加载到RAM 102中。CPU 101还被配置为，将通过执行程序而获得的RAM 102上的各种数据存储在HDD 105中。
输入接口(I/F)106将信息处理装置连接到一个或多个用于输入坐标的输入设备107，诸如触摸面板、键盘、鼠标、数字照相机和扫描器。输入接口(I/F)106的示例包括串行总线接口，诸如通用串行总线(USB)和IEEE1394。CPU 101被配置为经由输入I/F 106从输入设备107读取数据。在本实施例中，输入接口106和第一输入设备10连接。
输出接口(I/F)108将信息处理装置连接到输出设备109(诸如显示器)。输出接口(I/F)108的示例包括视频输出接口，诸如数字视觉接口(DVI)和高清多媒体接口CPU 101经由输出I/F 108向输出设备109发送与虚拟视点视频相关的数据，以显示虚拟视点视频。网络接口(I/F)110是将信息处理装置连接到外部服务器111的网卡，诸如局域网(LAN)卡。CPU 101被配置为经由网络I/F 110从外部服务器111读取数据。在本实施例中，输出接口108和第一显示设备30连接。
图2B示出了图像处理装置20的硬件配置的示例。CPU 201通过使用RAM 202作为工作存储器执行存储在ROM 203中的程序，来控制下述配置。
通信部204连接到信息处理装置以进行数据通信。通信部204根据诸如以太网或IEEE802.11(通常称为无线LAN)的通信标准进行通信。CPU 201经由通信部204与信息处理装置或其他外部装置进行数据的发送和接收。
输入/输出部205经由输入接口或输出接口输入/输出数据。输入/输出部205连接到鼠标、键盘、显示器、数字照相机或其他设备。
图形处理单元(GPU)206是专用于图像处理的运算单元或处理器。GPU 206进行图像处理，诸如根据从多个传感器系统101输入的图像生成虚拟视点图像。
图像处理系统
接下来，将参照图3和图4A至图4D描述根据本实施例的图像处理系统1的功能配置的示例。本实施例描述了如下使用情况，其中，使用第一显示设备30的用户还可以操作显示在第二显示设备50上的虚拟视点图像。该使用情况假设如下情况，其中，体育竞赛的教练使用第一显示设备30，而被教练指示的队员使用第二显示设备50。在这种情况下，教练可以使得队员能够在一定程度上操作虚拟视点图像以掌握其周围环境，同时还将用于指导队员的期望镜头反映至队员侧的虚拟视点图像。本实施例描述了特别适用于这种指导的图像处理系统。然而，将理解的是，本发明并不一定限于指导和体育应用。下面的实施例中使用的术语“教练”或“队员”是示例，并且可被视为本发明可能有用的情况的说明。关于教练，可被视为负责向一个或多个观看者示出或控制特定虚拟视点图像的观看的人，教练可以被视为第一用户。关于队员，可被视为从负责示出或控制特定虚拟视点图像的观看的人接收虚拟视点图像的人，队员可被视为第二用户。
回放位置确定部301根据从第一信息处理装置100的第一输入设备10输入的指令，来确定虚拟视点图像的回放位置。回放位置的示例是时间码。
第一视点确定部302根据从第一信息处理装置100的第一输入设备10输入的指令，来确定虚拟照相机的参数。虚拟照相机的参数的示例包括位置和姿势。虚拟照相机的位置例如由三维坐标(x、y、z)表示。虚拟照相机的姿势例如以三个方向(平摇、俯仰和侧倾)表示。
第一视频生成部303基于回放位置确定部301确定的回放位置和第一视点确定部302确定的虚拟照相机的位置和姿势，来生成虚拟视点图像。由第一视频生成部303生成的虚拟视点图像显示在第一信息处理装置100的第一显示设备30上。
第二视点确定部304根据从第二信息处理装置200的第二输入设备40输入的指令，来确定虚拟照相机的位置和姿势。虚拟照相机的位置例如由三维坐标(x、y、z)表示。虚拟照相机的姿势例如以三个方向(平摇、俯仰和侧倾)表示。
第二视频生成部305基于回放位置确定部301确定的回放位置、第一视点确定部302确定的虚拟照相机的位置和姿势、以及第二视点确定部304确定的虚拟照相机的位置和姿势，来生成虚拟视点图像。与第一视频生成部303不同，第二视频生成部305使用关于由多个视点确定部302和304确定的虚拟照相机的位置和姿势的信息，来生成虚拟视点图像。第二视频生成部305生成的虚拟视点图像显示在第一信息处理装置100的第一显示设备30和第二信息处理装置200的第二显示设备50上。
虽然在本实施例中，第一视频生成部303和第二视频生成部305使用由回放位置确定部301确定的回放位置来生成虚拟视点图像，但是可以针对生成部303和305中的各个准备回放位置确定部。换句话说，在本实施例的示例中，可以准备两个回放位置确定部，并且第一视频生成部303和第二视频生成部305可以使用由单独的回放位置确定部确定的回放位置，单独生成虚拟视点图像。
接下来，将参照图4A至图4D描述在第一显示设备30和第二显示设备50上显示的虚拟视点图像和图形用户界面(GUI)。在本实施例中，第一显示设备30由教练使用，而第二显示设备50由队员使用。图4A至图4D示出了篮球比赛录像，其中，长方体物体是简化的人物图形，而球体是篮球图形。
图4A示出了第一显示设备30上显示的GUI的示例。图4B至图4D示出了第二显示设备50上显示的GUI的示例。可以根据第二信息处理装置200的配置和类型、或从第二信息处理装置200选择的模式(诸如窗口模式或全屏模式)，来切换第二显示设备50上显示的GUI。
在第一显示设备30和第二显示设备50二者上显示虚拟视点图像401。虚拟视点图像402(即，另一虚拟视点图像)仅显示在第一显示设备30上。换句话说，虚拟视点图像401由队员和教练二者观看，而虚拟视点图像402仅由教练观看。
如果教练没有进行任何操作，则不管队员的操作如何，针对虚拟视点图像401的虚拟照相机的位置都是固定的。这是因为，教练指定的位置被视为教练为了指导而希望向队员示出的视点的位置。然而，针对虚拟视点图像401的虚拟照相机的姿势可以通过队员的操作来改变。例如，在第二输入设备40是触摸面板的情况下，队员可以通过滑动操作来改变虚拟视点图像401的虚拟照相机的姿势。在另一示例中，在第二输入设备40是鼠标的情况下，队员可以通过拖动操作来改变针对虚拟视点图像401的虚拟照相机的姿势。因此，教练可以使得队员能够在一定程度上操作虚拟视点图像，同时还将用于指导队员的期望镜头反映至队员侧的虚拟视点图像。虚拟照相机的位置不一定是固定的，并且可以在以教练指定的虚拟照相机位置为中心的预定范围内进行调整。
虚拟视点图像402是供教练准备教练希望队员接下来看到的虚拟视点图像的虚拟视点图像。教练可以利用第一输入设备10改变针对虚拟视点图像402的虚拟照相机的位置和姿势。例如，在第一输入设备10是触摸面板的情况下，教练可以通过滑动操作改变针对虚拟视点图像402的虚拟照相机的姿势。在另一示例中，在第一输入设备10是鼠标的情况下，教练可以通过拖动操作改变针对虚拟视点图像402的虚拟照相机的姿势。
当教练利用第一输入设备10选择视点共享按钮408时，针对虚拟视点图像402的虚拟照相机的位置和姿势被应用于针对虚拟视点图像401的虚拟照相机的位置和姿势。这使得教练能够为队员切换虚拟视点图像。当教练利用第一输入设备10选择交换按钮409时，针对虚拟视点图像402的虚拟照相机的位置和姿势与针对虚拟视点图像401的虚拟照相机的位置和姿势被交换。这种配置使得教练能够在多个虚拟视点之间切换，同时使队员观看虚拟视点图像，例如，在包括对方队员的视角的情况下提供指导。
在选择视点共享按钮408的情况下，针对虚拟视点图像402的虚拟照相机的参数不必立即应用于针对虚拟视点图像401的虚拟照相机。例如，在教练选择视点共享按钮408之后、且在针对虚拟视点图像402的虚拟照相机的参数被应用于针对虚拟视点图像401的虚拟照相机之前，通知切换视点的消息可以在虚拟视点图像401上显示几秒钟。这种配置防止观看者因虚拟视点图像401的虚拟视点的位置和姿势的快速变化而产生混淆。该处理也适用于选择交换按钮409的情况。
当选择视点共享按钮408时，可在虚拟视点图像401上叠加用于选择是否应用针对虚拟视点图像402的虚拟照相机的参数的按钮。当利用虚拟视点图像401上显示的按钮接受针对虚拟视点图像402的虚拟照相机的参数对虚拟视点图像401的应用时，执行用于共享视点的处理。这使得能够防止在队员非预期的定时切换虚拟视点。该处理也适用于选择交换按钮409的情况。
第一信息处理装置100可以存储教练指定的多个虚拟照相机的位置和姿势，并从存储的列表中确定虚拟视点。这使得教练能够将视点改变为期望的视点，而无需每次都进行虚拟照相机视点操作。例如，通过存储在引人注目的位置(诸如篮球场的篮筐下方)处的虚拟照相机的位置和姿势，教练仅通过根据需要从列表进行选择即可切换到期望视点的虚拟视点图像。提供这样的操作方法简化了用户的操作。
图像处理系统1可以将一系列虚拟照相机的参数存储为虚拟照相机的路径(照相机路径)。但这只是示例性的。图像处理系统1可以在关键帧中指定多个照相机参数，在关键帧之间自动插值照相机参数以创建照相机路径，并存储照相机路径。图像处理系统1基于照相机路径再现虚拟照相机的路径，以生成虚拟视点图像401。这使得教练能够跨多个帧为队员设置视点。
进度条403是表示虚拟视点图像402的回放位置(时间码)的GUI。教练可以通过选择进度条403上的位置来选择任意回放位置。反向回放按钮404用于反向回放虚拟视点图像402。暂停/恢复按钮405用于暂停或恢复虚拟视点图像402的回放。正向回放按钮406用于正向回放虚拟视点图像402。回放速度407是用于改变虚拟视点图像402的回放速度的项目。教练可以通过直接输入或通过从下拉菜单中呈现的选项中进行选择，来改变虚拟视点图像402的回放速度。例如，如果针对回放速度407选择1，则以正常速度回放虚拟视点图像402。如果针对回放速度407选择小于1的值，则缓慢地回放虚拟视点图像402。如果针对回放速度407选择大于1的值，则高速回放虚拟视点图像402。
图4B示出了第二显示设备50上显示的GUI的示例。该GUI显示在第二信息处理装置200上，第二信息处理装置200例如是个人计算机(PC)或平板终端。
进度条413是表示虚拟视点图像401的回放位置(时间码)的GUI。队员可以通过选择进度条413上的位置来选择任意回放位置。反向回放按钮414用于反向回放虚拟视点图像401。暂停/恢复按钮415用于暂停或恢复虚拟视点图像401的回放。正向回放按钮416用于正向回放虚拟视点图像401。回放速度417是用于改变虚拟视点图像401的回放速度的项目。队员可以通过直接输入或通过从下拉菜单中呈现的选项中进行选择，来改变虚拟视点图像401的回放速度。例如，如果针对回放速度417选择1，则以正常速度回放虚拟视点图像401。如果针对回放速度417选择小于1的值，则缓慢地回放虚拟视点图像401。如果针对回放速度417选择大于1的值，则高速回放虚拟视点图像401。
在图4B中，可使用进度条413改变的回放位置的时间宽度可小于可使用进度条403改变的回放位置的时间宽度。这使得教练能够防止用于指导队员的镜头(回放位置)被队员改变为不同的镜头(回放位置)。
图4C示出了第二显示设备50上显示的GUI的其他示例。该GUI显示在第二信息处理装置200上，第二信息处理装置200是智能电话、平板终端或其他便携式设备。与图4B所示的GUI不同，图4C没有显示用于控制虚拟视点图像401的GUI。在这种情况下，队员可以使用第二信息处理装置200的触摸面板或加速度传感器改变针对虚拟视点图像401的虚拟照相机的姿势，但不能进行其他操作。教练可以通过从第一信息处理装置100给出在图4B中的GUI与图4C中的GUI之间切换的指令，在第二信息处理装置200上显示适合指导目的的GUI。
图4D示出了第二显示设备50上显示的GUI的另一示例。该GUI显示在第二信息处理装置200上，第二信息处理装置200是诸如HMD的可穿戴设备。可替代地，通过将图4B或图4C中所示的GUI变换为全屏模式而在第二信息处理装置200上显示图4D中的GUI。在图4D中，全屏显示虚拟视点图像401，而不显示操作GUI等。
在第二显示设备50上显示图4C或图4D所示的GUI的情况下，使用第一显示设备30上显示的进度条403来改变虚拟视点图像401的回放位置。在这种情况下，使用反向回放按钮404、暂停/恢复按钮405、正向回放按钮406和回放速度407控制虚拟视点图像401的回放状态。
在本实施例中，仅改变针对虚拟视点图像401的虚拟照相机的姿势可以不从第一输入设备10操作。这是因为，例如，如果队员通过HMD观看虚拟视点图像401并且教练仅改变虚拟照相机的姿势，则队员可能无法追踪正在看哪里，从而导致队员无法专注于观看虚拟视点图像的情况。
可以从第一信息处理装置100中选择第二信息处理装置200上显示的任意GUI(图4B至图4D)。这使得教练能够根据指导的详情来控制队员使用的第二信息处理装置200上显示的内容。
在本实施例中，虚拟视点图像401和虚拟视点图像402被循环回放。这使得教练或队员能够反复观看同一个镜头。
当在暂停虚拟视点图像402的情况下改变回放速度407时，虚拟视点图像402可以自动恢复回放。这免去了用户按下回放按钮。类似地，当在暂停虚拟视点图像401的情况下改变回放速度417时，虚拟视点图像401可自动恢复回放。
图像处理装置20的处理
将参照图5中的流程图描述图像处理装置20进行的处理的示例。通过将记录在ROM203中的软件展开到RAM 102并使CPU 201或GPU 206执行该软件，来实现图像处理装置20的处理。
在S501中，CPU 201基于从第一信息处理装置100输入的第一输入值确定第一虚拟视点视频的回放位置。第一虚拟视点视频的示例是虚拟视点图像402。本步骤中要处理的第一输入值的示例是与使用第一输入设备10输入到进度条403的操作相对应的控制值。具体地，控制值是时间码。如果第一输入值不是与回放位置相关的输入值，则不执行本步骤，而执行下一步骤。
在S502中，CPU 201基于从第一信息处理装置100输入的第一输入值确定第一虚拟视点视频的第一虚拟视点。第一虚拟视点例如是针对虚拟视点图像402的虚拟照相机的位置和姿势。本步骤中要处理的第一输入值的示例是使用第一输入设备10输入到第一信息处理装置100的、与用于改变针对虚拟视点图像402的虚拟照相机的位置或姿势的操作相对应的控制值。如果选择了交换按钮409，则设置与第二虚拟视点相同的参数作为第一虚拟视点的参数。如果第一输入值与第一虚拟视点无关，则不执行本步骤的处理。
在S503中，CPU 201基于从第二信息处理装置200输入的第二输入值确定第二虚拟视点视频的回放位置。第二虚拟视点视频的示例是虚拟视点图像401。本步骤中要处理的第二输入值的示例是与通过第二输入设备40输入到进度条413的操作相对应的控制值。具体地，该控制值是时间码。如果第二信息处理装置200没有如进度条413那样用于控制回放位置的用户界面(UI)，则CPU 201将第二虚拟视点视频的回放位置确定为与S501中确定的回放位置相同的回放位置。如果第二输入值不是与回放位置相关的输入值，则不执行本步骤的处理，而执行下一步骤的处理。
在S504中，CPU 201基于从第一信息处理装置100输入的第一输入值和从第二信息处理装置200输入的第二输入值确定针对第二虚拟视点视频的第二虚拟视点。第二虚拟视点的示例是针对虚拟视点图像401的虚拟照相机的位置和姿势。本步骤中要处理的第一输入值的示例是由第一输入设备10输入到第一信息处理装置100的、与用于改变针对虚拟视点图像401的虚拟照相机的位置的操作相对应的控制值。本步骤中要处理的第二输入值的示例是由第二输入设备40输入到第二信息处理装置200的、与用于改变针对虚拟视点图像401的虚拟照相机的姿势的操作相对应的控制值。
如果选择了交换按钮409，则与紧挨在S502的处理之前的第一虚拟视点的参数相似的参数被设置为第二虚拟视点的参数。如果第二输入值不是与第二虚拟视点相关的输入值，则不执行本步骤的处理。虽然在此步骤中，虚拟照相机的位置是基于来自第一输入设备10的输入值确定的，但这只是示例性的。该位置可以基于第二输入设备40上的输入值确定。在这种情况下，第一输入值被忽略，并且仅基于第二输入值确定针对第二虚拟视点视频的第二虚拟视点。
在S505中，CPU 201基于在S501中确定的回放位置和在S502中确定的第一虚拟视点，使用GPU 206生成第一虚拟视点图像。
在S506中，CPU 201判断是否已从第一输入值检测到触发。该触发用于将针对第一虚拟视点图像的虚拟视点反映到第二虚拟视点图像。例如，如果选择了图4A中的视点共享按钮408或交换按钮409，则CPU 201检测到触发。如果从第一输入值检测到触发，则执行S507的处理。如果没有从第一输入值检测到触发，则执行S508的处理。
在S507中，CPU 201基于在S501中确定的回放位置和在S502中确定的第一虚拟视点，使用GPU 206生成第二虚拟视点图像。在S508中，CPU 201基于在S503中确定的回放位置和在S504中确定的第二虚拟视点，使用GPU 206生成第二虚拟视点图像。
在S509中，CPU 201输出第一虚拟视点图像和第二虚拟视点图像。例如，CPU 201经由输入/输出部205向第一信息处理装置100输出第一虚拟视点图像，并向第二信息处理装置200输出第二虚拟视点图像。
在S510中，CPU 201判断是否终止该流程图的处理。例如，当用于回放虚拟视点图像的应用被终止时，CPU 201判断为终止该流程图的处理。如果不终止该流程图的处理，则执行S511的处理。
在S511中，CPU 201改变回放位置。例如，对于正向回放，CPU 201将回放位置向前移动一帧。对于反向回放，CPU 201将回放位置返回一帧。在完成此处理后，从S501开始重复本流程图的处理。
已参照图5描述了图像处理装置20进行的处理。该处理便于协调多个虚拟视点图像。例如，教练可以使得队员能够在一定程度上操作虚拟视点图像以掌握其周围环境，同时还将用于指导队员的期望镜头反映至队员侧的虚拟视点图像。
CPU 201在执行流程图的处理期间，通过中断处理根据需要执行回放处理，诸如虚拟视点图像的回放、暂停和回放速度的改变。
尽管在本实施例中，图像处理装置20生成第一虚拟视点图像(虚拟视点图像402)和第二虚拟视点图像(虚拟视点图像401)二者，但这只是示例性的。例如，可以提供两个图像处理装置20，其单独生成第一虚拟视点图像或第二虚拟视点图像。在这种情况下，这两个图像处理装置20相互通信，以发送和接收针对相应的虚拟视点图像的虚拟照相机的参数以及相应的虚拟视点图像的回放位置。
第一实施例的变型例
本实施例描述了第一信息处理装置100中虚拟视点图像的显示和控制、以及图像处理装置20的处理。对于与包括图1A和图1B中的虚拟视点图像生成系统以及图2A和图2B中的第一信息处理装置100和图像处理装置20的第一实施例相同的配置、处理和功能使用相同的附图标记，并将省略其冗余描述。
图6示出了在第一显示设备30上显示的GUI的示例。虚拟视点图像601被添加到图4A中的GUI。
虚拟视点图像601的虚拟视点被设置为俯视运动场地(篮球场)。这里，黑色长方体表示动作中的队员。显示虚拟视点图像601使得教练能够轻松地掌握比赛期间队员之间的位置关系。在本实施例中，针对虚拟视点图像601的虚拟视点是固定的，而不会改变。
此外，在虚拟视点图像601上可以叠加象形图和图标。图标602表示针对虚拟视点图像401的虚拟照相机的位置和姿势。图标603表示针对虚拟视点图像402的虚拟照相机的位置和姿势。图标602和图标603可以设置成不同的颜色或图案，以便相互区分。将图标602和图标603叠加到虚拟视点图像601上，使得教练能够确认教练和队员的虚拟视点的位置和姿势。
当改变针对虚拟视点图像402的虚拟照相机的位置时，教练可以通过选择(例如左键单击)虚拟视点图像601上的位置来改变位置。这便于即时移动虚拟照相机，也便于例如将虚拟照相机的位置从运动场地的一端移动到另一端。教练还可以通过选择(例如右键单击)虚拟视点图像601上的位置来设置注视点604。当教练设置注视点604并使用与设置注视点604的方法不同的方法(左键单击)设置虚拟照相机的另一位置时，虚拟照相机的视线在水平横向方向(平摇方向)旋转，以面向注视点604。例如，当注视点604被设置在篮筐下方、并且虚拟照相机的位置被设置在场地中边线上的任意位置时，边线上的虚拟照相机的视线被自动改变为篮筐下方。随着注视点604的位置被改变，虚拟照相机的当前视线可自动旋转，以面向注视点604。虽然在本示例中，虚拟照相机的姿势(视线)被旋转，但虚拟照相机的视线可在确定虚拟照相机的位置的同时设置为面向注视点604。
因此，预先设置目标位置使得用户仅通过将虚拟照相机的位置设置为任意位置，即可立即观看目标位置。在第一输入设备10为触摸面板的情况下，教练可以通过点击选择位置，并通过双击选择注视点。
在这种情况下，在图5中的流程图的S502的处理中，CPU 201进行如下处理。
在S502中，CPU 201获得在虚拟视点图像601中选择的坐标，作为第一输入值。CPU201获得的坐标是与地面水平的平面(x-y平面)上的二维坐标，并且未获得与地面垂直的方向(z轴方向)上的坐标。CPU 201将获得的二维坐标应用于当前第一虚拟视点的坐标。换句话说，第一虚拟视点图像被平移，并且视点的高度和姿势保持不变。
在S502中，CPU 201还获得在虚拟视点图像601中选择的注视点604的坐标，作为第一输入值。CPU 201获得的坐标是与地面水平的平面(x-y平面)上的二维坐标，并且未获得与地面垂直的方向(z轴方向)上的坐标。CPU 201将第一虚拟视点设置为朝向所获得的二维坐标。换句话说，在第一虚拟视点图像中，第一虚拟视点在平摇方向旋转，以便面向注视点604，并且姿势的俯仰和侧倾保持不变。CPU 201不仅可以在平摇方向上旋转第一虚拟视点的姿势，还可以在俯仰方向上旋转第一虚拟视点的姿势，使得第一虚拟视点的姿势与地面平行。
这使得教练更容易向队员提供指示。
第二实施例
第一实施例描述了如下处理：基于预定触发，将针对虚拟视点图像402的虚拟照相机的位置和姿势反映到针对虚拟视点图像401的虚拟照相机的位置和姿势。在第二实施例中，基于预定触发，将针对虚拟视点图像402的虚拟照相机的一些参数反映到虚拟视点图像401，并将针对虚拟视点图像401的虚拟照相机的一些参数反映到针对虚拟视点图像402的虚拟照相机。
对于与第一实施例相同的配置、处理和功能使用相同的附图标记，并将省略其冗余描述。
图7是示出根据本实施例的图像处理系统1的功能配置的示例的图。图像处理装置70包括回放位置确定部301、第一视点确定部702、第一视频生成部303、第二视点确定部704和第二视频生成部305。
第一视点确定部702基于来自第一信息处理装置100的第一输入设备10的输入值、以及来自第二视点确定部704的虚拟照相机的位置和姿势的一些参数，确定虚拟照相机的参数。例如，第一视点确定部702基于来自第一输入设备10的输入值计算照相机参数，然后将从第二视点确定部704获得的虚拟照相机的视点的高度应用于计算出的照相机参数。该应用处理可以不断进行，或者可以仅在从来自第一输入设备10的输入值中检测到触发(诸如按下视点共享按钮408)时进行。对于该应用处理，本实施例稍后参照图8描述从来自第一输入设备10的输入值中检测到触发的情况。
第一视点确定部702将除了从第二视点确定部704应用的参数(视点的高度)以外的照相机参数输出到第二视频生成部305。第二视频生成部305从第二视点确定部704获得除了从第一视点确定部702获得的照相机参数以外的照相机参数，以生成虚拟视点图像。这样，即使使用HMD作为用于观看篮球场中真人大小的队员的第二显示设备50来进行虚拟现实(VR)观看时，也能防止虚拟视点位于诸如高处或地面等的非预期位置。该处理还能够维持观看者的视线高度。第一视点确定部702从第二视点确定部704获得的照相机参数不仅可以是视点高度，还可以是姿势信息(例如俯仰)。
当从来自第一输入设备10的输入值中检测到触发时，第一视点确定部702可以将虚拟照相机的一些参数重置为初始值。例如，第一视点确定部702将虚拟照相机的俯仰和侧倾重置为与地面平行，并将除重置参数之外的虚拟照相机的参数输出到第二视频生成部305。这防止了针对用作第二显示设备50的HMD上显示的虚拟视点图像的虚拟照相机的俯仰和侧倾受到教练的虚拟视点的姿势影响。这防止了VR观看者的头部姿势与虚拟照相机的姿势之间的不匹配，从而减少观看者因平衡感的不匹配而引起的VR晕动症等。
此外，第一视点确定部702可以限定对虚拟照相机的一些参数的改变。例如，第一视点确定部702可以禁止改变虚拟视点的侧倾，同时保持其与地面平行。在这种情况下，第一视点确定部702向第二视频生成部305输出除了限定参数之外的虚拟照相机的参数。这减少了VR观看者的图像与头部姿势之间的失调。限定参数不仅可以包括侧倾，还可以包括俯仰。用户界面(UI)可以显示在第一显示设备30上，使得教练能够选择要限制的参数。
第二视点确定部704具有与第一实施例类似的配置。此外，如上所述，根据本实施例的第二视点确定部704基于来自第二信息处理装置200的第二输入设备40的输入值确定虚拟照相机的参数，并将这些参数输出到第一视点确定部702。
图8是示出根据本实施例的基于预定触发相互反映针对虚拟视点图像401和虚拟视点图像402的虚拟照相机的参数的处理过程的流程图。图8中的流程图与根据第一实施例的图5中的流程图的不同之处在于，S505中的处理变换为S802，并且添加了S801中的处理。其他处理与第一实施例的处理相同。
在S801中，CPU 201基于由第二视点确定部704确定的虚拟照相机的位置和姿势的参数中的一些，改变由第一视点确定部702确定的针对第一虚拟视点图像的虚拟照相机的参数。
在S802中，CPU 201基于在S501中确定的回放位置和在S502中确定的第一虚拟视点，使用GPU 206生成第一虚拟视点图像。该步骤的处理与第一实施例的图5中的S505的处理相同。
因此，已经描述了根据本实施例的基于预定触发相互反映针对虚拟视点图像401和虚拟视点图像402的虚拟照相机的参数的处理。该处理防止将教练的非预期视点反映给队员，并且当队员观看VR内容时，减少了因队员的头部位置和姿势与虚拟照相机的位置和姿势之间的不匹配而引起的VR晕动症。
其他实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参考示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求书的范围应被赋予最广泛的解释，以涵盖所有这样的修改以及等同的结构和功能。

Claims (15)

1.一种图像处理装置，其包括：
获取单元，其被布置为，获得由多个摄像装置拍摄的多个图像；
第一视点确定单元，其被布置为，基于来自第一输入设备的输入值，生成第一虚拟照相机的照相机参数；
回放位置确定单元，其被布置为，基于来自所述第一输入设备的输入值，确定要回放的虚拟视点图像的回放位置；
第一视频生成单元，其被布置为，基于所述多个图像、所述第一虚拟照相机的照相机参数以及所述回放位置，生成第一虚拟视点视频；
第二视点确定单元，其被布置为，基于来自所述第一输入设备的输入值以及来自第二输入设备的输入值，生成第二虚拟照相机的照相机参数；以及
第二视频生成单元，其被布置为，基于所述多个图像、所述第二虚拟照相机的照相机参数以及所述回放位置，生成第二虚拟视点视频。
2.根据权利要求1所述的图像处理装置，
其中，所述第一视点确定单元基于来自所述第一输入设备的输入值，确定所述第一虚拟照相机的位置和姿势，以及
其中，所述第二视点确定单元基于来自所述第一输入设备的输入值，确定所述第二虚拟照相机的位置，并基于来自所述第二输入设备的输入值，确定所述第二虚拟照相机的姿势。
3.根据权利要求1或2所述的图像处理装置，还包括：
输出单元，其被布置为，向所述第一输入设备输出所述第一虚拟视点视频和所述第二虚拟视点视频，并向所述第二输入设备输出所述第二虚拟视点视频。
4.根据权利要求3所述的图像处理装置，其中，所述输出单元基于来自所述第一输入设备的指令，将所述第二虚拟照相机的照相机参数改变为所述第一虚拟照相机的照相机参数。
5.根据权利要求3所述的图像处理装置，其中，所述输出单元基于来自所述第一输入设备的指令，交换所述第一虚拟照相机的照相机参数和所述第二虚拟照相机的照相机参数。
6.根据权利要求3所述的图像处理装置，其中，所述输出单元基于来自所述第一输入设备的指令，改变所述第一虚拟视点视频和所述第二虚拟视点视频的回放速度。
7.根据权利要求3所述的图像处理装置，还包括：
第三视频生成单元，其被布置为，根据所述多个图像和所述回放位置，生成第三虚拟视点视频，所述第三虚拟视点视频提供根据所述多个图像所拍摄的空间的俯视图，
其中，所述第三虚拟视点视频被输出到所述第一输入设备。
8.根据权利要求7所述的图像处理装置，其中，所述第三视频生成单元被布置为，基于所述第一虚拟照相机的照相机参数和所述第二虚拟照相机的照相机参数生成所述第三虚拟视点视频，以指示所述第一虚拟照相机的位置和所述第二虚拟照相机的位置。
9.根据权利要求1或2所述的图像处理装置，
其中，所述第一视点确定单元基于来自所述第一输入设备的输入值，确定所述第一虚拟照相机的位置和姿势，以及
其中，所述第二视点确定单元基于来自所述第二输入设备的输入值，确定所述第二虚拟照相机的姿势和位置的高度，并基于来自所述第一输入设备的输入值，确定所述第二虚拟照相机的其他位置。
10.根据权利要求1或2所述的图像处理装置，
其中，所述第一输入设备包括平板终端，以及
其中，所述第二输入设备包括头戴式显示器。
11.一种图像处理方法，用于根据由多个摄像装置拍摄的多个图像生成虚拟视点视频，所述图像处理方法包括：
获取步骤，用于获得由所述多个摄像装置拍摄的多个图像；
第一视点确定步骤，用于基于来自第一输入设备的输入值，生成第一虚拟照相机的照相机参数；
回放位置确定步骤，用于基于来自所述第一输入设备的输入值，确定要回放的虚拟视点图像的回放位置；
第一视频生成步骤，用于基于所述多个图像、所述第一虚拟照相机的照相机参数以及所述回放位置，生成第一虚拟视点视频；
第二视点确定步骤，用于基于来自所述第一输入设备的输入值以及来自第二输入设备的输入值，生成第二虚拟照相机的照相机参数；以及
第二视频生成步骤，用于基于所述多个图像、所述第二虚拟照相机的照相机参数以及所述回放位置，生成第二虚拟视点视频。
12.一种包括根据权利要求1至10中的任一项所述的图像处理装置、用于接收所述第一虚拟视点视频的第一输入设备、以及用于接收所述第二虚拟视点视频的第二输入设备的系统。
13.一种计算机程序产品，其包括用于使图像处理装置执行以下步骤的指令：
第一视点确定步骤，用于基于来自第一输入设备的输入值，生成第一虚拟照相机的照相机参数；
回放位置确定步骤，用于基于来自所述第一输入设备的输入值，确定要回放的虚拟视点图像的回放位置；
第一视频生成步骤，用于基于多个图像、所述第一虚拟照相机的照相机参数以及所述回放位置，生成第一虚拟视点视频；
第二视点确定步骤，用于基于来自所述第一输入设备的输入值以及来自第二输入设备的输入值，生成第二虚拟照相机的照相机参数；以及
第二视频生成步骤，用于基于所述多个图像、所述第二虚拟照相机的照相机参数以及所述回放位置，生成第二虚拟视点视频。
14.一种计算机可读存储介质，其上存储有用于使图像处理装置执行以下步骤的指令：
第一视点确定步骤，用于基于来自第一输入设备的输入值，生成第一虚拟照相机的照相机参数；
回放位置确定步骤，用于基于来自所述第一输入设备的输入值，确定要回放的虚拟视点图像的回放位置；
第一视频生成步骤，用于基于多个图像、所述第一虚拟照相机的照相机参数以及所述回放位置，生成第一虚拟视点视频；
第二视点确定步骤，用于基于来自所述第一输入设备的输入值以及来自第二输入设备的输入值，生成第二虚拟照相机的照相机参数；以及
第二视频生成步骤，用于基于所述多个图像、所述第二虚拟照相机的照相机参数以及所述回放位置，生成第二虚拟视点视频。
15.一种计算机实现的方法，其包括：
第一视点确定步骤，用于基于来自第一输入设备的输入值，生成第一虚拟照相机的照相机参数；
回放位置确定步骤，用于基于来自所述第一输入设备的输入值，确定要回放的虚拟视点图像的回放位置；
第一视频生成步骤，用于基于多个图像、所述第一虚拟照相机的照相机参数以及所述回放位置，生成第一虚拟视点视频；
第二视点确定步骤，用于基于来自所述第一输入设备的输入值以及来自第二输入设备的输入值，生成第二虚拟照相机的照相机参数；以及
第二视频生成步骤，用于基于所述多个图像、所述第二虚拟照相机的照相机参数以及所述回放位置，生成第二虚拟视点视频。
CN202410988974.9A 2023-07-25 2024-07-23 图像处理装置、图像处理方法、系统、计算机程序产品、存储介质和计算机实现的方法 Pending CN119383447A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2023-120682 2023-07-25
JP2023120682 2023-07-25
JP2024-025121 2024-02-22
JP2024025121A JP2025018896A (ja) 2023-07-25 2024-02-22 画像処理装置、画像処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN119383447A true CN119383447A (zh) 2025-01-28

Family

ID=91959111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410988974.9A Pending CN119383447A (zh) 2023-07-25 2024-07-23 图像处理装置、图像处理方法、系统、计算机程序产品、存储介质和计算机实现的方法

Country Status (3)

Country Link
US (1) US20250037322A1 (zh)
EP (1) EP4498670A1 (zh)
CN (1) CN119383447A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240198220A1 (en) * 2022-12-16 2024-06-20 Nitikorn Waropas Enabling a coach and multiple players to interact in a virtual game session
EP4443273A1 (en) * 2023-03-31 2024-10-09 Canon Kabushiki Kaisha Display control apparatus, display control method, and program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012109719A (ja) 2010-11-16 2012-06-07 Canon Inc 映像処理装置及びその制御方法
JP2018182428A (ja) * 2017-04-06 2018-11-15 株式会社フューチャリズムワークス 映像配信装置、映像配信システム及び映像配信方法
JP7455524B2 (ja) * 2019-07-11 2024-03-26 キヤノン株式会社 情報処理装置、設定方法、及びプログラム
WO2021220894A1 (ja) * 2020-04-30 2021-11-04 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
US20250037322A1 (en) 2025-01-30
EP4498670A1 (en) 2025-01-29

Similar Documents

Publication Publication Date Title
JP7589374B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
US10401960B2 (en) Methods and systems for gaze-based control of virtual reality media content
JP2021002288A (ja) 画像処理装置、コンテンツ処理システム、および画像処理方法
US12346545B2 (en) Image display apparatus, control method and non-transitory computer-readable storage medium for generating a virtual viewpoint image
CN119383447A (zh) 图像处理装置、图像处理方法、系统、计算机程序产品、存储介质和计算机实现的方法
JP2018036955A (ja) 画像処理装置、画像処理方法及びプログラム
US11250633B2 (en) Image processing apparatus, display method, and non-transitory computer-readable storage medium, for displaying a virtual viewpoint image including an object at different points in time
JP2019139673A (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP2021192273A (ja) 情報処理装置、情報処理方法及びプログラム
US20230353717A1 (en) Image processing system, image processing method, and storage medium
JP7581019B2 (ja) 画像処理装置、画像処理方法、およびプログラム
EP3619617B1 (en) Methods, systems, and media for presenting media content previews
US20250103200A1 (en) Playback apparatus, control method, and storage medium
JP7612384B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN115686295A (zh) 图像处理设备、图像处理方法和存储介质
JP7664396B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP7664111B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
Foote et al. One-man-band: A touch screen interface for producing live multi-camera sports broadcasts
JP2024124469A (ja) 画像処理装置、画像処理方法、コンピュータプログラム
JP2025005681A (ja) 画像処理装置、画像処理方法およびプログラム
JP6621165B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
WO2019235106A1 (ja) ヒートマップ提示装置およびヒートマップ提示用プログラム
US20240153183A1 (en) Information processing device, information processing method, and program
JP2025018896A (ja) 画像処理装置、画像処理方法、およびプログラム
US20240046552A1 (en) Generation apparatus, generation method, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载