+

RU2018136879A - Способ, аппарат и поток для форматирования иммерсивного видеоизображения для традиционных и иммерсивных устройств воспроизведения - Google Patents

Способ, аппарат и поток для форматирования иммерсивного видеоизображения для традиционных и иммерсивных устройств воспроизведения Download PDF

Info

Publication number
RU2018136879A
RU2018136879A RU2018136879A RU2018136879A RU2018136879A RU 2018136879 A RU2018136879 A RU 2018136879A RU 2018136879 A RU2018136879 A RU 2018136879A RU 2018136879 A RU2018136879 A RU 2018136879A RU 2018136879 A RU2018136879 A RU 2018136879A
Authority
RU
Russia
Prior art keywords
video image
stream
display surface
syntax element
video
Prior art date
Application number
RU2018136879A
Other languages
English (en)
Other versions
RU2018136879A3 (ru
RU2733218C2 (ru
Inventor
Рено ДОРЕ
Жульен ФЛЕРО
Тьерри ТАПИ
Original Assignee
ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК filed Critical ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК
Publication of RU2018136879A3 publication Critical patent/RU2018136879A3/ru
Publication of RU2018136879A publication Critical patent/RU2018136879A/ru
Application granted granted Critical
Publication of RU2733218C2 publication Critical patent/RU2733218C2/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H04N21/2358—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages for generating different versions, e.g. for different recipient devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Circuits (AREA)

Claims (33)

1. Способ (80) формирования потока (100) из видеоизображения (20, 30), подготовленного для выпуклой поверхности отображения, способ содержит этапы, на которых:
формируют (82), по меньшей мере, одно первое видеоизображение (61, 63), захваченное из точки обзора в центре упомянутой выпуклой поверхности отображения и спроецированное на плоскую прямоугольную поверхность отображения, кадр первого видеоизображения представляет часть кадра видеоизображения (20, 30);
формируют (83) второе видеоизображение (60), причем второе видеоизображение является видеоизображением (20, 30), из которого было удалено упомянутое, по меньшей мере, одно первое видеоизображение; и
формируют (85) поток (100), содержащий первый синтаксический элемент (102, 103), относящийся, по меньшей мере, к одному первому видеоизображению (61, 63), и второй синтаксический элемент (104), относящийся к упомянутому второму видеоизображению (60).
2. Способ по п. 1, причем поток (100) дополнительно содержит третий синтаксический элемент (105), содержащий данные, представляющие описание части видеокадра упомянутого, по меньшей мере, одного первого видеоизображения.
3. Способ по п. 2, в котором упомянутые данные изменяются со временем.
4. Способ по п. 2, в котором упомянутое формирование (82), по меньшей мере, одного первого видеоизображения дополнительно содержит этап, на котором выпрямляют изображение, захваченное из упомянутой точки обзора.
5. Способ по п. 2 или 4, в котором упомянутое формирование (82), по меньшей мере, одного первого видеоизображения дополнительно содержит этап, на котором переориентируют упомянутую поверхность отображения согласно упомянутым данным.
6. Устройство, сконфигурированное, чтобы формировать поток (100) из видеоизображения (20, 30), подготовленного для выпуклой поверхности отображения, устройство содержит
генератор видеоизображения, чтобы формировать (82), по меньшей мере, одно первое видеоизображение (61, 63), захваченное из точки обзора в центре упомянутой выпуклой поверхности отображения и спроецированное на плоскую прямоугольную поверхность отображения, кадр первого видеоизображения представляет часть кадра видеоизображения (20, 30);
генератор видеоизображения, чтобы формировать (83) второе видеоизображение из иммерсивного видеоизображения (20, 30), из которого упомянутая, по меньшей мере, одна часть была удалена; и
генератор потока, чтобы формировать (85) поток (100), содержащий первый синтаксический элемент (102, 103), относящийся, по меньшей мере, к одному первому видеоизображению, и второй синтаксический элемент (104), относящийся к упомянутому второму видеоизображению.
7. Устройство по п. 6, в котором генератор потока дополнительно сконфигурирован, чтобы добавлять третий синтаксический элемент (105) в поток (100), причем упомянутый третий синтаксический элемент относится к данным, представляющим описание части видеокадра упомянутого, по меньшей мере, одного первого видеоизображения.
8. Устройство по п. 7, в котором упомянутые данные изменяются со временем.
9. Поток (100), несущий данные, представляющие видеоизображение (20, 30), подготовленное для выпуклой поверхности отображения, данные содержат:
первый синтаксический элемент (102, 103), относящийся, по меньшей мере, к одному первому видеоизображению (61, 63), захваченному из точки обзора в центре упомянутой выпуклой поверхности отображения и спроецированному на плоскую прямоугольную поверхность отображения, кадр первого видеоизображения представляет часть кадра видеоизображения (20, 30); и
второй синтаксический элемент (104), относящийся ко второму видеоизображению (60), второе видеоизображение является видеоизображением, из которого упомянутое, по меньшей мере, одно первое видеоизображение было удалено;
10. Поток по п. 9, дополнительно содержащий третий синтаксический элемент (105), относящийся к данным, представляющим описание части видеокадра упомянутого, по меньшей мере, одного первого видеоизображения.
11. Поток по п. 10, в котором упомянутые данные изменяются со временем.
12. Способ (90) составления видеоизображения для устройства воспроизведения из потока (100), несущего данные, представляющие иммерсивное видеоизображение (20, 30), подготовленное для выпуклой поверхности отображения, способ содержит этапы, на которых:
когда устройство является устройством воспроизведения иммерсивного видеоизображения:
получают из первого синтаксического элемента (102, 103) потока, по меньшей мере, одно первое видеоизображение (61, 63), захваченное из точки обзора в центре упомянутой выпуклой поверхности отображения и спроецированное на плоскую прямоугольную поверхность отображения, кадр первого видеоизображения представляет часть кадра иммерсивного видеоизображения (20, 30);
получают второе видеоизображение (104) из второго синтаксического элемента потока, упомянутое второе видеоизображение является иммерсивным видеоизображением (20, 30), из которого было удалено упомянутое, по меньшей мере, одно первое видеоизображение; и
составляют видеоизображение посредством наложения упомянутого, по меньшей мере, одного первого видеоизображения на второе видеоизображение.
13. Способ по п. 12, в котором упомянутый поток дополнительно содержит третий синтаксический элемент (105), содержащий данные, представляющие описание части видеокадра упомянутого, по меньшей мере, одного первого видеоизображения.
14. Способ по п. 13, в котором составление видеоизображения содержит этапы, на которых искажают, масштабируют и транслируют каждое первое видеоизображение согласно описанию части, ассоциированной с упомянутым первым видеоизображением для наложения на второе видеоизображение.
15. Устройство, сконфигурированное, чтобы составлять видеоизображение из потока (100), несущего данные, представляющие иммерсивное видеоизображение (20, 30), подготовленное для выпуклой поверхности отображения, для устройства воспроизведения, устройство содержит память, ассоциированную с процессором, сконфигурированным, чтобы:
когда устройство является устройством воспроизведения иммерсивного видеоизображения,
получать из первого синтаксического элемента (102, 103) потока, по меньшей мере, одно первое видеоизображение (61, 63), захваченное из точки обзора в центре упомянутой выпуклой поверхности отображения и спроецированное на плоскую прямоугольную поверхность отображения, кадр первого видеоизображения представляет часть кадра иммерсивного видеоизображения (20, 30); и
получать второе видеоизображение (60) из второго синтаксического элемента потока (104), упомянутое второе видеоизображение является иммерсивным видеоизображением (20, 30), из которого было удалено упомянутое, по меньшей мере, одно первое видеоизображение; и
составлять видеоизображение посредством наложения каждого из упомянутого, по меньшей мере, одного первого видеоизображения на второе видеоизображение.
16. Устройство по п. 15, в котором упомянутый поток дополнительно содержит третий синтаксический элемент (105), содержащий данные, представляющие описание части видеокадра упомянутой, по меньшей мере, одной части.
17. Устройство по п. 16, в котором составление видеоизображения содержит искажение, масштабирование и транслирование каждого первого видеоизображения (61, 63) согласно описанию части, ассоциированной с упомянутым первым видеоизображением, для наложения на второе видеоизображение.
RU2018136879A 2016-03-22 2017-03-14 Способ, аппарат и поток для форматирования иммерсивного видеоизображения для традиционных и иммерсивных устройств воспроизведения RU2733218C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16305321.8A EP3223524A1 (en) 2016-03-22 2016-03-22 Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
EP16305321.8 2016-03-22
PCT/EP2017/055952 WO2017162479A1 (en) 2016-03-22 2017-03-14 Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices

Publications (3)

Publication Number Publication Date
RU2018136879A3 RU2018136879A3 (ru) 2020-04-22
RU2018136879A true RU2018136879A (ru) 2020-04-22
RU2733218C2 RU2733218C2 (ru) 2020-09-30

Family

ID=55646505

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018136879A RU2733218C2 (ru) 2016-03-22 2017-03-14 Способ, аппарат и поток для форматирования иммерсивного видеоизображения для традиционных и иммерсивных устройств воспроизведения

Country Status (11)

Country Link
US (1) US10958950B2 (ru)
EP (2) EP3223524A1 (ru)
JP (1) JP7177034B2 (ru)
KR (1) KR102308604B1 (ru)
CN (1) CN109314791B (ru)
BR (1) BR112018069211A2 (ru)
CA (1) CA3018600C (ru)
MX (1) MX388973B (ru)
RU (1) RU2733218C2 (ru)
TW (1) TWI735552B (ru)
WO (1) WO2017162479A1 (ru)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3023986A1 (en) 2016-05-13 2017-11-16 Interdigital Vc Holdings, Inc. Method and apparatus for video coding with adaptive clipping
EP3249928A1 (en) * 2016-05-23 2017-11-29 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
JP7127539B2 (ja) * 2016-08-05 2022-08-30 ソニーグループ株式会社 画像処理装置および画像処理方法
EP3297282A1 (en) 2016-09-15 2018-03-21 Thomson Licensing Method and apparatus for video coding with adaptive clipping
EP3724858A4 (en) 2017-12-14 2021-01-13 Samsung Electronics Co., Ltd. IMMERSIVE DATA MANAGEMENT PROCESS AND APPARATUS
CN110910485B (zh) * 2019-12-16 2023-07-25 山东东艺数字科技有限公司 一种沉浸式cave影像制作方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7336299B2 (en) * 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
JP2005333552A (ja) 2004-05-21 2005-12-02 Viewplus Inc パノラマ映像配信システム
WO2008047054A2 (fr) 2006-10-18 2008-04-24 France Telecom Procedes et dispositifs pour optimiser les ressources necessaires a la presentation de contenus multimedias
US7982733B2 (en) 2007-01-05 2011-07-19 Qualcomm Incorporated Rendering 3D video images on a stereo-enabled display
CN101453639B (zh) 2007-11-29 2012-05-30 展讯通信（上海）有限公司 支持roi区域的多路视频流的编码、解码方法和系统
WO2010075726A1 (zh) 2008-12-30 2010-07-08 华为终端有限公司 立体全景视频流生成方法、设备及视频会议方法和设备
WO2010107174A2 (en) * 2009-03-19 2010-09-23 Lg Electronics Inc. Method for processing three dimensional (3d) video signal and digital broadcast receiver for performing the processing method
BRPI1004002A2 (pt) 2009-05-19 2018-06-19 Panasonic Corp meio de gravação, dispositivo de reprodução, dispositivo de codificação, circuito integrado e dispositivo de saída de reprodução
US8537200B2 (en) * 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
CN101771878B (zh) 2010-01-14 2011-05-25 广西大学 面向全景视频编码的自适应选择全局运动估计方法
US9491432B2 (en) * 2010-01-27 2016-11-08 Mediatek Inc. Video processing apparatus for generating video output satisfying display capability of display device according to video input and related method thereof
KR101694821B1 (ko) * 2010-01-28 2017-01-11 삼성전자주식회사 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치
WO2012017643A1 (ja) 2010-08-06 2012-02-09 パナソニック株式会社 符号化方法、表示装置、及び復号方法
US20120092348A1 (en) * 2010-10-14 2012-04-19 Immersive Media Company Semi-automatic navigation with an immersive image
JP2012199897A (ja) 2011-03-04 2012-10-18 Sony Corp 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
US8600194B2 (en) * 2011-05-17 2013-12-03 Apple Inc. Positional sensor-assisted image registration for panoramic photography
EP2530642A1 (en) 2011-05-31 2012-12-05 Thomson Licensing Method of cropping a 3D content
PL2719190T3 (pl) 2011-06-08 2018-02-28 Koninklijke Kpn N.V. Dostarczanie treści segmentowanej przestrzennie
KR101282955B1 (ko) 2011-08-31 2013-07-17 한국과학기술연구원 실시간 고해상도 파노라마 영상 스트리밍 시스템 및 방법
KR101668930B1 (ko) 2011-11-14 2016-10-24 인텔 코포레이션 비디오 분석 인코딩
US9516225B2 (en) 2011-12-02 2016-12-06 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting
WO2014005301A1 (en) 2012-07-04 2014-01-09 Intel Corporation A region of interest based framework for 3d video coding
EP2824883A1 (en) 2013-07-12 2015-01-14 Alcatel Lucent A video client and video server for panoramic video consumption
WO2015009676A1 (en) * 2013-07-15 2015-01-22 Sony Corporation Extensions of motion-constrained tile sets sei message for interactivity
CN104680505A (zh) * 2013-11-29 2015-06-03 陆婷 一种鱼眼镜头校正的全景视图算法
US20150373341A1 (en) * 2014-06-23 2015-12-24 Cisco Technology, Inc. Techniques for Interactive Region-Based Scalability
EP3162075B1 (en) * 2014-06-27 2020-04-08 Koninklijke KPN N.V. Hevc-tiled video streaming
US9883101B1 (en) 2014-07-23 2018-01-30 Hoyos Integrity Corporation Providing a real-time via a wireless communication channel associated with a panoramic video capture device
CN104539893B (zh) 2014-12-23 2017-12-01 福建星网视易信息系统有限公司 实现虚拟云台监控效果的方法、装置及系统
US9843725B2 (en) * 2015-12-29 2017-12-12 VideoStitch Inc. Omnidirectional camera with multiple processors and/or multiple sensors connected to each processor

Also Published As

Publication number Publication date
CN109314791B (zh) 2021-07-20
EP3223524A1 (en) 2017-09-27
TW201803358A (zh) 2018-01-16
US10958950B2 (en) 2021-03-23
EP3434021B1 (en) 2021-05-05
JP2019514313A (ja) 2019-05-30
WO2017162479A1 (en) 2017-09-28
BR112018069211A2 (pt) 2019-01-22
MX2018011498A (es) 2019-07-04
KR102308604B1 (ko) 2021-10-06
KR20190029505A (ko) 2019-03-20
TWI735552B (zh) 2021-08-11
RU2018136879A3 (ru) 2020-04-22
MX388973B (es) 2025-03-20
JP7177034B2 (ja) 2022-11-22
US20190104330A1 (en) 2019-04-04
CA3018600C (en) 2022-07-12
CA3018600A1 (en) 2017-09-28
RU2733218C2 (ru) 2020-09-30
EP3434021A1 (en) 2019-01-30
CN109314791A (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
RU2018136879A (ru) Способ, аппарат и поток для форматирования иммерсивного видеоизображения для традиционных и иммерсивных устройств воспроизведения
US9619693B2 (en) Display system, display device, projection device and program
CN104394324A (zh) 特效视频生成方法及装置
US10863212B2 (en) Method and system for fusing user specific content into a video production
JP6012342B2 (ja) 再生装置、再生装置の制御方法
RU2010138614A (ru) Визуализация трансляций камер на карте
US20160212474A1 (en) Automated synchronization of a supplemental audio track with playback of a primary audiovisual presentation
CN103607568A (zh) 立体街景视频投影方法及系统
JP2019514313A5 (ru)
JP2016053788A (ja) 情報端末装置、情報処理方法、システムおよびプログラム
CN110121105B (zh) 剪辑视频生成方法及装置
CN112954459A (zh) 一种视频数据的处理方法和装置
JP2015043066A (ja) 画像投影装置
CN109672837A (zh) 航拍设备实时视频录制方法、移动终端和计算机存储介质
CN105282424A (zh) 移动终端的异地同步合拍方法及移动终端
JP2004228824A (ja) スタックプロジェクション装置及びその調整方法
JP2013164528A5 (ru)
CN104104901B (zh) 一种数据播放方法及装置
JP5972462B2 (ja) 画像生成方法
CN110648299A (zh) 图像处理方法、图像处理装置和计算机可读存储介质
CN108156512B (zh) 一种视频播放控制方法及装置
JP2017028430A (ja) 投影方法、投影装置及び投影プログラム
CN104301772A (zh) 一种在视频中叠加图片的方法及装置
JP2007233647A (ja) プレゼンテーション用データ処理装置
CN104853245A (zh) 一种电影预览方法和装置
点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载