WO2018155703A1 - 映像配信システム、端末装置及び映像データ配信装置 - Google Patents
映像配信システム、端末装置及び映像データ配信装置 Download PDFInfo
- Publication number
- WO2018155703A1 WO2018155703A1 PCT/JP2018/007175 JP2018007175W WO2018155703A1 WO 2018155703 A1 WO2018155703 A1 WO 2018155703A1 JP 2018007175 W JP2018007175 W JP 2018007175W WO 2018155703 A1 WO2018155703 A1 WO 2018155703A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- video data
- video
- terminal device
- unit
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
- H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25808—Management of client data
- H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25808—Management of client data
- H04N21/25833—Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
- H04N21/25875—Management of end-user data involving end-user authentication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
- H04N2013/405—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional
Definitions
- the present invention relates to a video distribution system, a terminal device, and a video data distribution device. Embodiments of the present invention also relate to an information distribution device and a terminal device.
- This application claims priority based on Japanese Patent Application No. 2017-35173 filed in Japan on February 27, 2017 and Japanese Patent Application No. 2017-69757 filed in Japan on March 31, 2017, and the contents thereof. Is hereby incorporated by reference.
- Patent Document 1 a technique for distributing large-capacity content such as a moving image to a terminal device is known (see, for example, Patent Document 1). Further, a technique for generating a three-dimensional model of an object included in the image from a two-dimensional image is known (see, for example, Patent Document 2 and Non-Patent Document 1).
- This high-quality moving image is, for example, a 4K video image having 2160 vertical pixels and 3840 horizontal pixels.
- the traffic flowing through the communication line for distribution increases, and problems such as information distribution delay and information loss may occur.
- spectators who are watching competition may not be able to see the movements of all players. In this case, there is a desire to distribute a high-quality image obtained by capturing an image of a player designated by the audience on a terminal device owned by the audience.
- the present invention has been made in view of the above problems, and an object thereof is to provide a video distribution system, a terminal device, and a video data distribution device capable of distributing large-capacity content to a terminal device.
- An object of one embodiment of the present invention is to provide an information distribution device and a terminal device capable of distributing content in real time.
- a video distribution system is a video distribution system including a terminal device and a video data distribution device that distributes video data, and the terminal device has already been distributed to its own device. And an identification information output unit that outputs identification information indicating first video data generated from an original video to the video data distribution device, and the first video data is a different video, A video acquisition unit that acquires second video data generated from the original video from the video data distribution device, wherein the video data distribution device acquires the identification information output from the terminal device; An information acquisition unit; and a video output unit that outputs the second video data to the terminal device based on the identification information acquired by the identification information acquisition unit.
- a video data distribution device includes an identification information acquisition unit that acquires video data that has been distributed to a terminal device and that indicates identification information indicating first video data generated from an original video; Based on the identification information acquired by the identification information acquisition unit, second video data that is different from the first video data and is generated from the original video is output to the terminal device A video output unit.
- the video data distribution device further includes a setting information acquisition unit that acquires setting information indicating the setting of the second video data in the video data distribution device according to (2).
- the video output unit outputs the second video data corresponding to the setting information acquired by the setting information acquisition unit.
- the setting information includes a start position of presentation of the second video data in the original video. Presentation start position information is included, and the video output unit outputs the second video data after the start position.
- the setting information includes viewpoint information indicating a video viewpoint
- the video output unit outputs, as the second video data, third video data that is generated based on the original video and the viewpoint information and that is a video corresponding to the viewpoint indicated by the viewpoint information.
- the video data distribution apparatus is the video data distribution apparatus according to any one of (2) to (5), wherein the second video data is the first video data. Video data with higher image quality.
- the terminal device outputs identification information indicating the first video data generated from the original video to the video distribution device, which is video data distributed to the device itself.
- a video acquisition unit that acquires second video data that is different from the first video data and that is generated from the original video based on the identification information, from the video distribution device.
- a terminal device is the terminal device according to (7), wherein the setting information generation unit generates setting information indicating the setting of the second video data, and the setting information A setting information output unit that outputs the setting information generated by the generation unit; and the video acquisition unit acquires the second video data according to the setting information generated by the setting information generation unit.
- a terminal device is the terminal device according to (8), and generates presentation start position information indicating a start position of presentation of the second video data in the original video.
- a presentation start position information generation unit; and the setting information generation unit generates the setting information based on the presentation start position information generated by the presentation start position information generation unit, and the video acquisition unit includes the start The second video data after the position is acquired.
- a terminal device is the terminal device according to (9), further including a video presentation unit that presents video data to the device, and the video presentation unit includes the video presentation unit.
- the presentation start position information is generated while the unit presents the first video data
- the first video data being presented is displayed after the presentation position of the data indicated by the presentation start position information.
- the start position indicated by the presentation start position information is the presentation position of the first video data being presented by the video presentation unit.
- a terminal device is the terminal device according to any one of (8) to (10), further including a viewpoint information generation unit that generates viewpoint information indicating a video viewpoint.
- the setting information generation unit generates the setting information further based on the viewpoint information generated by the viewpoint information generation unit, and the video acquisition unit acquires the second video data corresponding to the viewpoint information To do.
- a terminal device is the terminal device according to any one of (7) to (11) above, and a payment unit that performs payment related to the second video data;
- a payment information output unit that outputs payment information indicating a result of payment by the payment unit;
- a terminal device is the terminal device according to any one of (7) to (12), wherein the video acquisition unit streams the second video data. Obtained as video data.
- a video distribution method is a video distribution method using a video data distribution device that distributes video data, and the video data distribution device is stored in the terminal device from the terminal device. Video data that is identification information indicating first video data generated from an original video, and that is different from the first video data based on the identification information acquired by the identification information acquisition unit Then, the second video data generated from the original video is distributed to the terminal device.
- An information distribution device includes a video data acquisition unit that acquires video data, and a target image included in the video data based on the video data acquired by the video data acquisition unit. It shows the communication quality between the motion information generating unit that generates the motion information indicating the motion of the model obtained by processing for each model, and the performance information of the terminal device or the terminal device to which the motion information is distributed. Based on the terminal information acquisition unit that acquires communication quality information as terminal information and the terminal information acquired by the terminal information acquisition unit, motion information that adjusts the information amount of the motion information generated by the motion information generation unit An amount adjustment unit; and a distribution unit that distributes the information amount-adjusted motion information adjusted by the motion information amount adjustment unit to the terminal device.
- the information distribution apparatus in the information distribution apparatus according to (15), acquires adjustment degree information indicating a degree of adjustment of the information amount requested by the terminal apparatus from the terminal apparatus.
- the movement information amount adjustment unit further includes, based on the adjustment degree information acquired by the adjustment degree information acquisition unit, the information amount of the motion information generated by the movement information generation unit. Adjust.
- the information distribution device is the information distribution device according to (16), wherein the model includes a plurality of elements and a joint connecting the elements, and the motion
- the information amount adjustment unit adjusts the information amount of the motion information generated by the motion information generation unit by adjusting the number of elements included in the model.
- An information distribution device is the information distribution device according to any one of (15) to (17), further including a target image information acquisition unit that acquires information about the target image.
- the distribution unit distributes information about the target image acquired by the target image information acquisition unit to the terminal device together with the motion information after adjusting the information amount of the target image.
- the information on the target image is information indicating an attribute of the model to be distributed.
- the information distribution device is the information distribution device according to any one of (15) to (19), wherein the motion information distribution acquires a motion information distribution request output by the terminal device.
- the motion information stored in the motion information storage unit is distributed to the terminal device that has output the motion information distribution request.
- the information distribution device is the information distribution device according to (20), wherein the distribution unit is configured to adjust the amount of information to the terminal device that has output the motion information distribution request.
- the motion information stored in the motion information storage unit is distributed to the terminal device.
- the terminal device transmits terminal information that transmits performance information indicating the performance of the terminal device or communication quality information indicating communication quality with the information distribution device to the information distribution device as terminal information. And information generated by the information distribution apparatus based on the terminal information, and indicating motion of a model obtained by performing image processing on a target image included in video data, from the information distribution apparatus Based on the received motion information receiving unit, the state acquiring unit for acquiring the state of the terminal device, the motion information received by the motion information receiving unit, and the state acquired by the state acquiring unit A moving image generating unit that generates a moving image of the model corresponding to the image, and a display unit that displays an image including the moving image generated by the moving image generating unit.
- the terminal device is the terminal device according to (22), in which the state acquisition unit acquires the position of the terminal device as the state, and the moving image generation unit The moving image corresponding to the position acquired by the state acquisition unit is generated.
- the state acquisition unit acquires an instructed viewpoint position as the state, and generates the moving image
- the unit generates the moving image according to the viewpoint position acquired by the state acquisition unit.
- the terminal device is the terminal device according to (22) to (24), wherein the state acquisition unit acquires the brightness around the terminal device as the state, The moving image generation unit generates the moving image according to the brightness acquired by the state acquisition unit.
- the present invention it is possible to provide a video distribution system terminal device and a video data distribution device capable of distributing large-capacity content to a terminal device.
- FIG. 1 is a diagram illustrating an example of an overview of a video distribution system 100 according to the first embodiment.
- the video distribution system 100 includes a video data distribution device 3.
- the video data distribution device 3 is connected to the terminal device 2 via the network NW.
- the video data distribution device 3 distributes, to the terminal device 2, high-quality video data HM obtained by performing image processing on an original video that is video data captured by the imaging device.
- the high-quality video data HM is an example of second video data.
- the original video will be described as a video obtained by capturing a sports game.
- the terminal device 2 is, for example, a smartphone or a tablet terminal, and includes a display unit 21 and an operation unit 22.
- the operation unit 22 includes a touch panel, for example, and is operated by a user of the terminal device 2.
- the display unit 21 includes a liquid crystal display, for example, and displays various images.
- the image displayed on the display unit 21 includes an image generated by the terminal device 2 based on information distributed from the video data distribution device 3.
- the terminal device 2 stores low-quality video data LM in advance.
- the low-quality video data LM is video data that has been distributed to the terminal device 2 and is generated from the original video.
- the low image quality video data LM is an example of first video data.
- the low-quality video data LM is not limited to video data in which the image quality of the high-quality video data HM is reduced.
- the low image quality video data LM may be video data generated from the original video.
- the low-quality video data LM may be video data generated by the terminal device 2 based on data generated from the original video by the video data distribution device 3.
- the low-quality video data LM is video data suitable for the processing speed of the terminal device 2.
- the low-quality video data LM includes, for example, a CG video generated from the original video.
- This CG video is composed of, for example, a combination of a large number of polygons (for example, polygons) generated based on the original video, and is further displayed with shading processing based on the direction of light rays and texture mapping of the polygon surface. It may be a video.
- a moving image constituted by this polygon is also referred to as a polygon moving image.
- the polygon included in the polygon moving image is generated by performing image processing on the player image captured in the original video OM. Specifically, it is based on the model information obtained by modeling the player's image by calculating the player's skeleton, center of gravity position, etc. by known means.
- the terminal device 2 generates a polygon moving image by giving motion information to the model information.
- the motion information is information generated by image processing of a player image captured in the original video OM, for example, and is distributed to the terminal device 2 in advance together with model information.
- the low quality video data LM is video data in a form suitable for presentation by the terminal device 2.
- the low-quality video data LM is the polygon moving image data described above
- the high-quality video data HM data is data in a normal video format.
- FIG. 2 is a diagram illustrating an example of a functional configuration of the video distribution system 100 according to the present embodiment.
- the terminal device 2 includes a storage unit 23 and a control unit 20 in addition to the display unit 21 and the operation unit 22 described above.
- the storage unit 23 is configured by a nonvolatile semiconductor memory or the like, and stores the above-described low image quality video data LM.
- the control unit 20 includes, for example, a CPU, and performs various calculations and information exchange.
- the control unit 20 includes a video list generation unit 201, a presentation unit 202, an identification information generation unit 203, an identification information output unit 204, and a video acquisition unit 205 as functional units.
- the control unit 20 detects a user operation on the operation unit 22.
- the video list generation unit 201 generates a video list.
- the video list is a list of titles and thumbnail images of the low-quality video data LM stored in the storage unit 23.
- the video list generation unit 201 causes the display unit 21 to display this video list.
- the user designates the high-quality video data HM desired to be acquired by selecting the low-quality video data LM from the video list.
- the video list generation unit 201 detects a user's selection operation.
- the video list generation unit 201 acquires low-quality video data LM selected by the user from the storage unit 23.
- the video list generation unit 201 supplies the low-quality video data LM selected by the user to the presentation unit 202.
- the video list generation unit 201 supplies the low-quality video data LM selected by the user to the identification information generation unit 203.
- the presentation unit 202 acquires the low-quality video data LM selected by the user from the video list generation unit 201.
- the presentation unit 202 causes the display unit 21 to display the low-quality video data LM acquired from the video list generation unit 201.
- the identification information generation unit 203 acquires the low-quality video data LM selected by the user from the video list generation unit 201.
- the identification information generation unit 203 generates identification information indicating the low-quality video data LM selected by the user. This identification information is data included in advance in the low-quality video data LM. Specifically, the identification information is generated based on the file name of the low-quality video data LM, attribute information of the low-quality video data LM, and the like.
- the identification information generation unit 203 supplies the generated identification information to the identification information output unit 204.
- the identification information output unit 204 acquires identification information from the identification information generation unit 203.
- the identification information output unit 204 supplies the identification information acquired from the identification information generation unit 203 to the identification information acquisition unit 301.
- the video acquisition unit 205 acquires high-quality video data HM corresponding to the low-quality video data LM selected by the user from the video data distribution device 3.
- the video data distribution device 3 includes a control unit 30 and a storage unit 31.
- the storage unit 31 is configured by a nonvolatile memory such as a hard disk drive or a ROM (Read-Only-memory).
- the control unit 30 includes, for example, a CPU, and performs various calculations and information exchange.
- the control unit 30 includes an identification information acquisition unit 301 and a video output unit 302 as functional units.
- the identification information acquisition unit 301 acquires the identification information output from the terminal device 2. This identification information is information indicating the low-quality video data LM selected by the user who operates the terminal device 2 as described above.
- the identification information acquisition unit 301 supplies the identification information acquired from the terminal device 2 to the video output unit 302.
- the video output unit 302 outputs the high-quality video data HM to the terminal device 2 based on the identification information acquired by the identification information acquisition unit 301.
- the high-quality video data HM is generated from the original video of the low-quality video data LM selected by the user.
- the high-quality video data HM is a video different from the low-quality video data LM selected by the user.
- Different videos are, for example, videos with different image quality.
- the high-quality video data HM is video data with higher image quality than the low-quality video data LM.
- the video output unit 302 based on the identification information list SIL stored in the storage unit 31 and the identification information acquired from the identification information acquisition unit 301, the high-quality video data HM corresponding to the low-quality video data LM selected by the user. To get.
- the video output unit 302 outputs the high-quality video data HM corresponding to the acquired low-quality video data LM selected by the user to the video acquisition unit 205.
- FIG. 3 is a diagram illustrating an example of the identification information list SIL.
- the identification information list SIL is a list in a state in which the identification information SI, the low-quality video data LM, the high-quality video data HM, and the original video OM are associated with each other.
- the identification information list SIL includes an identification information list SIL1 and an identification information list SIL2.
- the identification information list SIL1 includes “identification information 1” as identification information SI, “low quality video data 1” as low quality video data LM, “high quality video data 1” as high quality video data HM, and original video OM.
- the identification information list SIL2 is different from the identification information list SIL in “identification information 2” as the identification information SI, “low quality video data 2” as the low quality video data LM, and “high quality” as the high quality video data HM.
- This is information in a state in which the video data 2 ”is associated with“ original video data 2 ”as the original video OM.
- the video output unit 302 uses the identification information for identifying the low-quality video data LM selected by the user and the identification information SI included in the identification information list SIL, so that the video output unit 302 corresponds to the high-quality video data LM selected by the user.
- the image quality video data HM is selected. Specifically, when the identification information for identifying the low-quality video data LM selected by the user indicates “identification information 2”, the video output unit 302 outputs the high-quality video that outputs “high-quality video data 2”. Obtained from the storage unit 31 as data HM.
- FIG. 4 is a diagram illustrating an example of the operation of the video distribution system 100 according to the present embodiment.
- the video list generation unit 201 generates a video list.
- the video list generation unit 201 detects an operation in which the user selects the low-quality video data LM from the video list.
- the video list generation unit 201 acquires low-quality video data LM selected by the user from the storage unit 23.
- the video list generation unit 201 supplies the low-quality video data LM selected by the user to the identification information generation unit 203.
- the identification information generation unit 203 acquires the low-quality video data LM selected by the user from the video list generation unit 201.
- the identification information generation unit 203 generates identification information indicating the low image quality video data LM acquired from the video list generation unit 201.
- the identification information generation unit 203 supplies identification information indicating the generated low-quality video data LM to the identification information output unit 204.
- the identification information output unit 204 acquires identification information indicating the low-quality video data LM from the identification information generation unit 203.
- the identification information output unit 204 outputs identification information SI indicating the low-quality video data LM acquired from the identification information generation unit 203 to the identification information acquisition unit 301.
- the video data distribution device 3 receives the identification information from the terminal device 2.
- the identification information acquisition unit 301 acquires identification information indicating the low-quality video data LM from the identification information generation unit 203.
- the identification information acquisition unit 301 supplies the identification information SI acquired from the identification information generation unit 203 to the video output unit 302.
- the video data distribution device 3 transmits the high-quality video data HM indicated by the identification information SI acquired from the terminal device 2.
- the video output unit 302 acquires identification information SI indicating the low-quality video data LM from the identification information acquisition unit 301.
- the video output unit 302 acquires the high-quality video data HM corresponding to the identification information SI indicating the low-quality video data LM acquired from the identification information acquisition unit 301 from the storage unit 31.
- the video output unit 302 outputs the high-quality video data HM acquired from the storage unit 31 to the video acquisition unit 205.
- Step S110 The terminal device 2 receives the high-quality video data from the video data distribution device 3. Specifically, the video acquisition unit 205 acquires high-quality video data HM from the video output unit 302.
- the video distribution system 100 distributes the high-quality video data HM corresponding to the low-quality video data LM selected by the terminal device 2 to the terminal device 2.
- the low-quality video data LM selected by the terminal device 2 is video data having a smaller amount of data than the high-quality video data HM.
- the low quality video data LM is low quality video data LM selected by the user. Therefore, the video distribution system 100 presents video data with a small amount of data to the user to select desired high-quality video data HM. Thereby, the video distribution system 100 can distribute the high-quality video data corresponding to the selected video data with a small amount of data to the terminal device 2. Therefore, according to the video distribution system 100 of the present embodiment, it is possible to distribute large-capacity content to the terminal device.
- the high-quality video data HM may be a video generated from the original video OM.
- the high-quality video data HM may be video data with better sound quality than the low-quality video data LM.
- the high-quality video data HM may be video data having a lower video compression rate than the low-quality video data LM.
- the high-quality video data HM may be an image having a different vertical and horizontal pixel size than the low-quality video data LM.
- the high-quality video data HM may be a CG (computer graphics) video generated based on the original video OM. Further, the high-quality video data HM may be the original video OM.
- the video data distribution device 3 has been described with respect to the case where the high-quality video data HM is stored in the storage unit 31 in advance, but is not limited thereto.
- the video data distribution device 3 may acquire the high-quality video data HM from another device, for example, a server device that generates the high-quality video data HM from the original video OM.
- the video data distribution device 3 may generate the high-quality video data HM in the video data distribution device 3 after receiving the identification information SI from the terminal device 2.
- the video output unit 302 performs image processing such as compression on the original video OM corresponding to the identification information acquired from the identification information acquisition unit 301 to generate high-quality video data HM, and the video acquisition unit 205 Output.
- the low-quality video data LM may be a polygon video generated by the terminal device 2 as described above. In this case, the low-quality video data LM need not be stored in the storage unit 23 in advance.
- the terminal device 2 generates the identification information SI based on the model information and the motion information that are acquired in advance from the video data distribution device 3 and stored in the storage unit 23 and used to generate the polygonal moving image.
- the data used for generating the polygonal moving image has a smaller amount of data than the high-quality video data HM.
- the terminal device 2 can store a large amount of video data in its own device. Further, the terminal device 2 can receive the high-quality video data HM based on the polygon moving image.
- FIG. 5 is a diagram illustrating an example of a functional configuration of the video distribution system 100a according to the second embodiment.
- the video distribution system 100a is different from the first embodiment described above in that the terminal device 2a has a function of generating setting information indicating the setting of the high-quality video data HM to be acquired.
- Each function will be described below.
- symbol is attached
- the control unit 20a includes a setting information generation unit 208, a presentation start position information generation unit 206, a setting information output unit 207, and a presentation unit 202a as functional units.
- the setting information generation unit 208 generates setting information indicating the setting of the high-quality video data HM.
- the presentation start position information generation unit 206 generates presentation start position information indicating the start position of presentation of the high-quality video data HM in the original video data OM.
- the start position is a time for starting presentation in the total presentation time of the high-quality video data HM.
- the setting information generation unit 208 generates setting information including the presentation start position information generated by the presentation start position information generation unit 206.
- the setting information output unit 207 outputs the setting information to the identification information generation unit 203.
- the video acquisition unit 205 acquires high-quality video data HM after the start position.
- the presentation unit 202a presents the video data on the display unit 21.
- the control unit 30a includes the setting information acquisition unit 303 as its function unit.
- the setting information acquisition unit 303 acquires setting information from the setting information output unit 207.
- the setting information acquisition unit 303 supplies the setting information acquired from the setting information output unit 207 to the video output unit 302.
- the video output unit 302 outputs the high-quality video data HM corresponding to the setting information acquired by the setting information acquisition unit 303 to the video acquisition unit 205.
- the video output unit 302 acquires high-quality video data HM corresponding to the identification information SI and the setting information described above from the storage unit 31.
- the video output unit 302 outputs the high-quality video data HM corresponding to the identification information SI acquired from the storage unit 31 and the setting information to the video acquisition unit 205.
- FIG. 6 is a diagram illustrating an example of the setting information MSI.
- the setting information MSI includes information on the image quality, sound quality, start position, and end position of the image of the high-quality image data HM.
- the end position is a time for ending the presentation in the total presentation time of the high-quality video data HM.
- FIG. 7A and 7B are diagrams illustrating an example of a screen display used for generating presentation start position information displayed on the display unit 21.
- FIG. 7A and 7B are diagrams illustrating an example of a screen display used for generating presentation start position information displayed on the display unit 21.
- FIG. 7A is a diagram illustrating an example of the low-quality video data LM selected by the user presented on the display unit 21.
- the image UI1 illustrated in FIG. 7A includes a presentation unit MSP that presents video data, a time axis TL that indicates a presentation position during presentation of the video data, and a video data switching button SB.
- the presentation unit MSP shown in FIG. 7A the low-quality video data LM selected by the user is displayed.
- the low-quality video data LM is a video of a game at a stadium.
- “01:00:00” which is the total presentation time of the low-quality video data LM selected by the user
- “00:48:00” is displayed as the presenting position currently being presented. This indicates that the video at the 48-minute position is displayed in the video data having a total presentation time of 1 hour.
- the presentation start position information generation unit 206 that has detected this touch operation has the presentation start position “48:00” and the presentation end position “01:00:00”. Presentation start position information is generated.
- the video data distribution device 3a that acquired the setting information MSI including the presentation start position information distributes the high-quality video data HM from the presentation start position indicated by the presentation start position information to the terminal device 2a.
- the presentation unit 202a switches the video data from the low-quality video data LM being presented to the high-quality video data HM after the presentation start position of the data indicated by the presentation start position information.
- the end position “01:00:00” may not be included in the presentation start position information.
- the video acquisition unit 205 may acquire video data up to the end position of the total presentation time.
- FIG. 7B is an example of the image UI2 for setting the start position and the end position.
- a position to be included in the presentation start position information generated by the presentation start position information generation unit 206 is specified by the start position SP and the end position EP.
- the presentation unit 202a when the presentation unit 202a finishes presenting the high-quality video data HM up to the presentation end position “00:55:00”, the presentation unit 202a switches to the low-quality video data LM and presents it. You may continue. Further, the presentation unit 202a may present the high-quality video data HM to the presentation end position “00:50:00”, and notify the user when the presentation is completed.
- FIG. 8 shows an example of a screen display used for generating the setting information MSI displayed on the display unit 21.
- the designation of image quality and the designation of sound quality included in the setting information MSI are each designated by the compression rate.
- the higher the compression ratio the lower the image quality and sound quality of the high-quality video data HM compared to the image quality and sound quality of the original video OM.
- the lower the compression rate the higher the image quality and sound quality, and the smaller the difference between the image quality and sound quality of the high-quality video data HM and the original video OM.
- the video distribution system 100a distributes the high-quality video data HM having the setting indicated by the setting information MSI to the terminal device 2a.
- the setting indicated by the setting information MSI is changed by an operation of the user of the terminal device 2a. That is, the user can acquire high-quality video data HM having a desired setting.
- the setting information MSI includes presentation start position information. Thereby, the position where the acquisition of the high-quality video data HM is started can be changed.
- the presentation unit 202a presents video data to be presented from the low quality video data LM to the high quality video data HM. Can be switched. As a result, the user viewing the low-quality video data LM can enjoy the high-quality video data HM without interrupting the viewing of the video. Further, when the setting information MSI includes the presentation end position, a part of the large-capacity content can be distributed.
- the video distribution system 100a can distribute a part of a moving image such as a goal scene to the terminal device 2a as high-quality video data HM.
- the terminal device 2a determines whether or not the high-quality video data HM corresponding to the setting information MSI is stored in the storage unit 23. judge.
- the high-quality video data HM is stored in the storage unit 23
- the high-quality video data HM stored in the storage unit 23 is presented.
- the terminal device 2a When the high-quality video data HM corresponding to the setting information MSI is not stored in the storage unit 23, the terminal device 2a sends the high-quality video data HM corresponding to the setting information MSI to the video data distribution device 3a. Request delivery. In this case, the terminal device 2a may notify the user that a distribution request for the high-quality video data HM is to be supplied to the video data distribution device 3a, and supply the distribution request only when the user consents.
- the setting information MSI described above may include designation of player information, information on the type of wireless communication, terminal information, and the like.
- the designation of player information is, for example, designation of a video showing a player in the video of the original video OM. For this designation, for example, a still image of a player may be designated.
- the video distribution system 100a distributes, to the terminal device 2a, high-quality video data HM as a high-quality video data HM from the original video OM where the designated player is shown. In this case, the video data distribution device 3a selects a video in which the player is shown based on information included in the still image of the player, for example, the design of the uniform, the back number, and the physical characteristics.
- the wireless communication type information is information related to wireless communication used for communication between the terminal device 2a and the video data distribution device 3a.
- wireless communication type information indicating wireless LAN, LTE, etc.
- Communication quality information such as throughput.
- the video distribution system 100a can distribute high-quality video data HM having an image quality corresponding to the speed of wireless communication and the communication quality based on the information on the type of wireless communication.
- the terminal information includes information indicating the performance of the terminal device 2a.
- the processing speed and presentation environment which are the performance of the terminal device 2a, are determined by the type and operating frequency of the computing device provided in the terminal device 2a, the access speed and capacity of the memory, the type and operating frequency of the image processing engine, and the like.
- the terminal information includes operating system information, information indicating a model, an application name that presents video data, information indicating a decoder that decodes video data, information indicating CPU performance and type, information on the number of display pixels ( Resolution information), information indicating the size of the display, and the like.
- the video distribution system 100a can distribute the high-quality video data HM according to the processing speed of the terminal device 2a and the presentation environment of the high-quality video data HM.
- the storage unit 31 included in the video data distribution device 3a stores the high-quality video data HM corresponding to the information included in the terminal information described above.
- the video data distribution device 3a sends the high-quality video data HM corresponding to the terminal information acquired from the terminal device 2a among the plurality of high-quality video data HM stored in the storage unit 31 to the terminal device 2a. To deliver. That is, the video data distribution device 3a can select and distribute the high-quality video data HM suitable for the terminal device 2a based on the terminal information acquired from the terminal device 2a.
- the video data distribution device 3a corresponds to the storage unit 31 with setting information MSI corresponding to the high-quality video data HM distributed to the terminal device 2a in the past and terminal identification information for identifying the terminal device 2a. Memorize it in the attached state.
- the video data distribution device 3a receives a distribution request for the high-quality video data HM without the setting information MSI from the terminal device 2a in which the terminal identification information is stored in the storage unit, the video data distribution device 3a is associated with the terminal identification information.
- the high-quality video data HM is distributed based on the stored setting information MSI.
- the video data distribution device 3a When the video data distribution device 3a receives a distribution request for the high-quality video data HM accompanied by the setting information MSI from the terminal device 2a in which the terminal identification information is stored in the storage unit, the video data distribution device 3a receives the newly received setting information MSI. Is stored in association with the terminal identification information, and the high-quality video data HM is distributed based on the newly received setting information MSI.
- FIG. 9 is a diagram illustrating an example of a functional configuration of the video distribution system 100b according to the third embodiment.
- the video distribution system 100b differs from the second embodiment described above in that the terminal device 2b has a function of generating viewpoint information indicating the viewpoint of the high-quality video data HM to be acquired.
- the video data distribution device 3b transmits high-quality video data HM captured from the camera position indicated by the viewpoint information.
- the high-quality video data HM captured from the camera position is CG video data generated based on a plurality of original videos OM captured from cameras arranged at different positions.
- this CG video data is also referred to as a free viewpoint video.
- the free viewpoint video is an example of third video data.
- a free viewpoint video is a three-dimensional video generated using a multi-view video that is a video captured from a plurality of positions.
- the user can view a video switched to a video from a desired position or a desired angle by designating a viewpoint position, a viewpoint angle, or the like of the free viewpoint video.
- the multi-view video is an example of the original video OM.
- the viewpoint information described above includes the viewpoint position and viewpoint angle of the free viewpoint video. That is, the free viewpoint video is a video that is generated based on the viewpoint information and the original video OM and corresponds to the viewpoint indicated by the viewpoint information.
- the video output unit 302 outputs the free viewpoint video as high-quality video data HM to the terminal device 2b.
- Each function will be described below.
- the control unit 20b includes the viewpoint information generation unit 209 as its function unit.
- the viewpoint information generation unit 209 generates viewpoint information.
- the viewpoint information is information on the position of the camera designated by the low-quality video data LM and the direction in which the camera takes an image.
- This camera is also referred to as a virtual camera in the following description.
- the position of the virtual camera and the direction in which the virtual camera images are also referred to as a viewpoint.
- FIG. 10 is a diagram illustrating an example of an image UI4 for setting viewpoint information.
- the presentation unit MSP includes a virtual camera CAMI, a value CAMP that indicates the position of the virtual camera, and an axis CAMD that indicates the direction in which the virtual camera images.
- the value CAMP is a value having a Z axis in a normal direction to a predetermined plane, with a predetermined plane of the free viewpoint video as a plane orthogonal to the X axis and the Y axis.
- the predetermined surface is the ground of the stadium, and the virtual camera is located at a position of 300 on the X axis, 100 on the Y axis, and 0 on the Z axis.
- the axis CAMD is the direction of the negative side of the X axis.
- the value CAMP and the axis CAMD are input by a user who operates the terminal device 2b.
- the viewpoint information includes this value CAMP and the axis CAMD.
- the polygon moving image is a three-dimensional CG moving image in which model information obtained by modeling a player's image is moved by movement information.
- This polygon moving image is a three-dimensional CG moving image. Therefore, the user can place the virtual camera CAMI at a desired viewpoint.
- the user sets the viewpoint of the virtual camera CAMI set by the polygon moving image that is the low-quality video data LM as viewpoint information, thereby distributing the high-quality video data HM captured from the desired viewpoint to the video data distribution device 3b.
- the video data distribution device 3b can distribute the high-quality video data HM captured from the viewpoint desired by the user to the terminal device 2b.
- the viewpoint information generation unit 209 supplies the generated viewpoint information to the setting information generation unit 208b.
- the setting information generation unit 208b generates setting information MSI including this viewpoint information.
- the setting information acquisition unit 303 acquires setting information MSI including viewpoint information from the setting information output unit 207.
- the setting information acquisition unit 303 supplies the setting information MSI including the viewpoint information acquired from the setting information output unit 207 to the video generation unit 304.
- the identification information acquisition unit 301 supplies the identification information SI to the video generation unit 304.
- the video generation unit 304 acquires the setting information MSI including the viewpoint information from the setting information acquisition unit 303.
- the video generation unit 304 acquires the identification information SI from the identification information acquisition unit 301.
- the video generation unit 304 generates a free viewpoint video based on the setting information MSI including the viewpoint information acquired from the setting information acquisition unit 303 and the identification information SI acquired from the identification information acquisition unit 301.
- the video generation unit 304 generates a free viewpoint video from a plurality of original videos OM indicated by the identification information SI based on the viewpoint information indicated by the setting information MSI.
- the video generation unit 304 supplies the generated free viewpoint video to the video output unit 302.
- the video output unit 302 outputs a free viewpoint video corresponding to the setting information MSI acquired by the setting information acquisition unit 303 to the video acquisition unit 205.
- the video distribution system 100b distributes the free viewpoint video captured from the position corresponding to the viewpoint information to the terminal device 2b.
- the setting information MSI including the viewpoint information is changed by an operation of the user of the terminal device 2a. That is, the user can obtain a free viewpoint video imaged from a desired position.
- the free viewpoint video is a CG video
- the present invention is not limited to this.
- the viewpoint information may simply be information that identifies one camera from a plurality of cameras that captured the original video OM.
- the video distribution system 100b transmits the original video OM captured by the camera specified by this viewpoint information.
- the configuration in which the video generation unit 304 generates the free viewpoint video has been described, but is not limited thereto.
- a free viewpoint video generated in advance may be stored in the storage unit 31.
- the viewpoint position indicated by the viewpoint information and the generated free viewpoint video may be stored in the storage unit 31 in a state of being associated with each other.
- the video data distribution device 3b can supply the terminal device 2b in a shorter time when requested to distribute the free viewpoint video from the already generated viewpoint position.
- the setting information MSI described above may include location information of the terminal device 2b, terminal identification information, and the like.
- the position information of the terminal device 2b is information indicating the position of the terminal device 2b when the terminal device 2b receives or presents the low-quality video data LM from the video data distribution device 3b. For example, position information indicating a presentation location, information identifying a wireless LAN access point with which the terminal device 2b communicated, identification information identifying a base station of a mobile communication network, and the like.
- the video distribution system 100b may determine whether to distribute the high-quality video data HM to the terminal device 2b based on the position information.
- the video data distribution device 3b may generate the high-quality video data HM based on the position information instead of the viewpoint information included in the setting information MSI. Specifically, for example, the video data distribution device 3b, when the information for identifying the wireless LAN access point included in the setting information MSI indicates a specific position of the spectator seat in the stadium, Is generated as a viewpoint position and distributed to the terminal device 2b.
- the terminal identification information may be an electronic ticket ID used for entering a sports game, for example.
- the video distribution system 100a can distribute the high-quality video data HM to the terminal device 2a owned by the user who has visited the sport game.
- the video data distribution device 3b may distribute the high-quality video data HM corresponding to the type of the electronic ticket ID.
- the video data distribution device 3b receives the high-quality video data HM to be distributed to the terminal device 2b according to the sales price of the electronic ticket ID or the type of ticket that can be used multiple times within a predetermined period. Make it different.
- the video data distribution device 3b may generate a free viewpoint video based on the electronic ticket ID. Specifically, when the position of the spectator seat in the stadium is specified by the electronic ticket ID, as described above, the video data distribution device 3b displays a free viewpoint video with the position of the spectator seat as the viewpoint position. Generate and distribute to the terminal device 2b. Thereby, the same video as the video seen by the owner of the terminal device 2b at the stadium can be presented on the terminal device 2b.
- the terminal device 2b in which the electronic ticket ID is stored is installed in the electronic ticket ID and the stadium.
- Setting information MSI including information for identifying a wireless LAN access point is transmitted to the video data distribution apparatus 3b.
- the video data distribution device 3b that has received the information identifying the electronic ticket ID and the access point regards that the terminal device 2b is located in the stadium, and obtains the high-quality video data HM associated with the electronic ticket ID, You may deliver to the terminal device 2b.
- the video acquisition unit of the first to third embodiments described above may acquire the high-quality video data HM as streaming video data.
- the video output unit distributes the high-quality video data HM by streaming.
- the video distribution system can distribute the high-quality video data HM without considering the capacity of the storage unit of the terminal device.
- the terminal device can suppress the time to wait for the start of presentation of the high-quality video data HM.
- the terminal devices of the first embodiment and the second embodiment described above may further include a settlement unit and a settlement information output unit.
- the settlement unit performs settlement related to the high-quality video data HM.
- the payment unit makes a payment related to the distribution of the high-quality video data HM to a payment server (not shown).
- the settlement unit may settle an amount determined according to the total presentation time or the number of presentations of the high-quality video data HM to be acquired.
- the settlement unit may settle an amount determined according to the time for acquiring the streaming video data.
- the video data distribution device 3b When the video data distribution device 3b distributes streaming video data to the terminal device 2b, the video data distribution device 3b, not the terminal device 2b, includes the above-described settlement unit and settlement information output unit. May be.
- the settlement information output unit outputs settlement information indicating a result of settlement by the settlement unit to the video data distribution device.
- the video data distribution device distributes the high-quality video data HM further based on the acquired payment information. Note that this payment information may be included in the setting information MSI.
- the units included in the terminal device 2, the terminal device 2a, the terminal device 2b, the video data distribution device 3, the video data distribution device 3a, and the video data distribution device 3b in each of the above embodiments are realized by dedicated hardware. Or may be realized by a memory and a microprocessor.
- Each unit included in the terminal device 2, the terminal device 2a, the terminal device 2b, the video data distribution device 3, the video data distribution device 3a, and the video data distribution device 3b includes a memory and a CPU (central processing unit). 2. Functions of the terminal device 2a, the terminal device 2b, the video data distribution device 3, the video data distribution device 3a, and the video data distribution device 3b by loading a program for executing the functions of the respective units included in the video data distribution device 3b and executing the program. May be realized.
- a program for realizing the functions of the units included in the terminal device 2, the terminal device 2a, the terminal device 2b, the video data distribution device 3, the video data distribution device 3a, and the video data distribution device 3b is recorded on a computer-readable recording medium. Processing may be performed by recording, reading the program recorded on the recording medium into a computer system, and executing the program.
- the “computer system” includes an OS and hardware such as peripheral devices.
- the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
- the “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, and a hard disk incorporated in a computer system.
- the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line.
- a volatile memory in a computer system serving as a server or a client in that case, and a program that holds a program for a certain period of time are also included.
- the program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
- FIG. 11 is a diagram illustrating an outline of a configuration of an information distribution system 1001 according to the fourth embodiment.
- the information distribution system 1001 includes an information distribution apparatus 1010.
- the information distribution apparatus 1010 is connected to the terminal apparatus 1020 via the network N.
- the information distribution device 1010 performs image processing on the video data VD imaged by the imaging device CAM, and distributes the information after the image processing to the terminal device 1020.
- a case where the information distribution system 1001 is provided in a stadium SD such as soccer and distributes information on soccer matches will be described as an example.
- a case where there is one imaging device CAM will be described.
- the terminal device 1020 is, for example, a smartphone or a tablet terminal, and includes a display unit D and an operation unit TP.
- the operation unit TP includes a touch panel, for example, and is operated by a user of the terminal device 1020.
- the display unit D includes, for example, a liquid crystal display, and displays various images.
- the image displayed on the display unit D includes an image generated by the terminal device 1020 based on information distributed from the information distribution device 1010.
- FIGS. 12A, 12B, and 12C an example based on information distributed by the information distribution apparatus 1010 will be described with reference to FIGS. 12A, 12B, and 12C.
- FIG. 12A is an image showing the movement trajectory of the player in a state where the stadium SD is seen from above.
- An image P2 shown in FIG. 12B is an image showing the arrangement of players viewed from a certain viewpoint. In the image P2, the player is deformed and displayed by a combination of relatively simple figures such as a sphere and a cylinder.
- An image P3 shown in FIG. 12C is an image showing the arrangement of players viewed from a certain viewpoint.
- the player is constituted by a combination of a large number of polygons (for example, polygons), and is displayed after being subjected to shading processing based on the direction of light rays and texture mapping of the polygon surface.
- the image information amounts of the image P2 and the image P3 are different from each other.
- the information amount of the image is determined not only by the size of the image, the resolution of the image, the number of gradations of the color tone, but also by the number of motion vectors for generating a moving image. For example, a high density of motion vectors used to generate a moving image and a high frequency of motion vector update are referred to as “the amount of information in the image is large”.
- the image P3 has a larger number of polygons than the image P2, so that the movement of the player can be expressed more smoothly.
- the density of motion vectors used for generating the image P3 is higher than the density of motion vectors used for generating the image P2. That is, the image P2 shown in this example has a relatively small amount of information.
- the image P3 has a relatively large amount of information.
- an image having a relatively large amount of information is also referred to as an “fine-grained image”.
- An image with a relatively small amount of information is also referred to as an “rough image”.
- the granularity of the image P displayed on the display unit D of the terminal device 1020 depends on various factors. Examples of the factors include (1) image processing performance of the information distribution device 1010, (2) image processing performance of the terminal device 1020, (3) communication quality between the information distribution device 1010 and the terminal device 1020, ( 4) The upper limit value of the communication speed and the communication amount based on the content of the communication line contract of the terminal device 1020, and (5) the request of the user of the terminal device 1020. For example, when the image processing performance of the information distribution device 1010 or the terminal device 1020 is relatively high, an image P with a fine granularity can be displayed.
- the information distribution device 1010 performs image processing on the video data VD picked up by the image pickup device CAM, thereby extracting an image of a player included in the video data VD. Further, the information distribution apparatus 1010 performs image processing on the extracted player image, and calculates the player's skeleton, the center of gravity position, and the like by known means, thereby modeling the player image.
- the terminal device 1020 can generate a moving image of the model by giving motion information to the model information. .
- the information distribution apparatus 1010 distributes the model movement information to the terminal apparatus 1020.
- the terminal device 1020 generates a moving image of the model based on the distributed motion information and model information stored in advance, and displays the generated moving image on the display unit D.
- FIG. 13A to 13D are diagrams illustrating an example of a model M generated by the information distribution apparatus 1010 according to the present embodiment.
- This model M includes an element E and a joint J.
- the element E is, for example, the trunk, head, arms, and legs of the player.
- the joint J is a joint portion that connects the trunk and head, the trunk and arm, the trunk and leg, and the like.
- the more the number of elements E and the number of joints J the more precisely the movement of the player can be expressed.
- the larger the number of elements E and the number of joints J the larger the information amount of the model M.
- model MB the number of elements E (or joints J) is 1, and the amount of information is the smallest.
- the model MB, model MC, and model MD shown in FIGS. 13B to 13D have many elements E and joints J in the order of description.
- the model MD has the largest amount of information in the model M exemplified.
- the model MA is also referred to as a “point model”.
- Models MB to MD are also called articulated models.
- the information distribution apparatus 1010 adjusts the information amount of the model M and the information amount of the motion information of the model M based on the various factors described above.
- an example of a specific functional configuration of the information distribution system 1001 will be described with reference to FIG.
- FIG. 14 is a diagram illustrating an example of a functional configuration of the information distribution system 1001 according to the present embodiment.
- the functional configuration of the terminal apparatus 1020 will be described, and then the functional configuration of the information distribution apparatus 1010 will be described.
- the terminal device 1020 includes a control unit 1200 and a storage unit 1250 in addition to the operation unit TP and the display unit D described above.
- the control unit 1200 includes a CPU, for example, and performs various calculations and information exchange.
- the control unit 1200 includes an operation detection unit 1201, a terminal information transmission unit 1202, a communication quality information generation unit 1203, a motion information reception unit 1204, a moving image generation unit 1205, and a display control unit 1206. Prepare as.
- the operation detection unit 1201 detects a user operation on the operation unit TP.
- the operation detection unit 1201 detects a “motion information distribution request operation” by the user.
- the communication quality information generation unit 1203 generates communication quality information CQ.
- the communication quality information CQ is information indicating the communication quality between the information distribution apparatus 1010 and the terminal apparatus 1020. For example, when the radio wave condition between the information distribution device 1010 and the terminal device 1020 is bad, the communication quality information generation unit 1203 generates communication quality information CQ indicating that the communication quality is bad. Specifically, the communication quality information generation unit 1203 determines the communication quality in consideration of the communication speed in communication with the information distribution apparatus 1010, and in some cases, the radio wave intensity, the number of retransmissions, and the like. The communication quality information generation unit 1203 generates communication quality information CQ based on the communication quality determination result.
- the terminal information transmission unit 1202 transmits the terminal information TI to the information distribution apparatus 1010.
- the terminal information TI includes the communication quality information CQ and performance information PI described above.
- the performance information PI is the image processing performance of the terminal device 1020.
- the image processing performance is determined by the type and operating frequency of the arithmetic device provided in the terminal device 1020, the access speed and capacity of the memory, the type and operating frequency of the image processing engine, and the like.
- the terminal information transmission unit 1202 transmits terminal information TI to the information distribution apparatus 1010 together with a motion information distribution request when a distribution request operation is performed by the user.
- the terminal information transmission unit 1202 may request only the motion information of a specific player or a player belonging to a specific team when transmitting a motion information distribution request.
- the terminal information transmission unit 1202 may request motion information based on a user operation. For example, when the user performs an operation of designating a specific player, the terminal information transmission unit 1202 requests only the motion information of the player designated by the user. When the user performs an operation of designating a specific team, the terminal information transmission unit 1202 requests only the motion information of players belonging to the team designated by the user.
- the terminal information transmission unit 1202 selects the information amount of the requested motion information according to the selection of the granularity by the user. For example, when the user selects display of an image with a coarse granularity like the image P2 described above, the terminal information transmission unit 1202 requests motion information with a relatively small amount of information. In addition, when the user selects distribution of an image with a fine granularity like the image P3 described above, the terminal information transmission unit 1202 requests motion information having a relatively large amount of information.
- the terminal information transmission unit 1202 may select the information amount of the requested motion information based on the communication quality information CQ and the performance information PI without depending on the user instruction. In this case, for example, when the communication quality indicated by the communication quality information CQ is relatively high, the terminal information transmission unit 1202 requests motion information having a relatively large amount of information. Further, when the communication quality indicated by the communication quality information CQ is relatively low, the terminal information transmission unit 1202 requests motion information with a relatively small amount of information.
- the storage unit 1250 includes a model information storage unit 1251.
- the model information storage unit 1251 stores information on the element E and the joint J of the model M.
- the motion information receiving unit 1204 receives the motion information distributed from the information distribution device 1010.
- the moving image generation unit 1205 generates a moving image of the model M based on the movement information received by the movement information reception unit 1204 and the model information stored in the model information storage unit 1251.
- the display control unit 1206 controls the display unit D to display the moving image generated by the moving image generation unit 1205 on the display unit D.
- the “motion information” received by the motion information receiving unit 1204 is motion information after the information distribution apparatus 1010 has adjusted the information amount. That is, the motion information receiving unit 1204 receives the information amount adjusted motion information MIA from the information distribution apparatus 1010. A functional configuration of the information distribution apparatus 1010 will be described.
- the information distribution apparatus 1010 includes a control unit 1100.
- the control unit 1100 includes a CPU, for example, and performs various calculations and information exchange.
- the control unit 1100 includes a video data acquisition unit 1101, a motion information generation unit 1102, a terminal information acquisition unit 1103, a motion information amount adjustment unit 1104, and a distribution unit 1105 as functional units.
- the video data acquisition unit 1101 acquires video data VD from the imaging device CAM.
- the video data VD includes, for example, an image of a player who is playing a game.
- the motion information generation unit 1102 performs image processing on the target image TGT included in the video data VD based on the video data VD acquired by the video data acquisition unit 1101.
- the target image TGT is an image of a player.
- the motion information generation unit 1102 separates the player image and the background image by performing image processing on the video data VD, and extracts the target image TGT, that is, the player image from the video data VD. .
- the motion information generation unit 1102 models the extracted target image TGT.
- the motion information generation unit 1102 extracts images for each player and models them for each player.
- the motion information generation unit 1102 analyzes the motion of the model M and generates motion information MI of the model M.
- This motion information MI is, for example, a motion vector of the model M. This motion vector is obtained by analyzing the motion of the player between a plurality of frames included in the video data VD by a known means.
- the terminal information acquisition unit 1103 acquires information for adjusting the information amount of the motion information MI, that is, terminal information TI from the terminal device 1020.
- the motion information amount adjustment unit 1104 adjusts the information amount of the motion information MI generated by the motion information generation unit 1102. As described above, the granularity of an image that can be displayed on the terminal device 1020 is limited by the image processing performance of the terminal device 1020, the communication quality between the information distribution device 1010 and the terminal device 1020, and the like. The motion information amount adjustment unit 1104 adjusts the information amount of the motion information MI by acquiring these constraint conditions from the terminal device 1020.
- the motion information amount adjusting unit 1104 adjusts the information amount.
- (1) A case where the motion information generation unit 1102 generates motion information MI having various information amounts in parallel.
- the motion information generation unit 1102 generates motion information MI for the models M having various information amounts as shown in FIGS. 13A to 13D described above in parallel.
- the motion information amount adjustment unit 1104 selects the motion information MI having the information amount that satisfies the constraint condition acquired from the terminal device 1020 from among the plurality of motion information MIs generated by the motion information generation unit 1102.
- (2) The case where the motion information generation unit 1102 generates motion information MI with a large amount of information.
- the motion information generation unit 1102 generates motion information MI for a model M having a relatively large number of elements E and joints J among models M having various information amounts as shown in FIGS. 13A to 13D described above. To do.
- the motion information generation unit 1102 generates motion information MI for the model MD.
- the motion information amount adjustment unit 1104 generates motion information MI having an information amount satisfying the constraint condition acquired from the terminal device 1020 by thinning out information from the motion information MI generated by the motion information generation unit 1102.
- the motion information amount adjustment unit 1104 adjusts the information amount of the motion information MI generated by the motion information generation unit 1102 by adjusting the number of elements E included in the model M. You may do it.
- the motion information amount adjustment unit 1104 may adjust the information amount of the motion information MI based on the reproduction delay time in the terminal device 1020.
- the terminal device 1020 periodically transmits the playback time of the moving image generated based on the motion information MI to the information distribution device 1010.
- the motion information amount adjusting unit 1104 obtains a divergence between the distribution time of the motion information MI and the playback time of the moving image generated based on the motion information MI.
- the motion information amount adjustment unit 1104 adjusts the information amount of the motion information MI according to the obtained degree of divergence.
- the motion information amount adjusting unit 1104 reduces the information amount of the motion information MI by thinning out the motion information MI when the deviation degree between the distribution time of the motion information MI and the playback time of the moving image is larger than a predetermined threshold. Reduce.
- the motion information amount adjustment unit 1104 may further thin out the motion information MI when the degree of divergence between the distribution time of the motion information MI and the playback time of the moving image is larger than the predetermined threshold value described above. In this case, the motion information amount adjustment unit 1104 changes the degree of decimation of the motion information MI continuously or stepwise according to the degree of deviation between the distribution time of the motion information MI and the playback time of the moving image. Thus, the information amount of the motion information MI is reduced.
- the motion information amount adjustment unit 1104 outputs the motion information MI whose information amount has been adjusted, that is, the information information adjusted motion information MIA, to the distribution unit 1105.
- the distribution unit 1105 distributes the information amount-adjusted motion information MIA to the terminal device 1020.
- FIG. 15 is a diagram illustrating an example of the operation of the information distribution system 1001 of the present embodiment.
- the video data acquisition unit 1101 acquires video data VD from the imaging device CAM.
- the imaging device CAM images the stadium SD from the viewpoint of overlooking the entire stadium SD in a soccer game.
- the video data VD includes images of all players participating in the game.
- the motion information generation unit 1102 generates motion information MI of the model M of the player based on the video data VD acquired by the video data acquisition unit 1101.
- the motion information generation unit 1102 generates the motion information MI regardless of whether there is a motion information distribution request from the terminal device 1020.
- the motion information generation unit 1102 generates motion information MI for each model M shown in FIGS. 13A to 13D.
- Step S1210 The terminal apparatus 1020 transmits a motion information distribution request to the information distribution apparatus 10.
- Steps S1130 to S1140 The information distribution apparatus 1010 waits for transmission of a distribution request by the terminal apparatus 1020.
- the information distribution device 1010 receives a distribution request from the terminal device 1020 (step S1140; YES)
- the information distribution device 1010 performs the processing of steps S1150 to S1170.
- Step S1220 The terminal information transmission unit 1202 of the terminal device 1020 transmits the terminal information TI to the information distribution device 1010.
- Step S1150 The terminal information acquisition unit 1103 of the information distribution device 1010 acquires the terminal information TI from the terminal device 1020.
- the terminal device 1020 is described as transmitting motion information distribution requests and terminal information TI sequentially, but the present invention is not limited to this.
- the terminal device 1020 may transmit the motion information distribution request and the terminal information TI at the same time.
- Step S1160 The motion information amount adjusting unit 1104 adjusts the information amount of the motion information MI generated in step S1120 based on the terminal information TI acquired in step S1150. Specifically, when the terminal information TI requests distribution of “point model” instead of “articulated model”, the motion information amount adjustment unit 1104 generates each model M generated by the motion information generation unit 1102. 13A, that is, the point model motion information MI is selected as the motion information MI to be transmitted. The motion information amount adjustment unit 1104 outputs the selected motion information MI to the distribution unit 1105 as the information amount adjusted motion information MIA.
- the terminal information TI may include information specifying the type (granularity) of the model to be distributed.
- the configuration may be such that the motion information amount adjustment unit 1104 determines the type (granularity) of the distribution target model based on the terminal information TI.
- the terminal information TI includes information specifying the type (granularity) of the model to be distributed”
- the motion information amount adjustment unit 1104 uses the model of the type specified by the terminal information TI. Select.
- the motion information amount adjusting unit 1104 determines the type (granularity) of the model to be distributed based on the terminal information TI”
- the motion information amount adjusting unit 1104 includes the motion information generating unit 1102.
- the type of model to be distributed is selected by comparing the information amount of the motion information MI of each model M that is generated by and the amount of distributable information indicated by the terminal information TI.
- the distribution unit 1105 distributes the information amount adjusted motion information MIA to the terminal device 1020.
- the motion information receiving unit 1204 of the terminal device 1020 receives the distributed information amount-adjusted motion information MIA.
- the moving image generation unit 1205 generates a moving image of the model M based on the received information amount adjusted motion information MIA.
- the display control unit 1206 displays the generated moving image on the display unit D.
- the information distribution apparatus 1010 After acquiring the motion information distribution request and the terminal information TI from the terminal device 1020 in steps S1130 and S1150, the information distribution apparatus 1010 generates the information-adjusted movement information MIA every time the movement information MI is generated. Delivered to the terminal device 1020. That is, the information distribution apparatus 1010 distributes the information amount adjusted motion information MIA in real time.
- the real-time distribution refers to the generation of motion information MI every time the information distribution apparatus 1010 acquires the video data VD, and distributes the motion information MIA after adjusting the information amount of the generated motion information MI. That is.
- 16A, 16B, and 16C are examples of moving images displayed on the terminal device 1020 of the present embodiment.
- the information distribution apparatus 1010 generates motion information MI every time the video data VD is acquired.
- the information distribution device 1010 adjusts the information amount of the motion information MI based on the terminal information TI acquired from the terminal device 1020, and distributes the information-adjusted motion information MIA in real time.
- a case where the terminal device 1020 requests the “point model” information amount adjusted motion information MIA is shown as an example.
- the information distribution device 1010 distributes information indicating the current positions of the player PL1, the player PL2, and the player PL3 to the terminal device 1020 as the information amount adjusted movement information MIA.
- the terminal device 1020 displays an image P11 indicating the current positions of the player PL1, the player PL2, and the player PL3 on the display unit D based on the distributed information amount-adjusted movement information MIA (FIG. 16A).
- the information distribution device 1010 distributes information indicating the movements of the players PL1, PL2 and PL3 to the terminal device 1020 as information amount adjusted movement information MIA.
- the terminal device 1020 displays an image P12 indicating the movement trajectory and the current position of the player PL1, the player PL2, and the player PL3 on the display unit D based on the distributed information amount adjusted movement information MIA (FIG. 16B).
- the terminal device 1020 displays an image P13 indicating the movement trajectory and the current position of the player PL1, the player PL2, and the player PL3 on the display unit D (FIG. 16C).
- the information indicating the movement of the player PL1, the player PL2, and the player PL3 described above may be information indicating the direction and amount of displacement of the player from time t1 to time t2, and may be information on the player at time t2.
- Information indicating a position may be used.
- the information distribution system 1001 of the present embodiment does not distribute a moving image such as the video data VD as it is to the terminal device 1020 to be distributed, but a model of a player included in the video data VD. Distribute M motion information.
- the information amount of the motion information of the model M is smaller than the information amount of the moving image such as the video data VD. Therefore, according to the information distribution system 1001, it is possible to distribute with a small amount of information compared to the case where a moving image such as video data VD is distributed as it is. Therefore, according to the information distribution system 1001 of this embodiment, content can be distributed in real time.
- the user of the terminal device 1020 is a spectator of the stadium and the information distribution device 1010 distributes information on this game will be described.
- the user of the terminal device 1020 can watch the game being developed in front of the user in real time on the smartphone or tablet terminal at hand. Since the information distribution system 1001 can display the position of the player and the movement trajectory thereof on the terminal device 1020 in real time, the information distribution system 1001 can provide information for the user to further enjoy the game. Further, according to the information distribution system 1001, based on the movement information of the model M, the terminal device 1020 can generate content according to the user's preference.
- a specific player may be enlarged and displayed based on the movement information of the terminal device 1020 and the model M to be distributed, or voice commentary based on the movement information may be performed. That is, according to the information distribution system 1001, it is possible to provide content according to user preferences. In the case of information distribution in a stadium or the like, the number of terminal devices 1020 increases in accordance with the number of spectators. In the case of the conventional technology that distributes video data VD as it is, communication on a wireless communication line used for information distribution is performed. There is a problem that it is difficult to provide sufficient quality content due to the tight capacity. According to the information distribution system 1001 of this embodiment, since the communication volume of information distribution is small compared with the case where the video data VD is distributed as it is, it is possible to reduce the degree of tight communication capacity of the wireless communication line.
- the information distribution apparatus 1010 of this embodiment adjusts the information amount of the motion information MI based on the terminal information TI transmitted from the distribution target terminal apparatus 1020, and distributes the information information adjusted motion information MIA. Therefore, according to the information distribution apparatus 1010, the information amount of the motion information MI to be distributed can be reduced according to the performance of the terminal apparatus 1020 and the communication status between the information distribution apparatus 1010 and the terminal apparatus 1020. That is, according to the information distribution apparatus 1010, it is possible to further reduce the communication volume of information distribution compared to the case where the motion information MI is distributed without adjusting the information amount.
- the terminal device 1020 may update the communication quality information CQ according to a change in the status of communication with the information distribution device 1010, and repeatedly transmit the terminal information TI to the information distribution device 1010. In this case, every time the terminal information TI is received, the information distribution apparatus 1010 selects motion information having an information amount corresponding to the communication quality. That is, the information distribution apparatus 1010 may change the information amount of the information amount adjusted motion information MIA to be distributed in real time.
- the terminal device 1020 has been described as storing information such as the element E of the model M and the joint J in advance, but the present invention is not limited thereto.
- the information distribution apparatus 1010 may distribute information on the distribution target model M to the terminal apparatus 1020.
- FIG. 17 is a diagram illustrating an example of a functional configuration of an information distribution system 1001a according to the fifth embodiment.
- the information distribution system 1001a includes (1) a display function according to the state of the terminal device 1020a, (2) a distribution information amount changing function by a user operation, (3) a non-real-time distribution function, and (4) multi-angle motion information MI. Or it differs from the above-mentioned 4th Embodiment in the point provided with the delivery function of free viewpoint movement information MI, (5) The moving image display function according to the watching position, and (6) Additional information display functions, such as player information. Each function will be described below.
- symbol is attached
- the control unit 1200a includes a moving image generation unit 1205a and a state acquisition unit 1207 as its function units.
- the state acquisition unit 1207 acquires the state of the terminal device 1020a.
- the state of the terminal device 1020a includes the processing load of the terminal device 1020a, the remaining battery level of the terminal device 1020a, the brightness around the terminal device 1020a, and the like.
- the state acquisition unit 1207 acquires the processing load state of the terminal device 1020a. For example, when the control unit 1200a is executing a plurality of processes simultaneously, the processing load may increase and a processing delay may occur in real-time generation of a moving image. In such a case, the state acquisition unit 1207 notifies the moving image generation unit 1205a that the processing load on the control unit 1200a has increased.
- the moving image generating unit 1205a generates a moving image of the model M corresponding to the state based on the motion information MI received by the motion information receiving unit 1204a and the state acquired by the state acquiring unit 1207.
- the moving image generation unit 1205a may change parameters such as resolution that can be changed in the terminal device 1020a.
- the moving image generation unit 1205a reduces the resolution of the generated moving image and maintains the real-time generation of the moving image.
- the state acquisition unit 1207 acquires the state of the remaining battery level of the terminal device 1020a. For example, when the battery level of the terminal device 1020a is lower than a certain threshold value, the state acquisition unit 1207 notifies the moving image generation unit 1205a that the battery level of the control unit 1200a is low. When the battery remaining amount is low, the moving image generation unit 1205a extends the generation time of the moving image by reducing the power consumption by reducing the granularity of the generated moving image.
- the state acquisition unit 1207 acquires the illuminance (brightness) around the terminal device 1020a.
- the moving image generation unit 1205a generates a moving image according to the brightness acquired by the state acquisition unit 1207.
- the illuminance around the terminal device 1020a may differ between when a soccer game is played in the daytime and when it is played at night.
- the moving image generation unit 1205a changes the content, color scheme, font size, resolution, and the like of the generated moving image between daytime and nighttime.
- the information distribution system 1001a can change the amount of information distributed by a user operation.
- the user of the terminal device 1020a may request distribution of “point model” instead of “articulated model”.
- the operation detection unit 1201 detects an operation for requesting distribution of the “point model” by the user.
- the terminal information transmission unit 1202a transmits adjustment degree information AI indicating the degree of adjustment of the information amount to the information distribution apparatus 1010a based on a user operation.
- the terminal information transmission unit 1202a transmits adjustment degree information AI indicating “point model” to the information distribution apparatus 1010a.
- the control unit 1100a includes a motion information amount adjustment unit 1104a, a distribution unit 1105a, and an adjustment degree information acquisition unit 1106 as functional units.
- the adjustment degree information acquisition unit 1106 acquires adjustment degree information AI transmitted from the terminal device 1020a.
- the motion information amount adjustment unit 1104a adjusts the information amount of the motion information MI based further on the adjustment level information AI acquired by the adjustment level information acquisition unit 1106. In the example described above, the motion information amount adjustment unit 1104a selects the “point model” motion information MI as the motion information MI to be distributed.
- the motion information amount adjustment unit 1104a outputs the “point model” motion information MI to the distribution unit 1105a as information amount adjusted motion information MIA.
- the non-real-time distribution is not to distribute the motion information MI immediately after generation, but to store the motion information MI once and distribute the motion information MI when requested by the terminal device 1020a.
- the information distribution apparatus 1010a includes a storage unit 1150.
- the storage unit 1150 includes a motion information storage unit 1151.
- the motion information storage unit 1151 sequentially stores the motion information MI generated by the motion information generation unit 1102 in the order of generation. That is, the motion information storage unit 1151 stores motion information MI having a large information amount before the motion information amount adjusting unit 1104a adjusts the information amount.
- the control unit 1100a includes a motion information distribution request acquisition unit 1107.
- the motion information distribution request acquisition unit 1107 acquires the motion information distribution request MRQ from the terminal device 1020a
- the motion information distribution request acquisition unit 1107 notifies the distribution unit 1105a of acquisition of the motion information distribution request MRQ.
- the distribution unit 1105a reads the motion information MI stored in the motion information storage unit 1151, and distributes the read motion information MI to the terminal device 1020a.
- the information distribution system 1001a can distribute motion information MI having a larger amount of information than real-time distribution by performing non-real-time distribution when a wireless communication line used for information distribution is relatively free. it can.
- the information distribution apparatus 1010a can selectively perform non-real-time distribution to the terminal apparatus 1020a that has been distributed in real time. In this case, when there is a request for non-real time distribution from the terminal device 1020a that is not performing real time distribution, the information distribution apparatus 1010a rejects the request for non-real time distribution.
- An example of the non-real-time distribution operation by the information distribution apparatus 1010a will be described with reference to FIG.
- FIG. 18 is a diagram illustrating an example of a non-real time distribution operation performed by the information distribution apparatus 1010a according to the present embodiment.
- the information distribution system 1001a performs the real-time distribution described above.
- the information distribution device 1010a stores a terminal device 1020a that is a real-time distribution target.
- the terminal information transmission unit 1202a of the terminal device 1020a makes a motion information distribution request by non-real-time distribution. Specifically, the terminal information transmission unit 1202a transmits a motion information distribution request MRQ to the information distribution apparatus 1010a.
- the motion information distribution request acquisition unit 1107 of the information distribution device 1010a acquires the motion information distribution request MRQ transmitted by the terminal device 1020a.
- the distribution unit 1105a determines whether or not the information amount-adjusted motion information MIA has been distributed to the terminal device 1020a that has transmitted the motion information distribution request MRQ, that is, whether or not real-time distribution has been performed. More specifically, the distribution unit 1105a determines whether or not the terminal device 1020a that has transmitted the motion information distribution request MRQ is the terminal device 1020a that is stored as the real-time distribution target terminal device 1020a in step S1170.
- Step S1330 The distribution unit 1105a distributes the motion information MI stored in the motion information storage unit 1151 to the terminal device 1020a.
- Steps S1420 to S1450 Upon receiving the motion information MI (S1420), the terminal device 1020a stores the motion information MI in the storage unit 1250 (S1430). The terminal device 1020a sequentially reads the stored motion information MI to generate a moving image (S1440). The display control unit 1206 displays the generated moving image on the display unit D (S1450).
- the information distribution apparatus 1010a can give a user a motivation for real-time distribution.
- the information distribution apparatus 1010a distributes the motion information MI
- the present invention is not limited thereto.
- information stored in the storage unit 1150 of the information distribution device 1010a is transferred to the storage unit 1250 of the terminal device 1020a, and then read from the storage unit 1250 and displayed. Therefore, real-time property is not required for the exchange of information between the information distribution apparatus 1010a and the terminal apparatus 1020a.
- the information distribution apparatus 1010a may distribute the video data VD to the terminal apparatus 1020a instead of the movement information MI or in addition to the movement information MI.
- Multi-angle motion information MI or free viewpoint motion information MI distribution function ⁇ (4) Multi-angle motion information MI or free viewpoint motion information MI distribution function>
- the present invention is not limited to this.
- the motion information MI can be generated from the video data VD.
- FIG. 19 is a diagram illustrating an example of the arrangement of the imaging devices CAM when a plurality of imaging devices CAM are installed in the stadium SD.
- eight imaging devices CAM of imaging devices CAM1 to CAM8 are installed in the stadium SD.
- the video data acquisition unit 1101 of the information distribution device 1010a acquires the video data VD captured by the imaging device CAM, that is, the video data VD1 to the video data VD8.
- the motion information generation unit 1102 generates motion information MI for each video data VD.
- the information distribution apparatus 1010a can distribute motion information MI by multi-angle. For example, when the terminal device 1020a requests distribution of motion information MI based on the viewpoint position of the imaging device CAM2, the information distribution device 1010a distributes motion information MI based on the viewpoint position of the imaging device CAM2.
- the information distribution apparatus 1010a can also generate motion information MI with the viewpoint position set to an arbitrary position, that is, free viewpoint motion information MI, based on the video data VD based on a plurality of viewpoint positions.
- the information distribution device 1010a generates and distributes motion information MI based on the viewpoint position instructed by the terminal device 1020a.
- the terminal device 1020a may switch the viewpoint position.
- the information distribution device 1010a distributes coordinate information indicating the position of the player on the stadium SD together with the motion information MI to the terminal device 1020a.
- the moving image generation unit 1205a of the terminal device 1020a generates a free viewpoint moving image by performing coordinate conversion of information distributed from the information distribution device 1010a based on viewpoint position information and coordinate information according to a user's instruction.
- the state acquisition unit 1207 of the terminal device 1020a acquires the current position of the terminal device 1020a as the state.
- the motion information generation unit 1102 of the information distribution device 1010a performs coordinate conversion of the motion information MI with the current position of the terminal device 1020a acquired by the state acquisition unit 1207 as the viewpoint position.
- the information distribution system 1001a can display a moving image corresponding to the current position of the terminal device 1020a, that is, the watching position of the user, on the terminal device 1020a.
- the information distribution system 1001a can display a moving image according to the watching position of the user without the user specifying the viewpoint position.
- the moving image generation unit 1205a of the terminal device 1020a may perform coordinate conversion of the viewpoint position.
- the information distribution system 1001a can distribute information related to the target image TGT in addition to the motion information MI.
- the control unit 1100a includes the target image information acquisition unit 1108, and the storage unit 1150 includes the target image information storage unit 1152.
- the target image information acquisition unit 1108 acquires information regarding the target image TGT.
- the motion information generation unit 1102 extracts the target image TGT from the video data VD.
- the target image TGT is, for example, a whole body image of a player.
- the target image information acquisition unit 1108 identifies the player extracted as the target image TGT based on information included in the extracted target image TGT, for example, the design of the uniform, the back number, and the physical characteristics.
- the target image information acquisition unit 1108 reads information related to the identified player from the target image information storage unit 1152 and supplies the information to the distribution unit 1105a.
- the distribution unit 1105a distributes information regarding the target image TGT together with the motion information.
- the information related to the target image TGT includes information such as a player's name, face photo, battle history, position, and number of goals in the case of a soccer game, for example.
- the information related to the target image TGT includes information such as the horse column, the comments of the trainer, the state of the horse in the paddock, the odds, and the current ranking during the competition. That is, the information related to the target image TGT is information indicating the attribute of the target image TGT.
- the information related to the target image TGT may include identification information for identifying a player or a racehorse.
- the information distribution system 1001a when the user selects an image of a player, a racehorse, or the like, the information distribution system 1001a, based on the identification information of the target image TGT corresponding to the selected player or racehorse, such as the player's background and results. Related information may be acquired.
- the information distribution system 1001a can present the user's personal history and battle record to the user by distributing related information such as the acquired career and battle record to the terminal device 1020a.
- the information related to the target image TGT may include information indicating the team or position of the player.
- the information distribution system 1001a displays the target image TGT (for example, an image of a player) in a color-coded display for each team and a mark for identifying a position.
- the target image TGT is not limited to a player image, and may be an image of equipment or tools used in a game.
- the target image TGT may be a ball or a goal in a soccer game, a referee, a card possessed by the referee, a flag, or the like.
- the target image TGT may be a racehorse, a saddle, a gate, a starter on the gate, a flag possessed by the starter, a goal, an arrival order display board, and the like in addition to a jockey in horse racing.
- the target image TGT may be a racing vehicle, a crew in a pit, a replacement tire, a flag beside a course, in addition to a driver in an automobile race.
- the information distribution system 1001a can distribute motion information MI indicating the movement trajectory of the ball.
- the terminal device 1020a may display the moving image at a timing after the timing at which the motion information MI is distributed by storing the distributed motion information MI. In this case, the terminal device 1020a reads the motion information MI and displays a moving image when a reproduction operation is performed by the user. In addition, the terminal device 1020a may display a moving bar at a desired reproduction position by displaying a slide bar indicating the required time and reproduction position of the moving image on the display unit D and operating the slide bar by the user.
- the information distribution system 1001a may grasp the current position of the terminal device 1020a and select a terminal device 1020a within a predetermined range as a distribution target. For example, the information distribution system 1001a acquires the position information of the terminal device 1020a included in the base station of the mobile communication network, or the position information of the terminal device 1020a acquired by GPS, near field communication, or the like. The information distribution system 1001a determines whether or not the terminal device 1020a is a distribution target based on the acquired position information of the terminal device 1020a. For example, when distributing only to a user who is in a stadium where a soccer game is being performed, the information distribution system 1001a distributes the terminal device 1020a when the current position of the terminal device 1020a is the stadium. To.
- the information distribution system 1001a may control whether or not to delete the motion information MI stored in the terminal device 1020a. In this case, for example, when the terminal device 1020a moves out of a predetermined distribution range, the information distribution system 1001a deletes the motion information MI stored in the terminal device 1020a.
- the information distribution system 1001a may distribute the video data VD that is the original image of the motion information MI based on a user operation.
- the motion information MI distributed by the terminal device 1020a is stored, and the user tries to reproduce a moving image based on the motion information MI.
- the user may desire to reproduce the video data VD that is the original image instead of the moving image based on the motion information MI.
- the information distribution system 1001a distributes video data VD that is an original image of the motion information MI based on a user operation.
- each of the above devices has a computer inside.
- the process of each device described above is stored in a computer-readable recording medium in the form of a program, and the above-described processing is performed by the computer reading and executing the program.
- the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like.
- the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.
- the program may be for realizing a part of the functions described above. Furthermore, what can implement
- (Appendix 2) An adjustment degree information acquisition unit for acquiring adjustment degree information indicating the degree of adjustment of the information amount requested by the terminal device from the terminal device;
- the movement information amount adjustment unit The information distribution device according to claim 1, wherein the information amount of the motion information generated by the motion information generation unit is adjusted based on the adjustment level information acquired by the adjustment level information acquisition unit.
- the model includes a plurality of elements and joints connecting the elements,
- the movement information amount adjustment unit The information distribution device according to claim 2, wherein the information amount of the motion information generated by the motion information generation unit is adjusted by adjusting the number of elements included in the model.
- a target image information acquisition unit that acquires information about the target image;
- the distribution unit distributes information on the target image acquired by the target image information acquisition unit to the terminal device together with the information-adjusted motion information of the target image.
- a motion information distribution request acquisition unit for acquiring a motion information distribution request output by the terminal device;
- a motion information storage unit that stores the motion information generated by the motion information generation unit;
- the delivery unit Based on the motion information distribution request acquired by the motion information distribution request acquisition unit, the motion information stored in the motion information storage unit is distributed to the terminal device that has output the motion information distribution request.
- the information distribution device according to any one of appendix 5.
- the delivery unit Distribute the motion information stored in the motion information storage unit to the terminal device when the information amount adjusted motion information has been distributed to the terminal device that has output the motion information distribution request.
- the information distribution device according to attachment 6.
- a terminal information transmission unit that transmits performance information indicating the performance of the terminal device or communication quality information indicating communication quality with the information distribution device to the information distribution device as terminal information; Movement for receiving, from the information distribution apparatus, movement information indicating the movement of a model, which is information generated by the information distribution apparatus based on the terminal information and obtained by performing image processing on a target image included in video data An information receiver; A status acquisition unit that acquires the status of the terminal device; A moving image generation unit that generates a moving image of the model according to the state based on the movement information received by the movement information reception unit and the state acquired by the state acquisition unit; And a display unit that displays an image including the moving image generated by the moving image generation unit.
- the state acquisition unit Obtain the position of the terminal device as the state,
- the moving image generation unit The terminal device according to attachment 8, wherein the moving image is generated according to the position acquired by the state acquisition unit.
- the state acquisition unit The instructed viewpoint position is acquired as the state
- the moving image generation unit The terminal device according to appendix 8 or appendix 9, wherein the moving image is generated according to the viewpoint position acquired by the state acquisition unit.
- the state acquisition unit Obtain the brightness around the terminal device as the state,
- the moving image generation unit The terminal device according to any one of appendix 8 to appendix 10, wherein the moving image is generated according to the brightness acquired by the state acquisition unit.
- Video generation unit 100 100, 100a, 100b Video distribution system 2, 2a, 2b Terminal device 3, 3a, 3b Video data distribution device 20, 20a, 20b, 30, 30a, 30b Control unit 21 Display unit 22 Operation unit 23, 31 Storage unit 32, 32a Information distribution unit 201 Video list generation unit 202, 202a Presentation unit 203 Identification information generation unit 204 Identification information output unit 205 Video acquisition unit 206 Presentation start position information generation unit 207 Setting information output unit 208, 208b Setting information generation unit 209 View point information Generation unit 301 Identification information acquisition unit 302 Video output unit 303 Setting information acquisition unit 304 Video generation unit 1001 Information distribution system 1010 Information distribution device 1100 Control unit 1101 Video data acquisition unit 1102 Motion information generation unit 1103 Terminal information acquisition unit 1104 Motion information amount Adjustment unit 1105 Distribution unit 1106 Adjustment Degree information acquisition unit 1107 motion information distribution request acquisition unit 1108 target image information acquisition unit 1150 storage unit 1151 motion information storage unit 1152 target image information storage unit 1020 terminal device 1200 control unit 1201 operation detection unit 1202 terminal information transmission unit 1203
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Computer Security & Cryptography (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Library & Information Science (AREA)
- Information Transfer Between Computers (AREA)
Abstract
映像配信システムは、端末装置と、映像データを配信する映像データ配信装置とを備える映像配信システムであって、端末装置は、自装置に配信済みの映像データであって、原映像から生成される第1の映像データを示す識別情報を映像データ配信装置に対して出力する識別情報出力部と、第1の映像データとは異なる映像であって、原映像から生成される第2の映像データを、映像データ配信装置から取得する映像取得部とを備え、映像データ配信装置は、端末装置から出力される識別情報を取得する識別情報取得部と、識別情報取得部が取得する識別情報に基づいて、第2の映像データを端末装置に対して出力する映像出力部とを備える。
Description
本発明は、映像配信システム、端末装置及び映像データ配信装置に関する。また、本発明の実施形態は、情報配信装置及び端末装置に関する。
本願は、2017年2月27日に日本に出願された特願2017-35173号および2017年3月31日に日本に出願された特願2017-69757号に基づき優先権を主張し、その内容をここに援用する。
本願は、2017年2月27日に日本に出願された特願2017-35173号および2017年3月31日に日本に出願された特願2017-69757号に基づき優先権を主張し、その内容をここに援用する。
従来、動画などの大容量コンテンツを端末装置に対して配信する技術が知られている(例えば、特許文献1を参照。)。
また、二次元画像から、当該画像に含まれるオブジェクトの三次元モデルを生成する技術が知られている(例えば、特許文献2及び非特許文献1を参照。)
また、二次元画像から、当該画像に含まれるオブジェクトの三次元モデルを生成する技術が知られている(例えば、特許文献2及び非特許文献1を参照。)
Paul E. Debevec, Camillo J. Taylor, Jitendra Malik、Modeling and Rendering Architecture from Photographs: A hybrid geometry- and image-based approach、「SIGGRAPH '96 Proceedings of the 23rd annual conference on Computer graphics and interactive techniques」、(アメリカ合衆国)、1996年、P.11-20
ここで、映像配信システムにおいては、端末装置が指定する大容量コンテンツを配信したいというニーズがある。この高画質な動画とは、例えば、縦2160画素、横3840画素の4K映像などである。
しかしながら、この高画質動画を端末装置に対して配信する場合、配信の為の通信回線に流れるトラフィックが大きくなり、情報配信の遅延や情報の欠落といった問題が発生する場合がある。また、端末装置の処理能力によっては、所望するコンテンツを指定する際に、大容量コンテンツの内容を確認して指定することが困難である。
また、スポーツ会場などでは、競技を観戦している観客は、選手全員の動きを見ることができない場合がある。この場合、観客が所有する端末装置上で、観客によって指定された選手を撮像した高画質映像を配信したいという要望がある。
しかしながら、この高画質動画を端末装置に対して配信する場合、配信の為の通信回線に流れるトラフィックが大きくなり、情報配信の遅延や情報の欠落といった問題が発生する場合がある。また、端末装置の処理能力によっては、所望するコンテンツを指定する際に、大容量コンテンツの内容を確認して指定することが困難である。
また、スポーツ会場などでは、競技を観戦している観客は、選手全員の動きを見ることができない場合がある。この場合、観客が所有する端末装置上で、観客によって指定された選手を撮像した高画質映像を配信したいという要望がある。
本発明は、上記問題に鑑みて為されたものであり、端末装置に大容量コンテンツを配信することができる映像配信システム、端末装置及び映像データ配信装置を提供することを目的とする。
さらに、情報配信装置においては、多数の端末装置に対してコンテンツをリアルタイム配信したいというニーズがある。例えば、サッカーの試合が行われる競技場などにおいて、競技を観戦している観客の端末装置それぞれに対して、当該試合に関するコンテンツをリアルタイムに配信したいというニーズがある。コンテンツは例えば観客がそれぞれ指定した視点の動画等である。
しかしながら、多数の端末装置に対して個別の情報をリアルタイム配信する場合、情報配信のための通信回線に流れるトラフィックがきわめて大きくなり、情報配信の遅延や情報の欠落といった問題が発生する場合がある。
しかしながら、多数の端末装置に対して個別の情報をリアルタイム配信する場合、情報配信のための通信回線に流れるトラフィックがきわめて大きくなり、情報配信の遅延や情報の欠落といった問題が発生する場合がある。
本発明の一実施形態は、コンテンツをリアルタイム配信することができる情報配信装置及び端末装置を提供することを目的とする。
(1)本発明の一態様の映像配信システムは、端末装置と、映像データを配信する映像データ配信装置とを備える映像配信システムであって、前記端末装置は、自装置に配信済みの映像データであって、原映像から生成される第1の映像データを示す識別情報を前記映像データ配信装置に対して出力する識別情報出力部と、前記第1の映像データとは異なる映像であって、前記原映像から生成される第2の映像データを、前記映像データ配信装置から取得する映像取得部とを備え、前記映像データ配信装置は、前記端末装置から出力される前記識別情報を取得する識別情報取得部と、前記識別情報取得部が取得する前記識別情報に基づいて、前記第2の映像データを前記端末装置に対して出力する映像出力部とを備える。
(2)本発明の一態様の映像データ配信装置は、端末装置に配信済みの映像データであって、原映像から生成される第1の映像データを示す識別情報を取得する識別情報取得部と、前記識別情報取得部が取得する前記識別情報に基づいて、前記第1の映像データとは異なる映像であって、前記原映像から生成される第2の映像データを前記端末装置に対して出力する映像出力部とを備える。
(3)本発明の一態様の映像データ配信装置は、上記(2)に記載の映像データ配信装置において、前記第2の映像データの設定を示す設定情報を取得する設定情報取得部を更に備え、前記映像出力部は、前記設定情報取得部が取得する前記設定情報に応じた前記第2の映像データを出力する。
(4)本発明の一態様の映像データ配信装置は、上記(3)に記載の映像データ配信装置において、前記設定情報には、前記原映像における前記第2の映像データの提示の開始位置を示す提示開始位置情報が含まれ、前記映像出力部は、前記開始位置以降の前記第2の映像データを出力する。
(5)本発明の一態様の映像データ配信装置は、上記(3)又は(4)に記載の映像データ配信装置において、前記設定情報には、映像の視点を示す視点情報が含まれ、前記映像出力部は、前記原映像と前記視点情報とに基づいて生成され、前記視点情報が示す視点と対応する映像である第3の映像データを、前記第2の映像データとして出力する。
(6)本発明の一態様の映像データ配信装置は、上記(2)から(5)のいずれか一に記載の映像データ配信装置において、前記第2の映像データは、前記第1の映像データよりも画質が高い映像データである。
(7)本発明の一態様の端末装置は、自装置に配信済みの映像データであって、原映像から生成される第1の映像データを示す識別情報を映像配信装置に出力する識別情報出力部と、前記第1の映像データとは異なる映像であって、前記識別情報に基づいて前記原映像から生成される第2の映像データを前記映像配信装置から取得する映像取得部とを備える。
(8)本発明の一態様の端末装置は、上記(7)に記載の端末装置であって、前記第2の映像データの設定を示す設定情報を生成する設定情報生成部と、前記設定情報生成部が生成する前記設定情報を出力する設定情報出力部とを更に備え、前記映像取得部は、前記設定情報生成部が生成する前記設定情報に応じた前記第2の映像データを取得する。
(9)本発明の一態様の端末装置は、上記(8)に記載の端末装置であって、前記原映像における前記第2の映像データの提示の開始位置を示す提示開始位置情報を生成する提示開始位置情報生成部を更に備え、前記設定情報生成部は、前記提示開始位置情報生成部が生成する前記提示開始位置情報に更に基づく前記設定情報を生成し、前記映像取得部は、前記開始位置以降の前記第2の映像データを取得する。
(10)本発明の一態様の端末装置は、上記(9)に記載の端末装置であって、映像データを自装置に提示する映像提示部を更に備え、前記映像提示部は、前記映像提示部が前記第1の映像データを提示中に前記提示開始位置情報が生成される場合には、提示中の前記第1の映像データを、前記提示開始位置情報が示すデータの提示位置以降の前記第2の映像データに切り替え、前記提示開始位置情報が示す前記開始位置とは、前記映像提示部が提示中の前記第1の映像データの提示位置である。
(11)本発明の一態様の端末装置は、上記(8)から(10)のいずれか一に記載の端末装置であって、映像の視点を示す視点情報を生成する視点情報生成部を更に備え、前記設定情報生成部は、前記視点情報生成部が生成する前記視点情報に更に基づく前記設定情報を生成し、前記映像取得部は、前記視点情報に応じた前記第2の映像データを取得する。
(12)本発明の一態様の端末装置は、上記(7)から(11)のいずれか一に記載の端末装置であって、前記第2の映像データに係る決済を行う決済部と、前記決済部が決済した結果を示す決済情報を出力する決済情報出力部とを更に備える。
(13)本発明の一態様の端末装置は、上記(7)から(12)のいずれか一に記載の端末装置であって、前記前記映像取得部は、前記第2の映像データを、ストリーミング映像データとして取得する。
(14)本発明の一態様の映像配信方法は、映像データを配信する映像データ配信装置を利用した映像配信方法であって、映像データ配信装置が、端末装置から、前記端末装置に記憶された映像データであって、原映像から生成される第1の映像データを示す識別情報を取得し、前記識別情報取得部が取得する前記識別情報に基づいて、前記第1の映像データとは異なる映像であって、前記原映像から生成される第2の映像データを前記端末装置に配信する。
(14)本発明の一態様の映像配信方法は、映像データを配信する映像データ配信装置を利用した映像配信方法であって、映像データ配信装置が、端末装置から、前記端末装置に記憶された映像データであって、原映像から生成される第1の映像データを示す識別情報を取得し、前記識別情報取得部が取得する前記識別情報に基づいて、前記第1の映像データとは異なる映像であって、前記原映像から生成される第2の映像データを前記端末装置に配信する。
(15)本発明の一態様の情報配信装置は、映像データを取得する映像データ取得部と、前記映像データ取得部が取得する前記映像データに基づいて、前記映像データに含まれる対象画像を画像処理することにより得られるモデルの動きを示す動き情報を前記モデル毎に生成する動き情報生成部と、前記端末装置の性能情報又は前記動き情報の配信対象の端末装置との間の通信品質を示す通信品質情報を、端末情報として取得する端末情報取得部と、前記端末情報取得部が取得する前記端末情報に基づいて、前記動き情報生成部が生成する前記動き情報の情報量を調整する動き情報量調整部と、前記動き情報量調整部が調整した情報量調整後動き情報を、前記端末装置に配信する配信部とを備える。
(16)本発明の一態様の情報配信装置は、上記(15)に記載の情報配信装置において、前記端末装置が要求する前記情報量の調整の程度を示す調整程度情報を当該端末装置から取得する調整程度情報取得部を更に備え、前記動き情報量調整部は、前記調整程度情報取得部が取得する前記調整程度情報に更に基づいて、前記動き情報生成部が生成する前記動き情報の情報量を調整する。
(17)本発明の一態様の情報配信装置は、上記(16)に記載の情報配信装置において、前記モデルには、複数の要素と、当該要素間を接続する関節とが含まれ、前記動き情報量調整部は、前記モデルに含まれる前記要素の数を調整することにより、前記動き情報生成部が生成する前記動き情報の情報量を調整する。
(18)本発明の一態様の情報配信装置は、上記(15)から(17)のいずれか一に記載の情報配信装置において、前記対象画像に関する情報を取得する対象画像情報取得部を更に備え、前記配信部は、前記対象画像の前記情報量調整後動き情報とともに、前記対象画像情報取得部が取得する当該対象画像に関する情報を、前記端末装置に配信する。
(19)本発明の一態様の情報配信装置は、上記(18)に記載の情報配信装置において、前記対象画像に関する情報とは、配信対象の前記モデルの属性を示す情報である。
(20)本発明の一態様の情報配信装置は、上記(15)から(19)のいずれか一に記載の情報配信装置において、前記端末装置が出力する動き情報配信要求を取得する動き情報配信要求取得部と、前記動き情報生成部が生成する前記動き情報を記憶する動き情報記憶部とを更に備え、前記配信部は、前記動き情報配信要求取得部が取得する前記動き情報配信要求に基づいて、前記動き情報記憶部に記憶されている前記動き情報を、当該動き情報配信要求を出力した前記端末装置に配信する。
(21)本発明の一態様の情報配信装置は、上記(20)に記載の情報配信装置において、前記配信部は、前記動き情報配信要求を出力した前記端末装置に対して前記情報量調整後動き情報が配信済みである場合に、前記動き情報記憶部に記憶されている前記動き情報を当該端末装置に対して配信する。
(22)本発明の一態様の端末装置は、端末装置の性能を示す性能情報又は情報配信装置との間の通信品質を示す通信品質情報を端末情報として前記情報配信装置に送信する端末情報送信部と、前記情報配信装置が前記端末情報に基づいて生成する情報であって、映像データに含まれる対象画像を画像処理することにより得られるモデルの動きを示す動き情報を、前記情報配信装置から受信する動き情報受信部と、自端末装置の状態を取得する状態取得部と、前記動き情報受信部が受信する前記動き情報と、前記状態取得部が取得する前記状態とに基づいて、前記状態に応じた前記モデルの動画像を生成する動画像生成部と、前記動画像生成部が生成する前記動画像を含む画像を表示する表示部とを備える。
(23)本発明の一態様の端末装置は、上記(22)に記載の端末装置において、前記状態取得部は、自端末装置の位置を前記状態として取得し、前記動画像生成部は、前記状態取得部が取得する前記位置に応じた前記動画像を生成する。
(24)本発明の一態様の端末装置は、上記(22)または(23)に記載の端末装置において、前記状態取得部は、指示された視点位置を前記状態として取得し、前記動画像生成部は、前記状態取得部が取得する前記視点位置に応じた前記動画像を生成する。
(25)本発明の一態様の端末装置は、上記(22)から(24)に記載の端末装置において、前記状態取得部は、自端末装置の周辺の明るさを前記状態として取得し、前記動画像生成部は、前記状態取得部が取得する前記明るさに応じた前記動画像を生成する。
本発明によれば、端末装置に大容量コンテンツを配信することができる映像配信システム端末装置及び映像データ配信装置を提供することができる。
また、本発明の実施形態によれば、コンテンツをリアルタイム配信することができる情報配信装置及び端末装置を提供することができる。
<第1の実施形態>
以下、図面を参照して第1の実施形態の通信システムについて説明する。
図1は、第1の実施形態の映像配信システム100の概要の一例を示す図である。
以下、図面を参照して第1の実施形態の通信システムについて説明する。
図1は、第1の実施形態の映像配信システム100の概要の一例を示す図である。
<システムの概要>
映像配信システム100は、映像データ配信装置3を備える。映像データ配信装置3は、ネットワークNWを介して端末装置2と接続される。
映像データ配信装置3は、撮像装置によって撮像された映像データである原映像を画像処理することにより得られる高画質映像データHMを、端末装置2に対して配信する。高画質映像データHMとは、第2の映像データの一例である。以下の説明では、原映像は、スポーツの試合を撮像した映像の場合について説明する。
映像配信システム100は、映像データ配信装置3を備える。映像データ配信装置3は、ネットワークNWを介して端末装置2と接続される。
映像データ配信装置3は、撮像装置によって撮像された映像データである原映像を画像処理することにより得られる高画質映像データHMを、端末装置2に対して配信する。高画質映像データHMとは、第2の映像データの一例である。以下の説明では、原映像は、スポーツの試合を撮像した映像の場合について説明する。
端末装置2は、例えばスマートフォンやタブレット端末であり、表示部21と操作部22とを備えている。操作部22は、例えばタッチパネルを備えており、端末装置2のユーザーによって操作される。表示部21は、例えば液晶ディスプレイを備えており、さまざまな画像を表示する。この表示部21に表示される画像には、映像データ配信装置3から配信される情報に基づいて端末装置2が生成する画像が含まれている。端末装置2には、予め低画質映像データLMが記憶される。低画質映像データLMは、端末装置2に配信済みの映像データであって、原映像から生成される映像データである。低画質映像データLMとは、第1の映像データの一例である。なお、低画質映像データLMは、高画質映像データHMの画質を落とした映像データに限られない。低画質映像データLMは、原映像から生成される映像データであればよい。また、低画質映像データLMは、映像データ配信装置3によって、原映像から生成されたデータに基づいて、端末装置2が生成する映像データであってもよい。
具体的には、この低画質映像データLMは、端末装置2の処理の速度に適した映像データである。この低画質映像データLMには、例えば、原映像から生成されるCG動画などが含まれる。このCG動画は、例えば、原映像に基づいて生成される、多数の多角形の組み合わせ(例えば、ポリゴン)によって構成され、さらに光線の方向に基づく陰影処理やポリゴン表面のテクスチャマッピングがなされて表示される映像であってもよい。以下の説明では、このポリゴンによって構成される動画を、ポリゴン動画とも記載する。
また、このポリゴン動画に含まれるポリゴンは、原映像OMに撮像された選手の画像を画像処理することにより生成される。具体的には、選手の骨格や重心位置などを既知の手段によって算出することにより、選手の画像をモデル化することにより得られるモデル情報に基づくものである。
端末装置2は、このモデル情報に対して、動き情報を与えることにより、ポリゴン動画を生成する。動き情報とは、例えば、原映像OMに撮像された選手の画像を画像処理することにより生成され、モデル情報と共に予め端末装置2に配信された情報である。
端末装置2は、このモデル情報に対して、動き情報を与えることにより、ポリゴン動画を生成する。動き情報とは、例えば、原映像OMに撮像された選手の画像を画像処理することにより生成され、モデル情報と共に予め端末装置2に配信された情報である。
つまり、低画質映像データLMは、端末装置2が提示するのに適した形態の映像データである。言い換えると、低画質映像データLMは上述したポリゴン動画データであり、高画質映像データHMデータは普通の映像フォーマットのデータである。
<映像配信システム100の機能構成>
以下、図2を参照して、映像配信システム100の具体的な機能構成の一例について説明する。
図2は、本実施形態の映像配信システム100の機能構成の一例を示す図である。
以下、図2を参照して、映像配信システム100の具体的な機能構成の一例について説明する。
図2は、本実施形態の映像配信システム100の機能構成の一例を示す図である。
<端末装置2の機能構成>
端末装置2は、上述した表示部21と、操作部22とに加え、記憶部23と、制御部20とを備える。
記憶部23は、不揮発性の半導体メモリ等によって構成され、上述した低画質映像データLMが記憶される。
制御部20は、例えばCPUを備えており、種々の演算や情報の授受を行う。制御部20は、映像一覧生成部201と、提示部202と、識別情報生成部203と、識別情報出力部204と、映像取得部205とを、その機能部として備える。この制御部20は、操作部22に対するユーザーの操作を検出する。
端末装置2は、上述した表示部21と、操作部22とに加え、記憶部23と、制御部20とを備える。
記憶部23は、不揮発性の半導体メモリ等によって構成され、上述した低画質映像データLMが記憶される。
制御部20は、例えばCPUを備えており、種々の演算や情報の授受を行う。制御部20は、映像一覧生成部201と、提示部202と、識別情報生成部203と、識別情報出力部204と、映像取得部205とを、その機能部として備える。この制御部20は、操作部22に対するユーザーの操作を検出する。
映像一覧生成部201は、映像リストを生成する。映像リストとは、記憶部23に記憶される低画質映像データLMのタイトルや、サムネイル画像などのリストである。映像一覧生成部201は、この映像リストを表示部21に対して表示させる。ユーザーは、この映像リストから低画質映像データLMを選択することにより、取得したい高画質映像データHMを指定する。映像一覧生成部201は、ユーザーの選択操作を検出する。
映像一覧生成部201は、ユーザーが選択した低画質映像データLMを、記憶部23から取得する。映像一覧生成部201は、ユーザーが選択した低画質映像データLMを、提示部202に対して供給する。映像一覧生成部201は、ユーザーが選択した低画質映像データLMを、識別情報生成部203に対して供給する。
映像一覧生成部201は、ユーザーが選択した低画質映像データLMを、記憶部23から取得する。映像一覧生成部201は、ユーザーが選択した低画質映像データLMを、提示部202に対して供給する。映像一覧生成部201は、ユーザーが選択した低画質映像データLMを、識別情報生成部203に対して供給する。
提示部202は、映像一覧生成部201から、ユーザーが選択した低画質映像データLMを取得する。提示部202は、映像一覧生成部201から取得した低画質映像データLMを表示部21に表示させる。
識別情報生成部203は、映像一覧生成部201から、ユーザーが選択した低画質映像データLMを取得する。識別情報生成部203は、ユーザーが選択した低画質映像データLMを示す識別情報を生成する。この識別情報は、予め低画質映像データLMに含まれるデータである。具体的には、識別情報は、低画質映像データLMのファイル名や、低画質映像データLMの属性の情報などに基づいて生成される。識別情報生成部203は、生成した識別情報を、識別情報出力部204に対して供給する。
識別情報生成部203は、映像一覧生成部201から、ユーザーが選択した低画質映像データLMを取得する。識別情報生成部203は、ユーザーが選択した低画質映像データLMを示す識別情報を生成する。この識別情報は、予め低画質映像データLMに含まれるデータである。具体的には、識別情報は、低画質映像データLMのファイル名や、低画質映像データLMの属性の情報などに基づいて生成される。識別情報生成部203は、生成した識別情報を、識別情報出力部204に対して供給する。
識別情報出力部204は、識別情報生成部203から識別情報を取得する。識別情報出力部204は、識別情報生成部203から取得した識別情報を、識別情報取得部301に対して供給する。
映像取得部205は、映像データ配信装置3から、ユーザーが選択した低画質映像データLMと対応する高画質映像データHMを取得する。
映像取得部205は、映像データ配信装置3から、ユーザーが選択した低画質映像データLMと対応する高画質映像データHMを取得する。
<映像データ配信装置3の機能構成>
映像データ配信装置3は、制御部30と、記憶部31とを備える。記憶部31は、ハードディスクドライブやROM(Read-Only-memory)などの不揮発性メモリによって構成される。
制御部30は、例えばCPUを備えており、種々の演算や情報の授受を行う。制御部30は、識別情報取得部301と、映像出力部302とをその機能部として備える。
映像データ配信装置3は、制御部30と、記憶部31とを備える。記憶部31は、ハードディスクドライブやROM(Read-Only-memory)などの不揮発性メモリによって構成される。
制御部30は、例えばCPUを備えており、種々の演算や情報の授受を行う。制御部30は、識別情報取得部301と、映像出力部302とをその機能部として備える。
識別情報取得部301は、端末装置2から出力される識別情報を取得する。この識別情報とは、上述したように、端末装置2を操作するユーザーによって選択された低画質映像データLMを示す情報である。識別情報取得部301は、端末装置2から取得した識別情報を、映像出力部302に対して供給する。
映像出力部302は、識別情報取得部301が取得する識別情報に基づいて、高画質映像データHMを端末装置2に対して出力する。この高画質映像データHMは、ユーザーが選択した低画質映像データLMの原映像から生成される。高画質映像データHMは、ユーザーが選択した低画質映像データLMとは異なる映像である。異なる映像とは、例えば、画質が異なる映像である。この一例では、高画質映像データHMは、低画質映像データLMよりも画質が高い映像データである。
映像出力部302は、記憶部31に記憶される識別情報リストSILと、識別情報取得部301から取得する識別情報に基づいて、ユーザーが選択した低画質映像データLMと対応する高画質映像データHMを取得する。映像出力部302は、取得したユーザーが選択した低画質映像データLMと対応する高画質映像データHMを、映像取得部205に対して出力する。
映像出力部302は、記憶部31に記憶される識別情報リストSILと、識別情報取得部301から取得する識別情報に基づいて、ユーザーが選択した低画質映像データLMと対応する高画質映像データHMを取得する。映像出力部302は、取得したユーザーが選択した低画質映像データLMと対応する高画質映像データHMを、映像取得部205に対して出力する。
ここで、図3を参照して、識別情報リストSILの一例について説明する。
図3は、識別情報リストSILの一例を示す図である。
識別情報リストSILは、識別情報SIと、低画質映像データLMと、高画質映像データHMと、原映像OMとが対応付けられた状態のリストである。
この一例では、識別情報リストSILには、識別情報リストSIL1と、識別情報リストSIL2とが含まれる。
図3は、識別情報リストSILの一例を示す図である。
識別情報リストSILは、識別情報SIと、低画質映像データLMと、高画質映像データHMと、原映像OMとが対応付けられた状態のリストである。
この一例では、識別情報リストSILには、識別情報リストSIL1と、識別情報リストSIL2とが含まれる。
識別情報リストSIL1は、識別情報SIとして“識別情報1”と、低画質映像データLMとして“低画質映像データ1”と、高画質映像データHMとして“高画質映像データ1”と、原映像OMとして“原映像データ1”とが対応付けられた状態の情報である。
また、識別情報リストSIL2は、識別情報リストSILには、識別情報SIとして“識別情報2”と、低画質映像データLMとして“低画質映像データ2”と、高画質映像データHMとして“高画質映像データ2”と、原映像OMとして“原映像データ2”とが対応付けられた状態の情報である。
また、識別情報リストSIL2は、識別情報リストSILには、識別情報SIとして“識別情報2”と、低画質映像データLMとして“低画質映像データ2”と、高画質映像データHMとして“高画質映像データ2”と、原映像OMとして“原映像データ2”とが対応付けられた状態の情報である。
映像出力部302は、ユーザーが選択した低画質映像データLMを識別する識別情報と、識別情報リストSILに含まれる識別情報SIとに基づいて、ユーザーが選択した低画質映像データLMと対応する高画質映像データHMを選択する。具体的には、ユーザーが選択した低画質映像データLMを識別する識別情報が“識別情報2”を示す場合には、映像出力部302は、“高画質映像データ2”を出力する高画質映像データHMとして、記憶部31から取得する。
<映像配信システム100の動作>
次に、映像配信システム100の動作について、図4を参照して説明する。
図4は、本実施形態の映像配信システム100の動作の一例を示す図である。
次に、映像配信システム100の動作について、図4を参照して説明する。
図4は、本実施形態の映像配信システム100の動作の一例を示す図である。
(ステップS100)映像一覧生成部201は、映像リストを生成する。映像一覧生成部201は、ユーザーが映像リストから低画質映像データLMを選択する操作を検出する。映像一覧生成部201は、ユーザーが選択した低画質映像データLMを、記憶部23から取得する。映像一覧生成部201は、ユーザーが選択した低画質映像データLMを、識別情報生成部203に対して供給する。識別情報生成部203は、映像一覧生成部201からユーザーが選択した低画質映像データLMを取得する。識別情報生成部203は、映像一覧生成部201から取得した低画質映像データLMを示す識別情報を生成する。識別情報生成部203は、生成した低画質映像データLMを示す識別情報を、識別情報出力部204に対して供給する。識別情報出力部204は、識別情報生成部203から低画質映像データLMを示す識別情報を取得する。識別情報出力部204は、識別情報生成部203から取得した低画質映像データLMを示す識別情報SIを、識別情報取得部301に対して出力する。
(ステップS200)映像データ配信装置3は、端末装置2から識別情報を受信する。識別情報取得部301は、識別情報生成部203から低画質映像データLMを示す識別情報を取得する。識別情報取得部301は、識別情報生成部203から取得した識別情報SIを、映像出力部302に対して供給する。
(ステップS210)映像データ配信装置3は、端末装置2から取得した識別情報SIが示す高画質映像データHMを送信する。具体的には、映像出力部302は、識別情報取得部301から低画質映像データLMを示す識別情報SIを取得する。映像出力部302は、識別情報取得部301から取得した低画質映像データLMを示す識別情報SIと対応する高画質映像データHMを、記憶部31から取得する。映像出力部302は、記憶部31から取得した高画質映像データHMを、映像取得部205に対して出力する。
(ステップS210)映像データ配信装置3は、端末装置2から取得した識別情報SIが示す高画質映像データHMを送信する。具体的には、映像出力部302は、識別情報取得部301から低画質映像データLMを示す識別情報SIを取得する。映像出力部302は、識別情報取得部301から取得した低画質映像データLMを示す識別情報SIと対応する高画質映像データHMを、記憶部31から取得する。映像出力部302は、記憶部31から取得した高画質映像データHMを、映像取得部205に対して出力する。
(ステップS110)端末装置2は、映像データ配信装置3から高画質映像データを受信する。具体的には、映像取得部205は、映像出力部302から高画質映像データHMを取得する。
<第1の実施形態のまとめ>
以上説明したように、本実施形態の映像配信システム100は、端末装置2に対して、端末装置2が選択した低画質映像データLMと対応する高画質映像データHMを配信する。端末装置2が選択する低画質映像データLMは、高画質映像データHMよりもデータの量が少ない映像データである。この低画質映像データLMは、ユーザーが選択した低画質映像データLMである。このため、映像配信システム100は、ユーザーにデータ量の少ない映像データを提示することで、所望する高画質映像データHMを選択させる。これにより、映像配信システム100は、この選択したデータ量の少ない映像データと対応する高画質映像データを、端末装置2に対して配信することができる。
したがって、本実施形態の映像配信システム100によれば、端末装置に大容量コンテンツを配信することができる。
以上説明したように、本実施形態の映像配信システム100は、端末装置2に対して、端末装置2が選択した低画質映像データLMと対応する高画質映像データHMを配信する。端末装置2が選択する低画質映像データLMは、高画質映像データHMよりもデータの量が少ない映像データである。この低画質映像データLMは、ユーザーが選択した低画質映像データLMである。このため、映像配信システム100は、ユーザーにデータ量の少ない映像データを提示することで、所望する高画質映像データHMを選択させる。これにより、映像配信システム100は、この選択したデータ量の少ない映像データと対応する高画質映像データを、端末装置2に対して配信することができる。
したがって、本実施形態の映像配信システム100によれば、端末装置に大容量コンテンツを配信することができる。
なお、上述した説明では、高画質映像データHMは、低画質映像データLMよりも画質が高い映像データである場合について説明したが、これに限られない。高画質映像データHMは、原映像OMから生成される映像であればよい。具体的には、高画質映像データHMは、低画質映像データLMよりも音質がよい映像データであってもよい。高画質映像データHMは、低画質映像データLMよりも映像の圧縮率が低い映像データであってもよい。高画質映像データHMは、低画質映像データLMよりも縦横のピクセルサイズが異なる画像であってもよい。高画質映像データHMは、原映像OMに基づいて生成されるCG(computer graphics)映像であってもよい。また、高画質映像データHMは、原映像OMであってもよい。
なお、上述した説明では、映像データ配信装置3は、高画質映像データHMが予め記憶部31に記憶される場合について説明したが、これに限られない。映像データ配信装置3は、他の装置、例えば、原映像OMから高画質映像データHMを生成するサーバ装置などから高画質映像データHMを取得してもよい。また、映像データ配信装置3は端末装置2から識別情報SIを受信した後に、映像データ配信装置3において高画質映像データHMを生成してもよい。この場合、映像出力部302は、識別情報取得部301から取得した識別情報に対応する原映像OMに圧縮等の画像処理を施し、高画質映像データHMを生成し、映像取得部205に対して出力する。
なお、上述した説明では、低画質映像データLMは、予め記憶部23に記憶される構成について説明したが、これに限られない。低画質映像データLMは、上述したように、端末装置2によって生成されるポリゴン動画であってもよい。この場合には、低画質映像データLMは、予め記憶部23に記憶される必要はない。端末装置2は、予め映像データ配信装置3から取得し、記憶部23に記憶されたポリゴン動画の生成に用いるモデル情報及び動き情報に基づいて、識別情報SIを生成する。また、このポリゴン動画の生成に用いられるデータは、高画質映像データHMよりもデータの量が少ない。これにより、端末装置2は、多くの映像データを、自装置に記憶させることができる。
また、端末装置2は、このポリゴン動画に基づいて、高画質映像データHMを受信することができる。
また、端末装置2は、このポリゴン動画に基づいて、高画質映像データHMを受信することができる。
<第2の実施形態>
次に、図を参照して、第2の実施形態の映像配信システムについて説明する。第2の実施形態の映像配信システムは、端末装置から指定される設定に基づく高画質映像データHMを、映像データ配信装置から端末装置に対して供給する。
図5は、第2の実施形態の映像配信システム100aの機能構成の一例を示す図である。
映像配信システム100aは、端末装置2aが、取得する高画質映像データHMの設定を示す設定情報を生成する機能を備える点において、上述した第1の実施形態と異なる。
以下、各機能について説明する。なお、上述した第1の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
次に、図を参照して、第2の実施形態の映像配信システムについて説明する。第2の実施形態の映像配信システムは、端末装置から指定される設定に基づく高画質映像データHMを、映像データ配信装置から端末装置に対して供給する。
図5は、第2の実施形態の映像配信システム100aの機能構成の一例を示す図である。
映像配信システム100aは、端末装置2aが、取得する高画質映像データHMの設定を示す設定情報を生成する機能を備える点において、上述した第1の実施形態と異なる。
以下、各機能について説明する。なお、上述した第1の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
<設定情報を生成する機能>
端末装置2aは、制御部20aが設定情報生成部208と、提示開始位置情報生成部206と、設定情報出力部207と、提示部202aとを、その機能部として備える。
設定情報生成部208は、高画質映像データHMの設定を示す設定情報を生成する。
提示開始位置情報生成部206は、原映像データOMにおける高画質映像データHMの提示の開始位置を示す提示開始位置情報を生成する。開始位置とは、高画質映像データHMの総提示時間のうちの、提示を開始する時間のことである。設定情報生成部208は、提示開始位置情報生成部206が生成する提示開始位置情報が含まれる設定情報を生成する。
設定情報出力部207は、設定情報を、識別情報生成部203に対して出力する。映像取得部205は、開始位置以降の高画質映像データHMを取得する。
提示部202aは、映像データを表示部21に提示する。
端末装置2aは、制御部20aが設定情報生成部208と、提示開始位置情報生成部206と、設定情報出力部207と、提示部202aとを、その機能部として備える。
設定情報生成部208は、高画質映像データHMの設定を示す設定情報を生成する。
提示開始位置情報生成部206は、原映像データOMにおける高画質映像データHMの提示の開始位置を示す提示開始位置情報を生成する。開始位置とは、高画質映像データHMの総提示時間のうちの、提示を開始する時間のことである。設定情報生成部208は、提示開始位置情報生成部206が生成する提示開始位置情報が含まれる設定情報を生成する。
設定情報出力部207は、設定情報を、識別情報生成部203に対して出力する。映像取得部205は、開始位置以降の高画質映像データHMを取得する。
提示部202aは、映像データを表示部21に提示する。
映像データ配信装置3aは、制御部30aが設定情報取得部303を、その機能部として備える。
設定情報取得部303は、設定情報出力部207から設定情報を取得する。設定情報取得部303は、設定情報出力部207から取得した設定情報を、映像出力部302に対して供給する。
映像出力部302は、設定情報取得部303が取得する設定情報に応じた高画質映像データHMを、映像取得部205に対して出力する。具体的には、映像出力部302は、上述した識別情報SIと、設定情報とに対応する高画質映像データHMを、記憶部31から取得する。映像出力部302は、記憶部31から取得した識別情報SIと、設定情報とに対応する高画質映像データHMを、映像取得部205に対して出力する。
設定情報取得部303は、設定情報出力部207から設定情報を取得する。設定情報取得部303は、設定情報出力部207から取得した設定情報を、映像出力部302に対して供給する。
映像出力部302は、設定情報取得部303が取得する設定情報に応じた高画質映像データHMを、映像取得部205に対して出力する。具体的には、映像出力部302は、上述した識別情報SIと、設定情報とに対応する高画質映像データHMを、記憶部31から取得する。映像出力部302は、記憶部31から取得した識別情報SIと、設定情報とに対応する高画質映像データHMを、映像取得部205に対して出力する。
ここで、図6を参照して、設定情報生成部208が生成する設定情報について説明する。
図6は、設定情報MSIの一例を示す図である。
図6は、設定情報MSIの一例を示す図である。
設定情報MSIには、高画質映像データHMの映像の画質や、音質、開始位置や、終了位置の情報が含まれる。終了位置とは、高画質映像データHMの総提示時間のうちの、提示を終了する時間のことである。
提示部202aは、提示部202aが低画質映像データLMを提示中に提示開始位置情報が生成される場合には、提示中の低画質映像データLMを、提示開始位置情報が示すデータの提示開始位置以降の高画質映像データHMに切り替える。この場合には、提示開始位置情報が示す開始位置とは、提示部202aが提示中の低画質映像データLMの提示位置である。
提示部202aは、提示部202aが低画質映像データLMを提示中に提示開始位置情報が生成される場合には、提示中の低画質映像データLMを、提示開始位置情報が示すデータの提示開始位置以降の高画質映像データHMに切り替える。この場合には、提示開始位置情報が示す開始位置とは、提示部202aが提示中の低画質映像データLMの提示位置である。
図7Aおよび7Bは、表示部21に表示される提示開始位置情報の生成に用いる画面表示の一例を示す図である。
図7Aは、表示部21に提示された、ユーザーが選択した低画質映像データLMの一例を示す図である。
図7Aに示す画像UI1には、映像データを提示する提示部MSPと、この映像データの提示中の提示位置を示す時間軸TLと、映像データ切り替えボタンSBとが含まれる。
図7Aに示す提示部MSPには、ユーザーが選択した低画質映像データLMが表示される。この一例では、低画質映像データLMは、スタジアムでの試合の映像である。また、時間軸TLには、ユーザーが選択した低画質映像データLMの総提示時間である“01:00:00”が表示される。また、現在提示中の提示位置として、“00:48:00”が表示される。これは、総提示時間1時間の映像データうちの、48分の位置の映像を表示していることを示す。
図7Aに示す画像UI1には、映像データを提示する提示部MSPと、この映像データの提示中の提示位置を示す時間軸TLと、映像データ切り替えボタンSBとが含まれる。
図7Aに示す提示部MSPには、ユーザーが選択した低画質映像データLMが表示される。この一例では、低画質映像データLMは、スタジアムでの試合の映像である。また、時間軸TLには、ユーザーが選択した低画質映像データLMの総提示時間である“01:00:00”が表示される。また、現在提示中の提示位置として、“00:48:00”が表示される。これは、総提示時間1時間の映像データうちの、48分の位置の映像を表示していることを示す。
ここで、ユーザーは、映像データ切り替えボタンSBをタッチすると、このタッチ操作を検出した提示開始位置情報生成部206は、提示開始位置“48:00”、提示終了位置“01:00:00”の提示開始位置情報を生成する。この提示開始位置情報が含まれる設定情報MSIを取得した映像データ配信装置3aは、高画質映像データHMを、提示開始位置情報が示す提示開始位置から端末装置2aに対して配信する。提示部202aは、提示中の低画質映像データLMから、提示開始位置情報が示すデータの提示開始位置以降の高画質映像データHMに映像データを切り替える。
なお、この終了位置“01:00:00”は、提示開始位置情報に含まれなくてもよい。映像取得部205は、提示終了位置が含まれない場合には、総提示時間のうちの末尾の位置までの映像データが取得すればよい。
なお、この終了位置“01:00:00”は、提示開始位置情報に含まれなくてもよい。映像取得部205は、提示終了位置が含まれない場合には、総提示時間のうちの末尾の位置までの映像データが取得すればよい。
なお、図7Bは、開始位置と終了位置とを設定する画像UI2の一例である。
開始位置SPと終了位置EPとにより、提示開始位置情報生成部206が生成する提示開始位置情報に含める位置が指定される。
この図7Bに示す開始位置情報の場合には、提示部202aは、提示終了位置“00:50:00”まで高画質映像データHMの提示が終わると、低画質映像データLMに切り替えて提示を継続してもよい。また、提示部202aは、提示終了位置“00:50:00”まで高画質映像データHMを提示し、提示が終了した時点で、その旨をユーザーに通知してもよい。
開始位置SPと終了位置EPとにより、提示開始位置情報生成部206が生成する提示開始位置情報に含める位置が指定される。
この図7Bに示す開始位置情報の場合には、提示部202aは、提示終了位置“00:50:00”まで高画質映像データHMの提示が終わると、低画質映像データLMに切り替えて提示を継続してもよい。また、提示部202aは、提示終了位置“00:50:00”まで高画質映像データHMを提示し、提示が終了した時点で、その旨をユーザーに通知してもよい。
次に図8を参照して、高画質映像データHMの画質や音質を示す設定情報MSIの生成方法について説明する。
図8は、表示部21に表示される設定情報MSIの生成に用いる画面表示の一例を示す。
本実施形態では、設定情報MSIに含まれる画質の指定や、音質の指定は、それぞれ圧縮率によって指定される。圧縮率が高いほど、高画質映像データHMの画質や音質は、原映像OMとの画質や音質と比較して低下する。圧縮率が低いほど画質や音質は向上し、高画質映像データHMと原映像OMとの画質や音質との差は小さくなる。
図8は、表示部21に表示される設定情報MSIの生成に用いる画面表示の一例を示す。
本実施形態では、設定情報MSIに含まれる画質の指定や、音質の指定は、それぞれ圧縮率によって指定される。圧縮率が高いほど、高画質映像データHMの画質や音質は、原映像OMとの画質や音質と比較して低下する。圧縮率が低いほど画質や音質は向上し、高画質映像データHMと原映像OMとの画質や音質との差は小さくなる。
<第2の実施形態のまとめ>
以上説明したように、本実施形態の映像配信システム100aは、端末装置2aに対して、設定情報MSIによって示される設定の高画質映像データHMを配信する。設定情報MSIが示す設定は、端末装置2aのユーザーの操作によって変更される。つまり、ユーザーは、所望する設定の高画質映像データHMを取得することができる。
以上説明したように、本実施形態の映像配信システム100aは、端末装置2aに対して、設定情報MSIによって示される設定の高画質映像データHMを配信する。設定情報MSIが示す設定は、端末装置2aのユーザーの操作によって変更される。つまり、ユーザーは、所望する設定の高画質映像データHMを取得することができる。
また、この設定情報MSIには、提示開始位置情報が含まれる。これにより、高画質映像データHMの取得を開始する位置を変更することができる。また、提示部202aは、低画質映像データLMを提示中に提示開始位置情報が含まれる設定情報MSIが生成される場合には、低画質映像データLMから高画質映像データHMに提示する映像データを切り替えることができる。これにより、低画質映像データLMを視聴しているユーザーは、映像の視聴を中断することなく、高画質映像データHMを楽しむことができる。
また、設定情報MSIに、提示終了位置が含まれる場合には、大容量コンテンツのうちの一部分のコンテンツを配信することができる。映像配信システム100aは、例えば、サッカーの試合が録画された動画コンテンツの場合、ゴールシーンなどの動画の一部分を高画質映像データHMとして端末装置2aに配信することができる。なお、端末装置2aは、低画質映像データLMを提示中に設定情報MSIが生成された場合には、設定情報MSIに対応する高画質映像データHMが記憶部23に記憶されているか否かを判定する。
高画質映像データHMが記憶部23に記憶されている場合には、記憶部23に記憶されている高画質映像データHMを提示する。端末装置2aは、記憶部23に設定情報MSIに対応する高画質映像データHMが記憶されていない場合には、映像データ配信装置3aに対して、設定情報MSIに対応する高画質映像データHMの配信を要求する。この場合、端末装置2aは高画質映像データHMの配信要求を映像データ配信装置3aに供給する旨をユーザーに通知し、ユーザーが承諾した場合に限り配信要求を供給してもよい。
また、設定情報MSIに、提示終了位置が含まれる場合には、大容量コンテンツのうちの一部分のコンテンツを配信することができる。映像配信システム100aは、例えば、サッカーの試合が録画された動画コンテンツの場合、ゴールシーンなどの動画の一部分を高画質映像データHMとして端末装置2aに配信することができる。なお、端末装置2aは、低画質映像データLMを提示中に設定情報MSIが生成された場合には、設定情報MSIに対応する高画質映像データHMが記憶部23に記憶されているか否かを判定する。
高画質映像データHMが記憶部23に記憶されている場合には、記憶部23に記憶されている高画質映像データHMを提示する。端末装置2aは、記憶部23に設定情報MSIに対応する高画質映像データHMが記憶されていない場合には、映像データ配信装置3aに対して、設定情報MSIに対応する高画質映像データHMの配信を要求する。この場合、端末装置2aは高画質映像データHMの配信要求を映像データ配信装置3aに供給する旨をユーザーに通知し、ユーザーが承諾した場合に限り配信要求を供給してもよい。
なお、上述した設定情報MSIには、選手情報の指定、無線通信の種類の情報、端末情報などが含まれてもよい。
選手情報の指定とは、例えば、原映像OMの映像中に、選手が映っている映像を指定することである。この指定には、例えば、選手の静止画像などを指定すればよい。映像配信システム100aは、原映像OMのうちから、指定された選手が写っている部分の映像を、高画質映像データHMとして、端末装置2aに配信する。この場合には、映像データ配信装置3aは、選手の静止画像に含まれる情報、例えば、ユニフォームの意匠、背番号や身体的特徴などに基づいて、選手が映っている映像を選択する。
選手情報の指定とは、例えば、原映像OMの映像中に、選手が映っている映像を指定することである。この指定には、例えば、選手の静止画像などを指定すればよい。映像配信システム100aは、原映像OMのうちから、指定された選手が写っている部分の映像を、高画質映像データHMとして、端末装置2aに配信する。この場合には、映像データ配信装置3aは、選手の静止画像に含まれる情報、例えば、ユニフォームの意匠、背番号や身体的特徴などに基づいて、選手が映っている映像を選択する。
無線通信の種類の情報とは、端末装置2aと映像データ配信装置3aとの間の通信に用いられる無線通信に関する情報であり、例えば、無線LANや、LTEなどを示す無線通信種別情報や、通信のスループット等の通信品質情報などである。この場合には、映像配信システム100aは、無線通信の種類の情報に基づいて、無線通信の速さや通信品質に応じた画質の高画質映像データHMを配信することができる。
端末情報には、端末装置2aの性能を示す情報が含まれる。端末装置2aの性能である処理速度や提示環境は、端末装置2aが備える演算装置の種類や動作周波数、メモリのアクセス速度や容量、画像処理エンジンの種類や動作周波数などにより定まる。例えば、端末情報とは、オペレーティングシステムの情報、機種を示す情報、映像データを提示するアプリケーション名、映像データをデコードするデコーダーを示す情報、CPUの性能や種類を示す情報、ディスプレイ画素数の情報(解像度の情報)、ディスプレイの大きさを示す情報などである。この場合には、映像配信システム100aは、端末装置2aの処理速度や、高画質映像データHMの提示環境に応じた高画質映像データHMを配信することができる。この場合には、映像データ配信装置3aが備える記憶部31には、上述した端末情報に含まれる情報とそれぞれ対応する高画質映像データHMが記憶される。映像データ配信装置3aは、端末装置2aに対して、この記憶部31に記憶される複数の高画質映像データHMのうちから、端末装置2aから取得した端末情報に応じた高画質映像データHMを配信する。つまり、映像データ配信装置3aは、端末装置2aから取得する端末情報によって、端末装置2aに適した高画質映像データHMを選択して、配信することができる。
また、映像データ配信装置3aは、記憶部31に、過去に端末装置2aに対して配信した高画質映像データHMに対応する設定情報MSIと、この端末装置2aを識別する端末識別情報とを対応付けた状態で記憶する。映像データ配信装置3aは、記憶部に端末識別情報が記憶された端末装置2aから、設定情報MSIを伴わない高画質映像データHMの配信要求を受信した場合には、端末識別情報に対応付けて記憶された設定情報MSIに基づいて高画質映像データHMを配信する。映像データ配信装置3aは、記憶部に端末識別情報が記憶された端末装置2aから、設定情報MSIを伴った高画質映像データHMの配信要求を受信した場合には、新たに受信した設定情報MSIを端末識別情報と対応付けて記憶するとともに、新たに受信した設定情報MSIに基づいて高画質映像データHMを配信する。
<第3の実施形態>
次に、図を参照して、第3の実施形態の映像配信システムについて説明する。第3の実施形態の映像配信システムは、映像の視点が設定された高画質映像データHMを、映像データ配信装置から端末装置に対して配信する。
図9は、第3の実施形態の映像配信システム100bの機能構成の一例を示す図である。
次に、図を参照して、第3の実施形態の映像配信システムについて説明する。第3の実施形態の映像配信システムは、映像の視点が設定された高画質映像データHMを、映像データ配信装置から端末装置に対して配信する。
図9は、第3の実施形態の映像配信システム100bの機能構成の一例を示す図である。
映像配信システム100bは、端末装置2bが、取得する高画質映像データHMの視点を示す視点情報を生成する機能を備える点において、上述した第2の実施形態と異なる。
映像データ配信装置3bは、この視点情報が示すカメラ位置から撮像した高画質映像データHMを送信する。このカメラ位置から撮像した高画質映像データHMは、互いに異なる位置に配置されたカメラから撮像された、複数の原映像OMに基づいて生成されるCG映像データである。以下の説明では、このCG映像データの事を、自由視点映像とも記載する。自由視点映像は、第3の映像データの一例である。自由視点映像とは、複数の位置から撮像された映像である多視点映像を用いて生成される3次元の映像である。例えば、ユーザーは、この自由視点映像の視点の位置や、視点の角度などを指定することにより、所望する位置や、所望する角度からの映像に切り替えた映像を視聴することができる。ここで、多視点映像は、原映像OMの一例である。上述した視点情報には、この自由視点映像の視点の位置や、視点の角度などが含まれる。つまり、自由視点映像は、視点情報と、原映像OMとに基づいて生成され、視点情報が示す視点と対応する映像である。
映像データ配信装置3bは、この視点情報が示すカメラ位置から撮像した高画質映像データHMを送信する。このカメラ位置から撮像した高画質映像データHMは、互いに異なる位置に配置されたカメラから撮像された、複数の原映像OMに基づいて生成されるCG映像データである。以下の説明では、このCG映像データの事を、自由視点映像とも記載する。自由視点映像は、第3の映像データの一例である。自由視点映像とは、複数の位置から撮像された映像である多視点映像を用いて生成される3次元の映像である。例えば、ユーザーは、この自由視点映像の視点の位置や、視点の角度などを指定することにより、所望する位置や、所望する角度からの映像に切り替えた映像を視聴することができる。ここで、多視点映像は、原映像OMの一例である。上述した視点情報には、この自由視点映像の視点の位置や、視点の角度などが含まれる。つまり、自由視点映像は、視点情報と、原映像OMとに基づいて生成され、視点情報が示す視点と対応する映像である。
映像出力部302は、自由視点映像を、高画質映像データHMとして、端末装置2bに対して出力する。
以下、各機能について説明する。なお、上述した第1の実施形態及び第2の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
以下、各機能について説明する。なお、上述した第1の実施形態及び第2の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
<視点情報を生成する機能>
端末装置2bは、制御部20bが視点情報生成部209を、その機能部として備える。
視点情報生成部209は、視点情報を生成する。
ここで、図10を参照して、視点情報について説明する。
視点情報とは、低画質映像データLMで指定されるカメラの位置や、カメラが撮像する方向の情報である。このカメラの事を、以下の説明では、仮想カメラとも記載する。また、以下の説明では、仮想カメラの位置及び仮想カメラが撮像する方向のことを、視点とも記載する。
図10は、視点情報を設定する画像UI4の一例を示す図である。
端末装置2bは、制御部20bが視点情報生成部209を、その機能部として備える。
視点情報生成部209は、視点情報を生成する。
ここで、図10を参照して、視点情報について説明する。
視点情報とは、低画質映像データLMで指定されるカメラの位置や、カメラが撮像する方向の情報である。このカメラの事を、以下の説明では、仮想カメラとも記載する。また、以下の説明では、仮想カメラの位置及び仮想カメラが撮像する方向のことを、視点とも記載する。
図10は、視点情報を設定する画像UI4の一例を示す図である。
提示部MSPには、仮想カメラCAMIと、仮想カメラの位置を示す値CAMPと、仮想カメラが撮像する方向を示す軸CAMDとが含まれる。ここで、値CAMPとは、自由視点映像の所定の面をX軸Y軸が直交する面として、所定の面と法線方向にZ軸を持つ値である。この一例では、所定の面がスタジアムの地面であって、X軸に300、Y軸に100、Z軸に0の位置に仮想カメラが位置する。軸CAMDは、この一例では、X軸の負側の向きである。この値CAMPと、軸CAMDとは、端末装置2bを操作するユーザーによって入力される。視点情報には、この値CAMPと、軸CAMDとが含まれる。
ここで、ユーザーが値CAMPと、軸CAMDを入力する操作の一例について説明する。この一例では、低画質映像データLMが、上述したポリゴン動画の場合について説明する。ポリゴン動画とは、上述したように、選手の画像をモデル化したモデル情報を動き情報によって動かした3次元CG動画である。このポリゴン動画は、3次元CG動画である。このため、ユーザーは、仮想カメラCAMIを、所望する視点に配置することができる。ユーザーは、低画質映像データLMであるポリゴン動画によって設定した仮想カメラCAMIの視点を、視点情報として設定することにより、所望する視点から撮像された高画質映像データHMの配信を映像データ配信装置3bに対して要求する。これにより、映像データ配信装置3bは、ユーザーが所望する視点から撮像された高画質映像データHMを、端末装置2bに対して配信することができる。
図9に戻り、視点情報生成部209は、生成した視点情報を、設定情報生成部208bに対して供給する。設定情報生成部208bは、この視点情報が含まれる設定情報MSIを生成する。
設定情報取得部303は、設定情報出力部207から、視点情報が含まれる設定情報MSIを取得する。設定情報取得部303は、設定情報出力部207から取得した視点情報が含まれる設定情報MSIを、映像生成部304に対して供給する。また、識別情報取得部301は、映像生成部304に対して識別情報SIを供給する。
映像生成部304は、設定情報取得部303から、視点情報が含まれる設定情報MSIを取得する。映像生成部304は、識別情報取得部301から識別情報SIを取得する。映像生成部304は、設定情報取得部303から取得した視点情報が含まれる設定情報MSIと、識別情報取得部301から取得した識別情報SIとに基づいて、自由視点映像を生成する。具体的には、映像生成部304は、設定情報MSIが示す視点情報に基づいて、識別情報SIが示す複数の原映像OMから、自由視点映像を生成する。
映像生成部304は、生成した自由視点映像を、映像出力部302に対して供給する。
映像出力部302は、設定情報取得部303が取得する設定情報MSIに応じた自由視点映像を、映像取得部205に対して出力する。
映像出力部302は、設定情報取得部303が取得する設定情報MSIに応じた自由視点映像を、映像取得部205に対して出力する。
<第3の実施形態のまとめ>
以上説明したように、本実施形態の映像配信システム100bは、端末装置2bに対して視点情報に応じた位置から撮像された自由視点映像を配信する。視点情報が含まれる設定情報MSIは、端末装置2aのユーザーの操作によって変更される。つまり、ユーザーは、所望する位置から撮像された自由視点映像を取得することができる。
以上説明したように、本実施形態の映像配信システム100bは、端末装置2bに対して視点情報に応じた位置から撮像された自由視点映像を配信する。視点情報が含まれる設定情報MSIは、端末装置2aのユーザーの操作によって変更される。つまり、ユーザーは、所望する位置から撮像された自由視点映像を取得することができる。
なお、上述した説明では、自由視点映像がCG映像の場合について説明したが、これに限られない。視点情報が示すカメラ位置と、原映像OMを撮像したカメラの位置とが近い位置の場合には、このカメラが撮像した原映像OMを、自由視点映像としてもよい。または、この視点情報とは単に、原映像OMを撮像した複数のカメラのうちから一つのカメラを特定する情報でもよい。この場合には、映像配信システム100bは、この視点情報によって特定されたカメラが撮像した原映像OMを送信する。
また、上述した説明では、自由視点映像を映像生成部304が生成する構成について説明したが、これに限られない。映像データ配信装置3bは、予め生成された自由視点映像が記憶部31に記憶されてもよい。映像生成部304が自由視点映像を生成する場合には、視点情報が示す視点位置と、生成された自由視点映像とを対応付けた状態で記憶部31に記憶させてもよい。これにより、映像データ配信装置3bは、既に生成済みの視点位置からの自由視点映像の配信を要求された場合に、より短い時間で端末装置2bに対して供給することができる。
なお、上述した設定情報MSIには、端末装置2bの位置情報、端末識別情報などが含まれていてもよい。端末装置2bの位置情報とは、端末装置2bが低画質映像データLMを映像データ配信装置3bから受信したとき、又は、提示したときの端末装置2bの位置を示す情報である。例えば、提示場所を示す位置情報や、端末装置2bが通信をしていた無線LANのアクセスポイントを識別する情報、移動体通信網の基地局を識別する識別情報などである。映像配信システム100bは、この位置情報に基づいて、端末装置2bに対して高画質映像データHMを配信するか否かを決定してもよい。
また、映像データ配信装置3bは、設定情報MSIに含まれる視点情報に代わり、位置情報に基づいて高画質映像データHMを生成してもよい。具体的には、例えば、映像データ配信装置3bは、設定情報MSIに含まれる無線LANのアクセスポイントを識別する情報が、スタジアムの観客席の特定の位置を示している場合には、その観客席を視点位置とする自由視点映像を生成し、端末装置2bに配信する。
また、この端末識別情報は、例えば、スポーツの試合の入場などに用いられる電子チケットIDなどでもよい。この場合には、映像配信システム100aは、スポーツの試合に来場したユーザーが所有する端末装置2aに対して、高画質映像データHMを配信することができる。また、映像データ配信装置3bは、この電子チケットIDの種類に応じた高画質映像データHMを配信してもよい。例えば、映像データ配信装置3bは、この電子チケットIDの販売価格や、所定の期間内であれば複数回利用可能なチケットなどの種類に応じて、端末装置2bに配信する高画質映像データHMを異ならせる。
また、映像データ配信装置3bは、電子チケットIDに基づいて自由視点映像を生成してもよい。具体的には、電子チケットIDにより、スタジアムの観客席の位置が特定される場合には、上述したように、映像データ配信装置3bは、その観客席の位置を視点位置とする自由視点映像を生成し、端末装置2bに対して配信する。これにより、端末装置2bの所有者がスタジアムで見た映像と同一の映像を、端末装置2b上で提示することができる。
また、映像配信システム100bがスタジアムに位置している端末装置2bにのみ高画質映像データHMを配信する場合には、電子チケットIDが記憶された端末装置2bが、電子チケットIDとスタジアムに設置される無線LANのアクセスポイントを識別する情報とを含む設定情報MSIを、映像データ配信装置3bに対して送信する。この電子チケットIDとアクセスポイントを識別する情報を受信した映像データ配信装置3bは、端末装置2bがスタジアムに位置しているとみなして、電子チケットIDと対応付けられた高画質映像データHMを、端末装置2bに対して配信してもよい。
なお、上述した第1の実施形態から第3の実施形態の映像取得部は、高画質映像データHMを、ストリーミング映像データとして取得してもよい。この場合には、映像出力部は、高画質映像データHMをストリーミングによって配信する。これにより、映像配信システムは、端末装置の記憶部の容量を考慮せずに、高画質映像データHMを配信することができる。また、端末装置は、ストリーミング映像データとして取得する場合には、高画質映像データHMの提示の開始を待つ時間を抑制することができる。
また、上述した第1の実施形態及び第2の実施形態の端末装置は、決済部と、決済情報出力部とを更に備えてもよい。
決済部は、高画質映像データHMに係る決済を行う。具体的には、決済部は、不図示の決済用のサーバに対して、高画質映像データHMの配信に係る決済をする。決済部は、例えば、取得する高画質映像データHMの総提示時間又は提示回数に応じて決められる金額を決済してもよい。決済部は、高画質映像データHMをストリーミング映像データとして取得する場合には、このストリーミング映像データを取得する時間に応じて決められる金額を決済してもよい。なお、映像データ配信装置3bが端末装置2bに対してストリーミング映像データを配信する場合には、端末装置2bではなく映像データ配信装置3bが上述した決済部と決済情報出力部とを備える構成であってもよい。
決済情報出力部は、決済部が決済した結果を示す決済情報を、映像データ配信装置に対して出力する。映像データ配信装置は、取得した決済情報に更に基づいて、高画質映像データHMを配信する。なお、この決済情報は、設定情報MSIに含まれていてもよい。
決済部は、高画質映像データHMに係る決済を行う。具体的には、決済部は、不図示の決済用のサーバに対して、高画質映像データHMの配信に係る決済をする。決済部は、例えば、取得する高画質映像データHMの総提示時間又は提示回数に応じて決められる金額を決済してもよい。決済部は、高画質映像データHMをストリーミング映像データとして取得する場合には、このストリーミング映像データを取得する時間に応じて決められる金額を決済してもよい。なお、映像データ配信装置3bが端末装置2bに対してストリーミング映像データを配信する場合には、端末装置2bではなく映像データ配信装置3bが上述した決済部と決済情報出力部とを備える構成であってもよい。
決済情報出力部は、決済部が決済した結果を示す決済情報を、映像データ配信装置に対して出力する。映像データ配信装置は、取得した決済情報に更に基づいて、高画質映像データHMを配信する。なお、この決済情報は、設定情報MSIに含まれていてもよい。
なお、上記の各実施形態における端末装置2、端末装置2a、端末装置2b、映像データ配信装置3、映像データ配信装置3a及び映像データ配信装置3bが備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
なお、端末装置2、端末装置2a、端末装置2b、映像データ配信装置3、映像データ配信装置3a及び映像データ配信装置3bが備える各部は、メモリおよびCPU(中央演算装置)により構成され、端末装置2、端末装置2a、端末装置2b、映像データ配信装置3、映像データ配信装置3a及び映像データ配信装置3bが備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
また、端末装置2、端末装置2a、端末装置2b、映像データ配信装置3、映像データ配信装置3a及び映像データ配信装置3bが備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
<第4の実施形態>
以下、図を参照して第4の実施形態の情報配信システム1001について説明する。
図11は、第4の実施形態の情報配信システム1001の構成の概要を示す図である。
以下、図を参照して第4の実施形態の情報配信システム1001について説明する。
図11は、第4の実施形態の情報配信システム1001の構成の概要を示す図である。
<システムの概要>
情報配信システム1001は、情報配信装置1010を備える。この情報配信装置1010は、ネットワークNを介して端末装置1020と接続される。
情報配信装置1010は、撮像装置CAMによって撮像された映像データVDを画像処理し、画像処理後の情報を端末装置1020に対して配信する。以下、情報配信システム1001が、サッカーなどの競技場SDに備えられており、サッカーの試合の情報を配信する場合を一例として説明する。なお、本実施形態では、撮像装置CAMが1台である場合について説明する。
情報配信システム1001は、情報配信装置1010を備える。この情報配信装置1010は、ネットワークNを介して端末装置1020と接続される。
情報配信装置1010は、撮像装置CAMによって撮像された映像データVDを画像処理し、画像処理後の情報を端末装置1020に対して配信する。以下、情報配信システム1001が、サッカーなどの競技場SDに備えられており、サッカーの試合の情報を配信する場合を一例として説明する。なお、本実施形態では、撮像装置CAMが1台である場合について説明する。
端末装置1020は、例えばスマートフォンやタブレット端末であり、表示部Dと操作部TPとを備えている。操作部TPは、例えばタッチパネルを備えており、端末装置1020のユーザによって操作される。表示部Dは、例えば液晶ディスプレイを備えており、さまざまな画像を表示する。この表示部Dに表示される画像には、情報配信装置1010から配信される情報に基づいて端末装置1020が生成する画像が含まれている。
ここで、図12A,12Bおよび12Cを参照して、情報配信装置1010が配信する情報に基づいての一例について説明する。
ここで、図12A,12Bおよび12Cを参照して、情報配信装置1010が配信する情報に基づいての一例について説明する。
<端末装置1020に表示される画像の一例>
図12A,12Bおよび12Cは、本実施形態の端末装置1020の表示部Dに表示される画像Pの一例を示す図である。
図12Aに示す画像P1とは、競技場SDを上空から俯瞰した状態で、選手の動きの軌跡を示す画像である。
図12Bに示す画像P2とは、ある視点から見た選手の配置を示す画像である。画像P2において、選手は、球や円柱などの比較的単純な図形の組み合わせによってデフォルメ表示される。
図12Cに示す画像P3とは、ある視点から見た選手の配置を示す画像である。画像P3において、選手は、多数の多角形の組み合わせ(例えば、ポリゴン)によって構成され、さらに光線の方向に基づく陰影処理やポリゴン表面のテクスチャマッピングがなされて表示される。
ここで、画像P2と画像P3とは画像の情報量が互いに異なる。ここでいう画像の情報量は、画像のサイズ、画像の解像度、色調の階調数などによって定まる他、動画像を生成するための動きベクトルの数量などによって定まる。例えば、動画像の生成に用いられる動きベクトルの密度が高いことや、動きベクトルの更新頻度が高いことを「画像の情報量が多い」という。この一例において、画像P3は、画像P2に比べてポリゴン数が多いため、より滑らかに選手の動きを表現できる。この一例の場合、画像P3の生成に用いられる動きベクトルの密度は、画像P2の生成に用いられる動きベクトルの密度よりも高い。すなわち、この一例に示す画像P2は情報量が比較的少ない。画像P3は情報量が比較的多い。以下の説明において、情報量が比較的多い画像のことを「粒度が細かい画像」ともいう。また、情報量が比較的少ない画像のことを「粒度が荒い画像」ともいう。
図12A,12Bおよび12Cは、本実施形態の端末装置1020の表示部Dに表示される画像Pの一例を示す図である。
図12Aに示す画像P1とは、競技場SDを上空から俯瞰した状態で、選手の動きの軌跡を示す画像である。
図12Bに示す画像P2とは、ある視点から見た選手の配置を示す画像である。画像P2において、選手は、球や円柱などの比較的単純な図形の組み合わせによってデフォルメ表示される。
図12Cに示す画像P3とは、ある視点から見た選手の配置を示す画像である。画像P3において、選手は、多数の多角形の組み合わせ(例えば、ポリゴン)によって構成され、さらに光線の方向に基づく陰影処理やポリゴン表面のテクスチャマッピングがなされて表示される。
ここで、画像P2と画像P3とは画像の情報量が互いに異なる。ここでいう画像の情報量は、画像のサイズ、画像の解像度、色調の階調数などによって定まる他、動画像を生成するための動きベクトルの数量などによって定まる。例えば、動画像の生成に用いられる動きベクトルの密度が高いことや、動きベクトルの更新頻度が高いことを「画像の情報量が多い」という。この一例において、画像P3は、画像P2に比べてポリゴン数が多いため、より滑らかに選手の動きを表現できる。この一例の場合、画像P3の生成に用いられる動きベクトルの密度は、画像P2の生成に用いられる動きベクトルの密度よりも高い。すなわち、この一例に示す画像P2は情報量が比較的少ない。画像P3は情報量が比較的多い。以下の説明において、情報量が比較的多い画像のことを「粒度が細かい画像」ともいう。また、情報量が比較的少ない画像のことを「粒度が荒い画像」ともいう。
<端末装置1020に表示される画像の情報量の調整>
端末装置1020の表示部Dに表示される画像Pの粒度は、さまざまな要因によって決まる。この要因には、一例として、(1)情報配信装置1010の画像処理性能、(2)端末装置1020の画像処理性能、(3)情報配信装置1010と端末装置1020との間の通信品質、(4)端末装置1020の通信回線契約の内容に基づく通信速度や通信量の上限値、及び(5)端末装置1020のユーザの要求、などがある。例えば、情報配信装置1010や端末装置1020の画像処理性能が比較的高い場合には、粒度が細かい画像Pを表示することができる。
端末装置1020の表示部Dに表示される画像Pの粒度は、さまざまな要因によって決まる。この要因には、一例として、(1)情報配信装置1010の画像処理性能、(2)端末装置1020の画像処理性能、(3)情報配信装置1010と端末装置1020との間の通信品質、(4)端末装置1020の通信回線契約の内容に基づく通信速度や通信量の上限値、及び(5)端末装置1020のユーザの要求、などがある。例えば、情報配信装置1010や端末装置1020の画像処理性能が比較的高い場合には、粒度が細かい画像Pを表示することができる。
<モデルとモデルの動き情報とによる動画の生成>
この情報配信装置1010は、撮像装置CAMが撮像した映像データVDを画像処理することにより、この映像データVDに含まれる選手の画像を抽出する。さらに情報配信装置1010は、抽出した選手の画像を画像処理して、選手の骨格や重心位置などを既知の手段によって算出することにより、選手の画像をモデル化する。
ここで、選手の骨格などを示すモデル情報が端末装置1020に予め記憶されていれば、このモデル情報に対して動き情報を与えることにより、端末装置1020は、モデルの動画を生成することができる。
この場合、情報配信装置1010は、モデルの動き情報を端末装置1020に配信する。端末装置1020は、配信された動き情報と、予め記憶されているモデル情報とに基づいてモデルの動画を生成し、生成した動画を表示部Dに表示する。
この情報配信装置1010は、撮像装置CAMが撮像した映像データVDを画像処理することにより、この映像データVDに含まれる選手の画像を抽出する。さらに情報配信装置1010は、抽出した選手の画像を画像処理して、選手の骨格や重心位置などを既知の手段によって算出することにより、選手の画像をモデル化する。
ここで、選手の骨格などを示すモデル情報が端末装置1020に予め記憶されていれば、このモデル情報に対して動き情報を与えることにより、端末装置1020は、モデルの動画を生成することができる。
この場合、情報配信装置1010は、モデルの動き情報を端末装置1020に配信する。端末装置1020は、配信された動き情報と、予め記憶されているモデル情報とに基づいてモデルの動画を生成し、生成した動画を表示部Dに表示する。
図13A~13Dは、本実施形態の情報配信装置1010が生成するモデルMの一例を示す図である。このモデルMは、要素Eと関節Jとを含む。この一例において要素Eとは、例えば選手の体幹部、頭部、腕部、脚部である。またこの一例において関節Jとは、体幹部と頭部、体幹部と腕部、体幹部と脚部などを接続する関節部分である。
一般的に、1人の選手をモデル化する場合、要素Eの数及び関節Jの数が多いほど、選手の動きをより精細に表現することができる。また、要素Eの数及び関節Jの数が多いほど、モデルMの情報量は多い。
例えば、図13Aに示すモデルMAは、要素E(又は関節J)の数が1であり、最も情報量が少ない。図13B~13Dに示すモデルMB、モデルMC、及びモデルMDは、記載順に要素E及び関節Jが多い。モデルMDは、例示するモデルMの中で最も情報量が多い。以下、モデルMAを「点モデル」ともいう。またモデルMB~モデルMDを多関節モデルともいう。
一般的に、1人の選手をモデル化する場合、要素Eの数及び関節Jの数が多いほど、選手の動きをより精細に表現することができる。また、要素Eの数及び関節Jの数が多いほど、モデルMの情報量は多い。
例えば、図13Aに示すモデルMAは、要素E(又は関節J)の数が1であり、最も情報量が少ない。図13B~13Dに示すモデルMB、モデルMC、及びモデルMDは、記載順に要素E及び関節Jが多い。モデルMDは、例示するモデルMの中で最も情報量が多い。以下、モデルMAを「点モデル」ともいう。またモデルMB~モデルMDを多関節モデルともいう。
情報配信装置1010は、上述した様々な要因に基づいて、モデルMの情報量、及びモデルMの動き情報の情報量を調整する。以下、図14を参照して、情報配信システム1001の具体的な機能構成の一例について説明する。
<情報配信システム1001の機能構成>
図14は、本実施形態の情報配信システム1001の機能構成の一例を示す図である。以下、端末装置1020の機能構成について説明し、次に情報配信装置1010の機能構成について説明する。
図14は、本実施形態の情報配信システム1001の機能構成の一例を示す図である。以下、端末装置1020の機能構成について説明し、次に情報配信装置1010の機能構成について説明する。
<端末装置1020の機能構成>
端末装置1020は、上述した操作部TPと表示部Dとに加え、制御部1200と、記憶部1250とを備える。制御部1200は、例えばCPUを備えており、種々の演算や情報の授受を行う。制御部1200は、操作検出部1201と、端末情報送信部1202と、通信品質情報生成部1203と、動き情報受信部1204と、動画像生成部1205と、表示制御部1206とを、その機能部として備える。
端末装置1020は、上述した操作部TPと表示部Dとに加え、制御部1200と、記憶部1250とを備える。制御部1200は、例えばCPUを備えており、種々の演算や情報の授受を行う。制御部1200は、操作検出部1201と、端末情報送信部1202と、通信品質情報生成部1203と、動き情報受信部1204と、動画像生成部1205と、表示制御部1206とを、その機能部として備える。
操作検出部1201は、操作部TPに対するユーザの操作を検出する。この一例では、操作検出部1201は、ユーザによる「動き情報の配信要求操作」を検出する。
通信品質情報生成部1203は、通信品質情報CQを生成する。通信品質情報CQとは、情報配信装置1010と端末装置1020との間の通信品質を示す情報である。例えば、情報配信装置1010と端末装置1020との間の電波状況が悪い場合には、通信品質情報生成部1203は、通信品質が悪いことを示す通信品質情報CQを生成する。
具体的には、通信品質情報生成部1203は、情報配信装置1010との間の通信における通信速度、場合によっては電波強度や再送発生回数等を考慮し通信品質を判定する。通信品質情報生成部1203は、通信品質の判定結果に基づいて通信品質情報CQを生成する。
具体的には、通信品質情報生成部1203は、情報配信装置1010との間の通信における通信速度、場合によっては電波強度や再送発生回数等を考慮し通信品質を判定する。通信品質情報生成部1203は、通信品質の判定結果に基づいて通信品質情報CQを生成する。
端末情報送信部1202は、端末情報TIを情報配信装置1010に対して送信する。この端末情報TIには、上述の通信品質情報CQや性能情報PIが含まれている。ここで性能情報PIとは、端末装置1020の画像処理性能、である。ここで画像処理性能とは、端末装置1020が備える演算装置の種類や動作周波数、メモリのアクセス速度や容量、画像処理エンジンの種類や動作周波数などにより定まる。
この一例では、端末情報送信部1202は、ユーザによる配信要求操作がなされた場合に、動き情報の配信要求とともに、端末情報TIを情報配信装置1010に対して送信する。
この一例では、端末情報送信部1202は、ユーザによる配信要求操作がなされた場合に、動き情報の配信要求とともに、端末情報TIを情報配信装置1010に対して送信する。
なお、端末情報送信部1202は、動き情報の配信要求を送信する場合において、特定の選手、又は特定のチームに所属する選手の動き情報のみを要求してもよい。この場合、端末情報送信部1202は、ユーザの操作に基づいて動き情報を要求してもよい。例えば、ユーザが特定の選手を指定する操作を行うと、端末情報送信部1202は、ユーザが指定した選手の動き情報のみを要求する。また、ユーザが特定のチームを指定する操作を行うと、端末情報送信部1202は、ユーザが指定したチームに所属する選手の動き情報のみを要求する。
また、ユーザは、表示される画像の粒度(すなわち、配信される動き情報の粒度)を選択することもできる。この場合、端末情報送信部1202は、ユーザによる粒度の選択に応じて、要求する動き情報の情報量を選択する。例えば、上述した画像P2のように粒度が荒い画像の表示をユーザが選択した場合には、端末情報送信部1202は、情報量が比較的少ない動き情報を要求する。また、上述した画像P3のように粒度が細かい画像の配信をユーザが選択した場合には、端末情報送信部1202は、情報量が比較的多い動き情報を要求する。
なお、端末情報送信部1202は、ユーザによる指示だけによらず、通信品質情報CQや性能情報PIに基づいて、要求する動き情報の情報量を選択してもよい。この場合、例えば、端末情報送信部1202は、通信品質情報CQが示す通信品質が比較的高い場合には、情報量が比較的多い動き情報を要求する。また、端末情報送信部1202は、通信品質情報CQが示す通信品質が比較的低い場合には、情報量が比較的少ない動き情報を要求する。
記憶部1250は、モデル情報記憶部1251を備える。このモデル情報記憶部1251には、モデルMの要素Eや関節Jの情報が記憶されている。
動き情報受信部1204は、情報配信装置1010から配信される動き情報を受信する。
動画像生成部1205は、動き情報受信部1204が受信する動き情報と、モデル情報記憶部1251に記憶されるモデル情報とに基づいて、モデルMの動画像を生成する。
表示制御部1206は、表示部Dを制御し、動画像生成部1205が生成する動画像を表示部Dに表示させる。
動画像生成部1205は、動き情報受信部1204が受信する動き情報と、モデル情報記憶部1251に記憶されるモデル情報とに基づいて、モデルMの動画像を生成する。
表示制御部1206は、表示部Dを制御し、動画像生成部1205が生成する動画像を表示部Dに表示させる。
ここで、動き情報受信部1204が受信する「動き情報」とは、情報配信装置1010が情報量を調整した後の動き情報である。つまり、動き情報受信部1204は、情報量調整後動き情報MIAを情報配信装置1010から受信する。この情報配信装置1010の機能構成について説明する。
<情報配信装置1010の機能構成>
情報配信装置1010は、制御部1100を備える。制御部1100は、例えばCPUを備えており、種々の演算や情報の授受を行う。制御部1100は、映像データ取得部1101と、動き情報生成部1102と、端末情報取得部1103と、動き情報量調整部1104と、配信部1105とをその機能部として備える。
情報配信装置1010は、制御部1100を備える。制御部1100は、例えばCPUを備えており、種々の演算や情報の授受を行う。制御部1100は、映像データ取得部1101と、動き情報生成部1102と、端末情報取得部1103と、動き情報量調整部1104と、配信部1105とをその機能部として備える。
映像データ取得部1101は、撮像装置CAMから映像データVDを取得する。この映像データVDには、例えば、試合中の選手の画像が含まれている。
動き情報生成部1102は、映像データ取得部1101が取得する映像データVDに基づいて、映像データVDに含まれる対象画像TGTを画像処理する。この一例の場合、対象画像TGTとは、選手の画像である。
動き情報生成部1102は、映像データ取得部1101が取得する映像データVDに基づいて、映像データVDに含まれる対象画像TGTを画像処理する。この一例の場合、対象画像TGTとは、選手の画像である。
具体的には、動き情報生成部1102は、映像データVDを画像処理することにより、選手の画像と背景画像とを分離し、映像データVDの中から対象画像TGT、すなわち選手の画像を抽出する。動き情報生成部1102は、抽出した対象画像TGTをモデル化する。
映像データVDに複数の選手の画像が含まれる場合には、動き情報生成部1102は、選手ごとに画像を抽出し、選手ごとにモデル化する。動き情報生成部1102は、モデルMの動きを解析して、モデルMの動き情報MIを生成する。この動き情報MIとは、例えば、モデルMの動きベクトルである。この動きベクトルは、映像データVDに含まれる複数のフレーム間において選手の動きを既知の手段によって解析することによって得られる。
映像データVDに複数の選手の画像が含まれる場合には、動き情報生成部1102は、選手ごとに画像を抽出し、選手ごとにモデル化する。動き情報生成部1102は、モデルMの動きを解析して、モデルMの動き情報MIを生成する。この動き情報MIとは、例えば、モデルMの動きベクトルである。この動きベクトルは、映像データVDに含まれる複数のフレーム間において選手の動きを既知の手段によって解析することによって得られる。
端末情報取得部1103は、動き情報MIの情報量を調整するための情報、すなわち端末情報TIを端末装置1020から取得する。
動き情報量調整部1104は、動き情報生成部1102が生成する動き情報MIの情報量を調整する。上述したように、端末装置1020において表示が可能な画像の粒度は、端末装置1020の画像処理性能や、情報配信装置1010と端末装置1020との間の通信品質などによって制約される。動き情報量調整部1104は、これらの制約条件を端末装置1020から取得することにより、動き情報MIの情報量を調整する。
動き情報量調整部1104が情報量を調整する仕組みには次の2例がある。
(1)動き情報生成部1102が様々な情報量の動き情報MIを並行して生成する場合。
動き情報生成部1102は、上述した図13A~13Dに示すような様々な情報量のモデルMについての動き情報MIを、並行してそれぞれ生成する。
この場合、動き情報量調整部1104は、動き情報生成部1102が生成した複数の動き情報MIのうち、端末装置1020から取得した制約条件を満たす情報量の動き情報MIを選択する。
(2)動き情報生成部1102が情報量の多い動き情報MIを生成する場合。
動き情報生成部1102は、上述した図13A~13Dに示すような様々な情報量のモデルMのうち、要素Eの数、及び関節Jの数が比較的多いモデルMについて、動き情報MIを生成する。例えば、動き情報生成部1102は、モデルMDについての動き情報MIを生成する。
この場合、動き情報量調整部1104は、動き情報生成部1102が生成した動き情報MIから情報を間引くことにより、端末装置1020から取得した制約条件を満たす情報量の動き情報MIを生成する。
(1)動き情報生成部1102が様々な情報量の動き情報MIを並行して生成する場合。
動き情報生成部1102は、上述した図13A~13Dに示すような様々な情報量のモデルMについての動き情報MIを、並行してそれぞれ生成する。
この場合、動き情報量調整部1104は、動き情報生成部1102が生成した複数の動き情報MIのうち、端末装置1020から取得した制約条件を満たす情報量の動き情報MIを選択する。
(2)動き情報生成部1102が情報量の多い動き情報MIを生成する場合。
動き情報生成部1102は、上述した図13A~13Dに示すような様々な情報量のモデルMのうち、要素Eの数、及び関節Jの数が比較的多いモデルMについて、動き情報MIを生成する。例えば、動き情報生成部1102は、モデルMDについての動き情報MIを生成する。
この場合、動き情報量調整部1104は、動き情報生成部1102が生成した動き情報MIから情報を間引くことにより、端末装置1020から取得した制約条件を満たす情報量の動き情報MIを生成する。
なお、いずれの例の場合においても、動き情報量調整部1104は、モデルMに含まれる要素Eの数を調整することにより、動き情報生成部1102が生成する動き情報MIの情報量を調整するようにしてもよい。
また、動き情報量調整部1104は、端末装置1020での再生遅延時間に基づいて、動き情報MIの情報量を調整してもよい。この場合、端末装置1020は、動き情報MIに基づいて生成された動画像の再生時刻を情報配信装置1010に定期的に送信する。動き情報量調整部1104は、動き情報MIの配信時刻と、当該動き情報MIに基づいて生成された動画像の再生時刻との乖離度を求める。動き情報量調整部1104は、求めた乖離度に応じて、動き情報MIの情報量を調整する。例えば、動き情報量調整部1104は、動き情報MIの配信時刻と動画像の再生時刻との乖離度が所定の閾値よりも大きい場合、動き情報MIを間引くことにより、動き情報MIの情報量を低減させる。また、動き情報量調整部1104は、動き情報MIの配信時刻と動画像の再生時刻との乖離度が上述した所定の閾値よりもさらに大きい場合、動き情報MIをさらに間引いてもよい。この場合、動き情報量調整部1104は、動き情報MIの配信時刻と動画像の再生時刻との乖離度に応じて、動き情報MIの間引きの程度を、連続的に又は段階的に変化させることにより、動き情報MIの情報量を低減させる。
動き情報量調整部1104は、情報量を調整した動き情報MI、すなわち情報量調整後動き情報MIAを配信部1105に出力する。
配信部1105は、この情報量調整後動き情報MIAを端末装置1020に配信する。
配信部1105は、この情報量調整後動き情報MIAを端末装置1020に配信する。
<情報配信システム1001の動作>
次に、情報配信システム1001の動作について図15を参照して説明する。
図15は、本実施形態の情報配信システム1001の動作の一例を示す図である。
次に、情報配信システム1001の動作について図15を参照して説明する。
図15は、本実施形態の情報配信システム1001の動作の一例を示す図である。
(ステップS1110)映像データ取得部1101は、撮像装置CAMから映像データVDを取得する。この一例において、撮像装置CAMは、サッカーの試合において競技場SDの全体を俯瞰する視点で競技場SDを撮像している。この場合、映像データVDには、試合に出場している全選手の画像が含まれる。
(ステップS1120)動き情報生成部1102は、映像データ取得部1101が取得した映像データVDに基づいて、選手のモデルMの動き情報MIを生成する。
なお、この一例において動き情報生成部1102は、端末装置1020からの動き情報の配信要求の有無に関わらず、動き情報MIを生成する。また、この一例において動き情報生成部1102は、図13A~図13Dに示す各モデルMについて、それぞれ動き情報MIを生成する。
(ステップS1120)動き情報生成部1102は、映像データ取得部1101が取得した映像データVDに基づいて、選手のモデルMの動き情報MIを生成する。
なお、この一例において動き情報生成部1102は、端末装置1020からの動き情報の配信要求の有無に関わらず、動き情報MIを生成する。また、この一例において動き情報生成部1102は、図13A~図13Dに示す各モデルMについて、それぞれ動き情報MIを生成する。
(ステップS1210)端末装置1020は、動き情報の配信要求を情報配信装置10に対して送信する。
(ステップS1130~ステップS1140)情報配信装置1010は、端末装置1020による配信要求の送信を待つ。情報配信装置1010は、端末装置1020からの配信要求を受信した場合(ステップS1140;YES)に、ステップS1150~ステップS1170の処理を行う。
(ステップS1130~ステップS1140)情報配信装置1010は、端末装置1020による配信要求の送信を待つ。情報配信装置1010は、端末装置1020からの配信要求を受信した場合(ステップS1140;YES)に、ステップS1150~ステップS1170の処理を行う。
(ステップS1220)端末装置1020の端末情報送信部1202は、端末情報TIを情報配信装置1010に対して送信する。
(ステップS1150)情報配信装置1010の端末情報取得部1103は、端末装置1020から端末情報TIを取得する。
なお、この一例では、端末装置1020は、動き情報の配信要求と、端末情報TIとを順次送信するものとして説明するが、これに限られない。端末装置1020は、動き情報の配信要求と、端末情報TIとを同時に送信してもよい。
(ステップS1150)情報配信装置1010の端末情報取得部1103は、端末装置1020から端末情報TIを取得する。
なお、この一例では、端末装置1020は、動き情報の配信要求と、端末情報TIとを順次送信するものとして説明するが、これに限られない。端末装置1020は、動き情報の配信要求と、端末情報TIとを同時に送信してもよい。
(ステップS1160)動き情報量調整部1104は、ステップS1150において取得された端末情報TIに基づいて、ステップS1120において生成された動き情報MIの情報量を調整する。具体的には、端末情報TIが「多関節モデル」ではなく「点モデル」の配信を要求している場合には、動き情報量調整部1104は、動き情報生成部1102が生成する各モデルMの動き情報MIのうち、図13Aに示すモデルMA、つまり点モデルの動き情報MIを、送信対象の動き情報MIとして選択する。動き情報量調整部1104は、選択した動き情報MIを情報量調整後動き情報MIAとして配信部1105に出力する。
なお、端末情報TIに配信対象のモデルの種類(粒度)を指定する情報が含まれている、という構成であってもよい。また、端末情報TIに基づいて、動き情報量調整部1104が配信対象のモデルの種類(粒度)を判定する、という構成であってもよい。前者の「端末情報TIに配信対象のモデルの種類(粒度)を指定する情報が含まれている」という構成の場合には、動き情報量調整部1104は、端末情報TIが指定する種類のモデルを選択する。後者の「端末情報TIに基づいて、動き情報量調整部1104が配信対象のモデルの種類(粒度)を判定する」という構成の場合には、動き情報量調整部1104は、動き情報生成部1102が生成する各モデルMの動き情報MIの情報量と、端末情報TIが示す配信可能な情報量とを比較することにより、配信対象のモデルの種類を選択する。
(ステップS1170)配信部1105は、情報量調整後動き情報MIAを端末装置1020に配信する。
(ステップS1230~ステップS1250)端末装置1020の動き情報受信部1204は、配信された情報量調整後動き情報MIAを受信する。動画像生成部1205は、受信した情報量調整後動き情報MIAに基づいて、モデルMの動画像を生成する。表示制御部1206は、生成された動画像を表示部Dに表示させる。
(ステップS1230~ステップS1250)端末装置1020の動き情報受信部1204は、配信された情報量調整後動き情報MIAを受信する。動画像生成部1205は、受信した情報量調整後動き情報MIAに基づいて、モデルMの動画像を生成する。表示制御部1206は、生成された動画像を表示部Dに表示させる。
情報配信装置1010は、ステップS1130及びステップS1150において、端末装置1020から動き情報の配信要求と端末情報TIとを取得した後は、動き情報MIを生成するごとに、情報量調整後動き情報MIAを端末装置1020に対して配信する。つまり、情報配信装置1010は、情報量調整後動き情報MIAをリアルタイム配信する。ここで、リアルタイム配信とは、映像データVDを情報配信装置1010が取得する毎に、動き情報MIを生成し、生成した動き情報MIの情報量を調整した情報量調整後動き情報MIAを配信することである。
図16A、16Bおよび16Cは、本実施形態の端末装置1020に表示される動画の一例である。情報配信装置1010は、映像データVDを取得するごとに動き情報MIを生成する。情報配信装置1010は、端末装置1020から取得する端末情報TIに基づいて、動き情報MIの情報量を調整して、情報量調整後動き情報MIAをリアルタイム配信する。
同図では、端末装置1020が「点モデル」の情報量調整後動き情報MIAを要求している場合を一例として示す。
時刻t1において情報配信装置1010は、選手PL1、選手PL2及び選手PL3の現在位置を示す情報を情報量調整後動き情報MIAとして端末装置1020に配信する。端末装置1020は、配信された情報量調整後動き情報MIAに基づき、選手PL1、選手PL2及び選手PL3の現在位置を示す画像P11を表示部Dに表示する(図16A)。
時刻t2において情報配信装置1010は、選手PL1、選手PL2及び選手PL3の動きを示す情報を情報量調整後動き情報MIAとして端末装置1020に配信する。端末装置1020は、配信された情報量調整後動き情報MIAに基づき、選手PL1、選手PL2及び選手PL3の移動軌跡と現在位置とを示す画像P12を表示部Dに表示する(図16B)。
時刻t3においても時刻t2の場合と同様にして、端末装置1020は、選手PL1、選手PL2及び選手PL3の移動軌跡と現在位置とを示す画像P13を表示部Dに表示する(図16C)。
なお、上述した選手PL1、選手PL2及び選手PL3の動きを示す情報とは、時刻t1から時刻t2までの間の選手の変位の方向及び量を示す情報であってもよく、時刻t2における選手の位置を示す情報であってもよい。
同図では、端末装置1020が「点モデル」の情報量調整後動き情報MIAを要求している場合を一例として示す。
時刻t1において情報配信装置1010は、選手PL1、選手PL2及び選手PL3の現在位置を示す情報を情報量調整後動き情報MIAとして端末装置1020に配信する。端末装置1020は、配信された情報量調整後動き情報MIAに基づき、選手PL1、選手PL2及び選手PL3の現在位置を示す画像P11を表示部Dに表示する(図16A)。
時刻t2において情報配信装置1010は、選手PL1、選手PL2及び選手PL3の動きを示す情報を情報量調整後動き情報MIAとして端末装置1020に配信する。端末装置1020は、配信された情報量調整後動き情報MIAに基づき、選手PL1、選手PL2及び選手PL3の移動軌跡と現在位置とを示す画像P12を表示部Dに表示する(図16B)。
時刻t3においても時刻t2の場合と同様にして、端末装置1020は、選手PL1、選手PL2及び選手PL3の移動軌跡と現在位置とを示す画像P13を表示部Dに表示する(図16C)。
なお、上述した選手PL1、選手PL2及び選手PL3の動きを示す情報とは、時刻t1から時刻t2までの間の選手の変位の方向及び量を示す情報であってもよく、時刻t2における選手の位置を示す情報であってもよい。
以上説明したように、本実施形態の情報配信システム1001は、配信対象の端末装置1020に対して、映像データVDなどの動画像をそのまま配信するのではなく、映像データVDに含まれる選手のモデルMの動き情報を配信する。ここで、モデルMの動き情報の情報量は、映像データVDなどの動画像の情報量に比べて少ない。このため、情報配信システム1001によれば、映像データVDなどの動画像をそのまま配信する場合に比べて、少ない情報量によって配信することができる。
したがって、本実施形態の情報配信システム1001によれば、コンテンツをリアルタイム配信することができる。
ここで、端末装置1020のユーザが競技場の観客であり、情報配信装置1010がこの試合の情報を配信している場合について説明する。この場合、端末装置1020のユーザは、目の前で展開されている試合を、手元のスマートフォンやタブレット端末においてリアルタイムに視聴することができる。情報配信システム1001は、選手の位置やその移動軌跡などを端末装置1020にリアルタイム表示させることができるため、ユーザに対して試合をさらに楽しむための情報を提供することができる。また、情報配信システム1001によれば、モデルMの動き情報に基づき、端末装置1020においてユーザの好みに応じたコンテンツを生成することができる。例えば、端末装置1020、配信されるモデルMの動き情報に基づいて特定の選手を拡大表示したり、動き情報に基づく音声解説を行ったりしてもよい。つまり、情報配信システム1001によれば、ユーザの好みに応じたコンテンツを提供することができる。
また、競技場等における情報配信の場合、観客数に応じて端末装置1020の数も多くなり、映像データVDをそのまま配信する従来技術の場合には、情報配信に利用される無線通信回線の通信容量が逼迫するため、十分な品質のコンテンツを提供する事が難しいという問題があった。本実施形態の情報配信システム1001によれば、映像データVDをそのまま配信する場合に比べて情報配信の通信量が少ないため、無線通信回線の通信容量が逼迫する程度を低減することができる。
したがって、本実施形態の情報配信システム1001によれば、コンテンツをリアルタイム配信することができる。
ここで、端末装置1020のユーザが競技場の観客であり、情報配信装置1010がこの試合の情報を配信している場合について説明する。この場合、端末装置1020のユーザは、目の前で展開されている試合を、手元のスマートフォンやタブレット端末においてリアルタイムに視聴することができる。情報配信システム1001は、選手の位置やその移動軌跡などを端末装置1020にリアルタイム表示させることができるため、ユーザに対して試合をさらに楽しむための情報を提供することができる。また、情報配信システム1001によれば、モデルMの動き情報に基づき、端末装置1020においてユーザの好みに応じたコンテンツを生成することができる。例えば、端末装置1020、配信されるモデルMの動き情報に基づいて特定の選手を拡大表示したり、動き情報に基づく音声解説を行ったりしてもよい。つまり、情報配信システム1001によれば、ユーザの好みに応じたコンテンツを提供することができる。
また、競技場等における情報配信の場合、観客数に応じて端末装置1020の数も多くなり、映像データVDをそのまま配信する従来技術の場合には、情報配信に利用される無線通信回線の通信容量が逼迫するため、十分な品質のコンテンツを提供する事が難しいという問題があった。本実施形態の情報配信システム1001によれば、映像データVDをそのまま配信する場合に比べて情報配信の通信量が少ないため、無線通信回線の通信容量が逼迫する程度を低減することができる。
また、本実施形態の情報配信装置1010は、配信対象の端末装置1020から送信される端末情報TIに基づいて動き情報MIの情報量を調整して、情報量調整後動き情報MIAを配信する。したがって情報配信装置1010によれば、端末装置1020の性能や、情報配信装置1010と端末装置1020との間の通信状況に応じて、配信される動き情報MIの情報量を低減させることができる。つまり、情報配信装置1010によれば、情報量を調整せずに動き情報MIを配信する場合に比べて、情報配信の通信量をさらに低減することができる。
なお、端末装置1020は、情報配信装置1010との通信の状況変化に応じて通信品質情報CQを更新し、端末情報TIを繰り返し情報配信装置1010に対して送信してもよい。この場合、情報配信装置1010は、端末情報TIを受信するごとに、通信品質に応じた情報量の動き情報を選択する。つまり、情報配信装置1010は、配信する情報量調整後動き情報MIAの情報量をリアルタイムに変化させてもよい。
また、上述において端末装置1020には、モデルMの要素Eや関節Jなどの情報が予め記憶されているとして説明したが、これに限られない。情報配信装置1010は、動き情報の配信要求があった場合、配信対象のモデルMの情報を、端末装置1020に対して配信してもよい。
<第5の実施形態>
以下、図17を参照して第5の実施形態の情報配信システム1001aについて説明する。
図17は、第5の実施形態の情報配信システム1001aの機能構成の一例を示す図である。情報配信システム1001aは、(1)端末装置1020aの状態に応じた表示機能、(2)ユーザの操作による配信情報量の変更機能、(3)非リアルタイム配信機能、(4)マルチアングル動き情報MI又は自由視点動き情報MIの配信機能、(5)観戦位置に応じた動画表示機能、(6)選手情報などの付加情報表示機能、を備える点において、上述した第4の実施形態と異なる。以下、各機能について説明する。なお、上述した第4の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
以下、図17を参照して第5の実施形態の情報配信システム1001aについて説明する。
図17は、第5の実施形態の情報配信システム1001aの機能構成の一例を示す図である。情報配信システム1001aは、(1)端末装置1020aの状態に応じた表示機能、(2)ユーザの操作による配信情報量の変更機能、(3)非リアルタイム配信機能、(4)マルチアングル動き情報MI又は自由視点動き情報MIの配信機能、(5)観戦位置に応じた動画表示機能、(6)選手情報などの付加情報表示機能、を備える点において、上述した第4の実施形態と異なる。以下、各機能について説明する。なお、上述した第4の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
<(1)端末装置1020aの状態に応じた表示機能>
端末装置1020aは、制御部1200aが、動画像生成部1205aと、状態取得部1207とをその機能部として備える。状態取得部1207は、端末装置1020aの状態を取得する。ここで、端末装置1020aの状態には、端末装置1020aの処理負荷、端末装置1020aのバッテリ残量、端末装置1020aの周囲の明るさなどがある。
端末装置1020aは、制御部1200aが、動画像生成部1205aと、状態取得部1207とをその機能部として備える。状態取得部1207は、端末装置1020aの状態を取得する。ここで、端末装置1020aの状態には、端末装置1020aの処理負荷、端末装置1020aのバッテリ残量、端末装置1020aの周囲の明るさなどがある。
<端末装置1020aの処理負荷に応じた表示の変更>
状態取得部1207は、端末装置1020aの処理負荷の状態を取得する。例えば、制御部1200aが複数の処理を同時に実行している場合などにおいて処理負荷が上昇して、動画像のリアルタイム生成に処理遅延が生じることがある。このような場合、状態取得部1207は、制御部1200aの処理負荷が上昇したことを動画像生成部1205aに通知する。
動画像生成部1205aは、動き情報受信部1204aが受信する動き情報MIと、状態取得部1207が取得する状態とに基づいて、状態に応じたモデルMの動画像を生成する。ここで、動画像生成部1205aは、解像度などの端末装置1020aにおいて変更可能なパラメータを変化させてもよい。上述の一例のように制御部1200aの処理負荷が上昇した場合、例えば、動画像生成部1205aは、生成する動画像の解像度を低減させて、動画像のリアルタイム生成を維持する。
状態取得部1207は、端末装置1020aの処理負荷の状態を取得する。例えば、制御部1200aが複数の処理を同時に実行している場合などにおいて処理負荷が上昇して、動画像のリアルタイム生成に処理遅延が生じることがある。このような場合、状態取得部1207は、制御部1200aの処理負荷が上昇したことを動画像生成部1205aに通知する。
動画像生成部1205aは、動き情報受信部1204aが受信する動き情報MIと、状態取得部1207が取得する状態とに基づいて、状態に応じたモデルMの動画像を生成する。ここで、動画像生成部1205aは、解像度などの端末装置1020aにおいて変更可能なパラメータを変化させてもよい。上述の一例のように制御部1200aの処理負荷が上昇した場合、例えば、動画像生成部1205aは、生成する動画像の解像度を低減させて、動画像のリアルタイム生成を維持する。
<端末装置1020aのバッテリ残量に応じた表示の変更>
状態取得部1207は、端末装置1020aのバッテリ残量の状態を取得する。例えば、端末装置1020aのバッテリ残量があるしきい値よりも低い場合、状態取得部1207は、制御部1200aのバッテリ残量が少ないことを動画像生成部1205aに通知する。
バッテリ残量が少ない場合には、動画像生成部1205aは、生成する動画像の粒度を低減させて消費電力を低減することにより、動画像の生成可能時間を延長させる。
状態取得部1207は、端末装置1020aのバッテリ残量の状態を取得する。例えば、端末装置1020aのバッテリ残量があるしきい値よりも低い場合、状態取得部1207は、制御部1200aのバッテリ残量が少ないことを動画像生成部1205aに通知する。
バッテリ残量が少ない場合には、動画像生成部1205aは、生成する動画像の粒度を低減させて消費電力を低減することにより、動画像の生成可能時間を延長させる。
<端末装置1020aの周囲の明るさに応じた表示の変更>
状態取得部1207は、端末装置1020aの周囲の照度(明るさ)を取得する。動画像生成部1205aは、状態取得部1207が取得する明るさに応じた動画像を生成する。例えば、サッカーの試合が昼間に行われる場合と夜間に行われる場合とで、端末装置1020aの周囲の照度が互いに異なる場合がある。この場合、動画像生成部1205aは、生成する動画の内容、配色、フォントサイズ、解像度などを、昼間と夜間とで互いに異ならせる。
状態取得部1207は、端末装置1020aの周囲の照度(明るさ)を取得する。動画像生成部1205aは、状態取得部1207が取得する明るさに応じた動画像を生成する。例えば、サッカーの試合が昼間に行われる場合と夜間に行われる場合とで、端末装置1020aの周囲の照度が互いに異なる場合がある。この場合、動画像生成部1205aは、生成する動画の内容、配色、フォントサイズ、解像度などを、昼間と夜間とで互いに異ならせる。
<(2)ユーザの操作による配信情報量の変更機能>
情報配信システム1001aは、ユーザの操作によって配信する情報量を変更することができる。例えば、端末装置1020aのユーザが「多関節モデル」ではなく「点モデル」の配信を要求する場合がある。この場合、操作検出部1201は、ユーザによる「点モデル」の配信を要求する操作を検出する。端末情報送信部1202aは、ユーザの操作に基づいて、情報量の調整の程度を示す調整程度情報AIを情報配信装置1010aに対して送信する。この一例の場合、端末情報送信部1202aは、「点モデル」を示す調整程度情報AIを情報配信装置1010aに対して送信する。
情報配信システム1001aは、ユーザの操作によって配信する情報量を変更することができる。例えば、端末装置1020aのユーザが「多関節モデル」ではなく「点モデル」の配信を要求する場合がある。この場合、操作検出部1201は、ユーザによる「点モデル」の配信を要求する操作を検出する。端末情報送信部1202aは、ユーザの操作に基づいて、情報量の調整の程度を示す調整程度情報AIを情報配信装置1010aに対して送信する。この一例の場合、端末情報送信部1202aは、「点モデル」を示す調整程度情報AIを情報配信装置1010aに対して送信する。
制御部1100aは、動き情報量調整部1104aと、配信部1105aと、調整程度情報取得部1106とをその機能部として備える。
調整程度情報取得部1106は、端末装置1020aが送信する調整程度情報AIを取得する。動き情報量調整部1104aは、調整程度情報取得部1106が取得する調整程度情報AIに更に基づいて、動き情報MIの情報量を調整する。上述の一例では、動き情報量調整部1104aは、配信対象の動き情報MIとして「点モデル」の動き情報MIを選択する。動き情報量調整部1104aは、「点モデル」の動き情報MIを情報量調整後動き情報MIAとして配信部1105aに出力する。
調整程度情報取得部1106は、端末装置1020aが送信する調整程度情報AIを取得する。動き情報量調整部1104aは、調整程度情報取得部1106が取得する調整程度情報AIに更に基づいて、動き情報MIの情報量を調整する。上述の一例では、動き情報量調整部1104aは、配信対象の動き情報MIとして「点モデル」の動き情報MIを選択する。動き情報量調整部1104aは、「点モデル」の動き情報MIを情報量調整後動き情報MIAとして配信部1105aに出力する。
<(3)非リアルタイム配信機能>
これまで、情報配信装置1010及び情報配信装置1010aがリアルタイム配信を行う場合を一例にして説明したが、これに限られない、情報配信装置1010aは、非リアルタイム配信を行うこともできる。
これまで、情報配信装置1010及び情報配信装置1010aがリアルタイム配信を行う場合を一例にして説明したが、これに限られない、情報配信装置1010aは、非リアルタイム配信を行うこともできる。
非リアルタイム配信とは、動き情報MIを生成直後に配信するのではなく、動き情報MIを一旦記憶させておき、端末装置1020aから要求があった場合に、動き情報MIを配信することである。
具体的には、情報配信装置1010aは、記憶部1150を備える。この記憶部1150は、動き情報記憶部1151を備える。動き情報記憶部1151には、動き情報生成部1102が生成した動き情報MIが、生成順に順次記憶される。つまり、動き情報記憶部1151には、動き情報量調整部1104aが情報量を調整する前の、情報量が多い動き情報MIが記憶される。
制御部1100aは、動き情報配信要求取得部1107を備える。動き情報配信要求取得部1107は、端末装置1020aから動き情報配信要求MRQを取得すると、配信部1105aに対して、動き情報配信要求MRQの取得を通知する。
配信部1105aは、動き情報配信要求MRQの取得の通知がなされると、動き情報記憶部1151に記憶されている動き情報MIを読み出し、読み出した動き情報MIを端末装置1020aに対して配信する。
制御部1100aは、動き情報配信要求取得部1107を備える。動き情報配信要求取得部1107は、端末装置1020aから動き情報配信要求MRQを取得すると、配信部1105aに対して、動き情報配信要求MRQの取得を通知する。
配信部1105aは、動き情報配信要求MRQの取得の通知がなされると、動き情報記憶部1151に記憶されている動き情報MIを読み出し、読み出した動き情報MIを端末装置1020aに対して配信する。
情報配信システム1001aは、情報配信に利用される無線通信回線が比較的空いている場合に非リアルタイム配信を行うことにより、リアルタイム配信の場合に比べより情報量の多い動き情報MIを配信することができる。
情報配信装置1010aは、リアルタイム配信済みの端末装置1020aに対して選択的に、非リアルタイム配信を行うこともできる。この場合、情報配信装置1010aは、リアルタイム配信を行っていない端末装置1020aから非リアルタイム配信の要求があった場合には、この非リアルタイム配信の要求を却下する。この情報配信装置1010aによる非リアルタイム配信動作の一例について、図18を参照して説明する。
図18は、本実施形態の情報配信装置1010aによる非リアルタイム配信動作の一例を示す図である。
(ステップS1170、ステップS1230~ステップS1240)情報配信システム1001aは、上述したリアルタイム配信を行う。情報配信装置1010aは、リアルタイム配信対象の端末装置1020aを記憶する。
(ステップS1410、ステップS1310)端末装置1020aの端末情報送信部1202aは、非リアルタイム配信による動き情報の配信要求を行う。具体的には、端末情報送信部1202aは、動き情報配信要求MRQを情報配信装置1010aに対して送信する。情報配信装置1010aの動き情報配信要求取得部1107は、端末装置1020aが送信する動き情報配信要求MRQを取得する。
(ステップS1320)配信部1105aは、動き情報配信要求MRQを送信した端末装置1020aに対して情報量調整後動き情報MIAが配信済みであるか否か、すなわちリアルタイム配信済みか否かを判定する。より具体的には、配信部1105aは、動き情報配信要求MRQを送信した端末装置1020aが、ステップS1170においてリアルタイム配信対象の端末装置1020aとして記憶された端末装置1020aであるか否かを判定する。
(ステップS1330)配信部1105aは、動き情報記憶部1151に記憶されている動き情報MIを端末装置1020aに対して配信する。
(ステップS1420~ステップS1450)端末装置1020aは、動き情報MIを受信すると(S1420)、この動き情報MIを記憶部1250に記憶させる(S1430)。端末装置1020aは、記憶させた動き情報MIを順次読み出して動画像を生成する(S1440)。表示制御部1206は、生成された動画像を表示部Dに表示させる(S1450)。
このように構成することにより、情報配信装置1010aは、リアルタイム配信を行う動機をユーザに対して与えることができる。
(ステップS1170、ステップS1230~ステップS1240)情報配信システム1001aは、上述したリアルタイム配信を行う。情報配信装置1010aは、リアルタイム配信対象の端末装置1020aを記憶する。
(ステップS1410、ステップS1310)端末装置1020aの端末情報送信部1202aは、非リアルタイム配信による動き情報の配信要求を行う。具体的には、端末情報送信部1202aは、動き情報配信要求MRQを情報配信装置1010aに対して送信する。情報配信装置1010aの動き情報配信要求取得部1107は、端末装置1020aが送信する動き情報配信要求MRQを取得する。
(ステップS1320)配信部1105aは、動き情報配信要求MRQを送信した端末装置1020aに対して情報量調整後動き情報MIAが配信済みであるか否か、すなわちリアルタイム配信済みか否かを判定する。より具体的には、配信部1105aは、動き情報配信要求MRQを送信した端末装置1020aが、ステップS1170においてリアルタイム配信対象の端末装置1020aとして記憶された端末装置1020aであるか否かを判定する。
(ステップS1330)配信部1105aは、動き情報記憶部1151に記憶されている動き情報MIを端末装置1020aに対して配信する。
(ステップS1420~ステップS1450)端末装置1020aは、動き情報MIを受信すると(S1420)、この動き情報MIを記憶部1250に記憶させる(S1430)。端末装置1020aは、記憶させた動き情報MIを順次読み出して動画像を生成する(S1440)。表示制御部1206は、生成された動画像を表示部Dに表示させる(S1450)。
このように構成することにより、情報配信装置1010aは、リアルタイム配信を行う動機をユーザに対して与えることができる。
なお、ここでは情報配信装置1010aが動き情報MIを配信する場合を一例にして説明したが、これに限られない。非リアルタイム配信においては、情報配信装置1010aの記憶部1150に記憶されている情報が、端末装置1020aの記憶部1250に転送された後、記憶部1250から読み出されて表示される。したがって、情報配信装置1010aと端末装置1020aとの間の情報の授受にリアルタイム性が要求されない。このため、非リアルタイム配信の場合には、情報量の多い情報であっても、記憶部1150の記憶容量や記憶部1250の記憶容量を上限にして配信することが可能である。例えば、非リアルタイム配信の場合、情報配信装置1010aは、動き情報MIに代えて、又は動き情報MIに加えて、映像データVDを端末装置1020aに対して配信してもよい。
<(4)マルチアングル動き情報MI又は自由視点動き情報MIの配信機能>
これまで撮像装置CAMが1台である場合について説明したが、これに限られない。情報配信システム1001aに映像データVDを供給する撮像装置CAMは、複数台であってもよい。例えば、撮像装置CAMが3台以上あれば、映像データVDから動き情報MIを生成することができる。
これまで撮像装置CAMが1台である場合について説明したが、これに限られない。情報配信システム1001aに映像データVDを供給する撮像装置CAMは、複数台であってもよい。例えば、撮像装置CAMが3台以上あれば、映像データVDから動き情報MIを生成することができる。
図19は、競技場SDに複数の撮像装置CAMが設置されている場合の、撮像装置CAMの配置の一例を示す図である。この一例の場合、競技場SDには、撮像装置CAM1~CAM8の8台の撮像装置CAMが設置されている。この場合、情報配信装置1010aの映像データ取得部1101は、撮像装置CAMがそれぞれ撮像した映像データVD、すなわち映像データVD1~映像データVD8を取得する。動き情報生成部1102は、それぞれの映像データVDについて動き情報MIを生成する。このように構成することにより、情報配信装置1010aは、マルチアングルによる動き情報MIを配信することができる。
例えば、端末装置1020aが、撮像装置CAM2の視点位置による動き情報MIの配信を要求した場合、情報配信装置1010aは、この撮像装置CAM2の視点位置による動き情報MIを配信する。
例えば、端末装置1020aが、撮像装置CAM2の視点位置による動き情報MIの配信を要求した場合、情報配信装置1010aは、この撮像装置CAM2の視点位置による動き情報MIを配信する。
また、情報配信装置1010aは、複数の視点位置による映像データVDに基づいて、視点位置を任意の位置にした動き情報MI、すなわち自由視点動き情報MIを生成することもできる。この場合、情報配信装置1010aは、端末装置1020aによって指示された視点位置による動き情報MIを生成して配信する。
なお、ここでは視点位置の座標変換を情報配信装置1010aが行う場合について説明したがこれに限られない。端末装置1020aが、視点位置の切り替えを行ってもよい。この場合、情報配信装置1010aは、選手の競技場SD上における位置を示す座標情報を、動き情報MIとともに端末装置1020aに対して配信する。端末装置1020aの動画像生成部1205aは、ユーザの指示による視点位置情報と座標情報とに基づいて情報配信装置1010aから配信される情報の座標変換を行うことにより、自由視点動画像を生成する。
<(5)観戦位置に応じた動画表示機能>
端末装置1020aの状態取得部1207は、端末装置1020aの現在位置を状態として取得する。情報配信装置1010aの動き情報生成部1102は、状態取得部1207が取得する端末装置1020aの現在位置を視点位置にして動き情報MIの座標変換を行う。このように構成することにより情報配信システム1001aは、端末装置1020aの現在位置、すなわちユーザの観戦位置に応じた動画を端末装置1020aに表示させることができる。これにより情報配信システム1001aは、ユーザが視点位置を指示することなく、ユーザの観戦位置に応じた動画を表示させることができる。
なお、上述したように端末装置1020aの動画像生成部1205aが視点位置の座標変換を行ってもよい。
端末装置1020aの状態取得部1207は、端末装置1020aの現在位置を状態として取得する。情報配信装置1010aの動き情報生成部1102は、状態取得部1207が取得する端末装置1020aの現在位置を視点位置にして動き情報MIの座標変換を行う。このように構成することにより情報配信システム1001aは、端末装置1020aの現在位置、すなわちユーザの観戦位置に応じた動画を端末装置1020aに表示させることができる。これにより情報配信システム1001aは、ユーザが視点位置を指示することなく、ユーザの観戦位置に応じた動画を表示させることができる。
なお、上述したように端末装置1020aの動画像生成部1205aが視点位置の座標変換を行ってもよい。
<(6)選手情報などの付加情報表示機能>
情報配信システム1001aは、動き情報MIに加えて、対象画像TGTに関する情報を配信することもできる。この場合、情報配信装置1010aは、制御部1100aが対象画像情報取得部1108を備え、記憶部1150が対象画像情報記憶部1152を備える。
対象画像情報取得部1108は、対象画像TGTに関する情報を取得する。具体的には、動き情報生成部1102は、映像データVDから対象画像TGTを抽出する。この対象画像TGTとは、例えば、選手の全身画像である。対象画像情報取得部1108は、抽出された対象画像TGTに含まれる情報、例えば、ユニフォームの意匠、背番号や身体的特徴などに基づいて、対象画像TGTとして抽出された選手を特定する。対象画像情報取得部1108は、特定した選手に関連する情報を対象画像情報記憶部1152から読み出して、配信部1105aに供給する。配信部1105aは、この対象画像TGTに関する情報を、動き情報とともに配信する。
情報配信システム1001aは、動き情報MIに加えて、対象画像TGTに関する情報を配信することもできる。この場合、情報配信装置1010aは、制御部1100aが対象画像情報取得部1108を備え、記憶部1150が対象画像情報記憶部1152を備える。
対象画像情報取得部1108は、対象画像TGTに関する情報を取得する。具体的には、動き情報生成部1102は、映像データVDから対象画像TGTを抽出する。この対象画像TGTとは、例えば、選手の全身画像である。対象画像情報取得部1108は、抽出された対象画像TGTに含まれる情報、例えば、ユニフォームの意匠、背番号や身体的特徴などに基づいて、対象画像TGTとして抽出された選手を特定する。対象画像情報取得部1108は、特定した選手に関連する情報を対象画像情報記憶部1152から読み出して、配信部1105aに供給する。配信部1105aは、この対象画像TGTに関する情報を、動き情報とともに配信する。
ここで、対象画像TGTに関連する情報には、例えばサッカーの試合の場合には、選手の氏名、顔写真、戦歴、ポジション、ゴール数などの情報が含まれる。また、競馬の場合には、対象画像TGTに関連する情報には、馬柱、調教師のコメント、パドックでの馬の状態、オッズ、競争中の現在順位などの情報が含まれる。
すなわち、対象画像TGTに関連する情報とは、対象画像TGTの属性を示す情報である。
すなわち、対象画像TGTに関連する情報とは、対象画像TGTの属性を示す情報である。
また、対象画像TGTに関連する情報には、選手や競走馬などを識別する識別情報が含まれていてもよい。この場合、情報配信システム1001aは、ユーザが選手や競走馬などの画像を選択すると、選択された選手や競争馬に対応する対象画像TGTの識別情報に基づいて、当該選手の経歴や戦績などの関連情報を取得してもよい。情報配信システム1001aは、取得した経歴や戦績などの関連情報を端末装置1020aに配信することにより、ユーザが自ら選択した選手の経歴や戦績をユーザに対して提示することができる。
また、対象画像TGTに関連する情報には、選手の所属チームやポジションなどを示す情報が含まれていてもよい。この場合、情報配信システム1001aは、対象画像TGT(例えば、選手の画像)について、所属チーム毎の色分け表示や、ポジションを識別する印の表示を行う。
また、対象画像TGTとは、選手の画像に限られず、試合で使用される設備や道具などの画像であってもよい。例えば、対象画像TGTは、サッカーの試合におけるボールやゴール、審判、審判が所持するカードや旗などであってもよい。また、対象画像TGTは、競馬における騎手の他、競走馬、鞍、ゲート、ゲート上のスターター、スターターが所持する旗、ゴール、着順表示板などであってもよい。また、対象画像TGTは、自動車レースにおけるドライバーの他、競争車両、ピット内のクルー、交換用のタイヤ、コース脇の旗などであってもよい。
例えば、対象画像TGTがサッカーの試合におけるボールの場合、情報配信システム1001aは、ボールの移動軌跡を示す動き情報MIを配信することができる。
例えば、対象画像TGTがサッカーの試合におけるボールの場合、情報配信システム1001aは、ボールの移動軌跡を示す動き情報MIを配信することができる。
また、端末装置1020aは、配信された動き情報MIを記憶することにより、動き情報MIが配信されたタイミング以降のタイミングで動画像を表示してもよい。この場合、端末装置1020aは、ユーザによる再生操作が行われた場合に、動き情報MIを読み出して動画像を表示する。また、端末装置1020aは、表示部Dに動画像の再生所要時間と再生位置を示すスライドバーを表示させ、ユーザによるスライドバーの操作によって任意の再生位置の動画像を表示してもよい。
また、情報配信システム1001aは、端末装置1020aの現在位置を把握し、所定の範囲内にある端末装置1020aを配信対象として選択してもよい。例えば、情報配信システム1001aは、移動体通信網の基地局が有する端末装置1020aの位置情報、又はGPSや近距離無線通信などによって取得される端末装置1020aの位置情報を取得する。情報配信システム1001aは、取得した端末装置1020aの位置情報に基づいて、配信対象の端末装置1020aであるか否かを判定する。例えば、サッカーの試合が行われている競技場にいるユーザにのみ配信を行う場合、情報配信システム1001aは、端末装置1020aの現在位置が当該競技場である場合に、この端末装置1020aを配信対象にする。
また、端末装置1020aが配信された動き情報MIを記憶する場合において、情報配信システム1001aは、端末装置1020aに記憶されている動き情報MIを消去するか否かを制御してもよい。この場合例えば、情報配信システム1001aは、端末装置1020aが所定の配信範囲外に移動した場合には、端末装置1020aに記憶されている動き情報MIを消去する。
また、情報配信システム1001aは、動き情報MIに基づく動画像を表示しようとする場合において、ユーザの操作に基づいて、この動き情報MIの元画像である映像データVDを配信してもよい。例えば、端末装置1020aが配信された動き情報MIを記憶しており、ユーザがこの動き情報MIに基づく動画像を再生しようとする。この場合において、ユーザが動き情報MIに基づく動画像に代えて、元画像である映像データVDの再生を望む場合がある。この場合には、情報配信システム1001aは、ユーザの操作に基づいて、動き情報MIの元画像である映像データVDを配信する。
以上、本発明の実施形態及びその変形を説明したが、これらの実施形態及びその変形は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態及びその変形は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態及びその変形は、発明の範囲や要旨に含まれると同時に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
なお、上述の各装置は内部にコンピュータを有している。そして、上述した各装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した各実施形態に記載の構成を組み合わせてもよい。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限らない。
(付記1)
映像データを取得する映像データ取得部と、
前記映像データ取得部が取得する前記映像データに基づいて、前記映像データに含まれる対象画像を画像処理することにより得られるモデルの動きを示す動き情報を前記モデル毎に生成する動き情報生成部と、
前記動き情報の配信対象の端末装置の性能情報又は前記端末装置との間の通信品質を示す通信品質情報を、端末情報として取得する端末情報取得部と、
前記端末情報取得部が取得する前記端末情報に基づいて、前記動き情報生成部が生成する前記動き情報の情報量を調整する動き情報量調整部と、
前記動き情報量調整部が調整した情報量調整後動き情報を、前記端末装置に配信する配信部と
を備える情報配信装置。
映像データを取得する映像データ取得部と、
前記映像データ取得部が取得する前記映像データに基づいて、前記映像データに含まれる対象画像を画像処理することにより得られるモデルの動きを示す動き情報を前記モデル毎に生成する動き情報生成部と、
前記動き情報の配信対象の端末装置の性能情報又は前記端末装置との間の通信品質を示す通信品質情報を、端末情報として取得する端末情報取得部と、
前記端末情報取得部が取得する前記端末情報に基づいて、前記動き情報生成部が生成する前記動き情報の情報量を調整する動き情報量調整部と、
前記動き情報量調整部が調整した情報量調整後動き情報を、前記端末装置に配信する配信部と
を備える情報配信装置。
(付記2)
前記端末装置が要求する前記情報量の調整の程度を示す調整程度情報を当該端末装置から取得する調整程度情報取得部
を更に備え、
前記動き情報量調整部は、
前記調整程度情報取得部が取得する前記調整程度情報に更に基づいて、前記動き情報生成部が生成する前記動き情報の情報量を調整する
付記1に記載の情報配信装置。
前記端末装置が要求する前記情報量の調整の程度を示す調整程度情報を当該端末装置から取得する調整程度情報取得部
を更に備え、
前記動き情報量調整部は、
前記調整程度情報取得部が取得する前記調整程度情報に更に基づいて、前記動き情報生成部が生成する前記動き情報の情報量を調整する
付記1に記載の情報配信装置。
(付記3)
前記モデルには、複数の要素と、当該要素間を接続する関節とが含まれ、
前記動き情報量調整部は、
前記モデルに含まれる前記要素の数を調整することにより、前記動き情報生成部が生成する前記動き情報の情報量を調整する
付記2に記載の情報配信装置。
前記モデルには、複数の要素と、当該要素間を接続する関節とが含まれ、
前記動き情報量調整部は、
前記モデルに含まれる前記要素の数を調整することにより、前記動き情報生成部が生成する前記動き情報の情報量を調整する
付記2に記載の情報配信装置。
(付記4)
前記対象画像に関する情報を取得する対象画像情報取得部
を更に備え、
前記配信部は、前記対象画像の前記情報量調整後動き情報とともに、前記対象画像情報取得部が取得する当該対象画像に関する情報を、前記端末装置に配信する
付記1から付記3のいずれか一項に記載の情報配信装置。
前記対象画像に関する情報を取得する対象画像情報取得部
を更に備え、
前記配信部は、前記対象画像の前記情報量調整後動き情報とともに、前記対象画像情報取得部が取得する当該対象画像に関する情報を、前記端末装置に配信する
付記1から付記3のいずれか一項に記載の情報配信装置。
(付記5)
前記対象画像に関する情報とは、配信対象の前記モデルの属性を示す情報である
付記4に記載の情報配信装置。
前記対象画像に関する情報とは、配信対象の前記モデルの属性を示す情報である
付記4に記載の情報配信装置。
(付記6)
前記端末装置が出力する動き情報配信要求を取得する動き情報配信要求取得部と、
前記動き情報生成部が生成する前記動き情報を記憶する動き情報記憶部と
を更に備え、
前記配信部は、
前記動き情報配信要求取得部が取得する前記動き情報配信要求に基づいて、前記動き情報記憶部に記憶されている前記動き情報を、当該動き情報配信要求を出力した前記端末装置に配信する
付記1から付記5のいずれか一項に記載の情報配信装置。
前記端末装置が出力する動き情報配信要求を取得する動き情報配信要求取得部と、
前記動き情報生成部が生成する前記動き情報を記憶する動き情報記憶部と
を更に備え、
前記配信部は、
前記動き情報配信要求取得部が取得する前記動き情報配信要求に基づいて、前記動き情報記憶部に記憶されている前記動き情報を、当該動き情報配信要求を出力した前記端末装置に配信する
付記1から付記5のいずれか一項に記載の情報配信装置。
(付記7)
前記配信部は、
前記動き情報配信要求を出力した前記端末装置に対して前記情報量調整後動き情報が配信済みである場合に、前記動き情報記憶部に記憶されている前記動き情報を当該端末装置に対して配信する
付記6に記載の情報配信装置。
前記配信部は、
前記動き情報配信要求を出力した前記端末装置に対して前記情報量調整後動き情報が配信済みである場合に、前記動き情報記憶部に記憶されている前記動き情報を当該端末装置に対して配信する
付記6に記載の情報配信装置。
(付記8)
端末装置の性能を示す性能情報又は情報配信装置との間の通信品質を示す通信品質情報を端末情報として前記情報配信装置に送信する端末情報送信部と、
前記情報配信装置が前記端末情報に基づいて生成する情報であって、映像データに含まれる対象画像を画像処理することにより得られるモデルの動きを示す動き情報を、前記情報配信装置から受信する動き情報受信部と、
自端末装置の状態を取得する状態取得部と、
前記動き情報受信部が受信する前記動き情報と、前記状態取得部が取得する前記状態とに基づいて、前記状態に応じた前記モデルの動画像を生成する動画像生成部と、
前記動画像生成部が生成する前記動画像を含む画像を表示する表示部と
を備える端末装置。
端末装置の性能を示す性能情報又は情報配信装置との間の通信品質を示す通信品質情報を端末情報として前記情報配信装置に送信する端末情報送信部と、
前記情報配信装置が前記端末情報に基づいて生成する情報であって、映像データに含まれる対象画像を画像処理することにより得られるモデルの動きを示す動き情報を、前記情報配信装置から受信する動き情報受信部と、
自端末装置の状態を取得する状態取得部と、
前記動き情報受信部が受信する前記動き情報と、前記状態取得部が取得する前記状態とに基づいて、前記状態に応じた前記モデルの動画像を生成する動画像生成部と、
前記動画像生成部が生成する前記動画像を含む画像を表示する表示部と
を備える端末装置。
(付記9)
前記状態取得部は、
自端末装置の位置を前記状態として取得し、
前記動画像生成部は、
前記状態取得部が取得する前記位置に応じた前記動画像を生成する
付記8に記載の端末装置。
前記状態取得部は、
自端末装置の位置を前記状態として取得し、
前記動画像生成部は、
前記状態取得部が取得する前記位置に応じた前記動画像を生成する
付記8に記載の端末装置。
(付記10)
前記状態取得部は、
指示された視点位置を前記状態として取得し、
前記動画像生成部は、
前記状態取得部が取得する前記視点位置に応じた前記動画像を生成する
付記8又は付記9に記載の端末装置。
前記状態取得部は、
指示された視点位置を前記状態として取得し、
前記動画像生成部は、
前記状態取得部が取得する前記視点位置に応じた前記動画像を生成する
付記8又は付記9に記載の端末装置。
(付記11)
前記状態取得部は、
自端末装置の周辺の明るさを前記状態として取得し、
前記動画像生成部は、
前記状態取得部が取得する前記明るさに応じた前記動画像を生成する
付記8から付記10のいずれか一項に記載の端末装置。
前記状態取得部は、
自端末装置の周辺の明るさを前記状態として取得し、
前記動画像生成部は、
前記状態取得部が取得する前記明るさに応じた前記動画像を生成する
付記8から付記10のいずれか一項に記載の端末装置。
100,100a,100b 映像配信システム
2,2a,2b 端末装置
3,3a,3b 映像データ配信装置
20,20a,20b,30,30a,30b 制御部
21 表示部
22 操作部
23,31 記憶部
32,32a 情報配信部
201 映像一覧生成部
202,202a 提示部
203 識別情報生成部
204 識別情報出力部
205 映像取得部
206 提示開始位置情報生成部
207 設定情報出力部
208,208b 設定情報生成部
209 視点情報生成部
301 識別情報取得部
302 映像出力部
303 設定情報取得部
304 映像生成部
1001 情報配信システム
1010 情報配信装置
1100 制御部
1101 映像データ取得部
1102 動き情報生成部
1103 端末情報取得部
1104 動き情報量調整部
1105 配信部
1106 調整程度情報取得部
1107 動き情報配信要求取得部
1108 対象画像情報取得部
1150 記憶部
1151 動き情報記憶部
1152 対象画像情報記憶部
1020 端末装置
1200 制御部
1201 操作検出部
1202 端末情報送信部
1203 通信品質情報生成部
1204 動き情報受信部
1205 動画像生成部
1206 表示制御部
1207 状態取得部
1250 記憶部
1251 モデル情報記憶部
2,2a,2b 端末装置
3,3a,3b 映像データ配信装置
20,20a,20b,30,30a,30b 制御部
21 表示部
22 操作部
23,31 記憶部
32,32a 情報配信部
201 映像一覧生成部
202,202a 提示部
203 識別情報生成部
204 識別情報出力部
205 映像取得部
206 提示開始位置情報生成部
207 設定情報出力部
208,208b 設定情報生成部
209 視点情報生成部
301 識別情報取得部
302 映像出力部
303 設定情報取得部
304 映像生成部
1001 情報配信システム
1010 情報配信装置
1100 制御部
1101 映像データ取得部
1102 動き情報生成部
1103 端末情報取得部
1104 動き情報量調整部
1105 配信部
1106 調整程度情報取得部
1107 動き情報配信要求取得部
1108 対象画像情報取得部
1150 記憶部
1151 動き情報記憶部
1152 対象画像情報記憶部
1020 端末装置
1200 制御部
1201 操作検出部
1202 端末情報送信部
1203 通信品質情報生成部
1204 動き情報受信部
1205 動画像生成部
1206 表示制御部
1207 状態取得部
1250 記憶部
1251 モデル情報記憶部
Claims (14)
- 端末装置と、映像データを配信する映像データ配信装置とを備える映像配信システムであって、
前記端末装置は、
自装置に配信済みの映像データであって、原映像から生成される第1の映像データを示す識別情報を前記映像データ配信装置に対して出力する識別情報出力部と、
前記第1の映像データとは異なる映像であって、前記原映像から生成される第2の映像データを、前記映像データ配信装置から取得する映像取得部と
を備え、
前記映像データ配信装置は、
前記端末装置から出力される前記識別情報を取得する識別情報取得部と、
前記識別情報取得部が取得する前記識別情報に基づいて、前記第2の映像データを前記端末装置に対して出力する映像出力部と
を備える映像配信システム。 - 端末装置に配信済みの映像データであって、原映像から生成される第1の映像データを示す識別情報を取得する識別情報取得部と、
前記識別情報取得部が取得する前記識別情報に基づいて、前記第1の映像データとは異なる映像であって、前記原映像から生成される第2の映像データを前記端末装置に対して出力する映像出力部と
を備える映像データ配信装置。 - 前記第2の映像データの設定を示す設定情報を取得する設定情報取得部を更に備え、
前記映像出力部は、
前記設定情報取得部が取得する前記設定情報に応じた前記第2の映像データを出力する
請求項2に記載の映像データ配信装置。 - 前記設定情報には、
前記原映像における前記第2の映像データの提示の開始位置を示す提示開始位置情報が含まれ、
前記映像出力部は、
前記開始位置以降の前記第2の映像データを出力する
請求項3に記載の映像データ配信装置。 - 前記設定情報には、
映像の視点を示す視点情報が含まれ、
前記映像出力部は、
前記原映像と前記視点情報とに基づいて生成され、前記視点情報が示す視点と対応する映像である第3の映像データを、前記第2の映像データとして出力する
請求項3又は請求項4に記載の映像データ配信装置。 - 前記第2の映像データは、前記第1の映像データよりも画質が高い映像データである
請求項2から請求項5のいずれか一項に記載の映像データ配信装置。 - 自装置に配信済みの映像データであって、原映像から生成される第1の映像データを示す識別情報を映像配信装置に出力する識別情報出力部と、
前記第1の映像データとは異なる映像であって、前記識別情報に基づいて前記原映像から生成される第2の映像データを前記映像配信装置から取得する映像取得部と
を備える端末装置。 - 前記第2の映像データの設定を示す設定情報を生成する設定情報生成部と、
前記設定情報生成部が生成する前記設定情報を出力する設定情報出力部とを更に備え、
前記映像取得部は、
前記設定情報生成部が生成する前記設定情報に応じた前記第2の映像データを取得する
請求項7に記載の端末装置。 - 前記原映像における前記第2の映像データの提示の開始位置を示す提示開始位置情報を生成する提示開始位置情報生成部を更に備え、
前記設定情報生成部は、
前記提示開始位置情報生成部が生成する前記提示開始位置情報に更に基づく前記設定情報を生成し、
前記映像取得部は、
前記開始位置以降の前記第2の映像データを取得する
請求項8に記載の端末装置。 - 映像データを自装置に提示する映像提示部
を更に備え、
前記映像提示部は、
前記映像提示部が前記第1の映像データを提示中に前記提示開始位置情報が生成される場合には、提示中の前記第1の映像データを、前記提示開始位置情報が示すデータの提示位置以降の前記第2の映像データに切り替え、
前記提示開始位置情報が示す前記開始位置とは、前記映像提示部が提示中の前記第1の映像データの提示位置である
請求項9に記載の端末装置。 - 映像の視点を示す視点情報を生成する視点情報生成部を更に備え、
前記設定情報生成部は、
前記視点情報生成部が生成する前記視点情報に更に基づく前記設定情報を生成し、
前記映像取得部は、
前記視点情報に応じた前記第2の映像データを取得する
請求項8から請求項10のいずれか一項に記載の端末装置。 - 前記第2の映像データに係る決済を行う決済部と、
前記決済部が決済した結果を示す決済情報を出力する決済情報出力部とを更に備える
請求項7から請求項11のいずれか一項に記載の端末装置。 - 前記前記映像取得部は、
前記第2の映像データを、ストリーミング映像データとして取得する
請求項7から請求項12のいずれか一項に記載の端末装置。 - 映像データを配信する映像データ配信装置を利用した映像配信方法であって、
映像データ配信装置が、端末装置から、前記端末装置に記憶された映像データであって、原映像から生成される第1の映像データを示す識別情報を取得し、
前記識別情報取得部が取得する前記識別情報に基づいて、前記第1の映像データとは異なる映像であって、前記原映像から生成される第2の映像データを前記端末装置に配信する方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/488,122 US11082725B2 (en) | 2017-02-27 | 2018-02-27 | Video distribution system, terminal device, and video data distribution device |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-035173 | 2017-02-27 | ||
JP2017035173A JP6526731B2 (ja) | 2017-02-27 | 2017-02-27 | 情報配信装置 |
JP2017-069757 | 2017-03-31 | ||
JP2017069757A JP2018174376A (ja) | 2017-03-31 | 2017-03-31 | 映像配信システム、端末装置及び映像データ配信装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018155703A1 true WO2018155703A1 (ja) | 2018-08-30 |
Family
ID=63252845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/007175 WO2018155703A1 (ja) | 2017-02-27 | 2018-02-27 | 映像配信システム、端末装置及び映像データ配信装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11082725B2 (ja) |
WO (1) | WO2018155703A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020054498A1 (ja) * | 2018-09-13 | 2020-03-19 | ソニー株式会社 | 情報処理装置、端末装置、情報処理システム、情報処理方法及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014082672A (ja) * | 2012-10-17 | 2014-05-08 | Toshiba Corp | 電子機器、映像処理方法、及び映像処理プログラム |
JP6040328B1 (ja) * | 2016-02-10 | 2016-12-07 | 株式会社コロプラ | 映像コンテンツ配信システム及びコンテンツ管理サーバ |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06149694A (ja) | 1992-11-16 | 1994-05-31 | Nippon Telegr & Teleph Corp <Ntt> | 分配データ受信選択方式 |
JP2858556B2 (ja) | 1996-04-17 | 1999-02-17 | 日本電気株式会社 | 3次元形状通信システム |
US5892856A (en) * | 1996-12-23 | 1999-04-06 | Intel Corporation | Method of presence detection using video input |
JP2001209364A (ja) | 2000-01-24 | 2001-08-03 | Matsushita Electric Ind Co Ltd | 表示装置 |
JP2002342775A (ja) * | 2001-05-15 | 2002-11-29 | Sony Corp | 表示状態変更装置、表示状態変更方法、表示状態変更プログラム、表示状態変更プログラム格納媒体、画像提供装置、画像提供方法、画像提供プログラム、画像提供プログラム格納媒体及び画像提供システム |
DE10212085A1 (de) * | 2002-03-19 | 2003-10-09 | Siemens Ag | Verfahren und Vorrichtung zum Lesen der Adressen von Sendungen |
JP2007194680A (ja) | 2006-01-17 | 2007-08-02 | Sharp Corp | 動画視聴方法、通信端末およびプログラム |
JP5070846B2 (ja) * | 2007-01-16 | 2012-11-14 | ソニー株式会社 | 番組配信システムおよび録画再生装置 |
US20080249376A1 (en) * | 2007-04-09 | 2008-10-09 | Siemens Medical Solutions Usa, Inc. | Distributed Patient Monitoring System |
US20130074139A1 (en) * | 2007-07-22 | 2013-03-21 | Overlay.Tv Inc. | Distributed system for linking content of video signals to information sources |
US8091103B2 (en) * | 2007-07-22 | 2012-01-03 | Overlay.Tv Inc. | Server providing content directories of video signals and linkage to content information sources |
GB2452508A (en) | 2007-09-05 | 2009-03-11 | Sony Corp | Generating a three-dimensional representation of a sports game |
GB2452510A (en) | 2007-09-05 | 2009-03-11 | Sony Corp | System For Communicating A Three Dimensional Representation Of A Sporting Event |
JP2009105591A (ja) | 2007-10-23 | 2009-05-14 | Iidesu Solution:Kk | 動画配信システム |
JP2010045615A (ja) * | 2008-08-13 | 2010-02-25 | Olympus Corp | 撮像装置および内視鏡システム |
JPWO2010110066A1 (ja) | 2009-03-26 | 2012-09-27 | 日本電気株式会社 | コンテンツ配信システム、コンテンツ配信サーバ、コンテンツ配信方法およびプログラム |
US20100332404A1 (en) * | 2009-06-29 | 2010-12-30 | David Valin | Method and mechanism for protection, sharing, storage, accessing, authentication, certification, attachment and tracking anything in an electronic network |
US8629899B2 (en) | 2009-08-06 | 2014-01-14 | Qualcomm Incorporated | Transforming video data in accordance with human visual system feedback metrics |
US8264518B2 (en) * | 2009-09-28 | 2012-09-11 | Cisco Technology, Inc. | Gesture-based actions in a video communication session |
EP2641808A4 (en) * | 2010-11-16 | 2017-10-11 | Mitsubishi Electric Corporation | Video information distribution/display system and video information distribution/display method |
EP2466872B1 (en) * | 2010-12-14 | 2018-06-06 | Axis AB | Method and digital video camera for improving the image quality of images in a video image stream |
AU2011202182B1 (en) * | 2011-05-11 | 2011-10-13 | Frequency Ip Holdings, Llc | Creation and presentation of selective digital content feeds |
JP5957770B2 (ja) * | 2011-06-01 | 2016-07-27 | パナソニックIpマネジメント株式会社 | 映像処理装置、方法、プログラム、記録媒体及び集積回路 |
DE102011114115A1 (de) * | 2011-09-25 | 2013-03-28 | Zdenko Kurtovic | Verfahren und Anordnung zur Bestimmung der Lage eines Meßpunktes im geometrischen Raum |
JP2013115440A (ja) | 2011-11-24 | 2013-06-10 | Sharp Corp | コンテンツ配信装置、コンテンツ再生装置、コンテンツ配信システム、コンテンツ配信方法、制御プログラムおよび記録媒体 |
WO2013111247A1 (ja) * | 2012-01-24 | 2013-08-01 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理システム |
CN103959802B (zh) | 2012-08-10 | 2018-01-26 | 松下电器(美国)知识产权公司 | 影像提供方法、发送装置以及接收装置 |
US9532095B2 (en) | 2012-11-29 | 2016-12-27 | Fanvision Entertainment Llc | Mobile device with smart gestures |
EP2849437B1 (en) | 2013-09-11 | 2015-11-18 | Axis AB | Method and apparatus for selecting motion videos |
WO2015097922A1 (ja) | 2013-12-26 | 2015-07-02 | パナソニックIpマネジメント株式会社 | 映像編集装置 |
JP6326891B2 (ja) | 2014-03-20 | 2018-05-23 | 大日本印刷株式会社 | 画像データ生成システム、画像データ生成方法、画像処理装置及びプログラム |
JP2016058994A (ja) | 2014-09-12 | 2016-04-21 | 株式会社 日立産業制御ソリューションズ | 監視カメラ装置および監視カメラシステム |
JP2016123008A (ja) | 2014-12-25 | 2016-07-07 | 株式会社東芝 | 電子機器及び記録再生方法 |
JP6501348B2 (ja) | 2014-12-26 | 2019-04-17 | Kddi株式会社 | 自由視点画像生成装置、方法およびプログラム |
JP6555513B2 (ja) | 2015-06-30 | 2019-08-07 | 株式会社セガゲームス | プログラム |
-
2018
- 2018-02-27 WO PCT/JP2018/007175 patent/WO2018155703A1/ja active Application Filing
- 2018-02-27 US US16/488,122 patent/US11082725B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014082672A (ja) * | 2012-10-17 | 2014-05-08 | Toshiba Corp | 電子機器、映像処理方法、及び映像処理プログラム |
JP6040328B1 (ja) * | 2016-02-10 | 2016-12-07 | 株式会社コロプラ | 映像コンテンツ配信システム及びコンテンツ管理サーバ |
Also Published As
Publication number | Publication date |
---|---|
US11082725B2 (en) | 2021-08-03 |
US20200045347A1 (en) | 2020-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10659685B2 (en) | Control of viewing angles for 360-degree video playback | |
US20170142486A1 (en) | Information processing device, display device, information processing method, program, and information processing system | |
US20100299630A1 (en) | Hybrid media viewing application including a region of interest within a wide field of view | |
JP2020086983A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2019159950A (ja) | 情報処理装置および情報処理方法 | |
KR102475994B1 (ko) | 정보 처리장치, 정보 처리방법 및 기억매체 | |
CN102111542A (zh) | 图像处理设备、成像设备、图像处理方法和程序 | |
KR101400923B1 (ko) | 시뮬레이션을 이용한 스포츠 경기 중계 방법, 시스템 및 컴퓨터 판독 가능한 매체 | |
WO2021199559A1 (ja) | 動画配信装置、動画配信方法、および、動画配信プログラム | |
KR20180038256A (ko) | Vr 스트림의 지연을 보상하는 방법 및 시스템 | |
US20190012822A1 (en) | Virtual reality system with advanced low-complexity user interactivity and personalization through cloud-based data-mining and machine learning | |
KR20210084248A (ko) | Vr 컨텐츠 중계 플랫폼 제공 방법 및 그 장치 | |
CN110798692A (zh) | 一种视频直播方法、服务器及存储介质 | |
CN108421240A (zh) | 基于ar的球场弹幕系统 | |
WO2018155703A1 (ja) | 映像配信システム、端末装置及び映像データ配信装置 | |
KR20190031220A (ko) | Vr 콘텐츠 제공 시스템 및 방법 | |
US20200349977A1 (en) | Point of view video processing and curation platform | |
JP6994013B2 (ja) | 映像配信システム、映像データ配信装置、映像データ配信装置制御プログラム及び映像データ配信方法 | |
US11134236B2 (en) | Image processing device and system | |
JP2018174376A (ja) | 映像配信システム、端末装置及び映像データ配信装置 | |
CN108702451A (zh) | 用于呈现和观看球形视频片段的系统和方法 | |
JP6526731B2 (ja) | 情報配信装置 | |
JP2019110582A (ja) | 端末装置及び情報配信装置 | |
JP7403581B2 (ja) | システム及びデバイス | |
JP2020067716A (ja) | 情報処理装置、制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18758273 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18758273 Country of ref document: EP Kind code of ref document: A1 |