+

WO2018142945A1 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
WO2018142945A1
WO2018142945A1 PCT/JP2018/001314 JP2018001314W WO2018142945A1 WO 2018142945 A1 WO2018142945 A1 WO 2018142945A1 JP 2018001314 W JP2018001314 W JP 2018001314W WO 2018142945 A1 WO2018142945 A1 WO 2018142945A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame rate
video
identification information
mpd
information processing
Prior art date
Application number
PCT/JP2018/001314
Other languages
English (en)
French (fr)
Inventor
義行 小林
俊也 浜田
平林　光浩
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2018142945A1 publication Critical patent/WO2018142945A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus

Definitions

  • the present disclosure relates to an information processing apparatus and method, and more particularly to an information processing apparatus and method capable of conveying a change in frame rate.
  • MPEG-DASH Moving Picture Experts Group phase-Dynamic Adaptive Streaming over HTTP
  • the client selects and acquires contents having different bit rates and continues reproduction.
  • MPEG-DASH Dynamic Adaptive Streaming over HTTP
  • URL http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam -1)
  • moving network playback may be slowed down regardless of the end user's or content provider's intention because the network bandwidth during connection changes dynamically. It was difficult to distinguish.
  • the present disclosure has been made in view of such a situation, and is intended to be able to communicate a change in frame rate.
  • the information processing apparatus receives a moving image having a frame rate different from the frame rate reproduced immediately before by the reproducing unit, and a reproducing unit that reproduces a moving image of two or more different frame rates. And a display control unit for displaying identification information indicating that the frame rate is different from the frame rate reproduced immediately before.
  • the display control unit may display the identification information at a frame rate different from a video frame rate.
  • the identification information may indicate that the frame rate is lower than the frame rate reproduced immediately before.
  • the identification information may indicate that the frame rate is higher than the frame rate reproduced immediately before.
  • the identification information may indicate a ratio to a maximum frame rate.
  • the identification information may indicate a ratio to the frame rate reproduced immediately before.
  • the moving images of the two or more different frame rates are transmitted from the content distribution side.
  • the identification information is transmitted from the content distribution side.
  • the identification information is described in an adaptation set (AdaptationSet) or a representation (Representation) of the MPD and transmitted.
  • AdaptationSet adaptation set
  • Representation representation of the MPD
  • the information processing apparatus reproduces a moving image of two or more different frame rates, and receives a moving image of a frame rate different from the frame rate reproduced immediately before. And displaying identification information indicating that the frame rate is different from the frame rate reproduced immediately before.
  • the information processing apparatus includes a moving image generation unit that generates moving images of two or more different frame rates, and a moving image having a frame rate different from the frame rate reproduced immediately before on the reproduction side.
  • An identification information generation unit that generates identification information indicating that the received frame rate is different from the previously reproduced frame rate to be displayed, a moving image generated by the moving image generation unit, and the identification information generation unit And a transmitter for transmitting the identified identification information.
  • the identification information generated by the identification information generation unit may be described to further include an MPD generation unit that generates an MPD.
  • the MPD generation unit may describe the frame rate of the identification information generated by the identification information generation unit to generate the MPD.
  • the MPD generation unit may describe the identification information generated by the identification information generation unit in an adaptation set (AdaptationSet) of the MPD.
  • AdaptationSet adaptation set
  • the MPD generation unit may describe the identification information generated by the identification information generation unit in a representation of the MPD.
  • the identification information may indicate that the frame rate is lower than the frame rate reproduced immediately before on the reproduction side.
  • the identification information may indicate that the frame rate is higher than the frame rate reproduced immediately before on the reproduction side.
  • the identification information may indicate a ratio to a maximum frame rate.
  • the identification information may indicate a ratio of the frame rate reproduced immediately before on the reproduction side.
  • the information processing apparatus generates moving images of two or more different frame rates, and the moving image having a frame rate different from the frame rate reproduced immediately before on the reproduction side is The identification information indicating that the received frame rate is different from the previously reproduced frame rate to be displayed is generated, and the generated moving image and the generated identification information are transmitted.
  • moving images of two or more different frame rates are reproduced.
  • identification information indicating that the frame rate is different from the frame rate reproduced immediately before is displayed.
  • a moving image of two or more different frame rates is generated, and the reproduction side is displayed when a moving image of a frame rate different from the frame rate reproduced immediately before is received.
  • Identification information is generated that indicates that it is different from the frame rate reproduced immediately before. Then, the generated moving image and the generated identification information are transmitted.
  • information can be processed.
  • changes in frame rates can be communicated.
  • FIG. 7 is a diagram showing an example of MPD syntax in the case of indicating the ratio of the maximum video frame rate to the video frame currently being reproduced.
  • 18 is a flowchart illustrating MPEG-DASH streaming playback processing in the case of streaming playback of the MPD of FIG. 17; It is a figure which shows the example of the syntax of MPD in the case of showing the ratio of the video frame rate reproduced immediately before and the video frame in process of present reproduction.
  • FIG. 20 is a flowchart illustrating MPEG-DASH streaming playback processing in the case of streaming playback of the MPD of FIG. 19; It is a flowchart explaining the highest frame rate determination processing. It is a flowchart explaining a video output frame rate determination process.
  • Bit rate switching> ⁇ Distribution of video and audio>
  • streaming delivery via the Internet is expected as a means for delivering video and music to consumers.
  • the Internet as a transmission means is unstable in transmission compared to broadcast and optical disks.
  • the maximum rate of the transmission band changes greatly depending on the user's environment.
  • a constant transmission band is not always secured, and it fluctuates with the passage of time.
  • the fluctuation of the transmission bandwidth also means that the response time to the request from the client is not constant.
  • MPEG-DASH Moving Picture Experts Group-Dynamic Adaptive Streaming over HTTP
  • This is a pull type model in which a plurality of files with different data sizes are placed on the server side, and the client refers to the MPD (Media Presentation Description) to select the most suitable file.
  • a general HTTP (HyperText Transfer Protocol) server can be used by using http without using a special protocol.
  • the file format is not only MPEG-TS (Moving Picture Experts Group-Transport Stream), but also a file of International Organization for Standardization Base Media File Format (ISOBMFF) format.
  • ISOOBMFF International Organization for Standardization Base Media File Format
  • FIG. 1 An example of data transmission using MPEG-DASH is shown in FIG.
  • the file generation device 2 generates video data and audio data as moving image content, encodes the data, and converts it into a file format for transmission. For example, the file generation device 2 files (segments) these data every 10 seconds or so.
  • the file generation device 2 uploads the generated segment file to the Web server 3.
  • the file generation device 2 generates an MPD file (management file) for managing moving image content, and uploads it to the Web server 3.
  • MPD file management file
  • the Web server 3 as a DASH server distributes the file of the moving image content generated by the file generation device 2 live to the reproduction terminal 5 via the Internet 4 in a method conforming to MPEG-DASH.
  • the web server 3 stores the segment file and the MPD file uploaded from the file generation device 2. Further, in response to a request from the reproduction terminal 5, the Web server 3 transmits the stored segment file and MPD file to the reproduction terminal 5.
  • the reproduction terminal 5 includes streaming data control software (hereinafter also referred to as control software) 6, video reproduction software 7, client software for HTTP access (hereinafter referred to as access software). ) Execute 8 mag.
  • the control software 6 is software that controls data to be streamed from the web server 3. For example, the control software 6 acquires an MPD file from the web server 3. Also, the control software 6 transmits the segment file to be reproduced based on, for example, the reproduction time information indicating the reproduction time specified by the MPD file or the moving image reproduction software 7 and the network band of the Internet 4 The request is commanded to the access software 8.
  • the video reproduction software 7 is software that reproduces the encoded stream acquired from the Web server 3 via the Internet 4.
  • the moving image reproduction software 7 designates reproduction time information as the control software 6.
  • the video reproduction software 7 decodes the encoded stream supplied from the access software 8.
  • the video reproduction software 7 outputs video data and audio data obtained as a result of decoding.
  • the access software 8 is software that controls communication with the Web server 3 using HTTP. For example, the access software 8 supplies the moving image reproduction software 7 with a notification of reception start. Further, the access software 8 transmits a transmission request for the encoded stream of the segment file to be reproduced to the Web server 3 in response to an instruction of the control software 6. Furthermore, the access software 8 receives the segment file of the bit rate according to the communication environment and the like transmitted from the Web server 3 in response to the transmission request. Then, the access software 8 extracts the encoded stream from the received file, and supplies it to the moving image reproduction software 7.
  • the MPD has, for example, a configuration as shown in FIG.
  • the client (reproduction terminal 5 in the example of FIG. 1) is optimum from the attribute of Representation included in Period of MPD (Media Presentation of FIG. 2). Choose one.
  • the client reads the top segment (Segment) of the selected Representation (Representation) to obtain and process the Initialization Segment. Subsequently, the client acquires and reproduces the subsequent segment.
  • Period, Representation, and Segment in the MPD is as shown in FIG. That is, one media content can be managed for each period, which is a data unit in the time direction, and each period is managed for each segment, which is a data unit in the time direction. Can. Also, for each period, a plurality of representations (Representations) with different attributes such as bit rate can be configured.
  • the file of this MPD (also referred to as MPD file) has a hierarchical structure as shown in FIG. 4 below Period. Further, when the structure of this MPD is arranged on the time axis, it becomes as shown in the example of FIG. As is clear from the example of FIG. 5, a plurality of representations (Representations) exist for the same segment (Segment). By adaptively selecting one of these, the client can acquire and reproduce appropriate stream data according to the communication environment, its own decoding capability, and the like.
  • ⁇ Frame rate notification UI User Interface
  • the end user recognizes the frame rate in the following manner.
  • video playback devices such as Blu-ray Disc (registered trademark) playback devices
  • the frame rate of video is directly displayed as a numerical value. Even if the video is stopped, the end user recognizes indirectly that the video has a low frame rate by continuing the audio. It indirectly recognizes the progress of progress display of playback position (temporal position).
  • the display of the UI is controlled to notify the end user that the moving image frame rate has been intentionally changed.
  • the UI can also be referred to as identification information indicating that the frame rate of a moving image is intentionally changed, that is, a frame rate different from the frame rate reproduced immediately before, and hereinafter, it is also referred to as identification information.
  • the UI may be OSD (On Screen Display) in a so-called playback device, but in MPEG-DASH, the combination of specific frame rate values is not clear in the playback device, so it is included in the graphic asset. It is desirable that the creator of the moving image provides it as an image file.
  • the UI also has the effect of making the presence and distribution of the low frame rate portion and the high frame rate portion clearer with respect to the entire content.
  • bit rate adjustment by frame rate adjustment may be implemented as one implementation method of bit rate adaptation.
  • the content itself is the video of each frame rate prepared in all sections, and the distribution of the low frame rate part and the high frame rate part in the whole is determined dynamically at the time of streaming reproduction. That is, moving images of a plurality (two or more) different frame rates are distributed from the server.
  • menu graphics type In the case of streaming delivery, as described above, the menu graphics type often causes the playback device to provide its own UI. In addition, even when menu graphics and the like are distributed and animation graphics are included, they are usually aligned with the frame rate of the video.
  • animation graphics are displayed at the frame rate of the video, they may be degraded, but as shown in FIG. 6, animation occurs when the video output reaches 30 fps in accordance with the 30 fps of the video.
  • the frame rate will be halved. Therefore, in the case of a blinking animation, as shown in FIG. 7, it may continue to be displayed or may not be displayed as shown in FIG.
  • an announcement is performed on an animation icon by graphics whose frame rate is higher than that of video.
  • the end user can easily view at least that it is not a malfunction of the playback device. For example, when the video frame rate is low, it is possible to prepare an animation icon moving at a high speed such as 2x or 4x video.
  • a frame rate of graphics is defined in metadata (for example, MPD).
  • the playback device can set the frame rate setting of the video output to the frame rate of graphics.
  • a URL of a graphics asset and a SupplementalProperty element capable of describing a graphics frame rate are added.
  • the frame rate of the video output may be reduced in accordance with the frame rate of the video.
  • the frame rate of the graphics superimposed on the video is also reduced concomitantly.
  • the video frame rate has been lowered to lower the bit rate rate in response to the network bandwidth problem when downloading segments. Since there is no problem with the video output frame rate of the playback device, there is no need for the playback device to follow the decrease in the video frame rate to lower the video output frame rate. This can be signaled by metadata to which the present technology is applied.
  • the introduction of metadata to which the present technology is applied can avoid the triggering of an unintended graphics display state. At least, as shown in FIG. 9, it is effective when the graphics update rate (animation rate etc.) exceeds the video frame rate.
  • video decoders have a decoding delay caused by reordering B and P frames of MPEG video coding.
  • the decoding delay is derived from the MPEG video coding system and is theoretically generated. For low frame rate video, the number of video frame rates may fall below this amount of decoding delay.
  • the playback device can grasp a specific delay amount. Therefore, in the present technology, the video decoder can be controlled by the setting value with reference to the adaptation set (AdaptationSet) of the MPD file or the frame rate attribute of the Representation element.
  • AdaptationSet adaptation set
  • Many video decoders have an instruction defined to forcibly eject the video frame stored in the decoder, but the video frame can be obtained by issuing the instruction to the video decoder.
  • the decoder has a decoding delay of 3 video frames.
  • the first video frame is not input after the fourth video segment is input to the decoder. It will not be output.
  • the number of video frames in the video segment to be reproduced can be calculated from the value of the frame rate attribute of the Representation element and the time length of the video segment. If the calculated number of video frames is equal to or smaller than the delay amount of the decoder, a situation may occur in which video frames are not output at the start of streaming playback.
  • FIG. 10 is a block diagram illustrating an example of a configuration of a delivery system which is an aspect of an information processing system to which the present technology is applied.
  • the delivery system 100 shown in FIG. 10 is a system for delivering data (content) such as images and sounds.
  • the file generation apparatus 101, the distribution server 102, and the reproduction terminal 103 are communicably connected to each other via the network 104.
  • the file generation apparatus 101 is an aspect of an information processing apparatus to which the present technology is applied, and is an apparatus that performs processing related to generation of an MP4 file or an MPD file (also referred to as an MPD file) storing image data and audio data.
  • the file generation apparatus 101 generates image data and audio data, generates an MP4 file for storing the generated image data and the generated audio data, and generates an MPD file for managing the MP4 file, and generates those files.
  • the data is supplied to the distribution server 102.
  • the distribution server 102 is an aspect of an information processing apparatus to which the present technology is applied, and is a server that performs processing related to a content data distribution service using MPEG-DASH (that is, a distribution service of MP4 files using MPD files). is there.
  • the distribution server 102 acquires and manages the MPD file and the MP4 file supplied from the file generation apparatus 101, and provides a distribution service using MPEG-DASH.
  • the distribution server 102 in response to a request from the reproduction terminal 103, the distribution server 102 provides the MPD file to the reproduction terminal 103. Further, the distribution server 102 supplies the requested MP4 file to the reproduction terminal 103 in response to the request from the reproduction terminal 103 based on the MPD file.
  • the reproduction terminal 103 is an aspect of an information processing apparatus to which the present technology is applied, and is an apparatus that performs processing related to reproduction of image data and audio data.
  • the reproduction terminal 103 requests the distribution server 102 to distribute the MP4 file in accordance with the MPEG-DASH, and acquires the supplied MP4 file in response to the request.
  • the reproduction terminal 103 acquires an MPD file from the distribution server 102, and acquires from the distribution server 102 an MP4 file storing desired content data according to the information of the MPD file.
  • the reproduction terminal 103 decodes the acquired MP4 file, and reproduces image data and audio data.
  • the network 104 is an arbitrary communication network, may be a communication network of wired communication, may be a communication network of wireless communication, or may be configured by both of them. Also, the network 104 may be configured by one communication network, or may be configured by a plurality of communication networks.
  • the Internet a public telephone network, a wide area communication network for wireless mobiles such as so-called 3G circuits and 4G circuits, WAN (Wide Area Network), LAN (Local Area Network), communication conforming to Bluetooth (registered trademark) standards Communication network for near field communication such as NFC (Near Field Communication), communication channel for infrared communication, standard such as HDMI (High-Definition Multimedia Interface) or USB (Universal Serial Bus)
  • WAN Wide Area Network
  • LAN Local Area Network
  • Bluetooth registered trademark
  • Communication network for near field communication such as NFC (Near Field Communication)
  • communication channel for infrared communication standard such as HDMI (High-Definition Multimedia Interface) or USB (Universal Serial Bus)
  • a communication network or communication path of any communication standard such as a communication network of wired communication conforming to the above may be included in the network 104.
  • the file generation apparatus 101, the distribution server 102, and the reproduction terminal 103 are communicably connected to the network 104, and can exchange information with each other via the network 104.
  • the file generation apparatus 101, the distribution server 102, and the reproduction terminal 103 may be connected to the network 104 by wired communication, may be connected by wireless communication, or may be connected by both of them. It may be done.
  • one file generation apparatus 101, one distribution server 102, and one reproduction terminal 103 are shown as the configuration of the distribution system 100, but these numbers are arbitrary and identical to each other. It does not have to be.
  • the file generation device 101, the distribution server 102, and the reproduction terminal 103 may be singular or plural.
  • FIG. 11 is a block diagram showing an example of the main configuration of the file generation apparatus 101.
  • the file generation device 101 includes a video stream generation unit 110, an image file generation unit 111, a content file generation unit 112, an MPD generation unit 113, and a communication unit 114.
  • the file generation device 101 includes a video stream generation unit 110, an image file generation unit 111, a content file generation unit 112, an MPD generation unit 113, and a communication unit 114.
  • voice since it is not directly related to this technique, it is abbreviate
  • the video stream generation unit 110 and the image file generation unit 111 perform processing related to generation of a stream of content data.
  • the video stream generation unit 110 performs A / D conversion, frame rate conversion, and encoding of an input video analog signal (also referred to as an image signal), and video digital data (also referred to as image data) To generate a video stream, which is a stream of H.264, and supply it to the content file generation unit 112.
  • the video stream generation unit 110 generates video streams of two or more different frame rates.
  • the image file generation unit 111 generates a image file (also referred to as UI data) by encoding a UI to which the present technology is applied, which is generated by the content creator, and generates the image file It supplies to 112.
  • the content of the signal processing on the video analog signal by the video stream generation unit 110 is arbitrary.
  • the content of the signal processing for the image file by the image file generation unit 111 is arbitrary.
  • the conversion method or coding method is arbitrary.
  • the video stream generation unit 110 can generate an MPEG2 stream, an AVC stream, an HEVC stream, and the like from a video analog signal.
  • the content file generation unit 112 performs processing related to generation of a file (content file) storing the content data supplied from the video stream generation unit 110 and the image file generation unit 111.
  • the content file generation unit 112 generates an MP4 file which is a content file storing a video stream supplied as content data from the video stream generation unit 110 and an image file supplied as content data from the image file generation unit 111.
  • the MP4 file which is a content file storing a video stream supplied as content data from the video stream generation unit 110 and an image file supplied as content data from the image file generation unit 111.
  • the specification of the content file generated by the content file generation unit 112 is arbitrary.
  • the content file generation unit 112 can generate an MP4 file storing an MPEG2 stream, an AVC stream, an HEVC stream or the like, a DSD lossless stream, an AAC stream, an LPCM stream or the like.
  • the content file generation unit 112 may generate content files other than MP4 files.
  • DSD is an abbreviation of Direct Stream Digital, which is one of high-quality audio encoding methods.
  • the MPD generation unit 113 performs processing related to generation of management information of the content file generated by the content file generation unit 112. For example, the MPD generation unit 113 generates an MPD file for the MP4 file supplied from the content file generation unit 112 and supplies the MPD file to the communication unit 114. When generating the MPD file, the MPD generation unit 113 applies the above-described present technology and sets the frame rate of graphics (image file) to the MPD.
  • the communication unit 114 performs processing related to communication with another device via the network 104. For example, the communication unit 114 supplies the supplied MPD file or MP4 file to the distribution server 102.
  • the video stream generation unit 110 of the file generation device 101 When the distribution data generation process is started, the video stream generation unit 110 of the file generation device 101 generates a video stream from the video analog signal in step S101. At this time, in the video stream generation unit 110, for example, video streams of two or more different frame rates are generated.
  • the image file generation unit 111 generates an image file in step S102.
  • step S103 the content file generation unit 112 generates a content file (for example, an MP4 file) storing the video stream generated in step S101 and the image file generated in step S102.
  • a content file for example, an MP4 file
  • step S104 the MPD generation unit 113 executes an MPD file generation process described later with reference to FIG. 15, FIG. 17, or FIG. 19, and manages the content file (MP4 file) generated in step S103. Generate a file That is, in the MPD file, the URL of the image file (graphic), the frame rate of the image file, and the like are described.
  • step S105 the communication unit 114 supplies (uploads) the content file generated in step S103 and the MPD file generated in step S104 to the distribution server 102.
  • step S105 When the process of step S105 ends, the distribution data generation process ends.
  • FIG. 13 is a block diagram showing a main configuration example of the playback terminal 103.
  • the playback terminal 103 has a downloader 151 which is access software, an MPD buffer 152, control software 153, moving image playback software 154, and a display 155.
  • the display 155 may be external.
  • the downloader 151 receives the MPD file and the URL of the MP4 file by the control software 153, and requests the distribution server 102 for the MPD file and the MP4 file. In response to the request, the downloader 151 receives the segment file of the bit rate according to the communication environment and the like sent from the distribution server 102. The downloader 151 extracts the encoded stream from the received file and supplies it to the video reproduction software 154.
  • the MPD buffer 152 temporarily stores the MPD file acquired via the video reproduction software 154 and supplies the MPD file to the control software 153 at a predetermined timing.
  • the control software 153 acquires the MPD file from the distribution server 102. Also, the control software 153 transmits the segment file to be reproduced based on, for example, reproduction time information indicating the MPD file, reproduction time designated by the moving image reproduction software 154, and the network band of the network 104. The request is commanded to the downloader 151. Also, the control software 153 supplies information on the frame rate of video, graphics and video output to the blender 168 of the video reproduction software 154, and the reproduction and graphics (icon) of the video reproduction software 154 Control the display of Furthermore, the control software 153 controls the video decoder 163 according to the setting value with reference to the frame rate attribute of the adaptation set (AdaptationSet) or the representation (Representation) element of the MPD file as necessary. Do.
  • the video playback software 154 plays back moving images of two or more different frame rates from the distribution server 102. That is, the video reproduction software 154 designates reproduction time information as the control software 153. Also, upon receiving the notification of reception start from the downloader 151, the moving image reproduction software 154 decodes the encoded stream supplied from the downloader 151. The video reproduction software 154 outputs video data and audio data obtained as a result of decoding. In the example of FIG. 13, the description regarding audio is omitted because it is not directly related to the present technology.
  • the video playback software 154 includes a demultiplexer 161, a segment buffer 162, a video decoder 163, a video frame buffer 164, an image file buffer 165, an image decoder 166, a graphics frame buffer 167, a blender 168, and a video renderer 169. Configured
  • the demultiplexer 161 When the demultiplexer 161 receives the encoded stream supplied from the downloader 151, the demultiplexer 161 separates the stream into MPD files, video segments, and image files. The demultiplexer 161 supplies the MPD file to the MPD buffer 152, supplies the video segment to the segment buffer 162, and supplies the image file to the image file buffer 165.
  • the segment buffer 162 temporarily stores the video segment from the demultiplexer 161 and supplies it to the video decoder 163 at a predetermined timing.
  • the video decoder 163 decodes the video segment in units of segments according to the encoding scheme at the time of encoding.
  • the video decoder 163 temporarily stores the decoded video frame in the video frame buffer 164 and supplies it to the blender 168 at a predetermined timing.
  • the image file buffer 165 temporarily stores the image file from the demultiplexer 161 and supplies it to the image decoder 166 at a predetermined timing.
  • the image decoder 166 decodes the image file in units of segments according to the encoding method at the time of encoding.
  • the image decoder 166 temporarily stores the decoded image frame in the graphics frame buffer 167 and supplies it to the blender 168 at a predetermined timing.
  • the blender 168 superimposes the video and the image based on the information on the frame rate of the video, graphics and video output from the control software 153. At that time, resolution conversion is also performed.
  • the blender 168 outputs the frame resulting from the superposition of the video and the image to the video renderer 169.
  • the video renderer 169 sends the frame after superposition to the external output. For example, the video renderer 169 outputs the frame after superposition to the display 155 for display.
  • the video frame rate may change at the timing of segment switching.
  • the variable frame rate notification processing performed after the parsing of the MPD file will be described with reference to the flowchart in FIG.
  • the control software 153 sets Vfr to 0 in step S151.
  • step S152 the control software 153 selects one video representation (Representation).
  • step S153 the control software 153 determines whether the video representation (Representation) selected in step S152 includes a frame rate difference representation (Representation). If it is determined in step S152 that a representation (Representation) is included, the process proceeds to step S154.
  • step S154 the control software 153 sets Vfr to one.
  • step S153 If it is determined in step S153 that no representation (Representation) is included, step S154 is skipped, and the process proceeds to step S155.
  • step S155 the control software 153 determines whether all video representations (Representations) in the MPD have been confirmed. If it is determined in step S155 that all video representations (Representation) in the MPD have not been confirmed, the process returns to step S152, and the subsequent processes are repeated.
  • step S155 If it is determined in step S155 that all video representations (Representation) in the MPD have been confirmed, the process proceeds to step S156.
  • step S156 the control software 153 determines whether the value of Vfr is one. If it is determined in step S156 that the value of Vfr is 1, the process proceeds to step S157.
  • step S157 the control software 153 supplies the blender 168 with information on the frame rate of the video, graphics, and video output to notify the display 155 that the frame rate is variable reproduction.
  • step S156 If it is determined in step S156 that the value of Vfr is 0, the variable frame rate notification process of FIG. 14 ends.
  • FIG. 15 is a diagram illustrating an example of the syntax of the MPD in the case of displaying “raised” and “decreased” for a predetermined period.
  • the numbers on the left side indicate the number of lines from the top, and are added for the convenience of description.
  • the frame rate of graphics is set to 60 fps (fame per second).
  • the frame rate of graphics is described in the value attribute of the SupplementalProperty element defined in urn: mpeg: dash: icon_frame_rate: 2016, as shown in the sixth line.
  • the maximum frame rate of all representations (Representation) is confirmed at the start of MPD playback, and the video output is fixed to that value.
  • the schmeIdUri attribute of the seventh line is defined in urn: mpeg: dash: icon_frame_rate_up_file: 2016, describes the URL of the image file that contains the icon to be displayed when the frame rate is increased. ing.
  • the schmeIdUri attribute of line 8 is defined in urn: mpeg: dash: icon_frame_rate_down_file: 2016, describes the URL of the image file that contains the icon to be displayed when the frame rate is lowered. ing.
  • the icon display may be displayed only for a fixed period, or may be continued until a frame rate change occurs next.
  • step S171 the control software 153 performs the MPD parsing stored in the MPD buffer 152.
  • step S172 the control software 153 performs variable frame rate notification processing. Since the variable frame rate notification processing is the same as the processing described above with reference to FIG. 14, the detailed description thereof is omitted.
  • step S173 the video playback software 154 starts video segment playback. That is, the video decoder 163 decodes the video segment stored in the segment buffer 162, temporarily stores the decoded image frame in the graphics frame buffer 167, and supplies the image frame to the blender 168 at a predetermined timing.
  • the blender 168 superimposes the video and the image based on the information on the frame rate of the video, graphics and video output from the control software 153. At that time, resolution conversion is also performed.
  • the blender 168 outputs the frame resulting from the superposition of the video and the image to the video renderer 169.
  • the video renderer 169 sends the frame after superposition to the external output. For example, the video renderer 169 outputs the frame after superposition to the display 155 for display.
  • step S174 the control software 153 determines whether there is a frame rate change of the video segment. That is, in step S174, when a transition of Representation (Representation) occurs, it is determined that there is a frame rate change of the video segment, and when it is changed to a low rate, the process proceeds to step S175. In step S175, the control software 153 controls the blender 168 to display an icon (for example, down. Png in the eighth line of FIG. 15) indicating a frame drop. Thereafter, the processing proceeds to step S177.
  • Representation transition of Representation
  • step S174 when transition of Representation (Representation) occurs, it is determined that there is a frame rate change of the video segment, and when it is changed to a high rate, the process proceeds to step S176.
  • step S176 the control software 153 controls the blender 168 to display an icon (for example, up. Png in the seventh line of FIG. 15) indicating a frame rise. Thereafter, the processing proceeds to step S177.
  • step S174 when transition of Representation (Representation) does not occur, it is determined that there is no frame rate change of the video segment, and the process proceeds to step S177.
  • step S177 the control software 153 determines whether or not all video segments have been reproduced. If it is determined in step S177 that the reproduction has not ended yet, the process returns to step S173, and the subsequent processes are repeated. On the other hand, when it is determined in step S177 that all video segment reproduction has ended, the MPEG-DASH streaming reproduction process is ended.
  • FIG. 17 is a diagram showing an example of MPD syntax when indicating the ratio of the maximum video frame rate to the video frame currently being reproduced.
  • the numbers on the left side indicate the number of lines from the top, and are added for the convenience of description.
  • the frame rate of graphics is set to 60 fps (fame per second).
  • the frame rate of graphics is described in the value attribute of the SupplementalProperty element defined in urn: mpeg: dash: icon_frame_rate: 2016, as shown in the sixth line.
  • the maximum frame rate of all representations (Representation) is confirmed at the start of MPD playback, and the video output is fixed to that value.
  • the predetermined icon is displayed to operate at the frame rate intended for the end user. We can announce the effect.
  • the URL of the image file in which the icon is stored has the schmeIdUri attribute described in the value attribute of the SupplementalProperty element defined in urn: mpeg: dash: icon_frame_rate_file: 2016.
  • image files for icons corresponding to respective frame rates of three defined representations are defined.
  • the eighth line 1.png is an icon indicating that it is 24 fps of 2/5 corresponding to the maximum frame rate of 60 fps.
  • 2.png is an icon indicating that it is half 30 fps corresponding to the maximum frame rate of 60 fps.
  • 3.png is an icon indicating that the maximum frame rate is 60 fps.
  • the numerical value of the frame rate value may be directly displayed. You may display a fraction like "30/60". You may display like an analog meter. You may display like a digital meter. It may be displayed in shades of color. It may be displayed by the density of lines like contour lines of a map. It is an icon that makes the object rotate, and the difference in rotational speed may indicate the difference in frame rate. It may be an icon as the object moves, and the difference in frame rate may be displayed by the speed difference.
  • step S191 the control software 153 performs the MPD parsing stored in the MPD buffer 152.
  • step S192 the control software 153 performs variable frame rate notification processing. Since the variable frame rate notification processing is the same as the processing described above with reference to FIG. 14, the detailed description thereof is omitted.
  • step S193 the video playback software 154 starts video segment playback. That is, the video decoder 163 decodes the video segment stored in the segment buffer 162, temporarily stores the decoded image frame in the graphics frame buffer 167, and supplies the image frame to the blender 168 at a predetermined timing.
  • the blender 168 superimposes the video and the image based on the information on the frame rate of the video, graphics and video output from the control software 153. At that time, resolution conversion is also performed.
  • the blender 168 outputs the frame resulting from the superposition of the video and the image to the video renderer 169.
  • the video renderer 169 sends the frame after superposition to the external output. For example, the video renderer 169 outputs the frame after superposition to the display 155 for display.
  • step S194 the control software 153 determines whether there is a frame rate change of the video segment. That is, in step S194, when a transition of Representation (Representation) occurs, it is determined that there is a frame rate change of the video segment, and the process proceeds to step S195.
  • step S195 the control software 153 controls the blender 168 to display an icon indicating the ratio of the maximum video frame rate to the video frame rate (for example, 1. png of the eighth line of FIG. png, 3.png) on the 16th line. Thereafter, the processing proceeds to step S196.
  • step S194 when transition of Representation (Representation) does not occur, it is determined that there is no frame rate change of the video segment, and the process proceeds to step S196.
  • step S196 the control software 153 determines whether or not all video segments have been reproduced. If it is determined in step S196 that the reproduction has not ended yet, the process returns to step S193, and the subsequent processes are repeated. On the other hand, if it is determined in step S196 that all video segment reproduction has ended, the MPEG-DASH streaming reproduction process is ended.
  • FIG. 19 is a diagram showing an example of MPD syntax in the case of showing the ratio of the video frame rate reproduced immediately before and the video frame currently being reproduced.
  • the numbers on the left side indicate the number of lines from the top, and are added for the convenience of description.
  • the frame rate of graphics is set to 60 fps (fame per second).
  • the frame rate of graphics is described in the value attribute of the SupplementalProperty element defined in urn: mpeg: dash: icon_frame_rate: 2016, as shown in the sixth line.
  • the maximum frame rate of all representations (Representation) is confirmed at the start of MPD playback, and the video output is fixed to that value.
  • the Representation_id “V1_2” on the seventh line has a frame rate value that is different from the graphics frame rate, but by displaying the same video frame repeatedly several times, the same rate output as the graphics frame rate can be output. It is set to be possible.
  • Representation_id “V1_3” is selected in the 12th line, the video is rendered at 60 fps, so the graphics are rendered at 60 fps, and the final video output is also set to 60 fps.
  • the predetermined icon is displayed to operate at the frame rate intended for the end user. We can announce the effect.
  • the URL of the image file in which the icon is stored has the schmeIdUri attribute described in the value attribute of the SupplementalProperty element defined in urn: mpeg: dash: icon_frame_rate_file: 2016.
  • the numerical value of the frame rate value may be directly displayed. You may display a fraction like "30/60". You may display like an analog meter. You may display like a digital meter. It may be displayed in shades of color. It may be displayed by the density of lines like contour lines of a map. It is an icon that makes the object rotate, and the difference in rotational speed may indicate the difference in frame rate. It may be an icon as the object moves, and the difference in frame rate may be displayed by the speed difference.
  • step S201 the control software 153 performs the MPD parsing stored in the MPD buffer 152.
  • step S202 the control software 153 performs variable frame rate notification processing. Since the variable frame rate notification processing is the same as the processing described above with reference to FIG. 14, the detailed description thereof is omitted.
  • step S203 the video playback software 154 starts video segment playback. That is, the video decoder 163 decodes the video segment stored in the segment buffer 162, temporarily stores the decoded image frame in the graphics frame buffer 167, and supplies the image frame to the blender 168 at a predetermined timing.
  • the blender 168 superimposes the video and the image based on the information on the frame rate of the video, graphics and video output from the control software 153. At that time, resolution conversion is also performed.
  • the blender 168 outputs the frame resulting from the superposition of the video and the image to the video renderer 169.
  • the video renderer 169 sends the frame after superposition to the external output. For example, the video renderer 169 outputs the frame after superposition to the display 155 for display.
  • step S204 the control software 153 determines whether there is a frame rate change of the video segment. That is, in step S204, when a transition of Representation (Representation) occurs, it is determined that there is a frame rate change of the video segment, and the process proceeds to step S205.
  • step S205 the control software 153 controls the blender 168 to display an icon indicating the ratio of the video frame rate to the video frame rate of the video segment immediately before (for example, V1_3 to V1_2.png, line 14 in line 9 of FIG. 19). Display the eye V1_2 to V1_3.png). Thereafter, the process proceeds to step S206.
  • step S204 when transition of Representation (Representation) does not occur, it is determined that there is no frame rate change of the video segment, and the process proceeds to step S206.
  • step S206 the control software 153 determines whether or not all video segments have been reproduced. If it is determined in step S206 that the reproduction has not ended yet, the process returns to step S203, and the subsequent processes are repeated. On the other hand, when it is determined in step S206 that all video segment reproduction has ended, the MPEG-DASH streaming reproduction process is ended.
  • the control software 153 selects one video representation (Representation).
  • the control software 153 reads the frame rate attribute value (fr) of the video representation (Representation) selected in step S222.
  • step S224 If it is determined in step S224 that fr_max is equal to or greater than fr, the process proceeds to step S226.
  • step S226 the control software 153 determines whether all video presentations (Representation) in the MPD have been confirmed. If it is determined in step S226 that all video presentations (Representation) in the MPD have been confirmed, the maximum frame rate determination process of FIG. 21 is ended.
  • step S226 when it is determined in step S226 that not all video presentations (Representation) in the MPD have been confirmed, the process returns to step S222, and the subsequent processes are repeated.
  • step S241 the control software 153 performs a maximum frame rate (fr_max) determination process.
  • the maximum frame rate (fr_max) determining process is basically the same as the determining process described above with reference to FIG. 21, and thus the description thereof is omitted.
  • step S 242 the control software 153 determines whether the adaptation set (AdaptationSet) has a definition of icon_frame_rate. If it is determined in step S242 that the adaptation set (AdaptationSet) has a definition of icon_frame_rate, the process proceeds to step S243. In step S243, the control software 153 determines whether fr_max is smaller than icon_frame_rate.
  • step S243 If it is determined in step S243 that fr_max is smaller than icon_frame_rate, the process proceeds to step S244.
  • step S244 the control software 153 sets the frame rate of the video output to icon_frame_rate, and ends the video output frame rate determination process.
  • step S242 if it is determined in step S242 that there is no definition of icon_frame_rate in the adaptation set (AdaptationSet), or if it is determined in step S243 that fr_max is equal to or greater than icon_frame_rate, the process proceeds to step S245.
  • step S245 the frame rate of video output is set to fr_max, and the video output frame rate determination process is ended.
  • the frame rate of the video output may be the same as the frame rate of the video, or may be set by the end user.
  • the end user When the end user can select, it is generally fixed to the highest frame rate that can be received by a television receiver or a monitor for a personal computer such as "60p fixed output".
  • the video frame rate is changed from 60 fps to 30 fps.
  • Graphics may also be rendered at 30 fps and the final output may be changed to 30 fps.
  • the graphics will continue to render at 60 fps and the final output may be changed to 30 fps.
  • the graphics will continue to render at 60 fps and the final output may maintain 60 fps.
  • the frame rate attribute is described in Representation, and an example of referring to it is shown. However, as described above, it is described in the adaptation set (AdaptationSet). You may refer to that.
  • FIG. 23 is a view showing an example of displaying an icon of a frame rate value.
  • the frame rate is decreased from 30 fps to 15 fps, as shown in A of FIG.
  • a fraction may be written together with an icon indicating a drop.
  • a fraction may be written together with an icon indicating a drop.
  • FIG. 24 is a view showing another icon display example of the frame rate value.
  • representation with a digital meter as shown in FIG. 24 may be performed.
  • 24A shows a digital meter that represents 24 fps
  • FIG. 24B shows a digital meter that represents 15 fps.
  • FIG. 25 is a view showing still another exemplary icon display of the frame rate value. As shown in the example of FIG. 25, the notation may be performed as an analog meter.
  • FIG. 26 is a view showing an example of an animation icon notifying of a frame rate change.
  • a of FIG. 26 illustrates an example of the icon sequence in the case where the continuous display (1, 2,..., 6, 1, 2,..., 6,...) Is recursively performed at 30 fps.
  • B of FIG. 26 illustrates an example of the icon sequence in the case where the continuous display (1, 2, 3, 1, 2, 3,...) Is recursively performed at 15 fps.
  • an icon indicating that the frame rate different from the frame rate reproduced immediately before is displayed.
  • the identification information to be displayed may not necessarily use the one described in the MPD, and may use the one prepared in the playback device.
  • the present technology it is not a situation on the playback device side, but, for example, it is an intentional frame drop when, for example, a representation with a reduced frame rate is selected to reduce the bit rate. Can be notified.
  • the series of processes described above can be performed by hardware or software.
  • a program that configures the software is installed on a computer.
  • the computer includes, for example, a general-purpose personal computer that can execute various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 27 is a block diagram showing an example of a hardware configuration of a computer that executes the series of processes described above according to a program.
  • a central processing unit (CPU) 1001 a read only memory (ROM) 1002, and a random access memory (RAM) 1003 are mutually connected via a bus 1004.
  • CPU central processing unit
  • ROM read only memory
  • RAM random access memory
  • An input / output interface 1010 is also connected to the bus 1004.
  • An input unit 1011, an output unit 1012, a storage unit 1013, a communication unit 1014, and a drive 1015 are connected to the input / output interface 1010.
  • the input unit 1011 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 1012 includes, for example, a display, a speaker, and an output terminal.
  • the storage unit 1013 includes, for example, a hard disk, a RAM disk, and a non-volatile memory.
  • the communication unit 1014 includes, for example, a network interface.
  • the drive 1015 drives removable media 1021 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads the program stored in the storage unit 1013 into the RAM 1003 via the input / output interface 1010 and the bus 1004, and executes the program. Processing is performed.
  • the RAM 1003 also stores data necessary for the CPU 1001 to execute various processes.
  • the program executed by the computer (CPU 1001) can be recorded and applied to, for example, a removable medium 1021 as a package medium or the like.
  • the program can be installed in the storage unit 1013 via the input / output interface 1010 by attaching the removable media 1021 to the drive 1015.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 1014 and installed in the storage unit 1013.
  • this program may be installed in advance in the ROM 1002 or the storage unit 1013.
  • encoded data may be multiplexed and transmitted or recorded in encoded data, or may be encoded with encoded data without being multiplexed in encoded data. It may be transmitted or recorded as associated separate data.
  • association means, for example, that one data can be processed (linked) in processing the other data. That is, the data associated with each other may be collected as one data or may be individual data.
  • the information associated with the coded data (image) may be transmitted on a transmission path different from that of the coded data (image).
  • information associated with encoded data (image) may be recorded on a recording medium (or another recording area of the same recording medium) different from the encoded data (image).
  • association may not be the entire data but a part of the data.
  • an image and information corresponding to the image may be associated with each other in an arbitrary unit such as a plurality of frames, one frame, or a part in a frame.
  • a system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing or not. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configuration described as a plurality of devices (or processing units) in the above may be collectively configured as one device (or processing unit).
  • configurations other than those described above may be added to the configuration of each device (or each processing unit).
  • part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit) if the configuration or operation of the entire system is substantially the same. .
  • the present technology can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • the program described above can be executed on any device.
  • the device may have necessary functions (functional blocks and the like) so that necessary information can be obtained.
  • each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices.
  • the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • the process of the step of writing the program may be executed in chronological order according to the order described in the present specification, or the call is performed in parallel or It may be individually executed at necessary timing such as time. Furthermore, the process of the step of writing this program may be executed in parallel with the process of another program, or may be executed in combination with the process of another program.
  • a reproduction unit that reproduces a moving image of two or more different frame rates
  • a display control unit that displays identification information indicating that the frame rate different from the frame rate reproduced immediately before is received when a moving image having a frame rate different from the frame rate reproduced immediately before by the reproduction unit is received .
  • the display control unit displays the identification information at a frame rate different from a video frame rate.
  • the identification information indicates that the frame rate is lower than the frame rate reproduced immediately before.
  • the information processing apparatus indicates a ratio to a maximum frame rate.
  • the information processing apparatus indicates a ratio to the frame rate reproduced immediately before.
  • the information processing apparatus according to any one of (1) to (6), wherein the moving images of two or more different frame rates are transmitted from the content distribution side.
  • the information processing apparatus according to any one of (1) to (6), wherein the identification information is transmitted from a content distribution side.
  • the information processing apparatus according to (8), wherein the identification information is described and transmitted in an adaptation set (AdaptationSet) or a representation (Representation) of the MPD.
  • AdaptationSet adaptation set
  • Representation representation
  • the information processing apparatus Play back moving images of two or more different frame rates, An information processing method comprising: displaying identification information indicating that the frame rate different from the frame rate reproduced immediately before is received when a moving image having a frame rate different from the frame rate reproduced immediately before is received.
  • a moving image generation unit that generates moving images of two or more different frame rates
  • An identification information generation unit that generates identification information indicating that the frame rate different from the frame rate reproduced immediately before is displayed when a moving image having a frame rate different from the frame rate reproduced immediately before on the reproduction side is received;
  • An information processing apparatus comprising: a transmission unit that transmits the moving image generated by the moving image generation unit and the identification information generated by the identification information generation unit.
  • the information processing apparatus further including: an MPD generation unit that generates an MPD by describing identification information generated by the identification information generation unit.
  • the MPD generation unit describes the frame rate of the identification information generated by the identification information generation unit and generates the MPD.
  • the information processing apparatus describes the identification information generated by the identification information generation unit in an adaptation set (AdaptationSet) of the MPD.
  • the MPD generation unit describes identification information generated by the identification information generation unit in a representation of the MPD.
  • the information processing apparatus Generate moving images of two or more different frame rates, The reproduction side generates identification information indicating that the frame rate is different from the frame rate reproduced immediately before being displayed when a moving image having a frame rate different from the frame rate reproduced immediately before is received.
  • DESCRIPTION OF SYMBOLS 100 Distribution system, 101 file generation apparatus, 102 distribution server, 103 reproduction terminal, 104 network, 110 video stream generation part, 111 image file generation part, 112 content file generation part, 113 MPD generation part, 114 communication part, 151 downloader, 152 MPD buffer, 153 control software, 154 video playback software, 155 display, 161 demultiplexer, 162 segment buffer, 163 video decoder, 164 video frame buffer, 165 image file buffer, 166 image decoder, 167 graphics frame buffer , 168 Brenda, 169 Video Renderers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本開示は、フレームレートの変更を伝えるようにすることができるようにする情報処理装置および方法に関する。 動画再生ソフトウエアは、配信サーバから受信された２つ以上の異なるフレームレートの動画像を再生する。制御用ソフトウエアは、動画再生ソフトウエアのブレンダに対して、ビデオ、直前に再生されたフレームレートと異なることを示す識別情報であるグラフィックス（イメージファイル）、映像出力のフレームレートに関する情報を供給し、動画再生ソフトウエアの再生やグラフィックスのディスプレイへの表示を制御する。本開示は、例えば、画像や音声などのコンテンツを配信する配信システムに適用することができる。

Description

情報処理装置および方法
　本開示は、情報処理装置および方法に関し、特に、フレームレートの変更を伝えることができるようにした情報処理装置および方法に関する。
　従来、映像や音楽のデータを、インターネットを介したストリーミング配信するために、MPEG-DASH（Moving Picture Experts Group phase － Dynamic Adaptive Streaming over HTTP）が開発された（例えば、非特許文献１参照）。
　MPEG-DASHによる配信では、伝送帯域の変動に応じてクライアントがビットレートの異なるコンテンツが選択取得されて再生が継続される。
MPEG－DASH(Dynamic Adaptive Streaming over HTTP)（URL:http://mpeg.chiariglione.org/standards/mpeg－dash/media－presentation－description－and－segment－formats/text－isoiec－23009－12012－dam－1）
　映像コンテンツのフレームレートを意図的に変更した場合であっても、視聴者には、それが配信側の意図したものか否かが伝わらず、一般的には再生機器の不具合と認識されることが多かった。
　特に、ストリーミング再生中は、接続中のネットワーク帯域が動的に変動するため、エンドユーザやコンテンツプロバイダの意図とは無関係に動画像再生がスローダウンされることがあるが、このような状況との区別することが困難であった。
　本開示は、このような状況に鑑みてなされたものであり、フレームレートの変更を伝えることができるようにするものである。
　本技術の第１の側面の情報処理装置は、２つ以上の異なるフレームレートの動画像を再生する再生部と、前記再生部により直前に再生されたフレームレートと異なるフレームレートの動画像を受信した場合、前記直前に再生されたフレームレートと異なることを示す識別情報を表示させる表示制御部とを備える。
　前記表示制御部は、ビデオのフレームレートとは異なるフレームレートで前記識別情報を表示させることができる。
　前記識別情報は、前記直前に再生されたフレームレートよりフレームレートが下がったことを示すことができる。
　前記識別情報は、前記直前に再生されたフレームレートよりフレームレートが上がったことを示すことができる。
　前記識別情報は、最大フレームレートに対する割合を示すことができる。
　前記識別情報は、前記直前に再生されたフレームレートに対する割合を示すことができる。
　前記２つ以上の異なるフレームレートの動画像は、コンテンツ配信側より送信されてくる。
　前記識別情報は、コンテンツ配信側より送信されてくる。
　前記識別情報は、MPDのアダプテーションセット(AdaptationSet)またはリプレゼンテーション（Representation）に記述されて送信されてくる。
　本技術の第１の側面の情報処理方法は、情報処理装置が、２つ以上の異なるフレームレートの動画像を再生し、直前に再生されたフレームレートと異なるフレームレートの動画像を受信した場合、前記直前に再生されたフレームレートと異なることを示す識別情報を表示させる。
　本技術の第２の側面の情報処理装置は、２つ以上の異なるフレームレートの動画像を生成する動画像生成部と、再生側において直前に再生されるフレームレートと異なるフレームレートの動画像が受信された場合に表示させる前記直前に再生されたフレームレートと異なることを示す識別情報を生成する識別情報生成部と、前記動画像生成部により生成された動画像および前記識別情報生成部により生成された識別情報を送信する送信部とを備える。
　前記識別情報生成部により生成された識別情報を記述して、MPDを生成するMPD生成部をさらに備えることができる。
　前記MPD生成部は、前記識別情報生成部により生成された識別情報のフレームレートを記述して、前記MPDを生成することができる。
　前記MPD生成部は、前記識別情報生成部により生成された識別情報を前記MPDのアダプテーションセット(AdaptationSet)に記述することができる。
　前記MPD生成部は、前記識別情報生成部により生成された識別情報を前記MPDのリプレゼンテーション（Representation）に記述することができる。
　前記識別情報は、前記再生側において前記直前に再生されたフレームレートよりフレームレートが下がったことを示すことができる。
　前記識別情報は、前記再生側において前記直前に再生されたフレームレートよりフレームレートが上がったことを示すことができる。
　前記識別情報は、最大フレームレートに対する割合を示すことができる。
　前記識別情報は、前記再生側において前記直前に再生されたフレームレートに対する割合を示すことができる。
　本技術の第２の側面の情報処理方法は、情報処理装置が、２つ以上の異なるフレームレートの動画像を生成し、再生側において直前に再生されるフレームレートと異なるフレームレートの動画像が受信された場合に表示させる前記直前に再生されたフレームレートと異なることを示す識別情報を生成し、生成された動画像および生成された識別情報を送信する。
　本技術の第１の側面においては、２つ以上の異なるフレームレートの動画像が再生される。そして、直前に再生されたフレームレートと異なるフレームレートの動画像を受信した場合、前記直前に再生されたフレームレートと異なることを示す識別情報が表示される。
　本技術の第２の側面においては、２つ以上の異なるフレームレートの動画像が生成され、再生側において直前に再生されるフレームレートと異なるフレームレートの動画像が受信された場合に表示させる前記直前に再生されたフレームレートと異なることを示す識別情報が生成される。そして、生成された動画像および生成された識別情報が送信される。
　本開示によれば、情報を処理することができる。特に、フレームレートの変更を伝えることができる。
MPEG-DASHを用いたデータ伝送の様子の例を説明する図である。 MPDの構成例を示す図である。 コンテンツの時間的区切りを説明する図である。 MPDにおけるPeriod以下の階層構造の例を示す図である。 MPDファイルの構成例を時間軸上で説明する図である。 グラフィックスのフレームレートとビデオのフレームレートの関係について説明する図である。 グラフィックスのフレームレートとビデオのフレームレートの関係について説明する図である。 グラフィックスのフレームレートとビデオのフレームレートの関係について説明する図である。 グラフィックスのフレームレートとビデオのフレームレートの関係について説明する図である。 本技術を適用した配信システムの構成の一例を示すブロック図である。 ファイル生成装置の主な構成例を示すブロック図である。 ファイル生成装置の配信用データ生成処理を説明するフローチャートである。 再生端末の主な構成例を示すブロック図である。 再生端末の可変フレームレート告知処理を説明するフローチャートである。 一定期間「上がった」「下がった」を表示する場合のMPDのシンタックスの例を示す図である。 図１５のMPDをストリーミング再生する場合のMPEG-DASHストリーミング再生処理を説明するフローチャートである。 最大ビデオフレームレートと現在再生中のビデオフレームの比率を示す場合のMPDのシンタックスの例を示す図である。 図１７のMPDをストリーミング再生する場合のMPEG-DASHストリーミング再生処理を説明するフローチャートである。 直前に再生していたビデオフレームレートと現在再生中のビデオフレームの比率を示す場合のMPDのシンタックスの例を示す図である。 図１９のMPDをストリーミング再生する場合のMPEG-DASHストリーミング再生処理を説明するフローチャートである。 最高フレームレート決定処理を説明するフローチャートである。 映像出力フレームレート決定処理を説明するフローチャートである。 フレームレート値のアイコン表示例を示す図である。 フレームレート値のアイコン表示例を示す図である。 フレームレート値のアイコン表示例を示す図である。 フレームレート変更を告知するアニメーションアイコン表示例を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．ビットレートスイッチング
　２．第１の実施の形態（配信システム）
　３．第２の実施の形態（コンピュータ）
＜１．ビットレートスイッチング＞
　　＜映像や音声の配信＞
　近年、映像と音楽を消費者に届ける手段として、インターネットを介したストリーミング配信が期待されている。しかしながら、伝送手段としてのインターネットは、放送や光ディスクと比べて伝送が不安定である。まずユーザの環境によって伝送帯域の最高レートが大きく変わる。さらに同一ユーザであっても常に一定の伝送帯域が確保されていることはなく、時間の経過で変動する。また伝送帯域が変動するということは、クライアントからの要求に対する応答時間が一定ではないということでもある。
　このようなインターネットを介した伝送のための規格として、MPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）が開発されている。サーバ側にデータサイズが異なる複数のファイルを置いておき、クライアントがMPD（Media Presentation Description）を参照して最適なファイルを選択するというプル型のモデルである。特殊なプロトコルを使わずhttpを用いることで、一般的なHTTP（HyperText Transfer Protocol）サーバが利用できる。ファイル形式は、MPEG-TS（Moving Picture Experts Group - Transport Stream）だけでなく、ISOBMFF（International Organization for Standardization Base Media File Format）形式のファイルが使われている。
　　＜MPEG-DASH＞
　MPEG-DASHを用いたデータ伝送の様子の例を図１に示す。図１の情報処理システム１において、ファイル生成装置２は、動画コンテンツとして、ビデオデータやオーディオデータを生成し、符号化し、伝送用のファイルフォーマットでファイル化する。例えば、ファイル生成装置２は、これらのデータを１０秒程度の時間毎にファイル化する（セグメント化する）。ファイル生成装置２は、生成したセグメントファイルを、Webサーバ３にアップロードする。また、ファイル生成装置２は、動画コンテンツを管理するMPDファイル（管理ファイル）を生成し、それをWebサーバ３にアップロードする。
　DASHサーバとしてのWebサーバ３は、ファイル生成装置２により生成された動画コンテンツのファイルを、MPEG－DASHに準ずる方式で、インターネット４を介して再生端末５にライブ配信する。例えば、Webサーバ３は、ファイル生成装置２からアップロードされたセグメントファイルやMPDファイルを格納する。また、Webサーバ３は、再生端末５からの要求に応じて、格納しているセグメントファイルやMPDファイルを再生端末５に送信する。
　再生端末５（再生装置）は、ストリーミングデータの制御用ソフトウエア（以下、制御用ソフトウエアとも称する）６、動画再生ソフトウエア７、HTTPアクセス用のクライアント・ソフトウエア(以下、アクセス用ソフトウエアという)８等を実行する。
　制御用ソフトウエア６は、Webサーバ３からストリーミングするデータを制御するソフトウエアである。例えば、制御用ソフトウエア６は、Webサーバ３からMPDファイルを取得する。また、制御用ソフトウエア６は、例えば、そのMPDファイルや動画再生ソフトウエア７により指定される再生時刻等を表す再生時刻情報、およびインターネット４のネットワーク帯域に基づいて、再生対象のセグメントファイルの送信要求を、アクセス用ソフトウエア８に指令する。
　動画再生ソフトウエア７は、インターネット４を介してWebサーバ３から取得された符号化ストリームを再生するソフトウエアである。例えば、動画再生ソフトウエア７は、再生時刻情報を制御用ソフトウエア６に指定する。また、動画再生ソフトウエア７は、アクセス用ソフトウエア８から受信開始の通知を取得すると、アクセス用ソフトウエア８から供給される符号化ストリームを復号する。動画再生ソフトウエア７は、復号の結果得られるビデオデータやオーディオデータを出力する。
　アクセス用ソフトウエア８は、HTTPを用いたWebサーバ３との通信を制御するソフトウエアである。例えば、アクセス用ソフトウエア８は、受信開始の通知を動画再生ソフトウエア７に供給する。また、アクセス用ソフトウエア８は、制御用ソフトウエア６の指令に応じて、再生対象のセグメントファイルの符号化ストリームの送信要求をWebサーバ３に送信する。さらに、アクセス用ソフトウエア８は、その送信要求に応じてWebサーバ３から送信されてくる、通信環境等に応じたビットレートのセグメントファイルを受信する。そして、アクセス用ソフトウエア８は、その受信したファイルから符号化ストリームを抽出し、動画再生ソフトウエア７に供給する。
　　＜MPD＞
　次に、MPDについて説明する。MPDは、例えば図２に示されるような構成を有する。MPDの解析（パース）においては、クライアント（図１の例の場合、再生端末５）は、MPD（図２のMedia Presentation）のピリオド（Period）に含まれるリプレゼンテーション（Representation）の属性から最適なものを選択する。
　クライアントは、選択したリプレゼンテーション（Representation）の先頭のセグメント（Segment）を読んでイニシャライズセグメント（Initialization Segment）を取得し、処理する。続いて、クライアントは、後続のセグメント（Segment）を取得し、再生する。
　なお、MPDにおける、ピリオド（Period）、リプレゼンテーション（Representation）、およびセグメント（Segment）の関係は、図３のようになる。つまり、１つのメディアコンテンツは、時間方向のデータ単位であるピリオド（Period）毎に管理することができ、各ピリオド（Period）は、時間方向のデータ単位であるセグメント（Segment）毎に管理することができる。また、各ピリオド（Period）について、ビットレート等の属性の異なる複数のリプレゼンテーション（Representation）を構成することができる。
　したがって、このMPDのファイル（MPDファイルとも称する）は、ピリオド（Period）以下において、図４に示されるような階層構造を有する。また、このMPDの構造を時間軸上に並べると図５の例のようになる。図５の例から明らかなように、同一のセグメント（Segment）に対して複数のリプレゼンテーション（Representation）が存在している。クライアントは、これらのうちのいずれかを適応的に選択することにより、通信環境や自己のデコード能力などに応じて適切なストリームデータを取得し、再生することができる。
　　＜フレームレートの告知UI(User Interface)＞
　映像コンテンツのフレームレートについては、一般的には、以下のような方式でエンドユーザがフレームレートを認知している。
Blu-ray Disc(登録商標)再生機器などのビデオ再生機器などでは、映像のフレームレートを直接に数値で表示している。
映像は停止していても、音声が継続されたりすることで、間接的に、フレームレートの低い映像であることをエンドユーザが認知する。
再生位置（時間的な位置）のプログレス表示の進捗具合などで間接的に認知する。
　これらに対して、本技術においては、エンドユーザに動画像のフレームレートが意図的に変更されている旨を告知するUIの表示が制御される。なお、UIは、動画像のフレームレートが意図的に変更されている旨、すなわち、直前に再生されたフレームレートと異なるフレームレートであることを示す識別情報とも言え、以下、識別情報とも称する。
　なお、その場合、UIは、いわゆる再生機器におけるOSD(On Screen Display)でもよいが、MPEG-DASHにおいて、再生機器には具体的なフレームレート値の組み合わせが分明ではないため、グラフィックアセットに含まれるイメージファイルとして、動画像の製作者により提供されることが望ましい。
　一方で、UIは、コンテンツ全体に対して、低フレームレート部分、高フレームレート部分の有無や分布を分明にするという効果もある。
　MPEG-DASHストリーミング配信では、ビットレートアダプテーションの一つの実現方法として、フレームレート調整によるビットレート調整を実施される可能性がある。そのときは、コンテンツそのものは各フレームレートのビデオが全区間において準備されたものであり、全体における低フレームレート部分、高フレームレート部分の分布は、ストリーミング再生時に動的に決まるものである。すなわち、サーバからは、複数（２つ以上）の異なるフレームレートの動画像が配信されている。
　ストリーミング配信の場合には、上述したように、メニューグラフィックスの類は、再生機器が独自のUIを提供することが多い。また、メニューグラフィックス等が配信される場合でアニメーショングラフィックスを含むような場合であっても、通常は、ビデオのフレームレートに揃えられる。
　アニメーショングラフィックスがビデオのフレームレートで表示されてしまう場合には、デグレードする可能性があるが、図６に示されるように、ビデオの30fpsに合わせて映像出力が30fpsとなった場合にはアニメーションフレームレートが半減することになる。したがって、点滅するアニメーションの場合、図７に示されるように、表示し続けるか、図８に示されるように、表示されないか、となってしまう可能性がある。
　そこで、本技術においては、ビデオよりフレームレートの高いグラフィックスによるアニメーションアイコンでの告知が行われる。
　エンドユーザは、少なくとも、再生装置の不具合ではないことが容易に視認できる。例えば、ビデオフレームレートが低いときは、ビデオの２倍速、４倍速など高速で動くアニメーションアイコンを準備可能である。
　さらに、本技術においては、メタデータ（例えばMPD）にグラフィックスのフレームレートが定義される。
　MPDにグラフィックスのフレームレートを記述できる要素を足すことで、再生機器は、映像出力のフレームレート設定をグラフィックスのフレームレートに設定することができる。MPDには、グラフィックスアセットのURL，グラフィックスのフレームレートを記述可能なSupplementalProperty要素が追加される。
　再生機器の実装によっては、ビデオのフレームレートに合わせて映像出力のフレームレートを下げてしまうこともあり得る。本来は、合理的な実装ではあるが、ビデオに重畳されるグラフィックスのフレームレートも随伴して下がってしまう。セグメントのダウンロード時のネットワーク帯域の問題に対応して、ビデオのフレームレートを下げてビットレートレートを下げている。再生機器の映像出力フレームレートに問題があるわけではないので、再生機器がビデオのフレームレート低下に追随して映像出力フレームレートを下げる必要もない。本技術を適用したメタデータにより、そのことをシグナリングできる。
　さらに、本技術を適用したメタデータの導入により、意図しないグラフィックスの表示状態の誘発を回避できる。少なくとも、図９に示されるように、グラフィックスの更新レート（アニメーションレート等）がビデオのフレームレートを上回る場合は有効である。
　　＜リオーダリングによるデコーダ遅延への対応＞
　また、１フレーム／秒で構成されたビデオがあったとする。その１秒分をビデオセグメントとしてMPEG-DASHストリーミング配信、ストリーミング再生を行う場合には、例えば、１秒ごとに１枚のビデオフレームをデコード、レンダリングすればよい。
　しかしながら、ビデオデコーダには、 MPEGビデオ符号化のＢフレーム、Ｐフレームをリオーダリングすることにより発生するデコード遅延がある。デコード遅延は、MPEGビデオ符号化方式に由来するもので、理論上必ず発生するものである。フレームレートが低いビデオでは、ビデオのフレームレート数がこのデコード遅延量を下回ってしまう可能性がある。
　例えば、デコード遅延量が２ビデオフレームのビデオデコーダについては、先の１フレーム／秒のビデオを再生するときには、３つ目のビデオフレームをビデオデコーダに入力して初めて１つ目のビデオフレームを表示することができるようになる。エンドユーザからすると、再生開始が必ず２秒間滞るように見える。
　デコード遅延は、デコーダごとに異なるが、再生機器は具体的な遅延量を把握できている。そこで、本技術においては、MPDファイルのアダプテーションセット(AdaptationSet)、または、リプレゼンテーション（Representation）要素のフレームレート属性を参照して、その設定値によって、ビデオデコーダを制御することができる。多くのビデオデコーダには、デコーダ内に蓄えられているビデオフレームを強制的に排出する命令が定義されているが、その命令をビデオデコーダに発行することでビデオフレームを取得できる。
　例えば、３ビデオフレームのデコード遅延を持つデコーダであったとする。その場合に、１fps（frame/second）のフレームレートで、かつ、１秒で構成されるビデオセグメントを再生するにおいては、４番目のビデオセグメントをデコーダに入力した後でなければ最初のビデオフレームが出力されないことになる。
　具体的には、リプレゼンテーション（Representation）要素のフレームレート属性の値とビデオセグメントの時間長から再生対象のビデオセグメント内のビデオフレーム数が算出できる。算出されたビデオフレーム数がデコーダの遅延量と同じか、または、小さい場合には、ストリーミング再生開始時にビデオフレームが出力されない状況が発生し得る。
＜２．第１の実施の形態（配信システム）＞
　　＜配信システム＞
　次に、以上のような本技術を適用するシステムについて説明する。図１０は、本技術を適用した情報処理システムの一態様である配信システムの構成の一例を示すブロック図である。図１０に示される配信システム１００は、画像や音声などのデータ（コンテンツ）を配信するシステムである。配信システム１００において、ファイル生成装置１０１、配信サーバ１０２、および再生端末１０３は、ネットワーク１０４を介して互いに通信可能に接続されている。
　ファイル生成装置１０１は、本技術を適用した情報処理装置の一態様であり、画像データおよび音声データを格納するMP4ファイルやMPDのファイル（MPDファイルとも称する）の生成に関する処理を行う装置である。例えば、ファイル生成装置１０１は、画像データおよび音声データを生成し、生成した画像データおよび生成した音声データを格納するMP4ファイルやそのMP4ファイルを管理するMPDファイルを生成し、生成したそれらのファイルを配信サーバ１０２に供給する。
　配信サーバ１０２は、本技術を適用した情報処理装置の一態様であり、MPEG-DASHを用いたコンテンツデータの配信サービス（すなわち、MPDファイルを用いたMP4ファイルの配信サービス）に関する処理を行うサーバである。例えば、配信サーバ１０２は、ファイル生成装置１０１から供給されたMPDファイルやMP4ファイルを取得して管理し、MPEG-DASHを用いた配信サービスを提供する。例えば、配信サーバ１０２は、再生端末１０３からの要求に応じて、MPDファイルを再生端末１０３提供する。また、配信サーバ１０２は、そのMPDファイルに基づく再生端末１０３からの要求に応じて、要求されたMP4ファイルを再生端末１０３に供給する。
　再生端末１０３は、本技術を適用した情報処理装置の一態様であり、画像データおよび音声データの再生に関する処理を行う装置である。例えば、再生端末１０３は、MPEG-DASHに従って配信サーバ１０２に対してMP4ファイルの配信を要求し、その要求に応じて供給されたMP4ファイルを取得する。より具体的には、再生端末１０３は、配信サーバ１０２からMPDファイルを取得し、そのMPDファイルの情報に従って、所望のコンテンツデータを格納するMP4ファイルを配信サーバ１０２から取得する。再生端末１０３は、その取得したMP4ファイルをデコードし、画像データおよび音声データを再生する。
　ネットワーク１０４は、任意の通信網であり、有線通信の通信網であってもよいし、無線通信の通信網であってもよいし、それらの両方により構成されるようにしてもよい。また、ネットワーク１０４が、１の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク１０４に含まれるようにしてもよい。
　ファイル生成装置１０１、配信サーバ１０２、再生端末１０３は、それぞれ、ネットワーク１０４に通信可能に接続されており、このネットワーク１０４を介して互いに情報の授受を行うことができる。ファイル生成装置１０１、配信サーバ１０２、再生端末１０３は、ネットワーク１０４に対して、有線通信により接続されるようにしてもよいし、無線通信により接続されるようにしてもよいし、その両方により接続されるようにしてもよい。
　なお、図１０において、配信システム１００の構成として、ファイル生成装置１０１、配信サーバ１０２、および再生端末１０３は、１台ずつ示されているが、これらの数は、それぞれ任意であり、互いに同一でなくてもよい。例えば、配信システム１００において、ファイル生成装置１０１、配信サーバ１０２、再生端末１０３は、それぞれ、単数であってもよいし、複数であってもよい。
　　＜ファイル生成装置＞
　図１１は、ファイル生成装置１０１の主な構成例を示すブロック図である。図１１に示されるように、ファイル生成装置１０１は、ビデオストリーム生成部１１０、イメージファイル生成部１１１、コンテンツファイル生成部１１２、MPD生成部１１３、および通信部１１４を有する。なお、オーディオに関しての各部については、本技術に直接的に関係がないので省略される。
　ビデオストリーム生成部１１０とイメージファイル生成部１１１は、コンテンツデータのストリームの生成に関する処理を行う。例えば、ビデオストリーム生成部１１０は、入力されたビデオアナログ信号（画像信号とも称する）をA/D変換したり、フレームレート変換したり、符号化したりして、ビデオデジタルデータ（画像データとも称する）のストリームであるビデオストリームを生成し、それをコンテンツファイル生成部１１２に供給する。このとき、ビデオストリーム生成部１１０においては、２以上の異なるフレームレートのビデオストリームが生成される。また、例えば、イメージファイル生成部１１１は、コンテンツ製作者により作成された、本技術を適用するUIを符号化したりして、イメージファイル（UIデータとも称する）を生成し、それをコンテンツファイル生成部１１２に供給する。
　なお、このビデオストリーム生成部１１０によるビデオアナログ信号に対する信号処理の内容は任意である。このイメージファイル生成部１１１によるイメージファイルに対する信号処理の内容は任意である。例えば、フレームレート変換や符号化を採用する場合、その変換方式や符号化方式は任意である。例えば、ビデオストリーム生成部１１０は、ビデオアナログ信号から、MPEG2ストリーム、AVCストリーム、HEVCのストリーム等を生成することができる。
　コンテンツファイル生成部１１２は、ビデオストリーム生成部１１０およびイメージファイル生成部１１１から供給されるコンテンツデータを格納するファイル（コンテンツファイル）の生成に関する処理を行う。例えば、コンテンツファイル生成部１１２は、ビデオストリーム生成部１１０からコンテンツデータとして供給されるビデオストリームと、イメージファイル生成部１１１からコンテンツデータとして供給されるイメージファイルを格納するコンテンツファイルであるMP4ファイルを生成し、それをMPD生成部１１３や通信部１１４に供給する。
　なお、このコンテンツファイル生成部１１２が生成するコンテンツファイルの仕様は任意である。例えば、コンテンツファイル生成部１１２は、MPEG2ストリーム、AVCストリーム、HEVCのストリーム等や、DSDロスレスストリーム、AACストリーム、LPCMのストリーム等を格納するMP4ファイルを生成することができる。もちろん、コンテンツファイル生成部１１２がMP4ファイル以外のコンテンツファイルを生成するようにしてもよい。ここで、DSDはDirect Stream Digitalの略称で、高音質オーディオ符号化方法の１つである。
　MPD生成部１１３は、コンテンツファイル生成部１１２が生成したコンテンツファイルの管理情報の生成に関する処理を行う。例えば、MPD生成部１１３は、コンテンツファイル生成部１１２から供給されるMP4ファイルについてのMPDファイルを生成し、それを通信部１１４に供給する。MPD生成部１１３は、このMPDファイルの生成の際に、上述した本技術を適用し、グラフィックス（イメージファイル）のフレームレートをMPDに設定する。
　通信部１１４は、ネットワーク１０４を介した他の装置との通信に関する処理を行う。例えば、通信部１１４は、供給されたMPDファイルやMP4ファイルを配信サーバ１０２に供給する。
　　＜配信用データ生成処理の流れ＞
　次に、配信システム１００のファイル生成装置１０１において実行される配信用データ生成処理の流れの例を、図１２のフローチャートを参照して説明する。ファイル生成装置１０１は、コンテンツデータのMP4ファイルやMPDファイルを生成する際に、この配信用データ生成処理を行う。
　配信用データ生成処理が開始されると、ファイル生成装置１０１のビデオストリーム生成部１１０は、ステップＳ１０１において、ビデオアナログ信号からのビデオストリームを生成する。このとき、ビデオストリーム生成部１１０においては、例えば、２以上の異なるフレームレートのビデオストリームが生成される。
　イメージファイル生成部１１１は、ステップＳ１０２において、イメージファイルを生成する。
　ステップＳ１０３において、コンテンツファイル生成部１１２は、ステップＳ１０１において生成されたビデオストリームおよびステップＳ１０２において生成されたイメージファイルを格納するコンテンツファイル（例えばMP4ファイル）を生成する。
　ステップＳ１０４において、MPD生成部１１３は、図１５、図１７、または図１９を参照して後述するMPDファイルの生成処理を実行し、ステップＳ１０３において生成されたコンテンツファイル（MP4ファイル）を管理するMPDファイルを生成する。すなわち、MPDファイルには、イメージファイル（グラフィック）のURLやイメージファイルのフレームレートなどが記述される。
　ステップＳ１０５において、通信部１１４は、ステップＳ１０３において生成されたコンテンツファイルや、ステップＳ１０４において生成されたMPDファイルを配信サーバ１０２に供給（アップロード）する。
　ステップＳ１０５の処理が終了すると、配信用データ生成処理が終了する。
　　＜再生端末＞
　図１３は、再生端末１０３の主な構成例を示すブロック図である。図１３に示されるように、再生端末１０３は、アクセス用ソフトウエアであるダウンローダ１５１、MPDバッファ１５２、制御用ソフトウエア１５３、動画再生ソフトウエア１５４、およびディスプレイ１５５を有する。なお、ディスプレイ１５５は、外付けの場合もある。
　ダウンローダ１５１は、制御用ソフトウエア１５３によりMPDファイルやMP4ファイルのURLなどが入力され、配信サーバ１０２に対して、MPDファイルやMP4ファイルを要求する。ダウンローダ１５１は、その要求に応じて、配信サーバ１０２から送られてくる通信環境などに応じたビットレートのセグメントファイルを受信する。ダウンローダ１５１は、受信したファイルから符号化ストリームを抽出し、動画再生ソフトウエア１５４に供給する。
　MPDバッファ１５２は、動画再生ソフトウエア１５４を介して取得されるMPDファイルを一時的に記憶し、所定のタイミングで制御用ソフトウエア１５３に供給する。
　制御用ソフトウエア１５３は、配信サーバ１０２からMPDファイルを取得する。また、制御用ソフトウエア１５３は、例えば、そのMPDファイルや動画再生ソフトウエア１５４により指定される再生時刻等を表す再生時刻情報、およびネットワーク１０４のネットワーク帯域に基づいて、再生対象のセグメントファイルの送信要求を、ダウンローダ１５１に指令する。また、制御用ソフトウエア１５３は、動画再生ソフトウエア１５４のブレンダ１６８に対して、ビデオ、グラフィックス、映像出力のフレームレートに関する情報を供給し、動画再生ソフトウエア１５４の再生やグラフィックス（アイコン）の表示を制御する。さらに、制御用ソフトウエア１５３は、必要に応じて、MPDファイルのアダプテーションセット(AdaptationSet)、または、リプレゼンテーション（Representation）要素のフレームレート属性を参照して、その設定値によって、ビデオデコーダ１６３を制御する。
　動画再生ソフトウエア１５４は、配信サーバ１０２からの２つ以上の異なるフレームレートの動画像を再生する。すなわち、動画再生ソフトウエア１５４は、再生時刻情報を制御用ソフトウエア１５３に指定する。また、動画再生ソフトウエア１５４は、ダウンローダ１５１から受信開始の通知を取得すると、ダウンローダ１５１から供給される符号化ストリームを復号する。動画再生ソフトウエア１５４は、復号の結果得られるビデオデータやオーディオデータを出力する。なお、図１３の例においては、オーディオに関しての説明は本技術に直接的に関連がないので、省略される。
　動画再生ソフトウエア１５４は、デマルチプレクサ１６１、セグメントバッファ１６２、ビデオデコーダ１６３、ビデオフレームバッファ１６４、イメージファイルバッファ１６５、イメージデコーダ１６６、グラフィックスフレームバッファ１６７、ブレンダ１６８、およびビデオレンダラ１６９を含むように構成される。
　デマルチプレクサ１６１は、ダウンローダ１５１から供給される符号化ストリームを受けると、MPDファイル、ビデオセグメント、およびイメージファイルに分離する。デマルチプレクサ１６１は、MPDファイルを、MPDバッファ１５２に供給し、ビデオセグメントをセグメントバッファ１６２に供給し、イメージファイルをイメージファイルバッファ１６５に供給する。
　セグメントバッファ１６２は、デマルチプレクサ１６１からのビデオセグメントを一時的に記憶し、所定のタイミングでビデオデコーダ１６３に供給する。ビデオデコーダ１６３は、ビデオセグメントに対して、セグメント単位で、符号化時の符号化方式でデコードを行う。ビデオデコーダ１６３は、デコードした結果のビデオフレームを、ビデオフレームバッファ１６４に一時的に記憶し、所定のタイミングでブレンダ１６８に供給する。
　イメージファイルバッファ１６５は、デマルチプレクサ１６１からのイメージファイルを一時的に記憶し、所定のタイミングでイメージデコーダ１６６に供給する。イメージデコーダ１６６は、イメージファイルに対して、セグメント単位で、符号化時の符号化方式でデコードを行う。イメージデコーダ１６６は、デコードした結果のイメージフレームを、グラフィックスフレームバッファ１６７に一時的に記憶し、所定のタイミングでブレンダ１６８に供給する。
　ブレンダ１６８は、制御用ソフトウエア１５３からのビデオ、グラフィックス、映像出力のフレームレートに関する情報に基づいて、ビデオとイメージを重畳する。その際、解像度変換なども行われる。ブレンダ１６８は、ビデオとイメージを重畳した結果のフレームを、ビデオレンダラ１６９に出力する。ビデオレンダラ１６９は、重畳後のフレームを外部出力へ送る。例えば、ビデオレンダラ１６９は、重畳後のフレームをディスプレイ１５５に出力し、表示させる。
　　＜可変フレームレート告知処理の例＞
　MPEG-DASHストリーミング再生開始後は、セグメントが切り替わるタイミングでビデオのフレームレートが変更になる場合もある。ストリーミング再生開始前に、MPDファイルをパースすることで、そのMPDを再生中にビデオのフレームレートが変更になる可能性を認知できる。そこで、図１４のフローチャートを参照して、MPDファイルのパース後に行われる可変フレームレート告知処理について説明する。
　制御用ソフトウエア１５３は、ステップＳ１５１において、Vfrを0に設定する。制御用ソフトウエア１５３は、ステップＳ１５２において、制御用ソフトウエア１５３は、ビデオリプレゼンテーション（Representation）を１つ選ぶ。ステップＳ１５３において、制御用ソフトウエア１５３は、ステップＳ１５２により選ばれたビデオリプレゼンテーション（Representation）が、フレームレート違いのリプレゼンテーション（Representation）を含むか否かを判定する。ステップＳ１５２において、リプレゼンテーション（Representation）を含むと判定された場合、処理は、ステップＳ１５４に進む。ステップＳ１５４において、制御用ソフトウエア１５３は、Vfrを1に設定する。
　ステップＳ１５３において、リプレゼンテーション（Representation）を含まないと判定された場合、ステップＳ１５４はスキップされ、処理は、ステップＳ１５５に進む。ステップＳ１５５において、制御用ソフトウエア１５３は、MPD内すべてのビデオリプレゼンテーション（Representation）を確認したか否かを判定する。ステップＳ１５５において、MPD内すべてのビデオリプレゼンテーション（Representation）をまだ確認していないと判定された場合、処理は、ステップＳ１５２に戻り、それ以降の処理が繰り返される。
　ステップＳ１５５において、MPD内すべてのビデオリプレゼンテーション（Representation）を確認したと判定された場合、処理は、ステップＳ１５６に進む。ステップＳ１５６において、制御用ソフトウエア１５３は、Vfrの値が１であるか否かを判定する。ステップＳ１５６において、Vfrの値が１であると判定された場合、処理は、ステップＳ１５７に進む。ステップＳ１５７において、制御用ソフトウエア１５３は、ブレンダ１６８に対して、ビデオ、グラフィックス、映像出力のフレームレートに関する情報を供給して、フレームレート可変再生であることを、ディスプレイ１５５に告知させる。
　ステップＳ１５６において、Vfrの値が0であると判定された場合、図１４の可変フレーレート告知処理は終了される。
　以上のようにすることで、実際に、動画像再生が開始されるよりも前にエンドユーザにフレームレート変更の可能性を告知できる。
　以降、実際にMPDの再生中にビデオのフレームレートが変更になったときの動作について説明する。
　図１５は、一定期間「上がった」「下がった」を表示する場合のMPDのシンタックスの例を示す図である。なお、左側の数字は、上から何行目かを示すものであり、説明の便宜上付加されている。
　図１５のMPDをストリーミング再生するときには、グラフィックスのフレームレートが60fps(fame per second)に設定される。グラフィックスのフレームレートは、6行目に示されるように、schmeIdUri属性がurn:mpeg:dash:icon_frame_rate:2016で定義されたSupplementalProperty要素のvalue属性に記述されている。
　映像出力としては、MPD再生開始時に全リプレゼンテーション（Representation）の最大フレームレートを確認し、その値に映像出力を固定する。
　ここでは、リプレゼンテーション（Representation）が３つ定義されており、それぞれのフレームレートが異なっている。15行目のRepresentation_id = “V1_3”以外の２つは、グラフィックスのフレームレートと異なるフレームレート値を有するが、いずれも同一のビデオフレームを複数回繰り返し表示することで、グラフィックスのフレームレートと同じレート出力が可能となる設定になっている。
　9行目のRepresentation_id = “V1_1”のリプレゼンテーション（Representation）が選択されたとき、ビデオが24fpsであるため、グラフィックスは60fpsでレンダリングされ、最終映像出力も60fpsに設定される。再生機器の実装依存ではあるが、例えば、ビデオの連続する２フレームから連続する５フレームを生成（２：３の割合で連続させる）してブレンダ１６８に送られる。
　12行目のRepresentation_id = “V1_2”のリプレゼンテーション（Representation）が選択されたとき、ビデオが30fpsであるため、グラフィックスは60fpsでレンダリングされ、最終映像出力も60fpsに設定される。再生機器の実装依存ではあるが、例えば、ビデオフレームがフレームダブリングしてブレンダ１６８に送られる。
　13行目のRepresentation_id = “V1_3”のリプレゼンテーション（Representation）が選択されたとき、ビデオが60fpsであるため、グラフィックスは60fpsでレンダリングされ、最終映像出力も60fpsに設定される。
　図１５の構成では、リプレゼンテーション（Representation）の遷移が発生したときには、必ずフレームレート変更が発生するため、それぞれ所定のアイコンを表示することで、エンドユーザに意図したフレームレートで動作している旨を告知することができる。
　7行目のschmeIdUri属性がurn:mpeg:dash:icon_frame_rate_up_file:2016で定義されたSupplementalProperty要素のvalue属性には、フレームレートが上がったときに表示するアイコンが格納されているイメージファイルのURLが記述されている。
　8行目のschmeIdUri属性がurn:mpeg:dash:icon_frame_rate_down_file:2016で定義されたSupplementalProperty要素のvalue属性には、フレームレートが下がったときに表示するアイコンが格納されているイメージファイルのURLが記述されている。
　すなわち、図１５の例においては、フレームレートが上がったときには、up.pngを、下がったときには、down.pngを表示するように記述されている。
　アイコン表示は、一定期間だけ表示されるようにしてもよいし、次にフレームレート変更が発生するまで継続していてもよい。
　以上のように記述された図１５のMPDをストリーミング再生する場合のMPEG-DASHストリーミング再生について、図１６のフローチャートを参照して説明する。
　ステップＳ１７１において、制御用ソフトウエア１５３は、MPDバッファ１５２に蓄積されているMPDパースを行う。ステップＳ１７２において、制御用ソフトウエア１５３は、可変フレームレート告知処理を行う。この可変フレームレート告知処理は、図１４を参照して上述した処理と同様の処理を行うので、その詳細な説明は省略される。
　ステップＳ１７３において、動画再生ソフトウエア１５４は、ビデオセグメント再生を開始する。すなわち、ビデオデコーダ１６３は、セグメントバッファ１６２に蓄積されたビデオセグメントをデコードし、デコード結果のイメージフレームを、グラフィックスフレームバッファ１６７に一時的に記憶し、所定のタイミングでブレンダ１６８に供給する。ブレンダ１６８は、制御用ソフトウエア１５３からのビデオ、グラフィックス、映像出力のフレームレートに関する情報に基づいて、ビデオとイメージを重畳する。その際、解像度変換なども行われる。ブレンダ１６８は、ビデオとイメージを重畳した結果のフレームを、ビデオレンダラ１６９に出力する。ビデオレンダラ１６９は、重畳後のフレームを外部出力へ送る。例えば、ビデオレンダラ１６９は、重畳後のフレームをディスプレイ１５５に出力し、表示させる。
　ステップＳ１７４において、制御用ソフトウエア１５３は、ビデオセグメントのフレームレート変更があるか否かを判定する。すなわち、ステップＳ１７４においては、リプレゼンテーション（Representation）の遷移が発生した場合、ビデオセグメントのフレームレート変更があると判定され、それが、低レートへ変更のとき、処理は、ステップＳ１７５に進む。ステップＳ１７５において、制御用ソフトウエア１５３は、ブレンダ１６８を制御し、フレーム低下を示すアイコン（例えば、図１５の8行目のdown.png）表示を行わせる。その後、処理は、ステップＳ１７７に進む。
　また、ステップＳ１７４において、リプレゼンテーション（Representation）の遷移が発生した場合、ビデオセグメントのフレームレート変更があると判定され、それが、高レートへ変更のとき、処理は、ステップＳ１７６に進む。ステップＳ１７６において、制御用ソフトウエア１５３は、ブレンダ１６８を制御し、フレーム上昇を示すアイコン（例えば、図１５の7行目のup.png）表示を行わせる。その後、処理は、ステップＳ１７７に進む。
　一方、ステップＳ１７４において、リプレゼンテーション（Representation）の遷移が発生しない場合、ビデオセグメントのフレームレート変更がないと判定され、処理は、ステップＳ１７７に進む。
　ステップＳ１７７において、制御用ソフトウエア１５３は、全ビデオセグメント再生が終ったか否かを判定する。ステップＳ１７７において、まだ再生が終っていないと判定された場合、処理は、ステップＳ１７３に戻り、それ以降の処理が繰り返される。一方、ステップＳ１７７において、全ビデオセグメント再生が終ったと判定された場合、MPEG-DASHストリーミング再生処理は終了される。
　次に、図１７は、最大ビデオフレームレートと現在再生中のビデオフレームの比率を示す場合のMPDのシンタックスの例を示す図である。なお、左側の数字は、上から何行目かを示すものであり、説明の便宜上付加されている。
　図１７のMPDをストリーミング再生するときには、グラフィックスのフレームレートが60fps(fame per second)に設定される。グラフィックスのフレームレートは、6行目に示されるように、schmeIdUri属性がurn:mpeg:dash:icon_frame_rate:2016で定義されたSupplementalProperty要素のvalue属性に記述されている。
　映像出力としては、MPD再生開始時に全リプレゼンテーション（Representation）の最大フレームレートを確認し、その値に映像出力を固定する。
　図１７の例では、図１５の場合と同様に、リプレゼンテーション（Representation）が３つ定義されており、それぞれのフレームレートが異なっている。15行目のRepresentation_id = “V1_3”以外の２つは、グラフィックスのフレームレートと異なるフレームレート値を有するが、いずれも同一のビデオフレームを複数回繰り返し表示することで、グラフィックスのフレームレートと同じレート出力が可能となる設定になっている。
　9行目のRepresentation_id = “V1_1”のリプレゼンテーション（Representation）が選択されたとき、ビデオが24fpsであるため、グラフィックスは60fpsでレンダリングされ、最終映像出力も60fpsに設定される。再生機器の実装依存ではあるが、例えば、ビデオの連続する２フレームから連続する５フレームを生成（２：３の割合で連続させる）してブレンダ１６８に送られる。
　12行目のRepresentation_id = “V1_2”のリプレゼンテーション（Representation）が選択されたとき、ビデオが30fpsであるため、グラフィックスは60fpsでレンダリングされ、最終映像出力も60fpsに設定される。再生機器の実装依存ではあるが、例えば、ビデオフレームがフレームダブリングされてブレンダ１６８に送られる。
　13行目のRepresentation_id = “V1_3”のリプレゼンテーション（Representation）が選択されたとき、ビデオが60fpsであるため、グラフィックスは60fpsでレンダリングされ、最終映像出力も60fpsに設定される。
　図１７のMPDにおいても、リプレゼンテーション（Representation）の遷移が発生したときには、必ずフレームレート変更が発生するため、それぞれ所定のアイコンを表示することで、エンドユーザに意図したフレームレートで動作している旨を告知することができる。
　アイコンが格納されているイメージファイルのURLは、schmeIdUri属性がurn:mpeg:dash:icon_frame_rate_file:2016で定義されたSupplementalProperty要素のvalue属性に記述されている。
　ここでは、３つ定義されているリプレゼンテーション（Representation）それぞれのフレームレートに対応したアイコン用のイメージファイルが定義されている。
　8行目の1.pngは、最大フレームレート60fpsに対応して5分の2の24fpsであることを示すアイコンである。12行目の2.pngは、最大フレームレート60fpsに対応して半分の30fpsであることを示すアイコンである。16行目の3.pngは、最大フレームレート60fpsであることを示すアイコンである。
　例えば、最大フレームレートとビデオフレームレートの比率を示すアイコンとしては、フレームレート値の数値を直接表示してもよい。「30/60」のように分数表示してもよい。アナログメータのように表示してもよい。デジタルメータのように表示してもよい。色の濃淡で表示してもよい。地図の等高線のように線の密集度で表示してもよい。物体が回転する様のアイコンであって、回転速度の差でフレームレートの違いを示してもよい。物体が移動する様のアイコンであって、速度差でフレームレートの違いを表示してもよい。
　以上のように記述された図１７のMPDをストリーミング再生する場合のMPEG-DASHストリーミング再生について、図１８のフローチャートを参照して説明する。
　ステップＳ１９１において、制御用ソフトウエア１５３は、MPDバッファ１５２に蓄積されているMPDパースを行う。ステップＳ１９２において、制御用ソフトウエア１５３は、可変フレームレート告知処理を行う。この可変フレームレート告知処理は、図１４を参照して上述した処理と同様の処理を行うので、その詳細な説明は省略される。
　ステップＳ１９３において、動画再生ソフトウエア１５４は、ビデオセグメント再生を開始する。すなわち、ビデオデコーダ１６３は、セグメントバッファ１６２に蓄積されたビデオセグメントをデコードし、デコード結果のイメージフレームを、グラフィックスフレームバッファ１６７に一時的に記憶し、所定のタイミングでブレンダ１６８に供給する。ブレンダ１６８は、制御用ソフトウエア１５３からのビデオ、グラフィックス、映像出力のフレームレートに関する情報に基づいて、ビデオとイメージを重畳する。その際、解像度変換なども行われる。ブレンダ１６８は、ビデオとイメージを重畳した結果のフレームを、ビデオレンダラ１６９に出力する。ビデオレンダラ１６９は、重畳後のフレームを外部出力へ送る。例えば、ビデオレンダラ１６９は、重畳後のフレームをディスプレイ１５５に出力し、表示させる。
　ステップＳ１９４において、制御用ソフトウエア１５３は、ビデオセグメントのフレームレート変更があるか否かを判定する。すなわち、ステップＳ１９４においては、リプレゼンテーション（Representation）の遷移が発生した場合、ビデオセグメントのフレームレート変更があると判定され、処理は、ステップＳ１９５に進む。ステップＳ１９５において、制御用ソフトウエア１５３は、ブレンダ１６８を制御し、最大ビデオフレームレートとビデオフレームレートの比率を示すアイコン（例えば、図１７の8行目の1.png、12行目の2.png、16行目の3.png）表示を行わせる。その後、処理は、ステップＳ１９６に進む。
　一方、ステップＳ１９４において、リプレゼンテーション（Representation）の遷移が発生しない場合、ビデオセグメントのフレームレート変更がないと判定され、処理は、ステップＳ１９６に進む。
　ステップＳ１９６において、制御用ソフトウエア１５３は、全ビデオセグメント再生が終ったか否かを判定する。ステップＳ１９６において、まだ再生が終っていないと判定された場合、処理は、ステップＳ１９３に戻り、それ以降の処理が繰り返される。一方、ステップＳ１９６において、全ビデオセグメント再生が終ったと判定された場合、MPEG-DASHストリーミング再生処理は終了される。
　次に、図１９は、直前に再生していたビデオフレームレートと現在再生中のビデオフレームの比率を示す場合のMPDのシンタックスの例を示す図である。なお、左側の数字は、上から何行目かを示すものであり、説明の便宜上付加されている。
　図１９のMPDをストリーミング再生するときには、グラフィックスのフレームレートが60fps(fame per second)に設定される。グラフィックスのフレームレートは、6行目に示されるように、schmeIdUri属性がurn:mpeg:dash:icon_frame_rate:2016で定義されたSupplementalProperty要素のvalue属性に記述されている。
　映像出力としては、MPD再生開始時に全リプレゼンテーション（Representation）の最大フレームレートを確認し、その値に映像出力を固定する。
　図１９の例では、リプレゼンテーション（Representation）が２つ定義されており、それぞれのフレームレートが異なっている。7行目のRepresentation_id = “V1_2”は、グラフィックスのフレームレートと異なるフレームレート値を有するが、いずれも同一のビデオフレームを複数回繰り返し表示することで、グラフィックスのフレームレートと同じレート出力が可能となる設定になっている。
　7行目のRepresentation_id = “V1_2”のリプレゼンテーション（Representation）が選択されたとき、ビデオが30fpsであるため、グラフィックスは60fpsでレンダリングされ、最終映像出力も60fpsに設定される。再生機器の実装依存ではあるが、例えば、ビデオフレームがフレームダブリングされてブレンダ１６８に送られる。
　12行目のRepresentation_id = “V1_3”のリプレゼンテーション（Representation）が選択されたとき、ビデオが60fpsであるため、グラフィックスは60fpsでレンダリングされ、最終映像出力も60fpsに設定される。
　図１９のMPDにおいても、リプレゼンテーション（Representation）の遷移が発生したときには、必ずフレームレート変更が発生するため、それぞれ所定のアイコンを表示することで、エンドユーザに意図したフレームレートで動作している旨を告知することができる。
　アイコンが格納されているイメージファイルのURLは、schmeIdUri属性がurn:mpeg:dash:icon_frame_rate_file:2016で定義されたSupplementalProperty要素のvalue属性に記述されている。
　ここでは、２つ定義されているリプレゼンテーション（Representation）に対して、遷移元リプレゼンテーション（Representation）と遷移先リプレゼンテーション（Representation）の組み合わせに対応したアイコン用のイメージファイルが定義されている。
　9行目のV1_3toV1_2.pngは、Representation_id = “V1_3”のセグメントからRepresentation_id = “V1_2”のセグメントへ遷移が発生したときに表示するアイコンのファイルである。14行目のV1_2toV1_3.pngは、Representation_id = “V1_2”のセグメントからRepresentation_id = “V1_3”のセグメントへ遷移が発生したときに表示するアイコンのファイルである。
　例えば、直前のビデオセグメントのフレームレートとビデオフレームレートの比率を示すアイコンとしては、フレームレート値の数値を直接表示してもよい。「30/60」のように分数表示してもよい。アナログメータのように表示してもよい。デジタルメータのように表示してもよい。色の濃淡で表示してもよい。地図の等高線のように線の密集度で表示してもよい。物体が回転する様のアイコンであって、回転速度の差でフレームレートの違いを示してもよい。物体が移動する様のアイコンであって、速度差でフレームレートの違いを表示してもよい。
　以上のように記述された図１９のMPDをストリーミング再生する場合のMPEG-DASHストリーミング再生について、図２０のフローチャートを参照して説明する。
　ステップＳ２０１において、制御用ソフトウエア１５３は、MPDバッファ１５２に蓄積されているMPDパースを行う。ステップＳ２０２において、制御用ソフトウエア１５３は、可変フレームレート告知処理を行う。この可変フレームレート告知処理は、図１４を参照して上述した処理と同様の処理を行うので、その詳細な説明は省略される。
　ステップＳ２０３において、動画再生ソフトウエア１５４は、ビデオセグメント再生を開始する。すなわち、ビデオデコーダ１６３は、セグメントバッファ１６２に蓄積されたビデオセグメントをデコードし、デコード結果のイメージフレームを、グラフィックスフレームバッファ１６７に一時的に記憶し、所定のタイミングでブレンダ１６８に供給する。ブレンダ１６８は、制御用ソフトウエア１５３からのビデオ、グラフィックス、映像出力のフレームレートに関する情報に基づいて、ビデオとイメージを重畳する。その際、解像度変換なども行われる。ブレンダ１６８は、ビデオとイメージを重畳した結果のフレームを、ビデオレンダラ１６９に出力する。ビデオレンダラ１６９は、重畳後のフレームを外部出力へ送る。例えば、ビデオレンダラ１６９は、重畳後のフレームをディスプレイ１５５に出力し、表示させる。
　ステップＳ２０４において、制御用ソフトウエア１５３は、ビデオセグメントのフレームレート変更があるか否かを判定する。すなわち、ステップＳ２０４においては、リプレゼンテーション（Representation）の遷移が発生した場合、ビデオセグメントのフレームレート変更があると判定され、処理は、ステップＳ２０５に進む。ステップＳ２０５において、制御用ソフトウエア１５３は、ブレンダ１６８を制御し、直前のビデオセグメントのビデオフレームレートとビデオフレームレートの比率を示すアイコン（例えば、図１９の9行目のV1_3toV1_2.png、14行目のV1_2toV1_3.png）表示を行わせる。その後、処理は、ステップＳ２０６に進む。
　一方、ステップＳ２０４において、リプレゼンテーション（Representation）の遷移が発生しない場合、ビデオセグメントのフレームレート変更がないと判定され、処理は、ステップＳ２０６に進む。
　ステップＳ２０６において、制御用ソフトウエア１５３は、全ビデオセグメント再生が終ったか否かを判定する。ステップＳ２０６において、まだ再生が終っていないと判定された場合、処理は、ステップＳ２０３に戻り、それ以降の処理が繰り返される。一方、ステップＳ２０６において、全ビデオセグメント再生が終ったと判定された場合、MPEG-DASHストリーミング再生処理は終了される。
　最後に、図２１のフローチャートを参照して、ビデオとグラフィックスのフレームレート値をもとに、再生端末１０３の映像出力のフレームレートを決定する処理について説明する。
　ステップＳ２２１において、制御用ソフトウエア１５３は、fr_max=０とする。制御用ソフトウエア１５３は、ステップＳ２２２において、制御用ソフトウエア１５３は、ビデオリプレゼンテーション（Representation）を１つ選ぶ。ステップＳ２２３において、制御用ソフトウエア１５３は、ステップＳ２２２により選ばれたビデオリプレゼンテーション（Representation）のフレームレート(framerate)属性値(fr)を読み出す。
　ステップＳ２２４において、制御用ソフトウエア１５３は、fr_maxがfrより小さいか否かを判定する。ステップＳ２２４において、fr_maxがfrより小さいと判定された場合、処理は、ステップＳ２２５に進む。ステップＳ２２５において、制御用ソフトウエア１５３は、fr_max＝frとし、処理は、ステップＳ２２６に進む。
　ステップＳ２２４において、fr_maxがfr以上であると判定された場合、処理は、ステップＳ２２６に進む。
　ステップＳ２２６において、制御用ソフトウエア１５３は、MPD内すべてのビデオプレゼンテーション（Representation）を確認したか否かを判定する。ステップＳ２２６において、MPD内すべてのビデオプレゼンテーション（Representation）を確認したと判定された場合、図２１の最高フレームレート決定処理は終了される。
　一方、ステップＳ２２６において、MPD内すべてのビデオプレゼンテーション（Representation）をまだ確認していないと判定された場合、処理は、ステップＳ２２２に戻り、それ以降の処理が繰り返される。
　次に、図２２のフローチャートを参照して、映像出力フレームレート決定処理の例について説明する。
　ステップＳ２４１において、制御用ソフトウエア１５３は、最高フレームレート(fr_max)決定処理を行う。この最高フレームレート(fr_max)決定処理については、図２１を参照して上述した決定処理と基本的に同様であるので、その説明は省略される。
　ステップＳ２４２において、制御用ソフトウエア１５３は、アダプテーションセット(AdaptationSet)にicon_frame_rateの定義があるか否かを判定する。ステップＳ２４２において、アダプテーションセット(AdaptationSet)にicon_frame_rateの定義があると判定された場合、処理は、ステップＳ２４３に進む。ステップＳ２４３において、制御用ソフトウエア１５３は、fr_maxは、icon_frame_rateより小さいか否かを判定する。
　ステップＳ２４３において、fr_maxは、icon_frame_rateより小さいと判定された場合、処理は、ステップＳ２４４に進む。ステップＳ２４４において、制御用ソフトウエア１５３は、映像出力のフレームレートをicon_frame_rateとし、映像出力フレームレート決定処理を終了する。
　一方、ステップＳ２４２において、アダプテーションセット(AdaptationSet)にicon_frame_rateの定義がないと判定された場合、または、ステップＳ２４３において、fr_maxは、icon_frame_rate以上であると判定された場合、処理は、ステップＳ２４５に進む。
　ステップＳ２４５において、映像出力のフレームレートをfr_maxとし、映像出力フレームレート決定処理を終了する。
　以上のように、MPDにおいて、グラフィックスのフレームレートが設定されている場合には、再生端末１０３からはビデオのフレームレートとグラフィックス（アニメーションアイコン）のフレームレートの大きい方で映像出力されていなければならない。再生端末１０３に対しては、映像出力まで低フレームレートに設定しないよう抑止する効果もある。
　MPDでグラフィックスのフレームレートが設定されてない場合には、映像出力のフレームレートはビデオのフレームレートと同じレートで行うか、または、エンドユーザが設定できるようになっていてもよい。
　エンドユーザが選択可能な場合には、「60p固定出力」などテレビ受信機やパーソナルコンピュータ用モニタなどで受信可能な最高フレームレートに固定することが一般的である。
　例えば、ストリーミング開始時には、Representation_id＝“V1_3"が選択されたとする。その後、ストリーミング再生中のある時点において、ネットワーク帯域変動に追従してRepresentation_id＝“V1_2"が選択されたとする。再生開始時にはグラフィックスも60fpsでレンダリングし、最終出力も60fpsで出力される。
　しかしながら、Representation_id＝“V1_2"の選択後には、ビデオフレームレートは60fpsから30fpsへ変更される。グラフィックスも同様に30fpsでレンダリングし最終出力も30fpsに変更されるかもしれない。また、グラフィックスは60fpsでレンダリングし続け、最終出力は30fpsに変更されるかもしれない。また、グラフィックスも60fpsでレンダリングし続け、最終出力も60fpsを維持するかもしれない。
　なお、図１５乃至図２２の例においては、フレームレート属性をリプレゼンテーション（Representation）に記述し、そこを参照する例が示されているが、上述したように、アダプテーションセット(AdaptationSet)に記述され、そこを参照するようにしてもよい。
　図２３は、フレームレート値のアイコン表示例を示す図である。30fpsから15fpsへフレームレート低下したとき、図２３のＡに示されるように、低下を示すアイコンとともに、比率を表記してもよい。また、図２３のＢに示されるように、低下を示すアイコンとともに、分数を表記してもよい。また、図２３のＣに示されるように、低下を示すアイコンとともに、分数を表記してもよい。
　図２４は、フレームレート値の他のアイコン表示例を示す図である。30fpsが最大フレームレートのMPDで24から15fpsへフレームレート低下したときには、図２４に示されるようなデジタルメータによる表記を行ってもよい。図２４のＡが24fpsを表すデジタルメータを示し、図２４のＢが15fpsを表すデジタルメータが示している。
　図２５は、フレームレート値のさらに他のアイコン表示例を示す図である。図２５の例に示されるように、アナログメータのように表記を行ってもよい。
　図２６は、フレームレート変更を告知するアニメーションアイコンの例を示す図である。図２６のＡは、30fpsのとき再帰的に連続表示（1,2,…,6,1,2,…,6,…）される場合のアイコンシーケンスの例を示している。図２６のＢは、15fpsのとき再帰的に連続表示（1,2,3,1,2,3,…）される場合のアイコンシーケンスの例を示している。
　図２６のＡのアイコンシーケンスから図２６のＢのアイコンシーケンスに切り替えることで「ビデオフレームレートの低下」を告知することができる。
　以上のように、本技術においては、直前に再生したフレームレートと異なるフレームレートの動画像を受信した場合に、直前に再生したフレームレートとは異なることを示すアイコン（識別情報）が表示される。なお、表示される識別情報としては、必ずしもMPDに記述されているものを使用しなくてもよく、再生機器において用意したものを使用してもよい。
　したがって、本技術によれば、再生機器側の事情ではなく、例えば、ビットレート削減のためにフレームレートを削減したリプレゼンテーション（Representation）を選択した場合などには、意図的なコマ落ちであることを通知することができる。
　また、MPDに、グラフィックスフレームレートを示すメタデータを挿入することにより、再生機器に対しては、映像出力そのものまで低フレームレートに設定しないように抑制する効果もある。
　コンテンツにおいては、ビデオとグラフィックスの同期が重要なケースがある。ビデオのフレームレートを変更することで、アニメーショングラフィックスのデグレードが発生し得るが、グラフィックスのフレームレートを指定することで回避可能である。
＜３．第２の実施の形態（コンピュータ）＞
　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図２７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図２７に示されるコンピュータ１０００において、CPU（Central Processing Unit）１００１、ROM（Read Only Memory）１００２、RAM（Random Access Memory）１００３は、バス１００４を介して相互に接続されている。
　バス１００４にはまた、入出力インタフェース１０１０も接続されている。入出力インタフェース１０１０には、入力部１０１１、出力部１０１２、記憶部１０１３、通信部１０１４、およびドライブ１０１５が接続されている。
　入力部１０１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部１０１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部１０１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部１０１４は、例えば、ネットワークインタフェースよりなる。ドライブ１０１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア１０２１を駆動する。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１０１３に記憶されているプログラムを、入出力インタフェース１０１０およびバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア１０２１をドライブ１０１５に装着することにより、入出力インタフェース１０１０を介して、記憶部１０１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部１０１４で受信し、記憶部１０１３にインストールすることができる。
　その他、このプログラムは、ROM１００２や記憶部１０１３に、あらかじめインストールしておくこともできる。
　　＜その他＞
　なお、符号化データ（ビットストリーム）に関する各種情報は、符号化データに多重化されて伝送され又は記録されるようにしてもよいし、符号化データに多重化されることなく、符号化データと関連付けられた別個のデータとして伝送され又は記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
　また、上述したように、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術を、他の実施の形態において説明した本技術と組み合わせて実施することもできる。また、上述した任意の本技術を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　２つ以上の異なるフレームレートの動画像を再生する再生部と、
　前記再生部により直前に再生されたフレームレートと異なるフレームレートの動画像を受信した場合、前記直前に再生されたフレームレートと異なることを示す識別情報を表示させる表示制御部と
　を備える情報処理装置。
　（２）　前記表示制御部は、ビデオのフレームレートとは異なるフレームレートで前記識別情報を表示させる
　前記（１）に記載の情報処理装置。
　（３）　前記識別情報は、前記直前に再生されたフレームレートよりフレームレートが下がったことを示す
　前記（１）または（２）に記載の情報処理装置。
　（４）　前記識別情報は、前記直前に再生されたフレームレートよりフレームレートが上がったことを示す
　前記（１）または（２）に記載の情報処理装置。
　（５）　前記識別情報は、最大フレームレートに対する割合を示す
　前記（１）または（２）に記載の情報処理装置。
　（６）　前記識別情報は、前記直前に再生されたフレームレートに対する割合を示す
　前記（１）または（２）に記載の情報処理装置。
　（７）　前記２つ以上の異なるフレームレートの動画像は、コンテンツ配信側より送信されてくる
　前記（１）乃至（６）のいずれかに記載の情報処理装置。
　（８）　前記識別情報は、コンテンツ配信側より送信されてくる
　前記（１）乃至（６）のいずれかに記載の情報処理装置。
　（９）　前記識別情報は、MPDのアダプテーションセット(AdaptationSet)またはリプレゼンテーション（Representation）に記述されて送信されてくる
　前記（８）に記載の情報処理装置。
　（１０）　情報処理装置が、
　２つ以上の異なるフレームレートの動画像を再生し、
　直前に再生されたフレームレートと異なるフレームレートの動画像を受信した場合、前記直前に再生されたフレームレートと異なることを示す識別情報を表示させる
　情報処理方法。
　（１１）　２つ以上の異なるフレームレートの動画像を生成する動画像生成部と、
　再生側において直前に再生されるフレームレートと異なるフレームレートの動画像が受信された場合に表示させる前記直前に再生されたフレームレートと異なることを示す識別情報を生成する識別情報生成部と、
　前記動画像生成部により生成された動画像および前記識別情報生成部により生成された識別情報を送信する送信部と
　を備える情報処理装置。
　（１２）　前記識別情報生成部により生成された識別情報を記述して、MPDを生成するMPD生成部を
　さらに備える前記（１１）に記載の情報処理装置。
　（１３）　前記MPD生成部は、前記識別情報生成部により生成された識別情報のフレームレートを記述して、前記MPDを生成する
　前記（１２）に記載の情報処理装置。
　（１４）　前記MPD生成部は、前記識別情報生成部により生成された識別情報を前記MPDのアダプテーションセット(AdaptationSet)に記述する
　前記（１３）に記載の情報処理装置。
　（１５）　前記MPD生成部は、前記識別情報生成部により生成された識別情報を前記MPDのリプレゼンテーション（Representation）に記述する
　前記（１３）に記載の情報処理装置。
　（１６）　前記識別情報は、前記直前に再生されたフレームレートよりフレームレートが下がったことを示す
　前記（１１）乃至（１５）のいずれかに記載の情報処理装置。
　（１７）　前記識別情報は、前記直前に再生されたフレームレートよりフレームレートが上がったことを示す
　前記（１１）乃至（１５）のいずれかに記載の情報処理装置。
　（１８）　前記識別情報は、最大フレームレートに対する割合を示す
　前記（１１）乃至（１５）のいずれかに記載の情報処理装置。
　（１９）　前記識別情報は、前記直前に再生されたフレームレートに対する割合を示す
　前記（１１）乃至（１５）のいずれかに記載の情報処理装置。
　（２０）　情報処理装置が、
　２つ以上の異なるフレームレートの動画像を生成し、
　再生側において直前に再生されるフレームレートと異なるフレームレートの動画像が受信された場合に表示させる前記直前に再生されたフレームレートと異なることを示す識別情報を生成し、
　生成された動画像および生成された識別情報を送信する
　情報処理方法。
　１００　配信システム，　１０１　ファイル生成装置，　１０２　配信サーバ，　１０３　再生端末，　１０４　ネットワーク，　１１０　ビデオストリーム生成部，　１１１　イメージファイル生成部，　１１２　コンテンツファイル生成部，　１１３　MPD生成部，　１１４　通信部，　１５１　ダウンローダ，　１５２　MPDバッファ，　１５３　制御用ソフトウエア，　１５４　動画再生ソフトウエア，　１５５　ディスプレイ，　１６１　デマルチプレクサ，　１６２　セグメントバッファ，　１６３　ビデオデコーダ，　１６４　ビデオフレームバッファ，　１６５　イメージファイルバッファ，　１６６　イメージデコーダ，　１６７　グラフィックスフレームバッファ，　１６８　ブレンダ，　１６９　ビデオレンダラ

Claims (20)

  1. 　２つ以上の異なるフレームレートの動画像を再生する再生部と、
    　前記再生部により直前に再生されたフレームレートと異なるフレームレートの動画像を受信した場合、前記直前に再生されたフレームレートと異なることを示す識別情報を表示させる表示制御部と
    　を備える情報処理装置。
  2. 　前記表示制御部は、ビデオのフレームレートとは異なるフレームレートで前記識別情報を表示させる
    　請求項１に記載の情報処理装置。
  3. 　前記識別情報は、前記直前に再生されたフレームレートよりフレームレートが下がったことを示す
    　請求項１に記載の情報処理装置。
  4. 　前記識別情報は、前記直前に再生されたフレームレートよりフレームレートが上がったことを示す
    　請求項１に記載の情報処理装置。
  5. 　前記識別情報は、最大フレームレートに対する割合を示す
    　請求項１に記載の情報処理装置。
  6. 　前記識別情報は、前記直前に再生されたフレームレートに対する割合を示す
    　請求項１に記載の情報処理装置。
  7. 　前記２つ以上の異なるフレームレートの動画像は、コンテンツ配信側より送信されてくる
    　請求項１に記載の情報処理装置。
  8. 　前記識別情報は、コンテンツ配信側より送信されてくる
    　請求項１に記載の情報処理装置。
  9. 　前記識別情報は、MPDのアダプテーションセット(AdaptationSet)またはリプレゼンテーション（Representation）に記述されて送信されてくる
    　請求項８に記載の情報処理装置。
  10. 　情報処理装置が、
    　２つ以上の異なるフレームレートの動画像を再生し、
    　直前に再生されたフレームレートと異なるフレームレートの動画像を受信した場合、前記直前に再生されたフレームレートと異なることを示す識別情報を表示させる
    　情報処理方法。
  11. 　２つ以上の異なるフレームレートの動画像を生成する動画像生成部と、
    　再生側において直前に再生されるフレームレートと異なるフレームレートの動画像が受信された場合に表示させる前記直前に再生されたフレームレートと異なることを示す識別情報を生成する識別情報生成部と、
    　前記動画像生成部により生成された動画像および前記識別情報生成部により生成された識別情報を送信する送信部と
    　を備える情報処理装置。
  12. 　前記識別情報生成部により生成された識別情報を記述して、MPDを生成するMPD生成部を
    　さらに備える請求項１１に記載の情報処理装置。
  13. 　前記MPD生成部は、前記識別情報生成部により生成された識別情報のフレームレートを記述して、前記MPDを生成する
    　請求項１２に記載の情報処理装置。
  14. 　前記MPD生成部は、前記識別情報生成部により生成された識別情報を前記MPDのアダプテーションセット(AdaptationSet)に記述する
    　請求項１２に記載の情報処理装置。
  15. 　前記MPD生成部は、前記識別情報生成部により生成された識別情報を前記MPDのリプレゼンテーション（Representation）に記述する
    　請求項１２に記載の情報処理装置。
  16. 　前記識別情報は、前記再生側において前記直前に再生されたフレームレートよりフレームレートが下がったことを示す
    　請求項１１に記載の情報処理装置。
  17. 　前記識別情報は、前記再生側において前記直前に再生されたフレームレートよりフレームレートが上がったことを示す
    　請求項１１に記載の情報処理装置。
  18. 　前記識別情報は、最大フレームレートに対する割合を示す
    　請求項１１に記載の情報処理装置。
  19. 　前記識別情報は、前記再生側において前記直前に再生されたフレームレートに対する割合を示す
    　請求項１１に記載の情報処理装置。
  20. 　情報処理装置が、
    　２つ以上の異なるフレームレートの動画像を生成し、
    　再生側において直前に再生されるフレームレートと異なるフレームレートの動画像が受信された場合に表示させる前記直前に再生されたフレームレートと異なることを示す識別情報を生成し、
    　生成された動画像および生成された識別情報を送信する
    　情報処理方法。
PCT/JP2018/001314 2017-01-31 2018-01-18 情報処理装置および方法 WO2018142945A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-015364 2017-01-31
JP2017015364 2017-01-31

Publications (1)

Publication Number Publication Date
WO2018142945A1 true WO2018142945A1 (ja) 2018-08-09

Family

ID=63039648

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/001314 WO2018142945A1 (ja) 2017-01-31 2018-01-18 情報処理装置および方法

Country Status (1)

Country Link
WO (1) WO2018142945A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339411A (zh) * 2021-12-30 2022-04-12 西安紫光展锐科技有限公司 视频处理方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006324941A (ja) * 2005-05-19 2006-11-30 Sony Corp 画像処理装置および方法、並びにプログラム
WO2015053352A1 (ja) * 2013-10-10 2015-04-16 シャープ株式会社 表示装置及び超解像処理方法
JP2016007015A (ja) * 2011-01-07 2016-01-14 シャープ株式会社 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、制御プログラム、及び該プログラムを記録した記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006324941A (ja) * 2005-05-19 2006-11-30 Sony Corp 画像処理装置および方法、並びにプログラム
JP2016007015A (ja) * 2011-01-07 2016-01-14 シャープ株式会社 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、制御プログラム、及び該プログラムを記録した記録媒体
WO2015053352A1 (ja) * 2013-10-10 2015-04-16 シャープ株式会社 表示装置及び超解像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339411A (zh) * 2021-12-30 2022-04-12 西安紫光展锐科技有限公司 视频处理方法、装置及设备
CN114339411B (zh) * 2021-12-30 2023-12-26 西安紫光展锐科技有限公司 视频处理方法、装置及设备

Similar Documents

Publication Publication Date Title
JP2021061628A (ja) 情報処理装置および情報処理方法
US10623754B2 (en) Information processing device and method
JP5829626B2 (ja) 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、制御プログラム、及び該プログラムを記録した記録媒体
CN109937448B (zh) 用于在特技播放回放期间提供音频内容的系统和方法
JP6555263B2 (ja) 情報処理装置および方法
WO2017061297A1 (ja) 情報処理装置および情報処理方法
WO2016002513A1 (ja) 情報処理装置および方法
KR101978922B1 (ko) 관심 영역과 배경프레임 개별 전송을 이용한 고화질 360도 영상 스트리밍 방법
EP3005708A1 (en) Methods and apparatuses for streaming content
US9516357B2 (en) Recording variable-quality content stream
US20190373213A1 (en) Information processing device and method
WO2018139284A1 (ja) 画像処理装置および方法、並びにプログラム
WO2022212591A1 (en) Enhanced targeted advertising for video streaming
US9060184B2 (en) Systems and methods for adaptive streaming with augmented video stream transitions using a media server
WO2014112186A1 (ja) コンテンツサーバおよびコンテンツ配信方法
JP6258168B2 (ja) 配信装置、再生装置および配信システム
WO2018142945A1 (ja) 情報処理装置および方法
WO2018142947A1 (ja) 情報処理装置および方法
JP6793526B2 (ja) 動画配信システム、配信サーバ、及びプログラム
WO2014171385A1 (ja) サーバ装置、コンテンツ提供方法及びコンピュータプログラム
JP2012222530A (ja) 受信装置及び方法、並びにプログラム
WO2013039042A1 (ja) 再生装置、再生方法、配信装置、配信システム、再生プログラムおよび記録媒体
WO2018079293A1 (ja) 情報処理装置および方法
KR101656102B1 (ko) 컨텐츠 파일 생성/제공 장치 및 방법
KR101026682B1 (ko) 포트변환 데이터 스트리밍 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18747371

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 18747371

Country of ref document: EP

Kind code of ref document: A1

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载