+

RU2366103C2 - Storage of advanced video coding (avc) set of parametres in avc file format - Google Patents

Storage of advanced video coding (avc) set of parametres in avc file format Download PDF

Info

Publication number
RU2366103C2
RU2366103C2 RU2006132344/09A RU2006132344A RU2366103C2 RU 2366103 C2 RU2366103 C2 RU 2366103C2 RU 2006132344/09 A RU2006132344/09 A RU 2006132344/09A RU 2006132344 A RU2006132344 A RU 2006132344A RU 2366103 C2 RU2366103 C2 RU 2366103C2
Authority
RU
Russia
Prior art keywords
information
file
parameter
streaming
avc
Prior art date
Application number
RU2006132344/09A
Other languages
Russian (ru)
Other versions
RU2006132344A (en
Inventor
Джон Уилльям РИЧАРДСОН (US)
Джон Уилльям РИЧАРДСОН
Йенс КАНБЛИ (US)
Йенс КАНБЛИ
Original Assignee
Томсон Лайсенсинг
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Томсон Лайсенсинг filed Critical Томсон Лайсенсинг
Priority to RU2006132344/09A priority Critical patent/RU2366103C2/en
Publication of RU2006132344A publication Critical patent/RU2006132344A/en
Application granted granted Critical
Publication of RU2366103C2 publication Critical patent/RU2366103C2/en

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

FIELD: information technology.
SUBSTANCE: invention relates to video coding, and particularly, to the advanced video coding (AVC) format for storage of AVC set of parametres in AVC file format. The said result is achieved due to that, use of information of a set of parametres, of the corresponding AVC file involves stages on which: parametre information is embedded, so as to provide for streaming video data, into a file also storing video data such that, parametre information is located in a part of the file separate from video data, so as to allow streaming parametre information independently from video data.
EFFECT: possibility of streaming multimedia from a client to a server, using real time streaming protocol (RTSP) of sets of AVC parametres independently from multimedia using the method.
22 cl, 8 dwg, 1 tbl

Description

Область техники, к которой относится изобретениеFIELD OF THE INVENTION

Настоящее изобретение, в общем, относится к файловому формату улучшенного видеокодирования (AVC), а более конкретно, - к хранению наборов параметров AVC в файловом формате AVC.The present invention, in General, relates to a file format enhanced video coding (AVC), and more specifically, to storing sets of AVC parameters in the file format AVC.

Предшествующий уровень техникиState of the art

Файловый формат улучшенного видеокодирования (AVC) предоставляет поддержку потоковой передачи мультимедийных данных по сети, а также локального воспроизведения. Наиболее распространенные серверы потоковой передачи используют протокол потоковой передачи в реальном времени (RTSP) вместе с протоколом описания сеанса (SDP) в качестве управляющего протокола для установки и разрыва сеансов потоковой передачи мультимедиа между клиентами и серверами. Дополнительно протокол потоковой передачи в реальном времени (RTP) используется в качестве протокола передачи данных для мультимедийной информации между серверами и клиентами.Enhanced Video Coding (AVC) file format provides support for streaming multimedia data over a network as well as local playback. The most common streaming servers use the Real-time Streaming Protocol (RTSP) together with the Session Description Protocol (SDP) as the control protocol for setting up and terminating multimedia streaming sessions between clients and servers. Additionally, the real-time streaming protocol (RTP) is used as the data transfer protocol for multimedia information between servers and clients.

Кодек AVC предоставляет средство для отделения специальной информации от видеопотока, которая является релевантной более чем для одного видеокадра. Подразумевается, что эта специальная информация должна отправляться посредством надежного транспортного протокола (такого как, к примеру, протокол управления передачей, TCP) помимо отправки посредством ненадежного транспортного протокола (такого как, например, протокол передачи дейтаграмм пользователя, UDP), вложенной в мультимедийный поток. Эта специальная информация, объединенная вместе, формирует набор параметров. Набор параметров AVC может включать в себя, например, такую информацию: размер кадра или изображения; размер окна отображения; таблицу распределения макроблоков и т.п.The AVC codec provides a means to separate specific information from a video stream that is relevant to more than one video frame. It is understood that this special information must be sent via a reliable transport protocol (such as, for example, transmission control protocol, TCP) in addition to sending via an unreliable transport protocol (such as, for example, user datagram protocol, UDP) embedded in a multimedia stream. This special information, combined together, forms a set of parameters. The set of AVC parameters may include, for example, such information: frame or image size; display window size; macroblock distribution table, etc.

Один или множество наборов параметров может существовать для любого данного видеопотока AVC. Кодер и декодер должны хранить одинаковый список наборов параметров. Каждый заголовок временного интервала в видеопотоке AVC включает в себя код, который указывает набор параметров, который должен быть использован при декодировании. На основе этого кода декодер затем может определить, какой набор параметров использовать для надлежащего декодирования. Поскольку наборы параметров не связаны с основным видеопотоком, можно и желательно отправлять их из сервера потоковой передачи мультимедиа клиенту потоковой передачи мультимедиа внеполосным способом.One or many sets of parameters may exist for any given AVC video stream. The encoder and decoder must keep the same list of parameter sets. Each slot header in the AVC video stream includes a code that indicates a set of parameters to be used in decoding. Based on this code, the decoder can then determine which set of parameters to use for proper decoding. Since the parameter sets are not related to the main video stream, it is possible and desirable to send them from the multimedia streaming server to the multimedia streaming client in an out-of-band way.

Далее приводится описание типичного сценария транзакции потоковой передачи мультимедиа. Когда клиент потоковой передачи мультимедиа запрашивает потоковую передачу мультимедиа с сервера, перед потоковой передачей типично осуществляется начальное согласование. Последовательность начального согласования влечет за собой отправку клиентом запроса на сервер, чтобы получить информацию о конкретном потоке. Затем сервер отправляет ответ клиенту с минимальными обязательными подробными сведениями, требуемыми для приема и декодирования потока. Это начальное согласование, как правило, осуществляется с помощью сетевого протокола, такого как протокол потоковой передачи в реальном времени (RTSP). Протокол RTSP может быть использован, чтобы отправлять наборы параметров из сервера потоковой передачи мультимедиа клиенту потоковой передачи мультимедиа. Тем не менее, вследствие природы сервера потоковой передачи, чтобы сервер потоковой передачи отправлял зависимые от мультимедиа данные клиенту, набор параметров должен быть сохранен в файле таким образом, чтобы сервер потоковой передачи не знал или не беспокоился о том, какой тип имеет мультимедийный файл.The following is a description of a typical media streaming transaction scenario. When a media streaming client requests media streaming from a server, an initial negotiation typically takes place before streaming. The initial negotiation sequence entails a client sending a request to the server to obtain information about a particular stream. The server then sends a response to the client with the minimum required details required to receive and decode the stream. This initial negotiation is typically accomplished using a network protocol, such as real-time streaming protocol (RTSP). RTSP can be used to send parameter sets from a multimedia streaming server to a multimedia streaming client. However, due to the nature of the streaming server, in order for the streaming server to send media-dependent data to the client, the set of parameters must be stored in a file so that the streaming server does not know or worry about what type of media file it is.

Следовательно, будет необходимо и очень выгодно иметь способ обеспечения возможности протоколу RTSP сервера потоковой передачи мультимедиа передавать наборы параметров независимым от мультимедиа способом клиенту.Therefore, it will be necessary and very advantageous to have a method for enabling the RTSP protocol of a streaming media server to transmit parameter sets in a manner independent of multimedia to the client.

Сущность изобретенияSUMMARY OF THE INVENTION

Вышеуказанные проблемы, а также остальные связанные проблемы предшествующего уровня техники разрешаются настоящим изобретением способом хранения наборов параметров AVC в файловом формате AVC. Настоящее изобретение предоставляет расширение файлового формата AVC для целей хранения усовершенствованных метаданных, чтобы улучшить услуги потоковой передачи. Расширение влечет за собой вставку наборов параметров AVC в метаданные записей указаний (Hint Track) файлового формата AVC при сохранении возможности предоставлять обратную совместимость с существующими серверами потоковой передачи.The above problems, as well as other related problems of the prior art, are solved by the present invention by storing AVC parameter sets in the AVC file format. The present invention provides an extension to the AVC file format for storing advanced metadata to improve streaming services. The extension entails inserting the AVC parameter sets into the metadata of the Hint Track records of the AVC file format while maintaining the ability to provide backward compatibility with existing streaming servers.

Согласно аспекту настоящего изобретения предусмотрен способ использования информации наборов параметров, соответствующей файлу улучшенного видеокодирования (AVC). Способ включает в себя этап, на котором встраивают информацию набора параметров в запись указаний AVC-файла.According to an aspect of the present invention, there is provided a method of using parameter set information corresponding to an advanced video coding (AVC) file. The method includes the step of embedding the parameter set information in the recording of the directions of the AVC file.

Согласно другому аспекту настоящего изобретения предусмотрено устройство для использования информации наборов параметров, соответствующей файлу улучшенного видеокодирования (AVC). Устройство включает в себя устройство встраивания для встраивания информации набора параметров в запись указаний AVC-файла.According to another aspect of the present invention, there is provided an apparatus for using parameter set information corresponding to an advanced video coding (AVC) file. The device includes an embedder for embedding parameter set information in a recording of directions of an AVC file.

Согласно еще одному аспекту настоящего изобретения предусмотрен способ использования информации наборов параметров, соответствующей файлу улучшенного видеокодирования (AVC). Способ включает в себя этапы, на которых встраивают информацию набора параметров в запись указаний AVC-файла и передают информацию наборов параметров в ходе внеполосной и независимой от мультимедиа передачи.According to another aspect of the present invention, there is provided a method of using parameter set information corresponding to an advanced video coding (AVC) file. The method includes the steps of embedding the information of the parameter set in the recording of the directions of the AVC file and transmitting the information of the parameter sets during out-of-band and multimedia-independent transmission.

Эти и другие аспекты, признаки и преимущества настоящего изобретения должны стать более очевидными из последующего подробного описания предпочтительных вариантов осуществления, которые должны рассматриваться в связи с прилагаемыми чертежами.These and other aspects, features and advantages of the present invention should become more apparent from the following detailed description of preferred embodiments that should be considered in connection with the accompanying drawings.

Краткое описание чертежейBrief Description of the Drawings

Фиг. 1 - это схема, иллюстрирующая файл 100 расширенного видеокодирования (AVC), к которому может быть применено настоящее изобретение, согласно иллюстративному варианту осуществления настоящего изобретения;FIG. 1 is a diagram illustrating an advanced video coding (AVC) file 100 to which the present invention can be applied, according to an illustrative embodiment of the present invention;

Фиг. 2 - это схема, иллюстрирующая видеокодер 200 расширенного видеокодирования (AVC), к которому может быть применено настоящее изобретение, согласно иллюстративному варианту осуществления настоящего изобретения;FIG. 2 is a diagram illustrating an advanced video coding (AVC) video encoder 200 to which the present invention can be applied, according to an illustrative embodiment of the present invention;

Фиг. 3 - это схема, иллюстрирующая примерные метаданные 300, выводимые из AVC-кодера 200 по фиг. 2, согласно иллюстративному варианту осуществления настоящего изобретения;FIG. 3 is a diagram illustrating exemplary metadata 300 output from the AVC encoder 200 of FIG. 2, according to an illustrative embodiment of the present invention;

Фиг. 4 - это схема, иллюстрирующая информацию 400 описания записи протокола описания сеанса (SDP) согласно иллюстративному варианту осуществления настоящего изобретения;FIG. 4 is a diagram illustrating session description protocol (SDP) recording description information 400 according to an illustrative embodiment of the present invention;

Фиг. 5 - это блок-схема высокого уровня, иллюстрирующая устройство 500 для вставки наборов параметров в записи указаний AVC-файла 599 согласно иллюстративному варианту осуществления настоящего изобретения;FIG. 5 is a high-level block diagram illustrating an apparatus 500 for inserting parameter sets in an instruction record of an AVC file 599 according to an illustrative embodiment of the present invention;

Фиг. 6 - это блок-схема высокого уровня, иллюстрирующая генерирование таблиц метаданных и запись таблиц метаданных в AVC-файл согласно иллюстративному варианту осуществления настоящего изобретения;FIG. 6 is a high level block diagram illustrating the generation of metadata tables and writing metadata tables to an AVC file according to an illustrative embodiment of the present invention;

Фиг. 7 - это блок-схема высокого уровня, иллюстрирующая запись мультимедийных данных в AVC-файл согласно иллюстративному варианту осуществления настоящего изобретения;FIG. 7 is a high level block diagram illustrating the recording of multimedia data in an AVC file according to an illustrative embodiment of the present invention;

Фиг. 8 - это блок-схема высокого уровня, иллюстрирующая записывание записи указаний в AVC-файл согласно иллюстративному варианту осуществления настоящего изобретения.FIG. 8 is a high level block diagram illustrating the recording of an instruction record in an AVC file according to an illustrative embodiment of the present invention.

Подробное описание изобретенияDETAILED DESCRIPTION OF THE INVENTION

Настоящее изобретение направлено на расширение для файлового формата AVC, общеизвестный формат хранения цифрового потокового мультимедиа, для целей хранения расширенных метаданных, чтобы улучшить услуги потоковой передачи. Расширение влечет за собой вставку наборов параметров AVC в метаданные записи указаний (Hint Track) файлового формата AVC при сохранении возможности предоставлять обратную совместимость с существующими серверами потоковой передачи. Наборы параметров встраиваются в запись указаний файлового формата AVC таким образом, чтобы протокол RTSP сервера потоковой передачи мультимедиа имел возможность передавать наборы параметров независимым от мультимедиа способом клиенту.The present invention is directed to an extension for the AVC file format, a well-known digital streaming media storage format, for the purpose of storing extended metadata to improve streaming services. The extension entails inserting AVC parameter sets into the Hint Track metadata of the AVC file format while maintaining the ability to provide backward compatibility with existing streaming servers. The parameter sets are embedded in the recording of the AVC file format instructions so that the RTSP protocol of the multimedia streaming server has the ability to transmit the parameter sets in a manner independent of multimedia to the client.

Следует принимать во внимание, что настоящее изобретение, в общем, относится к файловому формату улучшенного видеокодирования (AVC) (Международная организация по стандартизации/Международная электротехническая комиссия (ISO/IEC) 14496, часть 15), совместно разработанному Международным союзом электросвязи (ITU) и Экспертной группой по киноизображению (MPEG). Тем не менее с учетом предлагаемых в данном документе методик настоящего изобретения специалисты в данной области техники должны рассматривать этот и другие файловые форматы, к которым может быть применено настоящее изобретение, без отступления от духа и области применения настоящего изобретения.It should be appreciated that the present invention generally relates to an advanced video coding (AVC) file format (International Organization for Standardization / International Electrotechnical Commission (ISO / IEC) 14496, part 15), jointly developed by the International Telecommunication Union (ITU) and Motion Picture Expert Group (MPEG). Nevertheless, in view of the techniques of the present invention proposed herein, those skilled in the art should consider this and other file formats to which the present invention may be applied without departing from the spirit and scope of the present invention.

Следует понимать, что настоящее изобретение может быть реализовано в различных формах аппаратных средств, программного обеспечения, микропрограммного обеспечения, процессоров специального назначения или их сочетания. Предпочтительно, настоящее изобретение реализуется как сочетание аппаратных средств и программного обеспечения. Более того, программное обеспечение предпочтительно реализуется как прикладная программа, материально осуществленная на устройстве хранения программ. Прикладная программа может быть загружена в и исполнена посредством машины, содержащей любую надлежащую архитектуру. Предпочтительно, машина реализуется на вычислительной платформе, имеющей аппаратные средства, такие как один или более центральных процессоров (ЦП), оперативное запоминающее устройство (ОЗУ) и интерфейсы ввода-вывода. Вычислительная платформа также включает в себя операционную систему и код микрокоманд. Различные процессы и функции, описанные в данном документе, могут быть либо частью кода микрокоманд, либо частью прикладной программы (или сочетание вышеозначенного), которые исполняются посредством операционной системы. Помимо этого различные другие периферийные устройства могут быть подключены к вычислительной платформе, такие как дополнительное устройство хранения данных и печатающее устройство.It should be understood that the present invention can be implemented in various forms of hardware, software, firmware, special purpose processors, or a combination thereof. Preferably, the present invention is implemented as a combination of hardware and software. Moreover, the software is preferably implemented as an application program materially implemented on a program storage device. An application can be loaded into and executed by a machine containing any appropriate architecture. Preferably, the machine is implemented on a computing platform having hardware such as one or more central processing units (CPUs), random access memory (RAM), and input-output interfaces. The computing platform also includes the operating system and micro-command code. The various processes and functions described in this document can be either part of the micro-command code, or part of an application program (or a combination of the above) that are executed by the operating system. In addition, various other peripheral devices can be connected to a computing platform, such as an additional data storage device and a printing device.

Дополнительно следует понимать, что поскольку некоторые из составляющих системных компонентов и этапов способа, изображенных на прилагаемых чертежах, предпочтительно реализуются в программном обеспечении, фактические связи между системными компонентами (или этапами процесса) могут отличаться в зависимости от способа, которым запрограммировано настоящее изобретение. С учетом представленных в данном документе методик специалисты в данной области техники имеют возможность обдумать эти и аналогичные реализации или конфигурации настоящего изобретения.Additionally, it should be understood that since some of the constituent system components and process steps depicted in the accompanying drawings are preferably implemented in software, the actual relationships between system components (or process steps) may differ depending on the method by which the present invention is programmed. Based on the techniques presented herein, those skilled in the art are able to consider these and similar implementations or configurations of the present invention.

Файловый формат AVC предоставляет поддержку потоковой передачи мультимедийных данных по сети, а также локального воспроизведения. AVC-файл, который поддерживает потоковую передачу мультимедиа, включает дополнительную информацию об элементах данных в поток. Дополнительная информация включается в дополнительные записи файла, известные как записи указаний (Hint Track). Запись указаний предоставляет инструкции потоковой передачи серверу, такие как, например, информацию о форматировании пакетов, чтобы обеспечить надлежащую доставку и сведения о синхронизации, чтобы дать возможность надлежащей синхронизации передачи. Помимо этого запись указаний также может предоставлять еще информацию, такую как подробные сведения о типе мультимедиа, которое запрашивает клиент, которая далее может быть отправлена клиенту в ходе начального взаимодействия между клиентом и сервером.The AVC file format provides support for streaming multimedia data over a network as well as local playback. An AVC file that supports multimedia streaming includes additional information about data items in the stream. Additional information is included in additional file entries known as Hint Track entries. Recording instructions provides streaming instructions to the server, such as, for example, packet formatting information to ensure proper delivery and synchronization information to enable proper transmission synchronization. In addition, the guidance record may also provide further information, such as details about the type of media that the client requests, which can then be sent to the client during the initial interaction between the client and the server.

Наиболее распространенные серверы потоковой передачи используют протокол потоковой передачи в реальном времени (RTSP) вместе с протоколом описания сеанса (SDP) в качестве управляющего протокола для установки и разрыва сеансов потоковой передачи между клиентами и серверами. Дополнительно протокол потоковой передачи в реальном времени (RTP) используется в качестве протокола передачи данных для мультимедийной информации между серверами и клиентами. Следует принимать во внимание, что настоящее изобретение направлено на серверы потоковой передачи, которые используют RTSP в качестве управляющего протокола для установления сеанса. Разумеется, специалисты в данной области техники должны безусловно принимать во внимание, что настоящее изобретение также может быть модифицировано и реализовано в отношении серверов потоковой передачи, которые используют протокол, отличный от RTSP, в качестве управляющего протокола, не выходя за рамки сущности и объема настоящего изобретения.The most common streaming servers use Real-time Streaming Protocol (RTSP) together with Session Description Protocol (SDP) as the control protocol for setting up and breaking streaming sessions between clients and servers. Additionally, the real-time streaming protocol (RTP) is used as the data transfer protocol for multimedia information between servers and clients. It will be appreciated that the present invention is directed to streaming servers that use RTSP as the control protocol for establishing a session. Of course, those of ordinary skill in the art should certainly appreciate that the present invention can also be modified and implemented with respect to streaming servers that use a protocol other than RTSP as a control protocol, without departing from the spirit and scope of the present invention. .

RTSP - это текстовый протокол, в котором сообщения включают в себя заголовок и информационное исполнение. Заголовок, как правило, задается стандартом, тогда как части информационного исполнения могут зависеть от приложений. В случае основанного на RTSP сервера потоковой мультимедийной передачи сервер по умолчанию вставляет информацию протокола описания сеанса (SDP), включенную в AVC-файл, в RTSP-сообщение в ходе начального согласования потоковой передачи мультимедиа с клиентом. Поэтому посредством встраивания наборов параметров AVC в информацию SDP сервер имеет возможность передавать наборы параметров мультимедийного потока клиенту без обладания знаниями о формате мультимедиа. Как результат, наборы параметров передаются прежде какого-нибудь мультимедиа, и помимо этого они передаются с использованием надежного транспортного протокола, поскольку RTSP по умолчанию использует протокол управления передачей (TCP).RTSP is a text-based protocol in which messages include a header and information execution. The title is usually specified by the standard, while parts of the information execution may depend on the applications. In the case of an RTSP-based streaming media server, the server by default inserts the Session Description Protocol (SDP) information included in the AVC file into the RTSP message during the initial negotiation of the media streaming with the client. Therefore, by embedding the AVC parameter sets in the information, the SDP server is able to transmit the multimedia stream parameter sets to the client without knowledge of the multimedia format. As a result, parameter sets are transmitted before any multimedia, and in addition they are transmitted using a reliable transport protocol, because RTSP uses the Transmission Control Protocol (TCP) by default.

Фиг. 1 - это схема, иллюстрирующая файл 100 расширенного видеокодирования (AVC), к которому может быть применено настоящее изобретение, согласно иллюстративному варианту осуществления настоящего изобретения. AVC-файл 100 включает в себя информацию 160 видеозаписи AVC, информацию 165 звуковой записи, информацию 170 записи указаний для видео и информацию 175 записи указаний для звука. AVC-файл 100 дополнительно включает в себя звуковые записи 110, видеозаписи 120 и записи 130 указаний. Записи 130 указаний могут быть использованы для целей потоковой передачи согласно настоящему изобретению.FIG. 1 is a diagram illustrating an advanced video coding (AVC) file 100 to which the present invention can be applied, according to an illustrative embodiment of the present invention. The AVC file 100 includes AVC video information 160, audio recording information 165, video direction recording information 170, and audio direction recording information 175. The AVC file 100 further includes audio recordings 110, video recordings 120, and direction recordings 130. Guidance records 130 may be used for streaming purposes according to the present invention.

Записи 130 указаний в AVC-файле 100 включают в себя специальные инструкции для сервера потоковой передачи, чтобы помогать в формировании пакетов. Эта информация предоставляется таким образом, что сервер имеет возможность пакетировать мультимедийные данные способом, подходящим для потоковой передачи, с использованием конкретного сетевого транспорта. Помимо включения специальных инструкций потоковой передачи, другие данные могут быть встроены в запись указаний, которые сервер должен немедленно отправить клиенту (например, в соответствии с настоящим изобретением другие данные могут включать в себя наборы параметров).Records 130 directions in the AVC file 100 include special instructions for the streaming server to help in the formation of packets. This information is provided in such a way that the server is able to package multimedia data in a manner suitable for streaming using a specific network transport. In addition to including specific streaming instructions, other data can be embedded in the recording of instructions that the server should immediately send to the client (for example, in accordance with the present invention, other data may include parameter sets).

Далее описывается процесс сохранения наборов параметров AVC в записи указаний AVC-файла. Фиг. 2 - это схема, иллюстрирующая видеокодер 200 улучшенного видеокодирования (AVC), к которому может быть применено настоящее изобретение, согласно иллюстративному варианту осуществления настоящего изобретения. Во-первых, AVC-видеокодер 200 должен иметь, по меньшей мере, один выходной интерфейс для доставки сжатых видеоданных и соответствующих метаданных во второй модуль для целей хранения. Кроме того, в фиг. 2 включено передающее устройство 250 для передачи наборов параметров в ходе внеполосной передачи. Наборы параметров передаются встроенными в информационное наполнение SDP AVC-файла.The following describes the process of saving the AVC parameter sets to recording the directions of the AVC file. FIG. 2 is a diagram illustrating an advanced video coding (AVC) video encoder 200 to which the present invention can be applied, according to an illustrative embodiment of the present invention. First, the AVC video encoder 200 must have at least one output interface for delivering compressed video data and corresponding metadata to the second module for storage purposes. In addition, in FIG. 2, a transmitter 250 is included for transmitting parameter sets during out-of-band transmission. Sets of parameters are transmitted embedded in the content of the SDP AVC file.

Фиг. 3 - это схема, иллюстрирующая примерные метаданные 300, выводимые из AVC-кодера 200 по фиг. 2, согласно иллюстративному варианту осуществления настоящего изобретения. Метаданные 300, которые доставляются из AVC-видеокодера 200, могут включать в себя такую информацию, как размер 210 сжатого видеокадра, тип 215 видеокадра (к примеру, I-кадр, P-кадр и B-кадр), информацию 220 о синхронизации (к примеру, скорость передачи кадров), другие атрибуты 225 и новые наборы 230 параметров. Конкретный интерес в данной заявке представляют наборы 230 параметров, поскольку наборы 230 параметров сохраняются в AVC-файле в рамках видеопотока, а также в записи указаний, которая ссылается на видеопоток. Таким образом, для наборов 230 параметров, которые должны быть сохранены в записях указаний, данными, принимаемыми по выходному интерфейсу AVC-видеокодера, нужно надлежащим образом управлять.FIG. 3 is a diagram illustrating exemplary metadata 300 output from the AVC encoder 200 of FIG. 2, according to an illustrative embodiment of the present invention. The metadata 300 that is delivered from the AVC video encoder 200 may include information such as size 210 of the compressed video frame, type 215 of the video frame (e.g., I-frame, P-frame, and B-frame), synchronization information 220 (to for example, frame rate), other attributes 225 and new sets of 230 parameters. Of particular interest in this application are parameter sets 230, since parameter sets 230 are stored in the AVC file as part of the video stream, as well as in the guidance record that refers to the video stream. Thus, for sets of 230 parameters that must be stored in the guidance records, the data received via the output interface of the AVC video encoder must be properly managed.

Когда наборы 230 параметров являются частью метаданных 300, выводимых из AVC-видеокодера, они копируются и сохраняются в хранилище для последующего обращения, когда создается запись указаний. Это дает возможность созданию записи указаний быть более простым и оптимизированным, поскольку мультимедийная запись не должна анализироваться от начала до конца, чтобы находить наборы параметров.When the parameter sets 230 are part of the metadata 300 output from the AVC video encoder, they are copied and stored in the repository for later reference when an instruction record is created. This makes it possible to create a recording of instructions to be simpler and more optimized, since the multimedia recording does not have to be analyzed from beginning to end in order to find sets of parameters.

Фиг. 4 - это схема, иллюстрирующая информацию 400 описания записи протокола описания сеанса (SDP) согласно иллюстративному варианту осуществления настоящего изобретения. Наборы 230 параметров AVC сохранены в информации 400 описания записи SDP, включенной в запись указаний. Сохранение наборов 230 параметров в записи указаний обеспечивает средство для транспортировки наборов 230 параметров с использованием надежного сетевого транспорта в ходе инициализации потокового сеанса. Что в равной степени важно, предоставляется обратная совместимость с текущими серверами потоковой передачи, поскольку дополнительного расширения к файлу не требуется. Информация 400 описания записи SDP дополнительно включает в себя информацию 410 о продолжительности записи, информацию 420 описания записи и другие атрибуты 430. Таблица 1 иллюстрирует сохранение наборов параметров AVC в информации описания записи протокола описания сеанса (SDP) согласно иллюстративному варианту осуществления настоящего изобретения.FIG. 4 is a diagram illustrating Session Description Protocol (SDP) recording description information 400 according to an illustrative embodiment of the present invention. The AVC parameter sets 230 are stored in the SDP record description information 400 included in the direction record. Saving sets of 230 parameters in the recording of instructions provides a means for transporting sets of 230 parameters using reliable network transport during the initialization of the streaming session. Equally important, backward compatibility with current streaming servers is provided, since no additional file extension is required. SDP recording description information 400 further includes recording duration information 410, recording description information 420 and other attributes 430. Table 1 illustrates the storage of AVC parameter sets in session description protocol (SDP) recording description information according to an illustrative embodiment of the present invention.

Таблица 1Table 1 v=0v = 0 s=AVC Streaming Media Programs = AVC Streaming Media Program u=http://u = http: // e=admin@e = admin @ a=control:*a = control: * a=range:npt=0 - 60,96a = range: npt = 0 - 60.96 m=video 0 RTP/AVP 96m = video 0 RTP / AVP 96 a=rtpmap:96 AVC/90000a = rtpmap: 96 AVC / 90,000 a=paramset:"data:video/jvt;base64,MIME encoded Parameter Sets"a = paramset: "data: video / jvt; base64, MIME encoded Parameter Sets" a=control:trackID=2a = control: trackID = 2 m=audio 0 RTP/AVP 14m = audio 0 RTP / AVP 14 a=rtpmap:14 MPA/22050a = rtpmap: 14 MPA / 22050 a=control:trackID=6a = control: trackID = 6

Информация набора параметров может быть закодирована средствами многоцелевых расширений электронной почты в Интернете (MIME) до встраивания в информационное наполнение SDP записи указаний.Parameter set information can be encoded using the Internet Multipurpose Email Extensions (MIME) before embedding instruction records in the SDP content.

Фиг. 5 - это блок-схема высокого уровня, иллюстрирующая устройство 500 для вставки наборов параметров в записи указаний AVC-файла 599 согласно иллюстративному варианту осуществления настоящего изобретения. Устройство 500 включает в себя диспетчер 510 мультимедиа и метаданных, анализатор 520 метаданных, модуль 530 вставки, модуль 540 записи мультимедиа, модуль 550 записи метаданных, модуль 560 записывания записи указаний и модуль записи 570 базовых файлов.FIG. 5 is a high-level block diagram illustrating an apparatus 500 for inserting parameter sets in an instruction record of an AVC file 599 according to an illustrative embodiment of the present invention. The device 500 includes a media and metadata manager 510, a metadata analyzer 520, an insert module 530, a multimedia recording module 540, a metadata recording module 550, an instruction recording module 560, and base file recording module 570.

Видеоданные 501 и метаданные 502 принимаются посредством диспетчера 510 мультимедиа и метаданных. Диспетчер 510 мультимедиа и метаданных обеспечивает то, чтобы процесс записи файлов выполнялся надлежащим образом и чтобы файл не записывался несогласованным образом. В большинстве случаев метаданные 502 должны располагаться в файле первыми, после чего должны следовать записи мультимедийных данных и записи указаний. Следовательно, диспетчер 510 мультимедиа и метаданных предусмотрен, чтобы управлять процессом записи.Video data 501 and metadata 502 are received by the media and metadata manager 510. The media and metadata manager 510 ensures that the file writing process is performed properly and that the file is not written in an inconsistent manner. In most cases, metadata 502 should be located first in the file, followed by media records and guidance records. Therefore, the media and metadata manager 510 is provided to control the recording process.

Предусмотрено три основных модуля (540, 550, 560) записи, которые сопряжены с модулем 570 записи базовых файлов. Может показаться, что каждый из этих модулей отправляет данные для записи в базовый файл одновременно, но фактически они отправляют данные, которые должны быть записаны, в конкретном порядке (к примеру, порядке, описанном выше, т.е. метаданные, мультимедийные данные и данные указаний). Далее эти модули записи описываются дополнительно со ссылкой на фиг. 6-8.There are three main recording modules (540, 550, 560) that are coupled to the basic file recording module 570. It may seem that each of these modules sends data to be written to the base file at the same time, but in fact they send the data to be written in a specific order (for example, the order described above, i.e. metadata, multimedia data and data directions). Next, these recording modules are described further with reference to FIG. 6-8.

Фиг. 6 - это блок-схема высокого уровня, иллюстрирующая генерирование таблиц метаданных и запись таблиц метаданных в AVC-файл согласно иллюстративному варианту осуществления настоящего изобретения. Фиг. 7 - это блок-схема высокого уровня, иллюстрирующая запись мультимедийных данных в AVC-файл согласно иллюстративному варианту осуществления настоящего изобретения. Фиг. 8 - это блок-схема высокого уровня, иллюстрирующая записывание записи указаний в AVC-файл согласно иллюстративному варианту осуществления настоящего изобретения. Как указано выше, записывание записи указаний AVC в AVC-файл влечет за собой извлечение наборов параметров из метаданных и сохранение их в информации SDP записи указаний.FIG. 6 is a high level block diagram illustrating the generation of metadata tables and writing metadata tables to an AVC file according to an illustrative embodiment of the present invention. FIG. 7 is a high level block diagram illustrating the recording of multimedia data in an AVC file according to an illustrative embodiment of the present invention. FIG. 8 is a high level block diagram illustrating the recording of an instruction record in an AVC file according to an illustrative embodiment of the present invention. As indicated above, writing the AVC instruction record to the AVC file entails extracting the parameter sets from the metadata and storing them in the SDP instruction record information.

Ссылаясь на фиг. 6 и 8, метаданные вводят в диспетчер 510 мультимедиа и метаданных. Как известно, метаданные - это набор структур данных для сохранения зависимой от мультимедиа информации, такой как, но не только, временные метки, размеры кадров, наборы параметров и т.п. Метаданные используются, например, для того, чтобы поддерживать синхронизацию соответствующего мультимедиа с дополнительными данными для целей, к примеру, декодирования, кодирования, отображения, доступа и передачи.Referring to FIG. 6 and 8, metadata is entered into the media and metadata manager 510. As you know, metadata is a set of data structures for storing multimedia-dependent information, such as, but not limited to, timestamps, frame sizes, parameter sets, etc. Metadata is used, for example, in order to maintain synchronization of the respective multimedia with additional data for purposes, for example, decoding, encoding, display, access and transmission.

Диспетчер 510 мультимедиа и метаданных извлекает метаданные из мультимедиа и анализирует метаданные на предмет наборов параметров (см. фиг. 8). Таким образом, если наборы параметров присутствуют в метаданных, анализатор 520 метаданных извлекает наборы параметров и передает их в структуру данных SDP записи указаний. В противном случае, если набор параметров не обнаружен, анализатор 520 метаданных преобразует метаданные в стандартизированные структуры данных, что обеспечивает средство для записи информации в файл. Модуль 550 записи метаданных использует интерфейс прикладного программирования (API) модуля 570 базовой записи, чтобы записать метаданные в AVC-файл 599.The media and metadata manager 510 extracts the metadata from the multimedia and analyzes the metadata for the sets of parameters (see FIG. 8). Thus, if the parameter sets are present in the metadata, the metadata analyzer 520 retrieves the parameter sets and transfers them to the SDP data structure of the guidance record. Otherwise, if a parameter set is not found, the metadata analyzer 520 converts the metadata into standardized data structures, which provides a means for writing information to a file. The metadata recording unit 550 uses the application programming interface (API) of the base recording unit 570 to write metadata to the AVC file 599.

На фиг. 7 диспетчер 510 мультимедиа и метаданных извлекает мультимедиа и общий размер мультимедиа. Затем данные передаются непосредственно в модуль 540 записи мультимедиа. Модуль записи мультимедиа также использует API модуля 570 базовой записи, чтобы записать выборки мультимедиа в AVC-файл 599.In FIG. 7, the media and metadata manager 510 retrieves the media and the total media size. Then, the data is transmitted directly to the multimedia recording module 540. The media writer also uses the API of the base writer 570 to write media samples to the AVC file 599.

Хотя иллюстративные варианты осуществления описаны со ссылкой на прилагаемые чертежи, следует понимать, что настоящее изобретение не ограничено исключительно этими вариантами осуществления и что различные изменения и модификации могут быть внесены в него специалистами в данной области техники без отступления от сущности и объема изобретения. Подразумевается включение всех этих изменений и модификаций в объем изобретения, задаваемый прилагаемой формулой изобретения.Although illustrative embodiments have been described with reference to the accompanying drawings, it should be understood that the present invention is not limited solely to these embodiments and that various changes and modifications can be made by those skilled in the art without departing from the spirit and scope of the invention. It is intended to include all of these changes and modifications within the scope of the invention as defined by the appended claims.

Claims (22)

1. Способ обеспечения потоковой видеоинформации, содержащий этап, на котором: встраивают информацию о параметрах для обеспечения потоковой передачи видеоинформации в файл, также хранящий видеоинформацию так, что информация о параметрах располагается в части файла отдельно от видеоинформации, чтобы сделать возможной потоковую передачу информации о параметрах независимо от, но наряду с видеоинформацией.1. A method for providing streaming video information, comprising the step of: embedding parameter information for streaming video information into a file also storing video information such that the parameter information is located in a part of the file separately from the video information to enable streaming of parameter information regardless, but along with video information. 2. Способ по п.1, в котором этап встраивания параметра также содержит этап, на котором встраивают информацию о параметрах в запись указаний упомянутого файла.2. The method according to claim 1, in which the step of embedding the parameter also comprises the step of embedding information about the parameters in the recording instructions of the mentioned file. 3. Способ по п.2, в котором этап встраивания параметра также содержит этап, на котором встраивают информацию о параметрах в информационное наполнение протокола описания сеанса' (SDP) записи указаний.3. The method according to claim 2, in which the step of embedding the parameter also comprises the step of embedding the parameter information in the content of the session description protocol '(SDP) recording instructions. 4. Способ по п.3, в котором этап встраивания параметра также содержит этап, на котором кодируют информацию о параметрах средствами многоцелевых расширений электронной почты в Интернете (MIME) до встраивания в информационное наполнение SDP записи указаний.4. The method according to claim 3, in which the step of embedding the parameter also comprises encoding the parameter information by means of multipurpose Internet e-mail extensions (MIME) before embedding instructions into the SDP payload. 5. Способ по п.1, содержащий также этап, на котором передают информацию о параметрах в ходе внеполосной передачи.5. The method of claim 1, further comprising transmitting parameter information during out-of-band transmission. 6. Способ по п.5, в котором этап передачи также содержит этап, на котором передают информацию набора параметров с исполнением протокола управления передачей (TCP).6. The method according to claim 5, in which the transmission step also comprises transmitting information of the parameter set with execution of the transmission control protocol (TCP). 7. Способ по п.5, в котором этап передачи также содержит этап, на котором передают информацию набора параметров с исполнением протокола потоковой передачи в реальном времени.7. The method according to claim 5, in which the transmission step also comprises transmitting information of the parameter set with real-time streaming protocol execution. 8. Способ по п.1, содержащий этап, на котором передают информацию о параметрах в ходе передачи, независимой от мультимедиа.8. The method according to claim 1, comprising the step of transmitting parameter information during transmission independent of multimedia. 9. Способ по п.1, в котором этап передачи содержит этап, на котором передают информацию о параметрах до передачи какого-либо мультимедиа, соответствующего ей.9. The method according to claim 1, in which the transmitting step comprises the step of transmitting parameter information before transmitting any multimedia corresponding to it. 10. Способ по п.1, содержащий этап, на котором извлекают информацию о параметрах из метаданных, соответствующих, по меньшей мере, одному потоку мультимедиа.10. The method according to claim 1, comprising the step of retrieving parameter information from metadata corresponding to at least one media stream. 11. Устройство для обеспечения потоковой передачи видеоинформации, содержащее: устройство встраивания для встраивания информации о параметрах в файл, также хранящий видеоинформацию так, что информация о параметрах располагается в части файла отдельно от видеоинформации, чтобы сделать возможной потоковую передачу информации о параметрах независимо от, но наряду с видеоинформацией.11. A device for streaming video information, comprising: an embedding device for embedding parameter information in a file, also storing video information so that the parameter information is located in a part of the file separately from the video information to enable streaming of parameter information regardless, but along with video information. 12. Устройство по п.11, в котором устройство встраивания встраивает информацию набора параметров в запись указаний файла.12. The device according to claim 11, in which the embedment device embeds the information of a set of parameters in a record of file directions. 13. Устройство по п.12, в котором устройство встраивания встраивает информацию набора параметров в информационное наполнение протокола описания сеанса (SDP) записи указаний.13. The device according to item 12, in which the embedder embeds the information of a set of parameters in the content of the session description protocol (SDP) recording instructions. 14. Устройство по п.12, в котором информация о параметрах, встроенная в информационное наполнение SDP посредством устройства встраивания, кодируется средствами многоцелевых расширений электронной почты в Интернете (MIME).14. The device of claim 12, wherein the parameter information embedded in the SDP payload through the embedder is encoded using Internet Multipurpose Email Extensions (MIME). 15. Устройство по п.11, которое также содержит передающее устройство для передачи информации о параметрах в ходе внеполосной передачи.15. The device according to claim 11, which also contains a transmitting device for transmitting parameter information during out-of-band transmission. 16. Устройство по п.15, в котором передающее устройство передает информацию набора параметров с исполнением протокола управления передачей.16. The device according to clause 15, in which the transmitting device transmits information of a set of parameters with the execution of the transmission control protocol. 17. Устройство по п.15, в котором передающее устройство передает информацию набора параметров с исполнением протокола потоковой передачи в реальном времени.17. The device according to clause 15, in which the transmitting device transmits information of a set of parameters with the execution of the streaming protocol in real time. 18. Устройство по п.11, которое также содержит передающее устройство для передачи информации о параметрах в ходе передачи, независимой от мультимедиа.18. The device according to claim 11, which also contains a transmitting device for transmitting information about the parameters during transmission, independent of multimedia. 19. Устройство по п.11, в котором передающее устройство передает информацию о параметрах до передачи какого-либо мультимедиа, соответствующего ей.19. The device according to claim 11, in which the transmitting device transmits information about the parameters before transmitting any multimedia corresponding to it. 20. Устройство по п.11, которое также содержит устройство извлечения для извлечения параметра из метаданных, соответствующих, по меньшей мере, одному потоку мультимедиа.20. The device according to claim 11, which also includes an extraction device for extracting the parameter from the metadata corresponding to at least one multimedia stream. 21. Способ обеспечения потоковой передачи видеоинформации в файле, наряду с информацией о параметрах, располагающейся в части файла отдельно от видеоинформации, путем обработки файла, содержащего видеоинформацию и информацию о параметрах, при этом способ содержит этап, на котором: отделяют информацию о параметрах в упомянутой части файла, отдельной от видеоинформации, для обеспечения обработки видеоинформации при потоковой передаче.21. A method for providing streaming video information in a file, along with information about parameters located in a part of the file separately from video information, by processing a file containing video information and information about the parameters, the method comprising the step of: separating the parameter information in the aforementioned parts of a file separate from video information to enable processing of video information during streaming. 22. Устройство для обеспечения потоковой передачи видеоинформации, содержащее: устройство отделения для отделения информации о параметрах из файла, хранящего также видеоинформацию так, что информация о параметрах располагается в части файла отдельно от видеоинформации, для обеспечения обработки видеоинформации при потоковой передаче наряду с информацией о параметрах. 22. A device for streaming video information, comprising: a separation device for separating parameter information from a file that also stores video information so that the parameter information is located in a part of the file separately from the video information, for providing video information processing during streaming along with parameter information .
RU2006132344/09A 2004-02-10 2004-02-10 Storage of advanced video coding (avc) set of parametres in avc file format RU2366103C2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2006132344/09A RU2366103C2 (en) 2004-02-10 2004-02-10 Storage of advanced video coding (avc) set of parametres in avc file format

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2006132344/09A RU2366103C2 (en) 2004-02-10 2004-02-10 Storage of advanced video coding (avc) set of parametres in avc file format

Publications (2)

Publication Number Publication Date
RU2006132344A RU2006132344A (en) 2008-03-20
RU2366103C2 true RU2366103C2 (en) 2009-08-27

Family

ID=39279384

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2006132344/09A RU2366103C2 (en) 2004-02-10 2004-02-10 Storage of advanced video coding (avc) set of parametres in avc file format

Country Status (1)

Country Link
RU (1) RU2366103C2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6134243A (en) * 1998-01-15 2000-10-17 Apple Computer, Inc. Method and apparatus for media data transmission
RU2002101128A (en) * 2000-04-21 2003-07-27 Сони Корпорейшн METHOD AND DEVICE FOR INFORMATION PROCESSING, PROGRAM AND RECORDING MEDIA
WO2003073767A1 (en) * 2002-02-25 2003-09-04 Sony Electronics, Inc. Method and apparatus for supporting avc in mp4
WO2003073770A1 (en) * 2002-02-25 2003-09-04 Sony Electronics, Inc. Method and apparatus for supporting avc in mp4
WO2003098475A1 (en) * 2002-04-29 2003-11-27 Sony Electronics, Inc. Supporting advanced coding formats in media files

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2273109C2 (en) * 2000-09-07 2006-03-27 Сони Корпорейшн Method and device for processing information, program and data carrier

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6134243A (en) * 1998-01-15 2000-10-17 Apple Computer, Inc. Method and apparatus for media data transmission
RU2002101128A (en) * 2000-04-21 2003-07-27 Сони Корпорейшн METHOD AND DEVICE FOR INFORMATION PROCESSING, PROGRAM AND RECORDING MEDIA
WO2003073767A1 (en) * 2002-02-25 2003-09-04 Sony Electronics, Inc. Method and apparatus for supporting avc in mp4
WO2003073770A1 (en) * 2002-02-25 2003-09-04 Sony Electronics, Inc. Method and apparatus for supporting avc in mp4
WO2003098475A1 (en) * 2002-04-29 2003-11-27 Sony Electronics, Inc. Supporting advanced coding formats in media files

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WENGER S. et al, RTP payload Format for JVT Video, RTP PAYLOAD FORMAT FOR JVT VIDEO, 21.02.2002, найдено на: http://www.cs.columbia.edu/~hgs/ *

Also Published As

Publication number Publication date
RU2006132344A (en) 2008-03-20

Similar Documents

Publication Publication Date Title
US11805302B2 (en) Method, device, and computer program for transmitting portions of encapsulated media content
US7853981B2 (en) Multimedia streaming service system and method
CN110870282B (en) Processing media data using file tracks of web content
KR100928998B1 (en) Adaptive Multimedia System and Method for Providing Multimedia Contents and Codecs to User Terminals
US7251328B2 (en) System for secure decryption of streaming media using selective decryption of header information and decryption of reassembled content
US8559788B2 (en) Process for placing a multimedia object in memory, data structure and associated terminal
US20160255133A1 (en) Network streaming of coded video data
CN110832872B (en) Handling media data using generic descriptors for file format boxes
US20230035998A1 (en) System and method for data stream fragmentation
US20070143807A1 (en) Data distribution apparatus, data provision apparatus and data distribution system comprised thereof
TW200901761A (en) Media stream recording into a reception hint track of a multimedia container file
AU2004307804A2 (en) Streaming from server to client
US20180176278A1 (en) Detecting and signaling new initialization segments during manifest-file-free media streaming
CN101198045A (en) A Streaming Media Digital Watermarking System
EP3741132B1 (en) Processing dynamic web content of an iso bmff web resource track
US8879641B2 (en) Storage of advanced video coding (AVC) parameter sets in AVC file format
EP4356593A1 (en) Real-time augmented reality communication session
US10694213B1 (en) Overcoming lost or corrupted slices in video streaming
JP2005051299A (en) Packet transmission apparatus, packet reception apparatus, packet transmission method and packet reception method
RU2366103C2 (en) Storage of advanced video coding (avc) set of parametres in avc file format
WO2014073202A1 (en) Information-processing device, information-processing method, content distribution system, and computer program recording medium
MXPA06008820A (en) Storage of advanced video coding (avc) parameter sets in avc file format
JP2007318545A (en) Data transmitter, data receiver, data transmitting method, and data receiving method
WO2022266457A1 (en) Real-time augmented reality communication session
KR20100069081A (en) Method of processing vcr-like operation in vod system

Legal Events

Date Code Title Description
PD4A Correction of name of patent owner
PC41 Official registration of the transfer of exclusive right

Effective date: 20200213

点击 这是indexloc提供的php浏览器服务,不要输入任何密码和下载