RU2366103C2 - Storage of advanced video coding (avc) set of parametres in avc file format - Google Patents
Storage of advanced video coding (avc) set of parametres in avc file format Download PDFInfo
- Publication number
- RU2366103C2 RU2366103C2 RU2006132344/09A RU2006132344A RU2366103C2 RU 2366103 C2 RU2366103 C2 RU 2366103C2 RU 2006132344/09 A RU2006132344/09 A RU 2006132344/09A RU 2006132344 A RU2006132344 A RU 2006132344A RU 2366103 C2 RU2366103 C2 RU 2366103C2
- Authority
- RU
- Russia
- Prior art keywords
- information
- file
- parameter
- streaming
- avc
- Prior art date
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
Область техники, к которой относится изобретениеFIELD OF THE INVENTION
Настоящее изобретение, в общем, относится к файловому формату улучшенного видеокодирования (AVC), а более конкретно, - к хранению наборов параметров AVC в файловом формате AVC.The present invention, in General, relates to a file format enhanced video coding (AVC), and more specifically, to storing sets of AVC parameters in the file format AVC.
Предшествующий уровень техникиState of the art
Файловый формат улучшенного видеокодирования (AVC) предоставляет поддержку потоковой передачи мультимедийных данных по сети, а также локального воспроизведения. Наиболее распространенные серверы потоковой передачи используют протокол потоковой передачи в реальном времени (RTSP) вместе с протоколом описания сеанса (SDP) в качестве управляющего протокола для установки и разрыва сеансов потоковой передачи мультимедиа между клиентами и серверами. Дополнительно протокол потоковой передачи в реальном времени (RTP) используется в качестве протокола передачи данных для мультимедийной информации между серверами и клиентами.Enhanced Video Coding (AVC) file format provides support for streaming multimedia data over a network as well as local playback. The most common streaming servers use the Real-time Streaming Protocol (RTSP) together with the Session Description Protocol (SDP) as the control protocol for setting up and terminating multimedia streaming sessions between clients and servers. Additionally, the real-time streaming protocol (RTP) is used as the data transfer protocol for multimedia information between servers and clients.
Кодек AVC предоставляет средство для отделения специальной информации от видеопотока, которая является релевантной более чем для одного видеокадра. Подразумевается, что эта специальная информация должна отправляться посредством надежного транспортного протокола (такого как, к примеру, протокол управления передачей, TCP) помимо отправки посредством ненадежного транспортного протокола (такого как, например, протокол передачи дейтаграмм пользователя, UDP), вложенной в мультимедийный поток. Эта специальная информация, объединенная вместе, формирует набор параметров. Набор параметров AVC может включать в себя, например, такую информацию: размер кадра или изображения; размер окна отображения; таблицу распределения макроблоков и т.п.The AVC codec provides a means to separate specific information from a video stream that is relevant to more than one video frame. It is understood that this special information must be sent via a reliable transport protocol (such as, for example, transmission control protocol, TCP) in addition to sending via an unreliable transport protocol (such as, for example, user datagram protocol, UDP) embedded in a multimedia stream. This special information, combined together, forms a set of parameters. The set of AVC parameters may include, for example, such information: frame or image size; display window size; macroblock distribution table, etc.
Один или множество наборов параметров может существовать для любого данного видеопотока AVC. Кодер и декодер должны хранить одинаковый список наборов параметров. Каждый заголовок временного интервала в видеопотоке AVC включает в себя код, который указывает набор параметров, который должен быть использован при декодировании. На основе этого кода декодер затем может определить, какой набор параметров использовать для надлежащего декодирования. Поскольку наборы параметров не связаны с основным видеопотоком, можно и желательно отправлять их из сервера потоковой передачи мультимедиа клиенту потоковой передачи мультимедиа внеполосным способом.One or many sets of parameters may exist for any given AVC video stream. The encoder and decoder must keep the same list of parameter sets. Each slot header in the AVC video stream includes a code that indicates a set of parameters to be used in decoding. Based on this code, the decoder can then determine which set of parameters to use for proper decoding. Since the parameter sets are not related to the main video stream, it is possible and desirable to send them from the multimedia streaming server to the multimedia streaming client in an out-of-band way.
Далее приводится описание типичного сценария транзакции потоковой передачи мультимедиа. Когда клиент потоковой передачи мультимедиа запрашивает потоковую передачу мультимедиа с сервера, перед потоковой передачей типично осуществляется начальное согласование. Последовательность начального согласования влечет за собой отправку клиентом запроса на сервер, чтобы получить информацию о конкретном потоке. Затем сервер отправляет ответ клиенту с минимальными обязательными подробными сведениями, требуемыми для приема и декодирования потока. Это начальное согласование, как правило, осуществляется с помощью сетевого протокола, такого как протокол потоковой передачи в реальном времени (RTSP). Протокол RTSP может быть использован, чтобы отправлять наборы параметров из сервера потоковой передачи мультимедиа клиенту потоковой передачи мультимедиа. Тем не менее, вследствие природы сервера потоковой передачи, чтобы сервер потоковой передачи отправлял зависимые от мультимедиа данные клиенту, набор параметров должен быть сохранен в файле таким образом, чтобы сервер потоковой передачи не знал или не беспокоился о том, какой тип имеет мультимедийный файл.The following is a description of a typical media streaming transaction scenario. When a media streaming client requests media streaming from a server, an initial negotiation typically takes place before streaming. The initial negotiation sequence entails a client sending a request to the server to obtain information about a particular stream. The server then sends a response to the client with the minimum required details required to receive and decode the stream. This initial negotiation is typically accomplished using a network protocol, such as real-time streaming protocol (RTSP). RTSP can be used to send parameter sets from a multimedia streaming server to a multimedia streaming client. However, due to the nature of the streaming server, in order for the streaming server to send media-dependent data to the client, the set of parameters must be stored in a file so that the streaming server does not know or worry about what type of media file it is.
Следовательно, будет необходимо и очень выгодно иметь способ обеспечения возможности протоколу RTSP сервера потоковой передачи мультимедиа передавать наборы параметров независимым от мультимедиа способом клиенту.Therefore, it will be necessary and very advantageous to have a method for enabling the RTSP protocol of a streaming media server to transmit parameter sets in a manner independent of multimedia to the client.
Сущность изобретенияSUMMARY OF THE INVENTION
Вышеуказанные проблемы, а также остальные связанные проблемы предшествующего уровня техники разрешаются настоящим изобретением способом хранения наборов параметров AVC в файловом формате AVC. Настоящее изобретение предоставляет расширение файлового формата AVC для целей хранения усовершенствованных метаданных, чтобы улучшить услуги потоковой передачи. Расширение влечет за собой вставку наборов параметров AVC в метаданные записей указаний (Hint Track) файлового формата AVC при сохранении возможности предоставлять обратную совместимость с существующими серверами потоковой передачи.The above problems, as well as other related problems of the prior art, are solved by the present invention by storing AVC parameter sets in the AVC file format. The present invention provides an extension to the AVC file format for storing advanced metadata to improve streaming services. The extension entails inserting the AVC parameter sets into the metadata of the Hint Track records of the AVC file format while maintaining the ability to provide backward compatibility with existing streaming servers.
Согласно аспекту настоящего изобретения предусмотрен способ использования информации наборов параметров, соответствующей файлу улучшенного видеокодирования (AVC). Способ включает в себя этап, на котором встраивают информацию набора параметров в запись указаний AVC-файла.According to an aspect of the present invention, there is provided a method of using parameter set information corresponding to an advanced video coding (AVC) file. The method includes the step of embedding the parameter set information in the recording of the directions of the AVC file.
Согласно другому аспекту настоящего изобретения предусмотрено устройство для использования информации наборов параметров, соответствующей файлу улучшенного видеокодирования (AVC). Устройство включает в себя устройство встраивания для встраивания информации набора параметров в запись указаний AVC-файла.According to another aspect of the present invention, there is provided an apparatus for using parameter set information corresponding to an advanced video coding (AVC) file. The device includes an embedder for embedding parameter set information in a recording of directions of an AVC file.
Согласно еще одному аспекту настоящего изобретения предусмотрен способ использования информации наборов параметров, соответствующей файлу улучшенного видеокодирования (AVC). Способ включает в себя этапы, на которых встраивают информацию набора параметров в запись указаний AVC-файла и передают информацию наборов параметров в ходе внеполосной и независимой от мультимедиа передачи.According to another aspect of the present invention, there is provided a method of using parameter set information corresponding to an advanced video coding (AVC) file. The method includes the steps of embedding the information of the parameter set in the recording of the directions of the AVC file and transmitting the information of the parameter sets during out-of-band and multimedia-independent transmission.
Эти и другие аспекты, признаки и преимущества настоящего изобретения должны стать более очевидными из последующего подробного описания предпочтительных вариантов осуществления, которые должны рассматриваться в связи с прилагаемыми чертежами.These and other aspects, features and advantages of the present invention should become more apparent from the following detailed description of preferred embodiments that should be considered in connection with the accompanying drawings.
Краткое описание чертежейBrief Description of the Drawings
Фиг. 1 - это схема, иллюстрирующая файл 100 расширенного видеокодирования (AVC), к которому может быть применено настоящее изобретение, согласно иллюстративному варианту осуществления настоящего изобретения;FIG. 1 is a diagram illustrating an advanced video coding (AVC)
Фиг. 2 - это схема, иллюстрирующая видеокодер 200 расширенного видеокодирования (AVC), к которому может быть применено настоящее изобретение, согласно иллюстративному варианту осуществления настоящего изобретения;FIG. 2 is a diagram illustrating an advanced video coding (AVC)
Фиг. 3 - это схема, иллюстрирующая примерные метаданные 300, выводимые из AVC-кодера 200 по фиг. 2, согласно иллюстративному варианту осуществления настоящего изобретения;FIG. 3 is a diagram illustrating
Фиг. 4 - это схема, иллюстрирующая информацию 400 описания записи протокола описания сеанса (SDP) согласно иллюстративному варианту осуществления настоящего изобретения;FIG. 4 is a diagram illustrating session description protocol (SDP)
Фиг. 5 - это блок-схема высокого уровня, иллюстрирующая устройство 500 для вставки наборов параметров в записи указаний AVC-файла 599 согласно иллюстративному варианту осуществления настоящего изобретения;FIG. 5 is a high-level block diagram illustrating an apparatus 500 for inserting parameter sets in an instruction record of an
Фиг. 6 - это блок-схема высокого уровня, иллюстрирующая генерирование таблиц метаданных и запись таблиц метаданных в AVC-файл согласно иллюстративному варианту осуществления настоящего изобретения;FIG. 6 is a high level block diagram illustrating the generation of metadata tables and writing metadata tables to an AVC file according to an illustrative embodiment of the present invention;
Фиг. 7 - это блок-схема высокого уровня, иллюстрирующая запись мультимедийных данных в AVC-файл согласно иллюстративному варианту осуществления настоящего изобретения;FIG. 7 is a high level block diagram illustrating the recording of multimedia data in an AVC file according to an illustrative embodiment of the present invention;
Фиг. 8 - это блок-схема высокого уровня, иллюстрирующая записывание записи указаний в AVC-файл согласно иллюстративному варианту осуществления настоящего изобретения.FIG. 8 is a high level block diagram illustrating the recording of an instruction record in an AVC file according to an illustrative embodiment of the present invention.
Подробное описание изобретенияDETAILED DESCRIPTION OF THE INVENTION
Настоящее изобретение направлено на расширение для файлового формата AVC, общеизвестный формат хранения цифрового потокового мультимедиа, для целей хранения расширенных метаданных, чтобы улучшить услуги потоковой передачи. Расширение влечет за собой вставку наборов параметров AVC в метаданные записи указаний (Hint Track) файлового формата AVC при сохранении возможности предоставлять обратную совместимость с существующими серверами потоковой передачи. Наборы параметров встраиваются в запись указаний файлового формата AVC таким образом, чтобы протокол RTSP сервера потоковой передачи мультимедиа имел возможность передавать наборы параметров независимым от мультимедиа способом клиенту.The present invention is directed to an extension for the AVC file format, a well-known digital streaming media storage format, for the purpose of storing extended metadata to improve streaming services. The extension entails inserting AVC parameter sets into the Hint Track metadata of the AVC file format while maintaining the ability to provide backward compatibility with existing streaming servers. The parameter sets are embedded in the recording of the AVC file format instructions so that the RTSP protocol of the multimedia streaming server has the ability to transmit the parameter sets in a manner independent of multimedia to the client.
Следует принимать во внимание, что настоящее изобретение, в общем, относится к файловому формату улучшенного видеокодирования (AVC) (Международная организация по стандартизации/Международная электротехническая комиссия (ISO/IEC) 14496, часть 15), совместно разработанному Международным союзом электросвязи (ITU) и Экспертной группой по киноизображению (MPEG). Тем не менее с учетом предлагаемых в данном документе методик настоящего изобретения специалисты в данной области техники должны рассматривать этот и другие файловые форматы, к которым может быть применено настоящее изобретение, без отступления от духа и области применения настоящего изобретения.It should be appreciated that the present invention generally relates to an advanced video coding (AVC) file format (International Organization for Standardization / International Electrotechnical Commission (ISO / IEC) 14496, part 15), jointly developed by the International Telecommunication Union (ITU) and Motion Picture Expert Group (MPEG). Nevertheless, in view of the techniques of the present invention proposed herein, those skilled in the art should consider this and other file formats to which the present invention may be applied without departing from the spirit and scope of the present invention.
Следует понимать, что настоящее изобретение может быть реализовано в различных формах аппаратных средств, программного обеспечения, микропрограммного обеспечения, процессоров специального назначения или их сочетания. Предпочтительно, настоящее изобретение реализуется как сочетание аппаратных средств и программного обеспечения. Более того, программное обеспечение предпочтительно реализуется как прикладная программа, материально осуществленная на устройстве хранения программ. Прикладная программа может быть загружена в и исполнена посредством машины, содержащей любую надлежащую архитектуру. Предпочтительно, машина реализуется на вычислительной платформе, имеющей аппаратные средства, такие как один или более центральных процессоров (ЦП), оперативное запоминающее устройство (ОЗУ) и интерфейсы ввода-вывода. Вычислительная платформа также включает в себя операционную систему и код микрокоманд. Различные процессы и функции, описанные в данном документе, могут быть либо частью кода микрокоманд, либо частью прикладной программы (или сочетание вышеозначенного), которые исполняются посредством операционной системы. Помимо этого различные другие периферийные устройства могут быть подключены к вычислительной платформе, такие как дополнительное устройство хранения данных и печатающее устройство.It should be understood that the present invention can be implemented in various forms of hardware, software, firmware, special purpose processors, or a combination thereof. Preferably, the present invention is implemented as a combination of hardware and software. Moreover, the software is preferably implemented as an application program materially implemented on a program storage device. An application can be loaded into and executed by a machine containing any appropriate architecture. Preferably, the machine is implemented on a computing platform having hardware such as one or more central processing units (CPUs), random access memory (RAM), and input-output interfaces. The computing platform also includes the operating system and micro-command code. The various processes and functions described in this document can be either part of the micro-command code, or part of an application program (or a combination of the above) that are executed by the operating system. In addition, various other peripheral devices can be connected to a computing platform, such as an additional data storage device and a printing device.
Дополнительно следует понимать, что поскольку некоторые из составляющих системных компонентов и этапов способа, изображенных на прилагаемых чертежах, предпочтительно реализуются в программном обеспечении, фактические связи между системными компонентами (или этапами процесса) могут отличаться в зависимости от способа, которым запрограммировано настоящее изобретение. С учетом представленных в данном документе методик специалисты в данной области техники имеют возможность обдумать эти и аналогичные реализации или конфигурации настоящего изобретения.Additionally, it should be understood that since some of the constituent system components and process steps depicted in the accompanying drawings are preferably implemented in software, the actual relationships between system components (or process steps) may differ depending on the method by which the present invention is programmed. Based on the techniques presented herein, those skilled in the art are able to consider these and similar implementations or configurations of the present invention.
Файловый формат AVC предоставляет поддержку потоковой передачи мультимедийных данных по сети, а также локального воспроизведения. AVC-файл, который поддерживает потоковую передачу мультимедиа, включает дополнительную информацию об элементах данных в поток. Дополнительная информация включается в дополнительные записи файла, известные как записи указаний (Hint Track). Запись указаний предоставляет инструкции потоковой передачи серверу, такие как, например, информацию о форматировании пакетов, чтобы обеспечить надлежащую доставку и сведения о синхронизации, чтобы дать возможность надлежащей синхронизации передачи. Помимо этого запись указаний также может предоставлять еще информацию, такую как подробные сведения о типе мультимедиа, которое запрашивает клиент, которая далее может быть отправлена клиенту в ходе начального взаимодействия между клиентом и сервером.The AVC file format provides support for streaming multimedia data over a network as well as local playback. An AVC file that supports multimedia streaming includes additional information about data items in the stream. Additional information is included in additional file entries known as Hint Track entries. Recording instructions provides streaming instructions to the server, such as, for example, packet formatting information to ensure proper delivery and synchronization information to enable proper transmission synchronization. In addition, the guidance record may also provide further information, such as details about the type of media that the client requests, which can then be sent to the client during the initial interaction between the client and the server.
Наиболее распространенные серверы потоковой передачи используют протокол потоковой передачи в реальном времени (RTSP) вместе с протоколом описания сеанса (SDP) в качестве управляющего протокола для установки и разрыва сеансов потоковой передачи между клиентами и серверами. Дополнительно протокол потоковой передачи в реальном времени (RTP) используется в качестве протокола передачи данных для мультимедийной информации между серверами и клиентами. Следует принимать во внимание, что настоящее изобретение направлено на серверы потоковой передачи, которые используют RTSP в качестве управляющего протокола для установления сеанса. Разумеется, специалисты в данной области техники должны безусловно принимать во внимание, что настоящее изобретение также может быть модифицировано и реализовано в отношении серверов потоковой передачи, которые используют протокол, отличный от RTSP, в качестве управляющего протокола, не выходя за рамки сущности и объема настоящего изобретения.The most common streaming servers use Real-time Streaming Protocol (RTSP) together with Session Description Protocol (SDP) as the control protocol for setting up and breaking streaming sessions between clients and servers. Additionally, the real-time streaming protocol (RTP) is used as the data transfer protocol for multimedia information between servers and clients. It will be appreciated that the present invention is directed to streaming servers that use RTSP as the control protocol for establishing a session. Of course, those of ordinary skill in the art should certainly appreciate that the present invention can also be modified and implemented with respect to streaming servers that use a protocol other than RTSP as a control protocol, without departing from the spirit and scope of the present invention. .
RTSP - это текстовый протокол, в котором сообщения включают в себя заголовок и информационное исполнение. Заголовок, как правило, задается стандартом, тогда как части информационного исполнения могут зависеть от приложений. В случае основанного на RTSP сервера потоковой мультимедийной передачи сервер по умолчанию вставляет информацию протокола описания сеанса (SDP), включенную в AVC-файл, в RTSP-сообщение в ходе начального согласования потоковой передачи мультимедиа с клиентом. Поэтому посредством встраивания наборов параметров AVC в информацию SDP сервер имеет возможность передавать наборы параметров мультимедийного потока клиенту без обладания знаниями о формате мультимедиа. Как результат, наборы параметров передаются прежде какого-нибудь мультимедиа, и помимо этого они передаются с использованием надежного транспортного протокола, поскольку RTSP по умолчанию использует протокол управления передачей (TCP).RTSP is a text-based protocol in which messages include a header and information execution. The title is usually specified by the standard, while parts of the information execution may depend on the applications. In the case of an RTSP-based streaming media server, the server by default inserts the Session Description Protocol (SDP) information included in the AVC file into the RTSP message during the initial negotiation of the media streaming with the client. Therefore, by embedding the AVC parameter sets in the information, the SDP server is able to transmit the multimedia stream parameter sets to the client without knowledge of the multimedia format. As a result, parameter sets are transmitted before any multimedia, and in addition they are transmitted using a reliable transport protocol, because RTSP uses the Transmission Control Protocol (TCP) by default.
Фиг. 1 - это схема, иллюстрирующая файл 100 расширенного видеокодирования (AVC), к которому может быть применено настоящее изобретение, согласно иллюстративному варианту осуществления настоящего изобретения. AVC-файл 100 включает в себя информацию 160 видеозаписи AVC, информацию 165 звуковой записи, информацию 170 записи указаний для видео и информацию 175 записи указаний для звука. AVC-файл 100 дополнительно включает в себя звуковые записи 110, видеозаписи 120 и записи 130 указаний. Записи 130 указаний могут быть использованы для целей потоковой передачи согласно настоящему изобретению.FIG. 1 is a diagram illustrating an advanced video coding (AVC) file 100 to which the present invention can be applied, according to an illustrative embodiment of the present invention. The
Записи 130 указаний в AVC-файле 100 включают в себя специальные инструкции для сервера потоковой передачи, чтобы помогать в формировании пакетов. Эта информация предоставляется таким образом, что сервер имеет возможность пакетировать мультимедийные данные способом, подходящим для потоковой передачи, с использованием конкретного сетевого транспорта. Помимо включения специальных инструкций потоковой передачи, другие данные могут быть встроены в запись указаний, которые сервер должен немедленно отправить клиенту (например, в соответствии с настоящим изобретением другие данные могут включать в себя наборы параметров).
Далее описывается процесс сохранения наборов параметров AVC в записи указаний AVC-файла. Фиг. 2 - это схема, иллюстрирующая видеокодер 200 улучшенного видеокодирования (AVC), к которому может быть применено настоящее изобретение, согласно иллюстративному варианту осуществления настоящего изобретения. Во-первых, AVC-видеокодер 200 должен иметь, по меньшей мере, один выходной интерфейс для доставки сжатых видеоданных и соответствующих метаданных во второй модуль для целей хранения. Кроме того, в фиг. 2 включено передающее устройство 250 для передачи наборов параметров в ходе внеполосной передачи. Наборы параметров передаются встроенными в информационное наполнение SDP AVC-файла.The following describes the process of saving the AVC parameter sets to recording the directions of the AVC file. FIG. 2 is a diagram illustrating an advanced video coding (AVC)
Фиг. 3 - это схема, иллюстрирующая примерные метаданные 300, выводимые из AVC-кодера 200 по фиг. 2, согласно иллюстративному варианту осуществления настоящего изобретения. Метаданные 300, которые доставляются из AVC-видеокодера 200, могут включать в себя такую информацию, как размер 210 сжатого видеокадра, тип 215 видеокадра (к примеру, I-кадр, P-кадр и B-кадр), информацию 220 о синхронизации (к примеру, скорость передачи кадров), другие атрибуты 225 и новые наборы 230 параметров. Конкретный интерес в данной заявке представляют наборы 230 параметров, поскольку наборы 230 параметров сохраняются в AVC-файле в рамках видеопотока, а также в записи указаний, которая ссылается на видеопоток. Таким образом, для наборов 230 параметров, которые должны быть сохранены в записях указаний, данными, принимаемыми по выходному интерфейсу AVC-видеокодера, нужно надлежащим образом управлять.FIG. 3 is a diagram illustrating
Когда наборы 230 параметров являются частью метаданных 300, выводимых из AVC-видеокодера, они копируются и сохраняются в хранилище для последующего обращения, когда создается запись указаний. Это дает возможность созданию записи указаний быть более простым и оптимизированным, поскольку мультимедийная запись не должна анализироваться от начала до конца, чтобы находить наборы параметров.When the parameter sets 230 are part of the
Фиг. 4 - это схема, иллюстрирующая информацию 400 описания записи протокола описания сеанса (SDP) согласно иллюстративному варианту осуществления настоящего изобретения. Наборы 230 параметров AVC сохранены в информации 400 описания записи SDP, включенной в запись указаний. Сохранение наборов 230 параметров в записи указаний обеспечивает средство для транспортировки наборов 230 параметров с использованием надежного сетевого транспорта в ходе инициализации потокового сеанса. Что в равной степени важно, предоставляется обратная совместимость с текущими серверами потоковой передачи, поскольку дополнительного расширения к файлу не требуется. Информация 400 описания записи SDP дополнительно включает в себя информацию 410 о продолжительности записи, информацию 420 описания записи и другие атрибуты 430. Таблица 1 иллюстрирует сохранение наборов параметров AVC в информации описания записи протокола описания сеанса (SDP) согласно иллюстративному варианту осуществления настоящего изобретения.FIG. 4 is a diagram illustrating Session Description Protocol (SDP)
Информация набора параметров может быть закодирована средствами многоцелевых расширений электронной почты в Интернете (MIME) до встраивания в информационное наполнение SDP записи указаний.Parameter set information can be encoded using the Internet Multipurpose Email Extensions (MIME) before embedding instruction records in the SDP content.
Фиг. 5 - это блок-схема высокого уровня, иллюстрирующая устройство 500 для вставки наборов параметров в записи указаний AVC-файла 599 согласно иллюстративному варианту осуществления настоящего изобретения. Устройство 500 включает в себя диспетчер 510 мультимедиа и метаданных, анализатор 520 метаданных, модуль 530 вставки, модуль 540 записи мультимедиа, модуль 550 записи метаданных, модуль 560 записывания записи указаний и модуль записи 570 базовых файлов.FIG. 5 is a high-level block diagram illustrating an apparatus 500 for inserting parameter sets in an instruction record of an
Видеоданные 501 и метаданные 502 принимаются посредством диспетчера 510 мультимедиа и метаданных. Диспетчер 510 мультимедиа и метаданных обеспечивает то, чтобы процесс записи файлов выполнялся надлежащим образом и чтобы файл не записывался несогласованным образом. В большинстве случаев метаданные 502 должны располагаться в файле первыми, после чего должны следовать записи мультимедийных данных и записи указаний. Следовательно, диспетчер 510 мультимедиа и метаданных предусмотрен, чтобы управлять процессом записи.
Предусмотрено три основных модуля (540, 550, 560) записи, которые сопряжены с модулем 570 записи базовых файлов. Может показаться, что каждый из этих модулей отправляет данные для записи в базовый файл одновременно, но фактически они отправляют данные, которые должны быть записаны, в конкретном порядке (к примеру, порядке, описанном выше, т.е. метаданные, мультимедийные данные и данные указаний). Далее эти модули записи описываются дополнительно со ссылкой на фиг. 6-8.There are three main recording modules (540, 550, 560) that are coupled to the basic
Фиг. 6 - это блок-схема высокого уровня, иллюстрирующая генерирование таблиц метаданных и запись таблиц метаданных в AVC-файл согласно иллюстративному варианту осуществления настоящего изобретения. Фиг. 7 - это блок-схема высокого уровня, иллюстрирующая запись мультимедийных данных в AVC-файл согласно иллюстративному варианту осуществления настоящего изобретения. Фиг. 8 - это блок-схема высокого уровня, иллюстрирующая записывание записи указаний в AVC-файл согласно иллюстративному варианту осуществления настоящего изобретения. Как указано выше, записывание записи указаний AVC в AVC-файл влечет за собой извлечение наборов параметров из метаданных и сохранение их в информации SDP записи указаний.FIG. 6 is a high level block diagram illustrating the generation of metadata tables and writing metadata tables to an AVC file according to an illustrative embodiment of the present invention. FIG. 7 is a high level block diagram illustrating the recording of multimedia data in an AVC file according to an illustrative embodiment of the present invention. FIG. 8 is a high level block diagram illustrating the recording of an instruction record in an AVC file according to an illustrative embodiment of the present invention. As indicated above, writing the AVC instruction record to the AVC file entails extracting the parameter sets from the metadata and storing them in the SDP instruction record information.
Ссылаясь на фиг. 6 и 8, метаданные вводят в диспетчер 510 мультимедиа и метаданных. Как известно, метаданные - это набор структур данных для сохранения зависимой от мультимедиа информации, такой как, но не только, временные метки, размеры кадров, наборы параметров и т.п. Метаданные используются, например, для того, чтобы поддерживать синхронизацию соответствующего мультимедиа с дополнительными данными для целей, к примеру, декодирования, кодирования, отображения, доступа и передачи.Referring to FIG. 6 and 8, metadata is entered into the media and
Диспетчер 510 мультимедиа и метаданных извлекает метаданные из мультимедиа и анализирует метаданные на предмет наборов параметров (см. фиг. 8). Таким образом, если наборы параметров присутствуют в метаданных, анализатор 520 метаданных извлекает наборы параметров и передает их в структуру данных SDP записи указаний. В противном случае, если набор параметров не обнаружен, анализатор 520 метаданных преобразует метаданные в стандартизированные структуры данных, что обеспечивает средство для записи информации в файл. Модуль 550 записи метаданных использует интерфейс прикладного программирования (API) модуля 570 базовой записи, чтобы записать метаданные в AVC-файл 599.The media and
На фиг. 7 диспетчер 510 мультимедиа и метаданных извлекает мультимедиа и общий размер мультимедиа. Затем данные передаются непосредственно в модуль 540 записи мультимедиа. Модуль записи мультимедиа также использует API модуля 570 базовой записи, чтобы записать выборки мультимедиа в AVC-файл 599.In FIG. 7, the media and
Хотя иллюстративные варианты осуществления описаны со ссылкой на прилагаемые чертежи, следует понимать, что настоящее изобретение не ограничено исключительно этими вариантами осуществления и что различные изменения и модификации могут быть внесены в него специалистами в данной области техники без отступления от сущности и объема изобретения. Подразумевается включение всех этих изменений и модификаций в объем изобретения, задаваемый прилагаемой формулой изобретения.Although illustrative embodiments have been described with reference to the accompanying drawings, it should be understood that the present invention is not limited solely to these embodiments and that various changes and modifications can be made by those skilled in the art without departing from the spirit and scope of the invention. It is intended to include all of these changes and modifications within the scope of the invention as defined by the appended claims.
Claims (22)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2006132344/09A RU2366103C2 (en) | 2004-02-10 | 2004-02-10 | Storage of advanced video coding (avc) set of parametres in avc file format |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2006132344/09A RU2366103C2 (en) | 2004-02-10 | 2004-02-10 | Storage of advanced video coding (avc) set of parametres in avc file format |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2006132344A RU2006132344A (en) | 2008-03-20 |
RU2366103C2 true RU2366103C2 (en) | 2009-08-27 |
Family
ID=39279384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2006132344/09A RU2366103C2 (en) | 2004-02-10 | 2004-02-10 | Storage of advanced video coding (avc) set of parametres in avc file format |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2366103C2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6134243A (en) * | 1998-01-15 | 2000-10-17 | Apple Computer, Inc. | Method and apparatus for media data transmission |
RU2002101128A (en) * | 2000-04-21 | 2003-07-27 | Сони Корпорейшн | METHOD AND DEVICE FOR INFORMATION PROCESSING, PROGRAM AND RECORDING MEDIA |
WO2003073767A1 (en) * | 2002-02-25 | 2003-09-04 | Sony Electronics, Inc. | Method and apparatus for supporting avc in mp4 |
WO2003073770A1 (en) * | 2002-02-25 | 2003-09-04 | Sony Electronics, Inc. | Method and apparatus for supporting avc in mp4 |
WO2003098475A1 (en) * | 2002-04-29 | 2003-11-27 | Sony Electronics, Inc. | Supporting advanced coding formats in media files |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2273109C2 (en) * | 2000-09-07 | 2006-03-27 | Сони Корпорейшн | Method and device for processing information, program and data carrier |
-
2004
- 2004-02-10 RU RU2006132344/09A patent/RU2366103C2/en active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6134243A (en) * | 1998-01-15 | 2000-10-17 | Apple Computer, Inc. | Method and apparatus for media data transmission |
RU2002101128A (en) * | 2000-04-21 | 2003-07-27 | Сони Корпорейшн | METHOD AND DEVICE FOR INFORMATION PROCESSING, PROGRAM AND RECORDING MEDIA |
WO2003073767A1 (en) * | 2002-02-25 | 2003-09-04 | Sony Electronics, Inc. | Method and apparatus for supporting avc in mp4 |
WO2003073770A1 (en) * | 2002-02-25 | 2003-09-04 | Sony Electronics, Inc. | Method and apparatus for supporting avc in mp4 |
WO2003098475A1 (en) * | 2002-04-29 | 2003-11-27 | Sony Electronics, Inc. | Supporting advanced coding formats in media files |
Non-Patent Citations (1)
Title |
---|
WENGER S. et al, RTP payload Format for JVT Video, RTP PAYLOAD FORMAT FOR JVT VIDEO, 21.02.2002, найдено на: http://www.cs.columbia.edu/~hgs/ * |
Also Published As
Publication number | Publication date |
---|---|
RU2006132344A (en) | 2008-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11805302B2 (en) | Method, device, and computer program for transmitting portions of encapsulated media content | |
US7853981B2 (en) | Multimedia streaming service system and method | |
CN110870282B (en) | Processing media data using file tracks of web content | |
KR100928998B1 (en) | Adaptive Multimedia System and Method for Providing Multimedia Contents and Codecs to User Terminals | |
US7251328B2 (en) | System for secure decryption of streaming media using selective decryption of header information and decryption of reassembled content | |
US8559788B2 (en) | Process for placing a multimedia object in memory, data structure and associated terminal | |
US20160255133A1 (en) | Network streaming of coded video data | |
CN110832872B (en) | Handling media data using generic descriptors for file format boxes | |
US20230035998A1 (en) | System and method for data stream fragmentation | |
US20070143807A1 (en) | Data distribution apparatus, data provision apparatus and data distribution system comprised thereof | |
TW200901761A (en) | Media stream recording into a reception hint track of a multimedia container file | |
AU2004307804A2 (en) | Streaming from server to client | |
US20180176278A1 (en) | Detecting and signaling new initialization segments during manifest-file-free media streaming | |
CN101198045A (en) | A Streaming Media Digital Watermarking System | |
EP3741132B1 (en) | Processing dynamic web content of an iso bmff web resource track | |
US8879641B2 (en) | Storage of advanced video coding (AVC) parameter sets in AVC file format | |
EP4356593A1 (en) | Real-time augmented reality communication session | |
US10694213B1 (en) | Overcoming lost or corrupted slices in video streaming | |
JP2005051299A (en) | Packet transmission apparatus, packet reception apparatus, packet transmission method and packet reception method | |
RU2366103C2 (en) | Storage of advanced video coding (avc) set of parametres in avc file format | |
WO2014073202A1 (en) | Information-processing device, information-processing method, content distribution system, and computer program recording medium | |
MXPA06008820A (en) | Storage of advanced video coding (avc) parameter sets in avc file format | |
JP2007318545A (en) | Data transmitter, data receiver, data transmitting method, and data receiving method | |
WO2022266457A1 (en) | Real-time augmented reality communication session | |
KR20100069081A (en) | Method of processing vcr-like operation in vod system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PD4A | Correction of name of patent owner | ||
PC41 | Official registration of the transfer of exclusive right |
Effective date: 20200213 |