+

KR101992475B1 - 현재 플레이 중인 텔레비전 프로그램과 연관된 메타데이터를 식별하기 위해 오디오 스트림 사용 - Google Patents

현재 플레이 중인 텔레비전 프로그램과 연관된 메타데이터를 식별하기 위해 오디오 스트림 사용 Download PDF

Info

Publication number
KR101992475B1
KR101992475B1 KR1020157029521A KR20157029521A KR101992475B1 KR 101992475 B1 KR101992475 B1 KR 101992475B1 KR 1020157029521 A KR1020157029521 A KR 1020157029521A KR 20157029521 A KR20157029521 A KR 20157029521A KR 101992475 B1 KR101992475 B1 KR 101992475B1
Authority
KR
South Korea
Prior art keywords
information
instructions
implementations
content
description data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020157029521A
Other languages
English (en)
Other versions
KR20150131297A (ko
Inventor
스티븐 키스 하인스
팀보 드레이슨
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/927,015 external-priority patent/US8849959B2/en
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20150131297A publication Critical patent/KR20150131297A/ko
Application granted granted Critical
Publication of KR101992475B1 publication Critical patent/KR101992475B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6543—Transmission by server directed to the client for forcing some client operations, e.g. recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H04N7/0882—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of character code signals, e.g. for teletext

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

현재 플레이되는 텔레비젼 프로그램과 연관된 메타데이터를 식별하기 위해 오디오 스트림을 이용하기 위한 시스템들 및 방법들이 개시된다. 폐쇄 자막들을 포함하는 비디오 스트림이 수신된다. 폐쇄 자막들로부터 정보의 세트가 결정된다. 정보의 세트를 포함하는 요청이 추가적인 프로세싱을 위해 클라이언트로부터 원격 위치된 서버에 전송된다. 서버로부터 명령들의 세트가 수신된다. 명령들의 세트는, 정보의 세트의 추가적인 프로세싱에 기초하여 결정된다. 명령들의 세트를 수신하는 것에 응답하여 명령들의 세트에 따라 하나 이상의 애플리케이션들이 실행된다.

Description

현재 플레이 중인 텔레비전 프로그램과 연관된 메타데이터를 식별하기 위해 오디오 스트림 사용{USING AN AUDIO STREAM TO IDENTIFY METADATA ASSOCIATED WITH A CURRENTLY PLAYING TELEVISION PROGRAM}
[0001] 본 설명은 일반적으로 플레이 중인 텔레비전 프로그램들과 연관된 인터넷-액세스 가능 컨텐츠를 제시하도록 구성된 시스템들, 방법들, 및 디바이스들에 관한 것이다.
[0002] 비디오 컨텐츠는 때때로 비디오의 컨텐츠에 관한 몇몇 액션을 취하도록 뷰어들에게 프롬프팅하는 청각적 또는 시각적 메시지를 포함한다. 예를 들어, 텔레비전 광고는 물건에 관한 쿠폰들 또는 정보를 얻기 위하여 광고된 물건과 연관된 물건의 웹사이트를 방문하도록 사용자에게 프롬프팅할 수 있다. 다른 예에서, 텔레비전 프로그램 또는 영화의 브로드캐스트 동안, 메시지는 텔레비전 프로그램 또는 영화에 묘사되거나 연관된 사람들, 장소들 또는 사물들에 관한 보다 많은 정보를 보도록 뷰어가 웹사이트에 방문할 것을 프롬프팅하게 나타날 수 있다. 심지어 프롬프팅 없이, 많은 사용자들은 그들이 시청하는 비디오에 관련된 사람, 장소 또는 사물에 관심이 있다. 통상적으로, 비디오 스트림에 관련된 정보를 얻기 위하여, 사용자는 인터넷-인에이블링 디바이스를 사용하여 웹사이트를 방문할 필요가 있을 것이다. 기존 방법들은 시청 경험 외측에 있는 몇몇 액션을 사용자들이 취하게 요구하기 때문에 비효율적이다. 또한 많은 뷰어들은 비디오 컨텐츠에 관한 부가적인 정보를 제공하는 청각 메시지들 및 시각 메시지들을 놓치거나 무시할 수 있고, 이는 비디오 컨텐츠를 보는 동안 많은 뷰어들이 컴퓨팅 디바이스를 동작시키는데 불편할 수 있다.
[0003] 본원에 설명된 방법들 및 시스템들은 사용자가 비디오 컨텐츠를 보는 동안 비디오 컨텐츠에 관련된 정보를 디스플레이하기 위한 효율적인 방식을 제공한다. 예를 들어, 차에 관한 광고는 디스플레이 디바이스상에 디스플레이될 수 있고 사용자가 광고를 보는 동안, 디스플레이 디바이스에 연결된 클라이언트 디바이스는 정보의 세트를 얻기 위하여 폐쇄 캡션(closed caption) 컨텐츠를 파싱하고, 정보의 세트를 서버에 전송하고, 서버로부터 명령들의 세트를 얻고 그리고 명령들의 수신된 세트에 따라 하나 또는 그 초과의 기능들을 수행한다. 하나 또는 그 초과의 기능들은 폐쇄 캡션 컨텐츠에 관한 정보를 디스플레이한다. 이 예에서, 명령들의 세트는 특정 타입 또는 브랜드의 차에 관한 정보를 웹 페이지에 디스플레이하기 위한 브라우저, 준비한 차에 대한 교육용 비디오를 보여주기 위한 미디어 플레이어, 차에 관한 물품들을 디스플레이하기 위한 피드 판독기 애플리케이션, 또는 광고의 주제인 차에 대한 쿠폰들을 제시하기 위한 쿠폰 북 애플리케이션 같은 하나 또는 그 초과의 애플리케이션들을 실행하기 위한 명령들을 포함한다. 하나 또는 그 초과의 애플리케이션들은 광고가 플레이되는 동안 실행되고 하나 또는 그 초과의 애플리케이션들은 디스플레이 디바이스 상 광고와 함께 동시에 디스플레이된다.
[0004] 몇몇 구현들에 따라, 시스템들 및 방법들은 정보를 디스플레이하기 위해 제공된다. 폐쇄 캡션들을 포함하는 비디오 스트림은 클라이언트 디바이스에서 수신된다. 정보의 세트는 폐쇄 캡션들의 컨텐츠로부터 결정된다. 정보의 세트를 포함하는 요청은 프로세싱을 위해 클라이언트 디바이스로부터 원격으로 위치된 서버에 전송된다. 명령들의 세트는 서버로부터 수신된다. 명령들의 세트는 정보의 세트에 관한 정보를 디스플레이하기 위한 명령들을 포함한다. 한 또는 그 초과의 애플리케이션들은 명령들의 세트를 수신하는 것에 응답하여 명령들의 세트에 따라 실행된다.
[0005] 몇몇 구현들에 따라, 비디오 스트림의 폐쇄 캡션 컨텐츠로부터 추출된 정보의 세트를 포함하는 클라이언트 요청은 서버에서 수신된다. 하나 또는 그 초과의 관련 아이텐티티들은 정보의 세트로부터 식별된다. 정보의 세트와 연관된 명령들의 세트는 결정된다. 명령들의 세트는 클라이언트에게 전송된다.
[0006] 본 개시의 다른 양상은 하나 또는 그 초과의 프로세서들 및 하나 또는 그 초과의 프로세서들에 의해 실행될 하나 또는 그 초과의 프로그램들을 저장하는 메모리를 가진 컴퓨팅 디바이스에서: 비디오 스트림을 얻는 단계 ― 상기 비디오 스트림은 오디오 디스크립션(description) 데이터를 포함함 ―; 오디오 디스크립션 데이터로부터 정보의 세트를 결정하는 단계 ― 정보의 세트는 오디오 디스크립션 데이터로부터 유도된 하나 또는 그 초과의 심볼들 또는 워드들을 포함함 ―; 정보의 세트를 포함하는 요청을 프로세싱을 위한 컴퓨팅 디바이스로부터 원격으로 위치된 서버에 전송하는 단계; 서버로부터 명령들의 세트를 수신하는 단계 ― 명령들의 세트는 정보의 세트에 관한 컨텐츠 정보를 디스플레이하기 위한 명령들을 포함함 ―; 및 명령들의 세트를 수신하는 단계에 응답하여, 그리고 상기 명령들의 세트에 따라, 컨텐츠 정보의 타입에 기초하여 하나 또는 그 초과의 애플리케이션들을 실행하는 단계를 포함하는 방법의 구현들을 포함하고, 하나 또는 그 초과의 애플리케이션들은 웹 브라우저, 뮤직 애플리케이션, 피더 판독기 애플리케이션, 쿠폰 애플리케이션, 및 컨텐츠 뷰어 중 적어도 하나를 포함한다.
[0007] 몇몇 구현들에서, 방법은 비디오 스트림의 디스플레이에 인접하게, 하나 또는 그 초과의 애플리케이션들로부터의 출력을 디스플레이하기 위하여 포맷팅(formatting)하는 단계를 더 포함한다.
[0008] 몇몇 구현들에서, 정보의 세트는 오디오 디스크립션 데이터로부터 유도된 비-스피치 정보를 포함한다. 몇몇 구현들에서, 정보의 세트는 오디오 디스크립션 데이터로부터 추출된 적어도 하나의 심볼을 포함한다. 몇몇 구현들에서, 정보의 세트는 오디오 디스크립션 데이터로부터 추출된 적어도 하나의 문장을 포함한다. 몇몇 구현들에서, 하나 또는 그 초과의 애플리케이션들로부터의 출력은 비디오 스트림과 동시에 디스플레이된다.
[0009] 몇몇 구현들에서, 하나 또는 그 초과의 애플리케이션들로부터의 출력은 컴퓨팅 디바이스와 동기화된 제 2 디바이스상에 동시에 디스플레이된다.
[0010] 일부 구현들에서, 오디오 디스크립션 데이터로부터 정보의 세트를 결정하는 단계는 오디오 컨텐츠를 텍스트로 변환하기 위해 스피치 인지 기술을 적용하는 단계를 포함한다. 일부 구현들에서, 오디오 디스크립션 데이터로부터 정보의 세트를 결정하는 단계는 오디오 디스크립션 데이터가 청취될 수 있도록 하기 위해서 오디오 디스크립션 데이터를 플레이하지 않고도 오디오 디스크립션 데이터를 텍스트로 변환하는 단계를 포함한다.
[0011] 일부 구현들에서, 정보의 세트는 오디오 디스크립션 데이터로부터 추출되는 적어도 일부 텍스트를 포함한다.
[0012] 일부 구현들에서, 그 방법은 오디오 디스크립션 데이터에 포함된 오디오 컨텐츠의 플레이를 개시하기 위한 코드를 전송하는 단계; 오디오 컨텐츠의 적어도 일부를 레코딩하는 단계; 및 레코딩된 오디오 컨텐츠로부터 텍스트를 추출하는 단계를 더 포함한다.
[0013] 본 개시에서는, 위의 설명된 방법들의 하나 이상의 단계들을 실행하기 위한 컴퓨팅 시스템 및 비-일시적 컴퓨터 판독가능 저장 매체들이 또한 제공된다.
[0014] 본 개시가 더 상세히 이해될 수 있도록 하기 위해서, 다양한 구현들의 특징들을 참조하여 더 상세한 설명이 이루어질 수 있고, 그 구현들 중 일부는 첨부된 도면들에 예시된다. 그러나, 설명이 다른 유효한 특징들을 허용할 수 있어서, 첨부된 도면들은 단순히 본 개시의 더욱 적절한 특징들을 예시하는 것이고, 따라서 제한적인 것으로 고려되지 않을 것이다.
[0015] 도 1은 일부 구현들에 따른 분배형 클라이언트-서버 시스템을 예시하는 블록도이다.
[0016] 도 2a는 일부 구현들에 따른 예시적인 서버 시스템의 구조를 예시하는 블록도이다.
[0017] 도 2b는 일부 구현들에 따른 예시적인 브로드캐스트 시스템의 구조를 예시하는 블록도이다.
[0018] 도 3은 일부 구현들에 따른 예시적인 클라이언트 디바이스의 구조를 예시하는 블록도이다.
[0019] 도 4는 정보를 디스플레이하는 프로세스의 개요를 예시하는 흐름도이다.
[0020] 도 5a, 도 5b, 도 5c, 도 5d, 및 도 5e는 일부 구현들에 따른 예시적인 스크린샷들이다.
[0021] 도 6은 정보를 디스플레이하는 프로세스를 예시하는 흐름도이다.
[0022] 도 7은 클로즈된 캡션들로부터 추출되는 정보의 세트에 기초하여 명령들의 세트를 결정하는 프로세스를 예시하는 흐름도이다.
[0023] 도 8은 클라이언트-서버 환경의 구현의 도면이다.
[0024] 도 9a는 일부 구현들에 따른 텔레비전 디스플레이의 예시적인 스크린샷의 개략도이다.
[0025] 도 9b는 일부 구현들에 따른 제 2 스크린 클라이언트 디바이스(즉, 테블릿) 및 텔레비전 디바이스의 예시적인 스크린샷들의 개략도이다.
[0026] 도 10은 프로그램 데이터에 포함된 오디오 디스크립션 데이터를 사용하여 연관된 컨텐츠 및 정보를 디스플레이하는 프로세스의 개요를 예시하는 신호 흐름도이다.
[0027] 도 11은 프로그램 데이터에 포함된 오디오 디스크립션 데이터를 사용하여 연관된 컨텐츠 및 정보를 디스플레이하는 방법의 구현의 흐름도이다.
[0028] 도 12는 오디오 디스크립션 데이터로부터 추출되는 정보의 세트에 기초하여 명령들의 세트를 결정하는 방법의 구현의 흐름도이다.
[0029] 일반적인 실시에 따르면, 도면들에 예시된 다양한 특징들은 실척대로 도시되지 않을 수 있다. 따라서, 다양한 특징들의 치수들은 명확성을 위해 임의적으로 확장 또는 축소될 수 있다. 게다가, 도면들은 정해진 시스템, 방법 또는 디바이스의 컴포넌트들 모두를 묘사하지 않을 수 있는데, 그 이유는 공지된 방법들, 컴포넌트들, 및 회로들이 간략성을 위해 철저히 상세하게는 설명되지 않기 때문이다. 마지막으로, 동일한 참조 숫자들이 상세한 설명 및 도면들에 걸쳐 동일한 특징들을 나타내기 위해 사용된다.
[0030] 본원에 설명된 다양한 구현들은 텔레비전 또는 디스플레이 상에서 동시에 플레이하는 특정 텔레비전 프로그램과 연관된 서비스들, 컨텐츠 및/또는 인터넷-액세스가능 및/또는 인터넷-기반 기능을 상호작용식 텔레비전 슈트의 기술들의 일부로서 실시간으로 식별하고 제시하도록 인에이블되는 시스템들, 방법들 및/또는 디바이스들을 포함한다. 일부 구현들에서, 연관된 컨텐츠를 식별하는 프로세스는 미디어(예를 들어, 텔레비전) 프로그램에 대한 비디오 스트림 데이터에 포함된 폐쇄 자막 데이터 및 오디오 디스크립션 데이터 중 적어도 하나를 분석하는 것을 포함한다. 예를 들어, 본 개시의 일 양상은, 미디어 프로그램에 대한 비디오 스트림 데이터에 포함된 폐쇄 자막 데이터 및 오디오 디스크립션 데이터 중 적어도 하나를 획득하고, 비디오 스트림 데이터에 포함된 폐쇄 자막 데이터 및 오디오 디스크립션 데이터 중 적어도 하나로부터 텍스트를 추출하고, 추출된 텍스트 중 적어도 일부에 기초하여 정보에 대한 요청을 전송하며, 그 요청에 대한 응답으로 수신되는 연관된 컨텐츠 및/또는 정보를 디스플레이함으로써, 미디오 프로그램과 연관된 컨텐츠를 식별하고 제시하는 방법이다.
[0031] 첨부 도면들에 예시된 예시적인 구현들의 철저한 이해를 제공하기 위해 본원에서는 많은 세부사항들이 설명된다. 그러나, 본 발명이 이러한 특정 세부사항들 없이도 실시될 수 있다. 잘 알려진 방법들, 절차들, 컴포넌트들, 및 회로들은 예시적인 구현들의 더욱 적절한 양상들을 불필요하게 불명료하게 하지 않도록 하기 위해서 철저히 상세하게는 설명되지 않는다.
[0032] 도 1은 구현들 중 일부를 위해 구현되는 분배형 시스템(100)을 예시하는 블록도이다. 클라이언트-서버 시스템(100)은 하나 이상의 클라이언트 디바이스들(102), 통신 네트워크(104), 서버 시스템(106), 디스플레이 디바이스(108) 및 브로드캐스트 시스템(128)을 포함한다. 서버 시스템(106)은 통신 네트워크(104)에 의해서 하나 이상의 클라이언트 디바이스(102) 및 브로드캐스트 시스템(128)에 커플링된다.
[0033] 브로드캐스트 시스템(128)은 비디오 스트림들(161)을 하나 이상의 클라이언트 디바이스들(102)에 브로드캐스팅한다. 서버 시스템(106)은 폐쇄 자막 컨텐츠로부터 유도되는 정보의 세트를 포함하는 요청을 수신하고, 정보의 세트에 기초하여 명령들의 세트를 결정하며, 명령들의 세트를 실행을 위해 클라이언트 디바이스(102)로 전송한다. 클라이언트 디바이스(102)에 의해 실행될 때, 명령들의 세트는 클라이언트 디바이스(102)로 하여금 비디오 스트림의 폐쇄 자막들로부터 추출되는 정보의 세트에 관한 정보를 디스플레이하게 한다.
[0034] 몇몇 구현들에 따르면, 비디오 또는 비디오 스트림은, 움직이고 있는(in motion) 물체들(objects)를 갖는 장면들(scenes)을 나타내는 이미지들 또는 프레임들의 시퀀스이다. 비디오는 초당 다수의 이미지들 또는 프레임들을 디스플레이한다. 예를 들어, 비디오는 일반적으로, 초당 30 프레임들을 디스플레이한다. 대조적으로, 본원에서 이용되는 바와 같은 스틸 이미지(still image)는 독립형이고(stand alone), 고정되거나(static) 정지되어(still) 있으며, 그리고 비디오가 전형적으로 포함하고 있는, 움직임(motion) 또는 변화(change)를 포함하지 않는다. 본원에서의 이미지는, 보다 큰 이미지 또는 비디오 내에 포함되거나 내장될(embedded) 수 있다.
[0035] 폐쇄 자막(closed captioning)은 시청자(audience)의 멤버들을 선택하기 위해 자막 텍스트를 디스플레이할 수 있는 능력을 나타낸다. 폐쇄 자막들은 전형적으로, 넌-스피치 엘리먼트들을 종종 포함하는, 프로그램의 오디오 부분의 트랜스크립션(transcription)을 (글자그대로의(verbatim) 또는 편집된 형태로), 이것이 발생할 때에 또는 약간의 지연을 가지면서, 디스플레이한다. 폐쇄된 자막들에서의 용어 "폐쇄"는, 모든 시청자들이 자막을 볼 수 있는 것은 아님을 나타낸다. 폐쇄 자막들을 활성화하거나 디코딩할 것을 선택한 사용자들 만이 이들을 볼 수 있다. 폐쇄 자막들은, 모든 사용자들이 볼 수 있는 개방 자막들(open captions)과 구별된다. 폐쇄 자막들은 또한 서브타이틀들(subtitles)과 구별된다. 서브타이틀들은, 시청자가 들을 수는 있지만 랭귀지 또는 악센트를 이해할 수 없는 것으로 가정하며, 따라서, 서브타이틀들은 대화(dialogue) 및 일부 온-스크린 텍스트만을 트랜스크립팅한다. 폐쇄 자막들은, 청각 장애인들 및 난청인들에게, 구두 대화(spoken dialogue), 뮤직, 음향 효과들, 및 말하는 사람들의 아이덴티티 및 이들의 말하는 방식과 같은 넌-스피치 정보를 포함하는 모든 중요한 오디오 컨텐츠를 설명하는 것을 목적으로 한다. 폐쇄 자막들은 종종, 컨텐츠 창작자 또는 컨텐츠의 브로드캐스터에 의해 생성된다.
[0036] 몇몇 구현들에서, 서버 시스템(106)은 단일 서버 시스템으로서 구현되지만, 다른 구현들에서는, 다중 서버들의 분산 시스템(distributed system)으로서 구현된다. 단지 설명의 편의를 위해, 서버 시스템(106)은 단일 서버 시스템 상에서 구현되는 것으로서 하기에서 설명된다. 몇몇 구현들에서, 브로드캐스트 시스템(128)은 단일 서버 시스템으로서 구현되지만, 다른 구현들에서는, 다중 서버들의 분산 시스템으로서 구현된다. 단지 설명의 편의를 위해, 브로드캐스트 시스템(128)은 단일 서버 시스템 상에서 구현되는 것으로서 하기에서 설명된다.
[0037] 통신 네트워크(들)(104)는 임의의 유선 또는 무선 근거리 통신망(LAN) 및/또는 광역망(WAN), 이를 테면 인트라넷, 엑스트라넷, 또는 인터넷일 수 있다. 통신 네트워크(104)는 서버 시스템(106)과 하나 이상의 클라이언트 디바이스들(102) 사이에 통신 성능을 제공하는 것으로 충분하다. 몇몇 구현들에서, 통신 네트워크(104)는 TCP/IP(Transmission Control Protocol/Internet Protocol)를 이용하여 정보를 전송하기 위해 HTTP(HyperText Transport Protocol)를 이용한다. HTTP는 클라이언트 디바이스들(102)이 통신 네트워크(104)를 통해 이용가능한 다양한 리소스들을 액세스할 수 있게 한다. 하지만, 다양한 구현들은 임의의 특정 프로토콜의 이용으로 제한되지 않는다.
[0038] 몇몇 구현들에서, 서버 시스템(106)은 네트워크(104)와 서버 시스템(106) 간의 통신을 가능하게 하는 프론트 엔드 서버(112)를 포함한다. 몇몇 구현들에서, 프론트 엔드 서버(112)는 명령들의 세트에 대한 요청을 수신하도록 구성된다. 몇몇 구현들에서, 프론트 엔드 서버(112)는, 요청하는 클라이언트 디바이스(102)에 명령들의 세트를 전송하도록 구성된다. 몇몇 구현들에서, 프론트 엔드 서버(112)는 컨텐츠 파일들 또는 컨텐츠 파일들에 대한 링크들 및/또는 컨텐츠 파일들을 전송하도록 구성된다. 이러한 문맥에서, 용어 "컨텐츠 파일"은, 비디오 파일, 이미지 파일, 뮤직 파일, 웹 페이지, 이메일 메시지, SMS 메시지, 컨텐츠 피드, 광고, 쿠폰, 플레이리스트 및 XML 컨텐츠 파일을 포함하지만 이것들로 제한되지 않는, 임의의 포맷의 임의의 전자 파일을 의미한다. 몇몇 구현들에서, 프론트 엔드 서버(112)는 또한, 클라이언트(102)에 비디오 스트림을 전송하도록 구성된다.
[0039] 컨텐츠 피드(또는 채널)은, 피드 소스에 존재하거나, 최근에 부가되었거나, 최근에 업데이트된 컨텐츠 아이템들의 리스트를 제공하는 서비스 또는 리소스이다. 컨텐츠 피드 내의 컨텐츠 아이템은, 아이템 자체와 관련된 컨텐츠(컨텐츠 아이템이 특정하는 실제 컨텐츠), 타이틀(종종 헤드라인이라 불림), 및/또는 컨텐츠의 디스크립션, 컨텐츠의 네트워크 위치 또는 로케이터(예를 들어, URL), 또는 이들의 임의의 조합을 포함할 수 있다. 예를 들어, 컨텐츠 아이템이 텍스트 아티클(article)을 식별한다면, 컨텐츠 아이템은, 타이틀(또는 헤드라인) 및 로케이터와 함께, 인라인(inline)의 아티클 자체를 포함할 수 있다. 대안적으로, 컨텐츠 아이템은 타이틀, 디스크립션 및 로케이터를 포함할 수 있지만, 아티클 컨텐츠는 포함하지 않을 수 있다. 따라서, 몇몇 컨텐츠 아이템들은 그러한 아이템들과 관련된 컨텐츠를 포함할 수 있지만, 다른 것들은 관련된 컨텐츠에 대한 링크들을 포함하지만 아이템들의 완전한(full) 컨텐츠를 포함하지는 않는다. 컨텐츠 아이템은 또한, 컨텐츠에 대한 부가적인 정보를 제공하는 부가적인 메타데이터를 포함할 수 있다. 컨텐츠의 완전한 버전은, 웹 페이지들, 이미지들, 디지털 오디오, 디지털 비디오, PDF(Portable Content file Format) 컨텐츠 파일들 등을 포함하지만 이것들로 제한되지 않는, 임의의 머신-판독가능한 데이터일 수 있다.
[0040] 몇몇 구현들에서, RSS와 같은 컨텐츠 신디케이션(syndication) 포맷을 이용하여 컨텐츠 피드가 특정된다. RSS는, "리치 사이트 서머리(rich site summary)", "RDF 사이트 서머리" 또는 "초 간편 신디케이션(Really Simple Syndication)"을 나타내는 두문자어이다. "RSS"는, 컨텐츠 피드 및 피드 내에 포함되는 컨텐츠 아이템들을 특정하기 위해 XML(Extensible Markup Language)에 기초하는 포맷들의 패밀리 중 임의의 것을 나타낼 수 있다. 몇몇 다른 구현들에서, 아톰(Atom) 신디케이션 포맷 또는 VCALENDAR 카렌다 포맷과 같은 다른 컨텐츠 신디케이션 포맷들이 컨텐츠 피드들을 특정하기 위해 이용될 수 있다.
[0041] 몇몇 구현들에서, 서버 시스템(106)은 하나 이상의 관련된 아이덴티티들 및 관련된 메트릭들을 저장하는 아이덴티티 데이터베이스(116)를 포함한다. 아이덴티티는 사람, 장소, 또는 사물(thing)을 나타낼 수 있으며, 관련된 메트릭이 각각의 아이덴티티의 중요성을 판단한다(measure). 몇몇 구현들에서, 아이덴티티 데이터베이스(116)는 분산 데이터베이스이다.
[0042] 몇몇 구현들에서, 서버 시스템(106)은, 아이덴티티 데이터베이스(116)에 저장된 정보를 관리 및 검색하는 식별 모듈(114)을 포함한다. 식별 모듈(114)은 요청들을 수신하며, 그리고 요청과 매칭되는, 아이덴티티 데이터베이스(116)에 저장된 아이덴티티들을 반환한다.
[0043] 몇몇 구현들에서, 서버 시스템(106)은 사용자 데이터를 저장하는 사용자 데이터베이스(124)를 포함한다. 각각의 사용자에 대한 사용자 데이터는 사용자 식별자, 관련된 컨텐츠 파일들 및 기호들(preferences)을 포함한다. 몇몇 구현들에서, 사용자 데이터베이스(124)는 분산 데이터베이스이다.
[0044] 일부 구현들에서, 서버 시스템(106)은 컨텐츠 데이터베이스(122)를 포함한다. 일부 구현들에서, 컨텐츠 데이터베이스(122)는 비디오들, 이미지들, 뮤직, 웹 페이지들, 이메일 메시지들, SMS 메시지들, 컨텐츠 피드들, 광고들, 쿠폰들, 플레이리스트들 XML 컨텐츠 파일들을 저장한다. 일부 구현들에서, 컨텐츠 데이터베이스(122)는 비디오들, 이미지들, 뮤직, 웹 페이지들, 이메일 메시지들, SMS 메시지들, 컨텐츠 피드들, 광고들, 쿠폰들, 플레이리스트들 및 XML 컨텐츠 파일들에 대한 링크들을 저장한다. 일부 구현들에서, 컨텐츠 데이터베이스(122)는 분산형 데이터베이스이다.
[0045] 일부 구현들에서, 서버 시스템(106)은 클라이언트 디바이스(102)에 의해 실행될 한 세트의 명령들을 생성하는 명령 모듈(118)을 포함한다. 명령 모듈(118)은 요청(220)에 포함된 정보 및/또는 사용자 데이터베이스(124) 내의 정보를 기초로 한 세트의 명령들을 생성한다. 일부 구현들에서, 명령 모듈(118)은 요청에 포함된 한 세트의 정보를 기초로 하나 이상의 컨텐츠 파일들 및/또는 컨텐츠 파일들에 대한 하나 이상의 링크들을 선택한다. 명령 모듈(118)은 하나 이상의 컨텐츠 파일들 및/또는 컨텐츠 파일들에 대한 하나 이상의 링크들을, 요청하는 클라이언트 디바이스(102)로의 송신을 위해 프론트 엔드 서버(112)에 전송한다.
[0046] 일부 구현들에서, 사용자는 클라이언트 디바이스(102)를 통해 서버 시스템(106)과 상호 작용한다. 클라이언트 디바이스들(102)은 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿 디바이스, 넷북, 인터넷 키오스크, 개인용 디지털 보조기기, 모바일폰, 게임 디바이스, 또는 서버 시스템(106)과 통신할 수 있는 임의의 다른 디바이스와 같은 통신 네트워크(104)에 접속할 수 있는 임의의 적당한 컴퓨터 디바이스일 수도 있다. 클라이언트 디바이스들(102)은 일반적으로 하나 이상의 프로세서들, 하드 디스크 드라이브 또는 플래시 드라이브와 같은 비-휘발성 메모리 및 디스플레이를 포함한다. 일부 구현들에서, 클라이언트 디바이스들(102)은 (도 3에 도시된 바와 같이) 키보드 및 마우스와 같은 입력 디바이스들을 갖는다. 일부 구현들에서, 클라이언트 디바이스들(102)은 입력을 위한 터치 스크린 디스플레이들 및/또는 마이크로폰들을 갖는다. 일부 구현들에서, 클라이언트 디바이스는 프로젝터에 접속된다. 일부 구현들에서, 클라이언트 디바이스(102)는 디스플레이 디바이스(108)에 접속된다. 일부 구현들에서, 클라이언트 디바이스(102)는 디스플레이 디바이스(108)를 포함한다. 달리 말하면, 일부 구현들에서, 클라이언트 디바이스 및 디스플레이 디바이스는 단일 디바이스에 포함된다. 일부 구현들에서, 디스플레이 디바이스(108)는 LCD 또는 LED 디스플레이와 같은 텔레비전 또는 스크린이다.
[0047] 일부 구현들에서, 클라이언트 디바이스들(102)은 하나 이상의 브로드캐스트 시스템들(128)로부터 비디오 스트림들(126)을 수신한다. 일부 구현들에서, 클라이언트 디바이스(102)는 케이블 텔레비전 입력들, 위성 수신기들로부터, 네트워크 접속으로부터 또는 오버-디-에어 안테나로부터 비디오 스트림들을 수신한다.
[0048] 도 2a는 본 구현의 한 구현에 따른 서버 시스템(106)을 나타내는 블록도이다. 서버 시스템(106)은 일반적으로 하나 이상의 프로세싱 유닛들(CPU들)(202), 하나 이상의 네트워크 또는 다른 통신 인터페이스들(208), 메모리(206), 및 이러한 컴포넌트들을 상호 접속하기 위한 하나 이상의 통신 버스들(204)을 포함한다. 메모리(206)는 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 고체 상태 메모리 디바이스들과 같은 고속 랜덤 액세스 메모리를 포함하며, 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비-휘발성 고체 상태 저장 디바이스들과 같은 비-휘발성 메모리를 포함할 수도 있다. 메모리(206)는 CPU(들)(202)로부터 원격 로케이팅된 하나 이상의 저장 디바이스들을 선택적으로 포함할 수도 있다. 메모리(206) 내에 비-휘발성 및 휘발성 메모리 디바이스(들)를 포함하는 메모리(206)는 컴퓨터 판독 가능 저장 매체를 포함한다. 일부 구현들에서, 메모리(206) 또는 메모리(206)의 비-일시적 컴퓨터 판독 가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 운영 시스템(216), 네트워크 통신 모듈(218), 식별 모듈(114), 아이덴티티 데이터베이스(116), 명령 모듈(118), 컨텐츠 데이터베이스(122) 및 사용자 데이터베이스(124)를 포함하는 이들의 서브세트를 저장한다.
[0049] 운영 시스템(216)은 다양한 기본 시스템 서비스들을 다루기 위한 그리고 하드웨어 의존 작업들을 수행하기 위한 프로시저들을 포함한다.
[0050] 네트워크 통신 모듈(218)은 하나 이상의 통신 네트워크 인터페이스들(208)(유선 또는 무선) 및 인터넷, 다른 광역 네트워크들, 근거리 네트워크들, 대도시권 네트워크들 등과 같은 하나 이상의 통신 네트워크들을 통한 다른 디바이스들과의 통신을 가능하게 한다.
[0051] 아이덴티티 데이터베이스(116)는 하나 이상의 아이덴티티들(234)을 저장한다. 각각의 아이덴티티(234-2)는 명칭(240), 중요도 메트릭(242) 및 연관된 동작들(244)을 포함한다. 명칭(240)은 아이덴티티를 식별한다. 예를 들어, 명칭(240)은 사람, 장소 또는 물건의 명칭일 수 있다. 중요도 메트릭(242)은 아이덴티티의 중요도를 측정하고, 한 세트의 아이덴티티들 중에서 어느 아이덴티티가 가장 중요한지를 결정하는 데 사용된다. 연관된 동작들(244)은 메시지의 전송, 메시지의 디스플레이 및 애플리케이션의 실행과 같은 하나 이상의 동작들을 지정한다. 일부 구현들에서, 연관된 동작(244)은 컨텐츠 데이터베이스(122)에서 하나 이상의 컨텐츠 파일들을 지정한다.
[0052] 컨텐츠 데이터베이스(122)는 컨텐츠 파일들 및/또는 컨텐츠 파일들에 대한 링크들을 저장한다. 일부 구현들에서, 컨텐츠 데이터베이스(122)는 비디오들, 이미지들 및 뮤직과 같은 미디어(232)를 저장한다. 일부 구현들에서, 컨텐츠 데이터베이스(122)는 광고들(226), 쿠폰들(226), 플레이리스트들(228), 컨텐츠 피드들(230) 및 XML 컨텐츠 파일들을 저장한다. 일부 구현들에서, 컨텐츠 데이터베이스(122)는 웹 페이지들(233), 이메일 메시지들 및 SMS 메시지들을 저장한다. 일부 구현들에서, 컨텐츠 데이터베이스(122)는 비디오들, 이미지들, 뮤직, 웹 페이지들, 이메일 메시지들, SMS 메시지들, 컨텐츠 피드들, 광고들, 쿠폰들, 플레이리스트들 및 XML 컨텐츠 파일들에 대한 링크들을 포함한다. 일부 구현들에서, 컨텐츠 데이터베이스(122) 내의 컨텐츠 파일들은 각각의 컨텐츠 파일의 인기를 측정하는 메트릭을 포함한다.
[0053] 사용자 데이터베이스(124)는 한명 이상의 사용자들에 대한 사용자 데이터(236)를 저장한다. 몇몇 구현예들에서, 각각의 사용자에 대한 사용자 데이터(236-2)는 사용자 식별자(identifier)(246) 및 연관 파일들(248)을 포함한다. 몇몇 구현예들에서, 각각의 사용자에 대한 사용자 데이터(236-2)는 선호도들(250)을 포함한다. 사용자 식별자(230)는 사용자를 식별한다. 몇몇 구현예들에서, 연관 파일들(248)은, 사용자와 연관되는 컨텐츠 데이터베이스(122)에 저장된 컨텐츠 파일들의 식별자들의 리스트를 포함한다. 사용자와 연관된 파일들(248)은 컨텐츠 데이터베이스(122)에 저장된 임의의 파일을 포함할 수 있다. 몇몇 구현예들에서, 선호도들(250)은, 사용자가 관심이 있거나 관심이 없는 정보의 카테고리들을 포함한다. 예를 들면, 사용자가 스포츠에 관심이 전혀 없고 공상과학 소설에 관심이 있을 수 있다. 몇몇 구현예들에서, 선호도들(250)은 관심에 맞는 카테고리들에 대한 카운트들을 포함한다. 예를 들면, 각각의 카테고리는, 사용자가 카테고리와 연관된 아이템을 본 횟수들을 나타내는 스코어 또는 수를 포함할 수 있다. 몇몇 구현예들에서, 선호도들(250)은, 사용자가 선호하거나 선호하지 않는 하나 이상의 애플리케이션들을 나타낸다. 예를 들면, 선호도들(250)은, 사용자가 사용자의 플레이리스트에 추가된 노래들을 갖는 것을 선호하는 것을 나타낼 수 있다. 다른 예에서, 선호도들(250)은, 사용자가 쿠폰 제공들(offers)을 받지 않는 것을 선호하는 것을 나타낼 수 있다.
[0054] 명령 모듈(118)은 요청에 포함된 정보에 기초한 명령들(358)의 세트를 생성하며, 클라이언트(102)에게 명령들의 세트를 전송한다.
[0055] 몇몇 구현예들에서, 명령 모듈(116)은 클라이언트(102)로부터 요청(220)을 수신하는 것에 응답하여, 명령들(358)의 세트를 생성한다. 몇몇 구현예들에서, 요청(220)은 사용자 식별자(262) 및 정보의 세트(350)를 포함한다. 사용자 식별자(262)는, 요청이 연관되는 사용자를 식별한다. 예를 들면, 사용자 식별자(262)는, 클라이언트 디바이스(102)와 연관된 IP 주소 또는 사용자에 의해 선택되거나 사용자를 고유하게 식별하는, 서버에 의해 할당된 영숫자(alphanumeric) 값일 수 있다. 몇몇 구현예들에서, 정보의 세트(350)는 폐쇄 자막 스트림(265)의 컨텐츠들로부터 파싱된(parsed) 정보를 포함한다.
[0056] 몇몇 구현예들에서, 정보의 세트(350)는 알파벳 문자들, 숫자들, 기호들 또는 이들의 임의의 조합으로 이루어진 문자열들(strings)을 포함한다. 몇몇 구현예들에서, 정보의 세트(350)는, 사람의 명칭, 장소 또는 물건, 및 애플리케이션의 명칭과 같은 부가적인 정보를 포함한다. 예를 들면, 정보의 세트(350)는 음악가의 명칭을 포함할 수 있으며, 미디어 애플리케이션을 나타낼 수 있다. 몇몇 구현예들에서, 정보의 세트(350)는 비디오 스트림의 명칭 및/또는 비디오 스트림의 카테고리를 포함한다. 예를 들면, 정보의 세트(350)는 영화의 명칭 및 영화의 장르 또는 카테고리(예를 들면, 드라마, 공상과학 소설, 등)를 포함할 수 있다. 몇몇 구현예들에서, 정보의 세트(350)는 명령들의 세트를 포함한다. 몇몇 구현예들에서, 명령들의 세트는 하나 이상의 애플리케이션들을 호출하기 위한 명령들을 포함한다. 몇몇 구현예들에서, 명령들의 세트는 하나 이상의 메시지들을 디스플레이 및/또는 전송하기 위한 명령들을 포함한다. 몇몇 구현예들에서, 메시지들은 이메일 메시지들 및 SMS 메시지들을 포함한다.
[0057] 몇몇 구현예들에서, 명령 모듈(118)은 요청(220)에 수신된 정보의 세트(350)를 사용자 데이터베이스(124)에 저장하며, 요청(220)에 의해 식별된 사용자와 정보의 세트(350)를 연관시킨다. 몇몇 구현예들에서, 각각의 사용자로부터의 요청(220)에 포함된 정보의 세트(350)는 각각의 사용자에 대한 선호도들을 결정하는데 사용된다. 예를 들면, 정보의 세트(350)는, 각각의 사용자가 본 컨텐츠의 카테고리 정보(예를 들면, 공상과학 소설)를 포함할 수 있다. 이 예에서, 명령 모듈(118)은, 각각의 사용자에 대한 사용자 선호도들(250)에 저장된 각각의 카테고리 카운트들을 증가시킨다(increments).
[0058] 몇몇 구현예들에서, 명령 모듈(118)은 요청(220)에 포함된 정보를 기초로 명령들(358)의 세트를 생성한다. 몇몇 구현예들에서, 명령 모듈(118)은 사용자 선호도들(250)에 기초한 명령들(358)의 세트 및/또는 요청(220)에 포함된 정보의 세트(350)를 생성한다.
[0059] 몇몇 구현예들에서, 명령 모듈(116)은 하나 이상의 관련 아이덴티티들(234)을 획득하기 위해, 식별 모듈(114)에 정보의 세트(350)의 적어도 일부를 전송한다. 식별 모듈(114)은 정보의 세트(350)에 포함된 정보를 아이덴티티 데이터베이스(116) 내의 하나 이상의 아이덴티티들(234)과 매치시킨다. 몇몇 구현예들에서, 식별 모듈(114)은 정보의 세트(350)를 파싱하여 파싱된 정보를 획득하고, 파싱된 정보에 대한 검색 쿼리들(search queries)을 생성한다. 예를 들면, 정보의 세트(350)는 고유 명사들의 리스트를 포함할 수 있으며, 식별 모듈(114)은 각각의 고유 명사에 대한 쿼리를 구성할 수 있다. 몇몇 구현예들에서, 정보의 세트(350)는 하나 이상의 문장들, 특수 문자들 및/또는 기호들을 포함한다. 몇몇 구현예들에서, 하나 이상의 문장들은 아이덴티티 데이터베이스(116)에 대한 쿼리들로서 이용된다. 몇몇 구현예들에서, 정보의 세트(350)의 특수 문자 다음의 미리정해진 텍스트의 양이 아이덴티티 데이터베이스(116)에 대한 퀴리로서 이용된다. 예를 들면, 정보의 세트(350)가 "#actor person x"를 포함하는 경우, 텍스트 "person x"는 쿼리로서 이용될 것이다.
[0060] 생성된 쿼리들은 잠재적인 매칭들(matches)을 찾기 위해 아이덴티티 데이터베이스(116)에 전송된다. 몇몇 구현예들에서, 식별 모듈(114)은 각각의 아이덴티티들과 연관된 중요도 메트릭(importance metric)(242)에 기초하여 검색 결과들을 필터링한다. 예를 들면, 식별 모듈(114)은 미리정해진 임계값 초과의 중요도 메트릭(242)을 갖는 아이덴티티들을 선택할 수 있거나, 아이덴티티들의 세트 사이에서 최상위 몇몇(top few) 아이덴티티들을 선택할 수 있다. 식별 모듈(114)은 하나 이상의 결정된 아이덴티티들을 명령 모듈(118)에 전송한다.
[0061] 몇몇 구현예들에서, 명령 모듈(118)은 명령 모듈(118)로부터 하나 이상의 결정된 아이덴티티들을 수신하며, 하나 이상의 결정된 아이덴티티들에 기초하여 명령들(358)의 세트를 결정한다. 명령 모듈(118)은 하나 이상의 결정된 아이덴티티들로부터 아이덴티티를 선택한다. 예를 들면, 명령 모듈(118)은 최고로 연관 중요도 메트릭(242)을 갖는 아이덴티티를 선택할 수 있다. 몇몇 구현예들에서, 선택된 아이덴티티는 사용자 식별자(262)에 의해 식별된 사용자와 연관된 선호도들(250)에 기초하여 결정된다. 예를 들면, 명령 모듈(118)은, 사용자가 스포츠를 좋아하는 것을 사용자의 선호도가 나타내는 경우, 하나 이상의 스포츠 관련 아이덴티티들을 선택할 수 있다.
[0062] 아이덴티티가 선택된 후에, 명령 모듈(118)은 명령들의 세트(358)를 생성한다. 일부 구현들에서, 명령 모듈(118)은 정보의 세트(350)로부터 결정된 각각의 아이덴티티에 대한 명령들의 세트를 결정한다. 일부 구현들에서, 명령들의 세트(358)는 선택된 아이덴티티에 대한 연관된 동작(244)에 기초한다. 예를 들면, 선택된 아이덴티티가 역사적 인물의 이름이면, 연관된 동작(244)은 역사적 인물에 관한 정보를 갖는 웹페이지를 보여주는 것을 지정할 수 있다. 일부 구현들에서, 명령들의 세트(358)는 사용자 식별자(262)에 의해 식별된 사용자에 대한 하나 이상의 결정된 아이덴티티들 및 사용자 선호도들(250)에 기초한다. 예를 들면, 사용자의 선호도들(250)은, 사용자가 선호하거나 선호하지 않는 애플리케이션들 또는 동작들을 표시할 수 있다. 예를 들면, 사용자는 특정 애플리케이션들이 사용자의 디바이스 상에서 실행되지 않는 것을 선호할 수 있다. 다른 예에서, 사용자는 컨텐츠 피드로 정보를 수신하는 것을 선호할 수 있다.
[0063] 일부 구현들에서, 명령 모듈(118)은, 컨텐츠 데이터베이스(122) 내의 관련 컨텐츠 파일들을 식별하기 위한 탐색 질의들을 생성하기 위해 식별 모듈(118)에 의해 반환된 하나 이상의 결정된 아이덴티티들을 사용한다. 예를 들면, 하나 이상의 결정된 아이덴티티들이 배우의 이름을 포함하면, 명령 모듈(118)은 배우가 연관된 웹 페이지들, 비디오들, 사진들 및 뉴스 스토리들과 같은 컨텐츠 파일들을 결정하고, 컨텐츠 파일들과 연관된 메트릭들에 기초하여 어떠한 것이 사용자에게 가장 관심을 끌 것인지를 결정한다. 예를 들면, 메트릭들은 대중성 또는 관련성을 측정할 수 있다.
[0064] 일부 구현들에서, 명령들의 세트(358)는 클라이언트 디바이스(102) 상에서 하나 이상의 기능들 또는 애플리케이션들을 인보크하기 위한 명령들을 포함한다. 일부 구현들에서, 하나 이상의 애플리케이션들은 미디어 애플리케이션, 피드 리더 애플리케이션, 브라우저 애플리케이션 및 쿠폰 북 애플리케이션으로 구성된 그룹으로부터 선택된다. 일부 구현들에서, 하나 이상의 애플리케이션들은 관련 아이덴티티들을 사용하여 식별된 하나 이상의 컨텐츠 파일들에 기초하여 선택된다. 일부 구현들에서, 명령들의 세트(358)는, 애플리케이션을 인보크하기 위한 명령들, 및 컨텐츠 데이터베이스(118)에 포함된 하나 이상의 컨텐츠 파일들을 다운로딩하도록 인보크된 애플리케이션에 지시하기 위한 명령들을 포함한다. 예를 들면, 명령 모듈(118)은 피더 리더 디바이스를 인보크하기 위한 명령들 및 피드 리더 디바이스로 하여금 배우에 관한 컨텐츠 아이템을 다운로딩하게 하기 위한 명령들을 생성할 수 있다. 다른 예에서, 명령 모듈(118)은 웹 브라우저를 인보크하기 위한 명령들 및 브라우저로 하여금 특정 웹사이트(예를 들면, 제품 웹사이트)로 내비게이팅되게 하기 위한 명령들을 생성할 수 있다. 애플리케이션 실행의 부가적인 예들이 도 5b, 5c, 5d 및 5e의 논의에서 논의된다.
[0065] 일부 구현들에서, 명령들의 세트(358)는 클라이언트 디바이스(102)의 디스플레이(313) 상에 메시지를 디스플레이하기 위한 명령들을 포함한다. 일부 구현들에서, 명령들의 세트(358)는 이메일 메시지 또는 SMS 메시지를 사용자에게 전송하기 위한 명령들을 포함한다. 이메일 메시지 또는 SMS의 컨텐츠는 정보의 세트(350)에 관련된다. 예를 들면, 메시지는 정보의 세트(350)에 포함된 대명사들에 관련된 홍보 제안을 포함할 수 있다.
[0066] 명령 모듈(118)은 클라이언트 디바이스(102)로부터의 요청에 응답하여 명령들의 세트(358)를 생성하고 이를 클라이언트 디바이스(102)로 전송한다. 일부 구현들에서, 명령 모듈(118)에 의해 생성된 명령들(358)은 컨텐츠 피드에 포함된다. 일부 구현들에서, 명령 모듈(118)은 명령들의 세트(358)를 통해 하나 이상의 컨텐츠 파일들 및/또는 컨텐츠 파일 링크들(컨텐츠 데이터베이스(122)에 저장됨)을 리트리브하고 이를 전송한다.
[0067] 앞서 식별된 엘리먼트들 각각은 이전에 언급된 메모리 디바이스들 중 하나 이상에 저장될 수 있고, 모듈들 또는 프로그램들 각각은 앞서 설명된 기능을 수행하기 위한 명령들의 세트에 대응한다. 명령들의 세트는 하나 이상의 프로세서들(예를 들면, CPU들(202))에 의해 실행될 수 있다. 앞서 식별된 모듈들 또는 프로그램들(즉, 명령들의 세트들)은 별개의 소프트웨어 프로그램들, 절차들 또는 모듈들로서 구현될 필요는 없고, 따라서 이러한 모듈들의 다양한 서브세트들은 다양한 구현들에서 결합 또는 그렇지 않다면 재배열될 수 있다. 일부 구현들에서, 메모리(206)는 앞서 식별된 모듈들 및 데이터 구조들의 서브세트를 저장할 수 있다. 게다가, 메모리(206)는 앞서 설명되지 않은 부가적인 모듈들 및 데이터 구조들을 저장할 수 있다.
[0068] 도 2a가 서버 시스템을 도시하지만, 도 2a는 본원에 설명된 구현들의 구조적 도식보다는 서버들의 세트에 존재할 수 있는 다양한 특징들의 기능적 설명으로서 더 의도된다. 실제로 그리고 당업자들에 의해 인지되는 바와 같이, 별개로 도시된 아이템들은 결합될 수 있고, 일부 아이템들은 분리될 수 있다. 예를 들면, 도 2a에 별개로 도시된 일부 아이템들(예를 들면, 운영 시스템(216) 및 네트워크 통신 모듈(218))은 단일 서버들 상에서 구현될 수 있고, 단일 아이템들은 하나 이상의 서버들에 의해 구현될 수 있다. 서버 시스템(106)을 구현하는데 사용되는 서버들의 실제 수 및 그들 사이에 특징들이 할당되는 방법은 하나의 구현으로부터 다른 구현으로 변동할 것이고, 피크 사용 기간들 동안뿐만 아니라 평균 사용 기간 동안에 시스템이 취급해야 하는 데이터 트래픽의 양에 부분적으로 의존할 수 있다.
[0069] 도 2b는 본 구현의 일 구현에 따른 브로드캐스트 시스템(128)을 예시한 블록도이다. 브로드캐스트 시스템(128)은 통상적으로 하나 이상의 프로세싱 유닛들(CPU들)(358), 하나 이상의 네트워크 또는 다른 통신 인터페이스들(262), 메모리(268), 전송 인터페이스(266) 및 이들 컴포넌트들을 상호접속하기 위한 하나 이상의 통신 버스들(262)을 포함한다. 메모리(268)는 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 고체 상태 메모리 디바이스들과 같은 고속 랜덤 액세스 메모리를 포함하고, 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들 또는 다른 비휘발성 고체 상태 저장 디바이스들과 같은 비휘발성 메모리를 포함할 수 있다. 메모리(268)는 선택적으로 CPU(들)(358)로부터 원격에 위치된 하나 이상의 저장 디바이스들을 포함할 수 있다. 메모리(268) 내의 비휘발성 및 휘발성 메모리 디바이스(들)를 비롯하여, 메모리(268)는 컴퓨터 판독 가능 저장 매체를 포함한다. 일부 구현들에서, 메모리(268) 또는 메모리(268)의 비일시적인 컴퓨터 판독 가능 저장 매체는 운영 시스템(270), 네트워크 통신 모듈(272), 비디오 모듈(273) 및 비디오 스트림 데이터베이스(276)를 비롯하여 후속의 프로그램들, 모듈들 및 데이터 구조들 또는 이들의 서브세트를 저장한다.
[0070] 전송 인터페이스(266)는 라디오 전송, 위성 전송들을 통해 또는 케이블 라인들을 통해 비디오 스트림들을 송신한다.
[0071] 운영 체제(270)는 다양한 기본적 시스템 서비스들을 핸들링하고 하드웨어 의존 작업들을 수행하기 위한 프로시저들을 포함한다 .
[0072] 네트워크 통신 모듈(272)은 하나 이상의 통신 네트워크 인터페이스들(264)(유선 또는 무선) 및 하나 이상의 통신 네트워크들, 예컨대, 인터넷, 다른 광역 네트워크들, 로컬 영역 네트워크들, 도시 영역 네트워크들 등을 통해 다른 디바이스들과의 통신을 용이하게 한다. 몇몇 구현들에서, 네트워크 통신 모듈(272)은 네트워크 인터페이스(264)를 통해 비디오 스트림 데이터베이스(268)에 저장된 비디오 스트림들을 전달한다.
[0073] 비디오 스트림 데이터베이스(274)는 비디오 스트림들(276)을 저장한다. 몇몇 구현들에서, 비디오 스트림 데이터베이스(274)의 비디오 스트림들(276)은 비디오 컨텐츠(254) 및 폐쇄 자막(256)을 포함한다.
[0074] 비디오 모듈(273)은 비디오 스트림 데이터베이스(274)에 저장된 하나 이상의 비디오 스트림들(276)을 하나 이상의 클라이언트 디바이스들(102)에 전송한다.
[0075] 몇몇 구현들에서, 브로드캐스트 시스템(108) 및 서버 시스템(106)의 기능성은 단일 서버 시스템 상에서 결합될 수 있다.
[0076] 위에서 식별된 엘리먼트들 각각은 이전에 언급된 메모리 디바이스들 중 하나 이상에 저장될 수 있고, 모듈들 또는 프로그램들 각각은 위에서 설명된 기능을 수행하기 위한 명령들의 세트에 대응한다. 명령들의 세트는 하나 이상의 프로세서들(예를 들어, CPU들(358))에 의해 실행될 수 있다. 위에서 식별된 모듈들 또는 프로그램들(즉, 명령들의 세트들)은 별개의 소프트웨어 프로그램들, 프로시저들 또는 모듈들로서 구현될 필요가 없고, 이에 따라 이들 모듈들의 다양한 서브세트들은 다양한 구현들에서 결합되거나 또는 그렇지 않으면 재배열될 수 있다. 몇몇 구현들에서, 메모리(268)는 위에서 식별된 모듈들 및 데이터 구조들의 서브세트를 저장할 수 있다. 또한, 메모리(268)는 위에서 설명되지 않은 부가적인 모듈들 및 데이터 구조들을 저장할 수 있다.
[0077] 도 2b가 브로드캐스트 시스템을 도시하지만, 도 2b는 요기서 설명된 구현들의 구조적 개략도로서 이기 보단, 서버들의 세트에 존재할 수 있는 다양한 특징들의 기능적 디스크립션으로서 보다 더 의도된다. 실제로, 그리고 당업자들에 의해 인지될 바와 같이, 별개로 도시된 아이템들은 결합될 수 있고 몇몇 아이템들은 분리될 수 있다. 예를 들어, 도 2b에서 별개로 도시된 몇몇 아이템들(예를 들어, 운영 체제(270) 및 네트워크 통신 모듈(272))은 단일 서버들 상에서 구현될 수 있고, 단일 아이템들은 하나 이상의 서버들에 의해 구현될 수 있다. 브로드캐스트 시스템(128)을 구현하는데 이용되는 서버들의 실제 수 및 이들 간에 특징들이 어떻게 할당되는지는 구현마다 변동될 것이고, 피크 이용 기간들 동안은 물론 평균 이용 기간들 동안 시스템이 핸들링해야 하는 데이터 트래픽의 양에 부분적으로 의존할 수 있다.
[0078] 도 3은 몇몇 구현들에 따라 클라이언트 디바이스(102)를 예시하는 블록도이다. 클라이언트 디바이스(102)는 통상적으로, 하나 이상의 프로세싱 유닛들(CPU들)(302), 하나 이상의 네트워크 또는 다른 통신 인터페이스들(308), 메모리(306), 및 이들 컴포넌트들을 상호연결하기 위해 하나 이상의 통신 버스들(304)을 포함한다. 클라이언트 디바이스(102)는 또한 디스플레이 디바이스(313) 및 키보드 및/또는 마우스(또는 다른 포인팅 디바이스)(314)를 포함하는 사용자 인터페이스를 포함할 수 있다. 메모리(306)는 고속 랜덤 액세스 메모리, 예컨대, DRAM, SRAM, DDR RAM 또는 다른 앤덤 액세스 고상 메모리 디바이스를 포함하고; 비-휘발성 메모리, 예컨대, 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비-휘발성 고상 저장 디바이스들을 포함할 수 있다. 메모리(306)는 선택적으로, CPU(들)(302)로부터 원격으로 로케이팅되는 하나 이상의 저장 디바이스들을 포함할 수 있다. 메모리(306), 또는 대안적으로, 메모리(306) 내의 비-휘발성 메모리 디바이스(들)는 컴퓨터 판독 가능한 저장 매체를 포함한다. 몇몇 구현들에서, 클라이언트 디바이스(102)는 터치 스크린 디스플레이를 갖는 휴대용 전자 디바이스이다. 몇몇 구현들에서, 메모리(306) 또는 메모리(306)의 컴퓨터 판독 가능한 저장 매체는 운영 체제(316), 네트워크 통신 모듈(318), 사용자 인터페이스 모듈(322), 파싱 모듈(126), 애플리케이션들(328) 및 데이터(342)를 비롯해서, 하기의 프로그램들, 모듈들 및 데이터 구조들, 또는 그의 서브세트를 저장한다.
[0079] 클라이언트 디바이스(102)는 비디오를 입력 및 출력하기 위한 비디오 입력/출력(351)을 포함한다. 몇몇 구현들에서, 비디오 입력/출력(351)은 라디오 전송들, 위성 전송들 및 케이블 라인들로부터 비디오 스트림들을 수신하도록 구성된다. 몇몇 구현들에서, 비디오 입력/출력(351)은 케이블 박스에 연결된다. 몇몇 구현들에서, 비디오 입력/출력(351)은 위성 접시에 연결된다. 몇몇 구현들에서, 비디오 입력/출력(351)은 안테나에 연결된다.
[0080] 몇몇 구현들에서, 클라이언트 디바이스(102)는 텔레비전 비디오 스트림들을 수신 및 레코딩하기 위한 텔레비전 튜너(352)를 포함한다.
[0081] 운영 체제(316)는 다양한 기본적인 시스템 서비스들을 핸들링하고 하드웨어 의존 작업들을 수행하기 위한 프로시저들을 포함한다.
[0082] 네트워크 통신 모듈(318)은 하나 이상의 통신 네트워크 인터페이스들(304)(유선 또는 무선) 및 하나 이상의 통신 네트워크들, 예컨대, 인터넷, 다른 광역 네트워크들, 로컬 영역 네트워크들, 도시 영역 네트워크들 등을 통해 다른 디바이스들과의 통신을 용이하게 한다.
[0083] 사용자 인터페이스모듈(322)은 클라이언트 디바이스(102)에 대한 사용자 입력 및 선택들을 추적한다.
[0084] 그래픽 모듈(320)은 애플리케이션(328)과 연관된 사용자 인터페이스들을 디스플레이한다.
[0085] 데이터(342)는 비디오 스트림들(344)을 포함한다. 비디오 스트림들(344)은 비디오 컨텐츠(348), 폐쇄 자막들(348a) 및 오디오 디스크립션 데이터(348b)를 포함한다.
[0086] 몇몇 구현들에서, 애플리케이션들(328)은 브라우저(330), 미디어 애플리케이션(332), 쿠폰 북 애플리케이션(336) 및 피드 리더 애플리케이션(340)을 포함한다. 브라우저(330)는 사용자가 웹 페이지를 보도록 허용한다. 미디어 애플리케이션(332)은 비디오들, 음악들을 플레이하고, 이미지들을 디스플레이하고, 플레이리스트들(334)을 관리한다. 피드 리더 애플리케이션(340)은 컨텐츠 피드들(341)을 디스플레이한다. 쿠폰 북 애플리케이션(336)은 쿠폰들/광고들(338)을 디스플레이 및 저장한다.
[0087] 파싱 모듈(126)은 정보의 세트를 생성하기 이해서 비디오 스트림의 폐쇄 자막들을 파싱하고, 정보의 세트를 서버(106)로 전송하고, 정보의 세트를 전송하는 것에 응답하여 서버(106)로부터 명령들의 세트를 수신하고, 명령들의 세트를 실행한다.
[0088] 일부 구현들에서, 파싱 모듈(126)은 정보(350)의 세트를 결정하기 위해서 비디오 스트림의 폐쇄 자막들을 파싱한다. 파싱 모듈(126)은 폐쇄 자막들의 콘텐츠를 파싱한다. 예를 들어, 폐쇄 자막들이 텍스트, "hello world"를 포함하는 경우, 파싱 모듈은 텍스트, "hello world"를 파싱할 것이다. 일부 구현들에서, 폐쇄 자막은 텍스트, 번호들, 심볼들, 또는 이들의 임의의 조합을 포함한다.
[0089] 일부 구현들에서, 파싱 모듈(126)은 폐쇄 자막들의 하나 이상의 특수 문자들을 식별한다. 특수 문자들은 파싱 모듈(126)에 저장되는 리스트에 정의될 수 있다. 특수 문자들은 비디오 스트림의 제공자 또는 방송사에 의해 정의될 수 있다. 일부 구현들에서, 파싱 모듈(126)은 하나 이상의 특수 문자들과, 그 하나 이상의 특수 문자들 다음의 미리정의된 양의 텍스트를 식별한다. 파싱 모듈(126)은 정보의 세트(350)에 특수 문자들 및/또는 미리정의된 양의 텍스트를 포함한다. 일부 구현들에서, 특수 문자들은, 심볼들, 숫자들, 텍스트 또는 이들의 임의의 조합을 포함한다. 예를 들어, 방송사 또는 콘텐츠 제공자는 심볼 "#"을 폐쇄 자막으로 삽입하여 심볼 다음의 텍스트가 명령들의 세트를 생성하기 위한 것과 관련 있다는 것을 강조할 수 있다. 심볼 다음의 텍스트는 명령들을 포함할 수 있거나 또는 명령들이 도출되어야 하는 정보를 포함할 수 있다. 예를 들어, 폐쇄 자막은 인물 x가 배우라는 것을 나타내기 위해서 "#actor person x"를 포함할 수 있다. 특수 문자들을 비디오 프로그램의 폐쇄 자막에 삽임함으로써, 콘텐츠 제공자는, 비디오 프로그램이 재생되고 있는 동안 비디오 프로그램의 시청자들에게 관련 정보를 제공할 수 있다.
[0090] 일부 구현들에서, 파싱 모듈(126)은 폐쇄 자막들에 있는 문장들을 식별하고 식별된 문장들을 정보의 세트(350)에 포함시킨다. 예를 들어, 파싱 모듈(126)은 기간들 또는 폐쇄 자막들에 있는 다른 구두점 마크들을 검출함으로써 문장들을 식별할 수 있다. 파싱 모듈(126)은 정보의 세트(350)에 식별된 문장들 중 하나 이상의 것을 포함한다.
[0091] 일부 구현들에서, 파싱 모듈(126)은 폐쇄 자막들에 있는 하나 이상의 적절한 명사들을 식별하고 그 적절한 명사들을 정보의 세트(350)에 포함시킨다. 예를 들어, 파싱 모듈(126)은 폐쇄 자막들에서 대문자로 시작하는 단어들을 선택할 수 있다. 일부 구현들에서, 하나 이상의 적절한 명사들이 파싱 모듈(126)에 저장된 하나 이상의 적절한 명사들과 일치하는 경우 하나 이상의 적절한 명사들이 선택된다. 적절한 명사들은 인물, 장소 또는 물건에 대응할 수 있다. 예를 들어, 파싱 모듈(126)은, 하나 이상의 사람들의 성명들, 물건 또는 회사의 이름 또는 나라의 이름을 결정하기 위해서 폐쇄 자막들을 파싱할 수 있다. 명령 모듈(118)은 특정 요청들을 서버(106)로 이슈하거나, 링크를 그 인물에 대한 웹 페이지로, 또는 적절한 명사에 의해 식별된 장소로 복귀시키거나, 또는 적절한 명사에 의해 식별된 인물에 의해 또는 그러한 인물에 대한 매체 항목들(예를 들어, 노래들 또는 영화들)의 매체 플레이리스트를 복귀시키기 위해 이러한 정보를 사용할 수 있다.
[0092] 일부 구현들에서, 요청 모듈(352)에 의해 생성된 요청(220) 시 정보의 세트(350)가 서버(106)로 전송된다. 일부 구현들에서, 요청(356)은 클라이언트(102)의 사용자의 사용자 식별자를 포함한다.
[0093] 요청(220)의 전송에 응답하여, 파싱 모듈(126)이 클라이언트(102)로부터 멀리 떨어져서 위치된 서버로부터 명령들의 세트(358)를 수신한다. 일부 구현들에서, 명령들의 세트(358)가 콘텐츠 피드에 포함된다. 일부 구현들에서, 파싱 모듈(126)은 요청에 응답하여 하나 이상의 콘텐츠 파일들을 수신한다.
[0094] 파싱 모듈(126)은 명령들의 세트(358)를 수신하는 것에 응답하여 명령들의 세트(358)를 실행한다. 일부 구현들에서, 명령들의 세트(358)는 메시지를 디스플레이 상에 디스플레이하기 위한 명령들을 포함한다(예를 들어, 313 및 110). 메시지의 콘텐츠가 정보의 세트와 관련된다. 예를 들어, 메시지는 비디오 세그먼트와 관련된 물건 또는 서비스를 사용자에게 제공한다. 일부 구현들에서, 메시지는 메시지 모듈(356)에 의해 디스플레이된다. 일부 구현들에서, 명령들의 세트(358)는 클라이언트 디바이스(103)와연관된 사용자에게 이메일 메시지 또는 SMS 메시지를 전송하기 위한 명령들을 포함한다. 예를 들어, 이메일 메시지 또는 SMS 메시지는 쿠폰 또는 프로모션 제공을 포함할 수 있다. 일부 구현들에서, 이메일 메시지 또는 SMS 메시지가 메시지 모듈(356)에 의해 전송된다.
[0095] 일부 구현들에서, 명령들의 세트(350)는 하나 이상의 애플리케이션들(328)을 실행할 명령들을 포함한다. 애플리케이션들의 예들이 도 5b, 5c, 5d 및 도 5e의 설명에 논의된다. 파싱 검출 모듈(126)은 서버로부터 수신된 명령들의 세트(350)를 실행한다.
[0096] 상기 식별된 엘리먼트들 각각은 앞에서 언급된 메모리 디바이스들 중 하나 이상에 저장될 수 있고, 모듈들 또는 프로그램들 각각은 상술된 기능을 수행하기 위한 명령들의 세트에 대응한다. 명령들의 세트는 하나 이상의 프로세서들(예를 들어, CPU들(302))에 의해 실행될 수 있다. 상기 식별된 모듈들 또는 프로그램들(즉, 명령들의 세트들)은 별개의 소프트웨어 프로그램들, 절차들 또는 모듈들로서 구현될 필요가 없을 수 있고, 따라서, 이러한 모듈들의 다양한 서브세트들이 결합될 수 있거나 또는 다양한 구현들에 다른 방식으로 재배열될 수 있다. 일부 구현들에서, 메모리(306)는 상기 식별된 모듈들 및 데이터 구조들의 서브셋을 저장할 수 있다. 또한, 메모리(306)는 상술되지 않은 추가 모듈들 및 데이터 구조들을 저장할 수 있다.
[0097] 도 3이 클라이언트 디바이스를 도시하지만, 도 3은, 본원에 설명된 구현들의 구조적 개략도이기보다는 클라이언트 디바이스에서 나타내어질 수 있는 다양한 특징들의 기능적 설명인 것으로 더욱 의도된다. 실제로, 그리고 당업자에 의해 인식되는 바와 같이, 개별적으로 도시된 항목들은 결합될 수 있고 일부 항목들은 분리될 수 있다.
[0098] 이제, 도 4를 주목하고, 도 4는 몇몇 구현들에 따른, 정보를 디스플레이하는 프로세스(400)를 도시한 흐름도이다. 도 4는, 도 6 및 7의 설명에서 더 상세히 설명되는 방법들의 개관을 제공한다. 브로드캐스트 시스템(128)은, 패쇄 자막들을 포함하는 비디오 스트림을 클라이언트(102)에 전송한다(401). 폐쇄 자막들을 포함하는 비디오 스트림은 클라이언트(102)에서 수신된다(402). 정보의 세트가 폐쇄 자막들로부터 결정된다(404). 정보의 세트는, 프로세싱을 위해 클라이언트(102)로부터 원격으로 로케이팅된 서버(106)에 전송된다(406). 서버(106)는 정보의 세트를 수신한다(408). 서버(106)는, 정보의 세트로부터 하나 이상의 관련 아이덴티티들을 식별하고, 하나 이상의 관련 아이덴티티들과 연관된 명령들의 세트를 결정하며, 명령들의 세트를 클라이언트(102)에 전송한다(410). 클라이언트(102)는 서버(106)로부터 명령들의 세트를 수신한다(412). 클라이언트(102)는, 명령들의 세트에 따라 하나 이상의 애플리케이션들을 실행한다(414).
[0099] 이제, 주의가 도 5a, 5b, 5c, 5d, 및 5e로 안내되며, 그들은 몇몇 구현들에 따른 예시적인 스크린 샷들을 도시한다. 도 5b, 5c, 5d 및 5e는 클라이언트 디바이스(102)에 의해 실행되는 애플리케이션들을 도시한다. 도면들 5b, 5c, 5d 및 5e의 애플리케이션들은, 텔레비젼 프로그램(502)에 포함된 폐쇄 자막들(504)의 콘텐츠에 기초하여 결정된 명령들의 세트에 의해 호출 및 제어된다. 도 6의 설명에서 더 상세히 설명된 바와 같이, 클라이언트 디바이스(102) 상의 모듈(예를 들어, 파싱 모듈(126))은: 텔레비젼 프로그램(502)과 같은 비디오 스트림을 수신하고, 텔레비젼 프로그램(502)의 폐쇄 자막들(504)로부터 정보의 세트를 결정하고, 명령들의 세트를 획득하기 위해 정보의 세트를 서버(예를 들어, 서버(106))에 전송하고, 서버로부터 명령들의 세트를 수신하며, 명령들의 세트에 따라 클라이언트 디바이스(102) 상에서 하나 이상의 애플리케이션들을 호출한다. 텔레비젼 프로그램(502) 및 애플리케이션들은, 클라이언트 디바이스(102)의 디스플레이 상에 동시에 디스플레이된다. 도 5a, 5b, 5c, 5d 및 5e의 도면들은 속성상 제한적인 것이 아니라 예시적인 것으로서 뷰잉되어야 한다.
[00100] 도 5a는, 폐쇄 자막들(504)을 포함하는 텔레비젼 프로그램(502)을 디스플레이하는 스크린 샷을 도시한다. 도 5a에 도시된 바와 같이, 폐쇄 자막들(504)의 콘텐츠는, 텔레비젼 프로그램(502) 내의 말해진 다이얼로그에 대응할 수도 있는 "헬로우 월드(Hello World)!"이다.
[00101] 도 5b는 텔레비젼 프로그램(502)에 인접하여 디스플레이된 피드 리더 애플리케이션(506)을 도시한다. 도 5b의 맥락에서, 클라이언트 디바이스(102) 상의 파싱 모듈(126)은, 텔레비젼 프로그램(502)을 수신하고, 텔레비젼 프로그램(502)의 폐쇄 자막들(504)로부터 정보의 세트를 결정하고, 명령들의 세트를 획득하기 위해 정보의 세트를 서버(106)에 전송하고, 서버(106)로부터 명령들의 세트를 수신하며, 서버(106)로부터 수신된 명령들의 세트에 따라 클라이언트 디바이스(102) 상에서 피드 리더 애플리케이션(506)을 호출한다. 피드 리더 애플리케이션(506)은 콘텐츠 피드(508)를 디스플레이한다. 콘텐츠 피드(508) 내의 하나 이상의 콘텐츠 아이템들(510)은, 텔레비젼 프로그램(502)에 포함된 폐쇄 자막들(504)로부터 도출된 정보에 기초하여 서버(106)에 의해 선택된다. 예를 들어, 사용자는, 스포츠 관련 텔레비젼 프로그램(502)을 시청할 수도 있으며, 대응하는 폐쇄 자막들(504)이 스포츠 팀들(예를 들어, 팀 X)을 언급하는 경우, 피드 리더 애플리케이션(506)이 호출되고, 콘텐츠 아이템 스포츠 헤드라인 1(510)이 디스플레이된다. 도 5b의 맥락에서, 콘텐츠 아이템(510)은, 폐쇄 자막들(504)로부터 도출된 정보 또는 명령들에 기초하여 서버(106) 상의 명령 모듈(118)에 의해 선택된다.
[00102] 도 5c는 텔레비젼 프로그램(502)과 동시에 디스플레이되는 미디어 플레이어(512)를 도시한다. 도 5c의 맥락에서, 클라이언트 디바이스(102) 상의 파싱 모듈(126)은, 텔레비젼 프로그램(502)을 수신하고, 텔레비젼 프로그램(502)의 폐쇄 자막들(504)로부터 정보의 세트를 결정하고, 명령들의 세트를 획득하기 위해 정보의 세트를 서버(106)에 전송하고, 서버(106)로부터 명령들의 세트를 수신하며, 서버로(106)로부터 수신된 명령들의 세트에 따라 클라이언트 디바이스(102) 상에서 미디어 플레이어(512)를 호출한다. 미디어 플레이어(512)는, 텔레비젼 프로그램(502)에 포함된 폐쇄 자막들(504)로부터 도출된 정보에 기초하여 하나 이상의 명령들을 수행한다. 예를 들어, 텔레비젼 프로그램(502)의 폐쇄 자막들(504)은 아티스트를 언급할 수도 있으며, 사용자가 아티스트에 관련된 폐쇄 자막들(504)을 포함하는 텔레비젼 프로그램(502)의 일부를 뷰잉하는 경우, 미디어 애플리케이션(512)은 호출되고, 사용자는, 아티스트로부터의 노래를 사용자의 플레이리스트에 부가하도록 프롬프트된다.
[00103] 도 5d는 텔레비젼 프로그램(502)에 인접하여 디스플레이된 웹 브라우저(516)를 도시한다. 도 5d의 맥락에서, 클라이언트 디바이스(102) 상의 파싱 모듈(126)은, 텔레비젼 프로그램(502)을 수신하고, 텔레비젼 프로그램(502)의 폐쇄 자막들(504)로부터 정보의 세트를 결정하고, 명령들의 세트를 획득하기 위해 정보의 세트를 서버(예를 들어, 서버(106))에 전송하고, 서버로부터 명령들의 세트를 수신하며, 서버로로부터 수신된 명령들의 세트에 따라 클라이언트 디바이스(102) 상에서 웹 브라우저(516)를 호출한다. 몇몇 구현들에서, 브라우저(516)는, 텔레비젼 프로그램(502)에 포함된 폐쇄 자막들(504)로부터 도출된 정보에 기초하여 선택된 웹 페이지(508)를 디스플레이한다. 폐쇄 자막들(504)은 사람, 장소 또는 물건에 관련된 정보를 포함할 수도 있다. 예를 들어, 폐쇄 자막들(504)은 역사적인 인물의 이름을 참조할 수도 있으며, 사용자가 역사적인 인물에 대한 참조를 포함하는 폐쇄 자막들(504)의 일부를 뷰잉하는 경우, 웹 브라우저(516)는, 역사적인 인물에 대한 정보를 제공하는 웹 페이지(508)(예를 들어, 위키피디아 페이지)를 호출한다. 다른 예에서, 폐쇄 자막들(504)은 상업 광고 동안 제품을 언급할 수도 있으며, 사용자가 제품에 대한 참조를 포함하는 폐쇄 자막들(504)의 일부를 뷰잉하는 경우, 브라우저(516)는 제품에 관련된 웹 페이지(508)(예를 들어, 제품 페이지)를 디스플레이한다. 사용자가 폐쇄 자막들(504)을 포함하는 비디오 스트림의 일부를 뷰잉하는 경우, 브라우저 애플리케이션(516)은 호출되며, 브라우저는, 폐쇄 자막들(504)의 콘텐츠에 기초하여 결정된 웹사이트로 네비게이팅된다.
[00104] 도 5e는 쿠폰북 애플리케이션(518)을 도시한다. 몇몇 구현들에서, 쿠폰북 애플리케이션(518)은 폐쇄 자막들(504)로부터 도출된 정보에 기초하여 하나 또는 그 초과의 동작들을 수행한다. 도 5e의 맥락에서, 클라이언트 디바이스(102) 상의 파싱 모듈(126)은, 텔레비젼 프로그램(502)을 수신하고, 텔레비젼 프로그램(502)의 폐쇄 자막들(504)로부터 정보의 세트를 결정하고, 명령들의 세트를 획득하기 위해 정보의 세트를 서버(106)에 전송하고, 서버(106)로부터 명령들의 세트를 수신하며, 서버로부터 수신된 명령들의 세트에 따라 클라이언트 디바이스(102) 상에서 쿠폰북 애플리케이션(518)을 호출한다. 예를 들어, 사용자는 펄 밀크티에 대한 상업광고를 뷰잉할 수도 있으며, 폐쇄 자막들(504)은 그 제품을 언급할 수도 있다. 쿠폰 애플리케이션(518)이 호출되며, 사용자는, 사용자가 상업광고를 뷰잉하는 동안 쿠폰을 사용자의 쿠폰북에 저장하도록 프롬프트된다.
[00105] 도 6은 정보를 디스플레이하기 위한 방법(600)을 예시한다. 이러한 방법은, 콘텐츠가 플레이되는 동안 콘텐츠에 관련된 정보 및 서비스들을 제공하기를 원하는 콘텐츠 제공자들 및 브로드캐스터들에 유용하다. 이러한 방법은, 자신들이 보는 콘텐츠에 관한 관련 정보를 원하는 콘텐츠 뷰어들에 유용하다.
[00106] 이제, 도 6에 주의가 기울여지며, 도 6은 비디오 스트림에 포함된 폐쇄 자막들에 기초하여 결정된 정보를 디스플레이하는 방법(600)을 예시하는 흐름도이다. 방법(600)은 하나 이상의 프로세서들 및 메모리를 갖는 클라이언트 디바이스(102)에서 수행된다. 폐쇄 자막들을 포함하는 비디오 스트림이 수신된다(602). 예컨대, 비디오 스트림은 폐쇄 자막들을 갖는 텔레비전 프로그램, 영화 또는 광고에 대응할 수 있고, 이 폐쇄 자막들은 비디오 콘텐츠에 관련되고 이 비디오 콘텐츠와 조정된다. 몇몇 구현들에서, 비디오 스트림은 클라이언트 디바이스(102)의 비디오 입력부(351), TV 튜너(352) 또는 네트워크 인터페이스(308)에 의해 수신된다. 몇몇 구현들에서, 비디오 스트림은 브로드캐스트 시스템(128)으로부터 수신된다. 예컨대, 비디오 스트림은 네트워크 연결, 위성 수신기, 케이블 박스를 통하여 또는 오버-디-에어 안테나에 의해 수신될 수 있다.
[00107] 정보의 세트(350)가 폐쇄 자막으로부터 결정된다(604). 몇몇 구현들에서, 정보의 세트(350)는 폐쇄 자막들의 콘텐츠로부터의 정보를 포함한다. 예컨대, 정보의 세트(350)는 폐쇄 자막들의 콘텐츠로부터의 텍스트를 포함할 수 있다. 몇몇 구현들에서, 정보의 세트(350)는 알파벳 캐릭터들, 번호들, 심볼들 또는 이들의 임의의 결합으로 구성된다. 정보의 세트(350)는 파싱 모듈(126)에 의해 결정된다.
[00108] 몇몇 구현들에서, 결정하는 것은 하나 이상의 심볼들을 결정하는 것을 포함하고, 정보의 세트(350)는 결정된 하나 이상의 심볼들을 포함한다(606). 다른 방식으로 진술하면, 몇몇 구현들에서, 파싱 모듈(126)은, 하나 이상의 심볼들을 결정하기 위해 폐쇄 자막들의 콘텐츠를 파싱하고, 결정된 하나 이상의 심볼들을 정보의 세트(350)에 포함시킨다. 몇몇 구현들에서, 결정하는 것은 하나 이상의 심볼들, 및 심볼의 뒤를 잇는 미리정의된 양의 텍스트를 결정하는 것을 포함한다. 하나 이상의 심볼들, 및 심볼의 뒤를 잇는 미리정의된 양의 텍스트는 정보의 세트(350)에 포함된다. 예컨대, 브로드캐스터 또는 콘텐츠 제공자는, 심볼의 뒤를 잇는 텍스트가 명령들이 도출되어야 할 정보임을 시그널링하기 위해, 비디오 스트림의 폐쇄 자막들에 "#" 심볼을 삽입할 수 있다. 예컨대, 폐쇄 자막은 사람 x가 배우임을 표시하기 위해 "#배우 사람 x"를 포함할 수 있다. 몇몇 구현들에서, 심볼의 뒤를 잇는 텍스트는 명령들, 또는 명령들이 도출되어야 할 정보를 포함할 수 있다. 예컨대, 파싱 모듈(126)은 폐쇄 자막으로부터 스트링 "#브라우저 URL"을 검출 및 파싱하고, 파싱된 스트링을 정보의 세트(350)에 포함시킨다. 파싱 모듈(126)은 파싱된 스트링을 포함하는 정보의 세트(350)를 서버(106)에 전송하고, 응답으로, 명령들(358) 세트를 수신한다. 파싱된 스트링에 대응하는 명령들(358) 세트는 클라이언트 디바이스(106) 상의 웹 브라우저를 호출할 수 있고, 파싱된 스트링의 URL에 대응하는 웹페이지를 오픈할 수 있다. 콘텐츠 제공자는, 비디오 스트림에 관련된 정보를 제공하기 위하여, 비디오 스트림의 폐쇄 자막들에 특수 캐릭터들 또는 심볼들을 삽입할 수 있다. 관련 정보는 비디오 스트림과 동시에 디스플레이된다.
[00109] 몇몇 구현들에서, 결정하는 것은 폐쇄 자막들의 하나 이상의 문장들을 결정하는 것을 포함하고, 정보의 세트(350)는 결정된 하나 이상의 문장들을 포함한다(608). 파싱 모듈(126)은 하나 이상의 문장들을 결정하기 위해 폐쇄 자막들의 콘텐츠를 파싱하고, 결정된 문장들을 정보의 세트(350)에 포함시킨다. 예컨대, 파싱 모듈(126)은, 폐쇄 자막들의 콘텐츠에서 기간들 또는 다른 구두점 마크들을 검출함으로써, 문장들을 검출할 수 있다.
[00110] 몇몇 구현들에서, 결정하는 것은 폐쇄 자막들의 하나 이상의 적절한 명사들을 결정하는 것을 포함하고, 정보의 세트(350)는 하나 이상의 대명사들을 포함한다(610). 파싱 모듈(126)은 하나 이상의 적절한 명사들을 결정하기 위해 폐쇄 자막들의 콘텐츠를 파싱하고, 결정된 하나 이상의 적절한 명사들을 정보의 세트(350)에 포함시킨다. 몇몇 구현들에서, 하나 이상의 적절한 명사들은 그들이 파싱 모듈(126)에 저장된 하나 이상의 적절한 명사들에 매칭된다면 선택된다. 적절한 명사들은 사람, 장소 또는 물건에 대응할 수 있다. 예컨대, 파싱 모듈(126)은, 하나 이상의 사람들의 이름들, 제품 또는 회사의 이름 또는 국가의 이름을 결정하기 위해 폐쇄 자막들의 콘텐츠를 파싱할 수 있다. 몇몇 구현들에서, 파싱 모듈(126)은 폐쇄 자막들의 대문자 단어들을 선택하고, 대문자 단어들을 정보의 세트(350)에 포함시킨다.
[00111] 몇몇 구현들에서, 비디오 스트림이 디스플레이되고, 비디오 스트림이 디스플레이되고 있는 동안, 정보의 세트(350)가 결정된다(612). 비디오 스트림은 클라이언트 디바이스(102)의 디스플레이(313) 상에 디스플레이된다. 정보의 세트(350)를 포함하는 요청(220)이, 프로세싱을 위해, 클라이언트(102)로부터 원격 위치된 서버(106)에 전송된다(614). 프로세싱은 정보의 세트(350)에 기초하여 명령들(358)의 세트를 결정한다. 명령들(358)의 세트는 디스플레이될 비디오 스트림의 폐쇄 자막들에 관련된 정보를 디스플레이하기 위한 명령들을 포함한다. 요청 모듈(352)에 의해 요청(358)이 생성 및 전송된다.
[00112] 명령들(358)의 세트가 서버로부터 수신된다(616). 명령들(358)의 세트는 정보의 세트(350)에 관련된 정보를 디스플레이하기 위한 명령들을 포함한다(616). 몇몇 구현들에서, 명령들(358)의 세트는 콘텐츠 피드에 포함된다. 명령들(358)의 세트는 파싱 모듈(126)에 의해 수신된다.
[00113] 명령들(358)의 세트를 수신하는 것에 응답하여, 명령(358)의 세트에 따라, 하나 이상의 기능들 및/또는 애플리케이션들이 실행된다(616). 몇몇 구현들에서, 하나 이상의 애플리케이션들은 미디어 애플리케이션, 피드 리더 애플리케이션, 브라우저 애플리케이션 및 쿠폰 북 애플리케이션으로 이루어진 그룹으로부터 선택된다(620). 예컨대, 도 5c에 도시된 바와 같이, 명령들(358)의 세트는 미디어 플레이어 애플리케이션(512)을 호출할 수 있고, 사용자가 노래를 사용자의 플레이리스트에 추가시키게 할 수 있다. 몇몇 구현들에서, 비디오 스트림이 디스플레이되고, 하나 이상의 애플리케이션들이 비디오 스트림에 인접하게 디스플레이된다(622). 예컨대, 도 5b에 도시된 바와 같이, 피드 리더 애플리케이션(508)이 텔레비전 프로그램(502)과 동시에 디스플레이된다. 하나 이상의 애플리케이션들은 도 5b, 도 5c, 도 5d 및 도 5e의 논의에서 더욱 상세히 논의된다. 하나 이상의 애플리케이션들은 파싱 모듈(126)에 의해 실행된다.
[00114] 일부 구현들에서, 하나 또는 둘 이상의 컨텐츠 파일들은 서버로부터 수신된다(621). 명령들의 세트(358)는 하나 또는 둘 이상의 컨텐츠 파일들을 디스플레이하기 위한 명령들을 포함하고, 하나 또는 둘 이상의 애플리케이션들을 실행시키는 것은 하나 또는 둘 이상의 수신된 컨텐츠 파일(621)을 디스플레이하는 것을 포함한다. 예를 들어, 웹 페이지는 수신될 수 있고, 명령들의 세트(358)는 웹페이지를 디스플레이하기 위해 웹 브라우저에 인보크(invoke)하기 위한 명령들을 포함한다.
[00115] 일부 구현들에서, 명령들의 세트(358)는 메시지를 디스플레이하기 위한 명령들을 포함한다. 메시지의 컨텐츠는 정보의 세트(350)와 관련된다. 예를 들어, 물건의 웹사이트에 대한 URL이 디스플레이될 수 있거나, 텔레비전 프로그램에 관한 정보의 스니핏이 디스플레이될 수 있다. 일부 구현들에서, 명령들의 세트(358)는 메시지(예를 들어, 이메일 또는 SMS)를 클라이언트(102)와 연관된 사용자에게 전송하기 위한 명령들을 포함한다. 예를 들어, 메시지는 쿠폰, 쿠폰으로의 링크, 노래, 노래로의 링크, 텔레비전 프로그램 또는 영화에 대한 정보 및 정보로의 링크를 포함할 수 있다. 메시지 모듈(356)은 메시지들을 디스플레이 및 전송한다.
[00116] 도 7은 폐쇄 자막(closed caption)들로부터 유도되는 정보에 기초하여 명령들의 세트를 생성하는 방법(700)을 예시하는 흐름도이다. 방법(700)은 하나 또는 둘 이상의 프로세서들 및 메모리를 갖는 서버 시스템(106)에서 수행된다. 일부 구현들에서, 정보의 세트(350)를 포함하는 요청(220)은 클라이언트(102)로부터 수신된다(702). 일부 구현들에서, 요청(220)은 사용자 식별자를 포함한다. 정보의 세트(350)는 비디오 스트림에서 폐쇄 자막들로부터 추출되었다(704). 하나 또는 둘 이상의 관련 아이덴티티들(234)은 정보의 세트(350)로부터 식별된다(704). 일부 구현들에서, 복수의 관련 아이덴티티들은 정보의 세트(350)를 이용하여 식별되고, 복수의 관련 아이덴티티들의 서브세트는 관련 아이덴티티들과 연관된 중요도 메트릭(242)에 기초하여 선택된다. 예를 들어, 식별 모듈(114)은 최고 중요도 메트릭(242)을 갖는 관련 아이덴티티를 선택할 수 있다. 일부 구현들에서, 하나 또는 둘 이상의 관련 아이덴티티들(234)은 요청(220)의 수신에 응답하여 결정된다. 식별 모듈(114)은 정보의 세트(350) 내의 정보를 아이덴티티 데이터베이스(130) 내의 하나 또는 둘 이상의 아이덴티티들(234)과 매칭시킨다. 하나 또는 둘 이상의 관련 아이덴티티들(234)은 사람, 장소 또는 사물에 대응할 수 있다.
[00117] 정보의 세트와 연관된 명령들의 세트(358)가 결정된다(708). 일부 구현들에서, 명령들의 세트(358)는 요청(220)의 수신에 응답하여 결정된다. 일부 구현들에서, 명령들의 세트(358)는 식별된 하나 또는 둘 이상의 관련 아이덴티티들(234)에 기초하여 결정된다(710). 일부 구현들에서, 관련 아이덴티티(234)는 복수의 연관 동작들을 포함한다. 예를 들어, 관련 아이덴티티(234)는 농구 선수의 이름일 수 있고, 연관 동작들은 농구 선수의 최신 경기(game)의 비디오 하이라이트를 디스플레이하는 것 또는 농구 선수에 대한 웹페이지를 디스플레이하는 것을 포함한다. 명령 모듈(118)은 사용자 식별자(246)에 대응하는 사용자에 대한 사용자 선호도들(250)에 기초하여 복수의 연관 동작들 중 하나 또는 둘 이상을 선택한다. 예를 들어, 사용자의 정보는 사용자가 관심있거나 관심없는 정보의 카테고리들을 표시하는 선호도들을 포함할 수 있다. 예를 들어, 관련 아이덴티티(234)는 배우, 운동 선수 및 뮤지션인 사람의 이름일 수 있고, 사용자의 선호도는 스포츠 및 음악을 향한 애호(affinity)를 표시할 수 있다. 이 예에서, 결과적인 명령들의 세트(358)는, 하나의 구현에서, 뮤지션 또는 운동 선수와 같은 사람의 활동에 관련될 것이다. 일부 구현들에서, 사용자의 선호도들은 사용자가 좋아하거나 좋아하지 않는 애플리케이션들을 표시한다. 예를 들어, 사용자는 쿠폰 애플리케이션을 통해 쿠폰들을 그리고 피드 리더 애플리케이션을 통해 컨텐츠 아이템들을 수신하는 것을 향한 애호를 가질 수 있다.
[00118] 일부 구현들에서, 명령들의 세트(358)는 식별된 하나 또는 둘 이상의 관련 아이덴티티들(234)과 연관된 하나 또는 둘 이상의 컨텐츠 파일들에 기초하여 결정된다. 일부 구현들에서, 관련 아이덴티티들과 연관된 하나 또는 둘 이상의 컨텐츠 파일들은 식별 모듈(114)에 의해 결정된다(714). 명령들의 세트(358)는 하나 또는 둘 이상의 컨텐츠 파일들을 디스플레이하기 위한 명령을 포함한다(714). 일부 구현들에서, 식별 모듈(114)은 질의로서 아이덴티티의 이름을 이용하여 컨텐츠 데이터베이스(122)를 탐색함으로써 하나 또는 둘 이상의 컨텐츠 파일들을 식별한다. 예를 들어, 관련 아이덴티티들(234) 중 하나는 물건의 이름일 수 있고, 하나 또는 둘 이상의 쿠폰들은 물건과 연관될 수 있다. 또 다른 예에서, 관련 아이덴티티들(234) 중 하나는 뮤지션일 수 있고, 식별 모듈(114)은 컨텐츠 데이터베이스(122)로부터 뮤지션에 의한 노래를 식별한다. 일부 구현들에서, 각각의 아이덴티티에 대한 연관 동작들(244)은 하나 또는 둘 이상의 컨텐츠 파일들을 특정한다. 명령 모듈(118)은 컨텐츠 데이터베이스(122)에서 특정된 컨텐츠 파일들을 탐색하고, 컨텐츠 파일들과 연관된 메트릭에 따라 컨텐츠 파일을 선택한다. 예를 들어, 명령 모듈(118)은 파일들의 인기에 기초하여 파일링된 컨텐츠를 선택할 수 있다. 명령 모듈(118)이 컨텐츠 파일을 식별한 이후, 명령 모듈은 컨텐츠 파일을 디스플레이 또는 플레이하기 위한 애플리케이션을 결정하고, 결정된 애플리케이션으로 하여금 컨텐츠 파일을 디스플레이하게 하는 명령들의 세트(358)를 생성한다.
[00119] 일부 구현들에서, 명령들의 세트(358)는 미디어 애플리케이션, 피드 리더 애플리케이션, 브라우저 애플리케이션 및 쿠폰 북 애플리케이션으로 구성된 그룹으로부터 선택된 애플리케이션을 실행하기 위한 명령들을 포함한다(712).
[00120] 일부 구현들에서, 명령들의 세트(358)는 클라이언트 디바이스(102) 상에 메시지를 디스플레이하기 위한 명령들을 포함한다. 메시지의 컨텐츠는 정보의 세트(350)에 관련된다. 예를 들어, 물건의 웹사이트에 대한 URL이 디스플레이될 수 있거나, 텔레비전 프로그램에 관한 정보의 스니핏이 디스플레이될 수 있다. 일부 구현들에서, 명령들의 세트(358)는 메시지(예를 들어, 이메일 또는 SMS)를 클라이언트와 연관된 사용자에 전송하기 위한 명령들을 포함한다. 메시지는 쿠폰, 쿠폰으로의 링크, 노래, 노래로의 링크, 텔레비전 프로그램 또는 영화에 대한 정보 및 정보로의 링크들을 포함할 수 있다. 명령들의 세트(358)은 명령 모듈(118)에 의해 생성된다.
[00121] 명령들의 세트(358)는 클라이언트(102)에 전송된다(716). 일부 구현들에서, 명령들의 세트(358)는 컨텐츠 피드에서 전송된다. 일부 구현들에서, 하나 또는 둘 이상의 컨텐츠 파일들은 하나 또는 둘 이상의 명령들과 함께 전송된다(718). 예를 들어, 플레이리스트, 미디어 파일, 컨텐츠 데이터베이스(122)에 저장된 광고 또는 피드는 명령들의 세트(358)와 함께 전송될 수 있다. 명령들의 세트(358) 및 선택적으로 하나 또는 둘 이상의 컨텐츠 파일들은 명령 모듈(118)에 의해 전송된다.
[00122] 본 명세서에서 설명된 방법들 각각은 명령들에 의해 지배될 수 있으며, 명령들은 비-일시적 컴퓨터 판독가능 저장 매체에 저장되고 하나 또는 둘 이상의 서버들(예를 들어, 서버 시스템(106))의 하나 또는 둘 이상의 프로세서들에 의해 실행된다. 도 6 및 7에 도시된 동작들 각각은 컴퓨터 메모리 또는 컴퓨터 판독가능 저장 매체에 저장된 명령들에 대응할 수 있다.
[00123] 도 8은 클라이언트-서버 환경(800)의 구현의 도면이다. 도 8에 예시된 클라이언트-서버 환경(800)은 도 1에 예시된 클라이언트-서버 환경(100)과 유사하고 그 클라이언트-서버 환경(100)으로부터 적응된다. 각각의 도면에 대해 공통인 엘리먼트들은 공통의 참조 번호들을 포함하며, 간결성을 위해 도 1과 도 8 사이의 차이들만이 여기서 설명된다. 더욱이, 특정한 구체적인 특징들이 예시되지만, 당업자들은, 간결성을 위해 그리고 본 명세서에 개시된 예시적 구현들의 더 적절한 양상들을 모호하게 하지 않기 위해 다양한 다른 특징들은 예시되지 않았음을 본 개시내용으로부터 이해할 것이다.
[00124] 이를 위해, 도 8을 참조하면, 클라이언트-서버 환경(800)은 부가적으로, 셋탑 박스(103), 제 2 스크린 클라이언트 디바이스(120)(예를 들어, 랩톱, 태블릿 컴퓨터, 스마트폰 등) 및 컨텐츠 제공자(150)를 포함한다. 부가적으로, 디스플레이(108)는 텔레비젼(108-1)으로 대체되고, 클라이언트 디바이스(102)는 클라이언트 디바이스(102-2)로 대체되며, 클라이언트 디바이스(102-2)는 보조 셋탑 박스로서 동작하도록 구성된다. 일부 구현들에서, 클라이언트 디바이스(102-2)는 텔레비젼-통합형 디바이스이다. 셋탑 박스(103), 제 2 스크린 클라이언트 디바이스(120), 클라이언트 디바이스(102-1), 서버 시스템(106), 브로드캐스트 시스템(140), 및 컨텐츠 제공자(150)는, 서로 그리고/또는 다른 디바이스들 및 시스템들과 정보를 교환하기 위해 통신 네트워크(104)에 연결될 수 있다. 클라이언트-서버 환경(800)은 단지 본 개시내용의 더 적절한 특징들을 논의하기 위해 제공되는 예이다. 당업자들은, 임의의 수의 이러한 디바이스들 및/또는 시스템들이 클라이언트-서버 환경에 제공될 수 있고, 특정 디바이스들은 없을 수 있음을 본 개시내용으로부터 이해할 것이다.
[00125] 일부 구현들에서, 제 2 스크린 클라이언트 디바이스(120)(예를 들어, 태블릿 컴퓨터 또는 랩톱 등), 셋탑 박스(103), TV(108-1), 및 클라이언트 디바이스(102-1)는, 예를 들어, 홈 또는 상업적 환경 내에서 조합되어 제공된다. 셋탑 박스(103)는, 브로드캐스트 시스템(140) 등으로부터의 미디어 컨텐츠를 포함한 신호들을 수신하여 디코딩하도록 구성된다. 동작에서, 셋탑 박스(103)는 브로드캐스트 시스템(140) 등으로부터 수신한 신호를 디코딩하여, 오디오 및 비디오 컨텐츠를 디스플레이를 위해 TV(108-1)에 제공한다. 예시된 예에서 TV가 이용되지만, 당업자들은, 컴퓨터들, 랩톱 컴퓨터들, 태블릿 컴퓨터들, 스마트폰들 등을 비롯한 임의의 수의 디스플레이 디바이스들이, 비디오 스트림을 디스플레이하기 위해 그리고 연관된 오디오 스트림을 플레이하기 위해 이용될 수 있음을 본 개시내용으로부터 이해할 것이다. 부가적으로 및/또는 대안적으로, 일부 구현들에서, 셋탑 박스(103) 및 TV(108-1)의 기능들은 단일 디바이스로 결합된다.
[00126] 일부 구현들에서, 셋탑 박스(103)는, 통신 네트워크(104)에 연결되고, 비디오 스트림들을 수신하고, 비디오 스트림들로부터 정보를 추출하고, 그리고 TV(108-1)(또는 다른 디스플레이 디바이스)를 이용한 디스플레이를 위해 비디오 스트림들을 프리젠팅할 수 있는 임의의 컴퓨터 디바이스이다. 일부 구현들에서, 셋탑 박스(103)는 케이블 TV 및/또는 위성 TV를 위한 수신기, 디지털 비디오 레코더(DVR), 디지털 미디어 수신기, TV 튜너, 컴퓨터, 및/또는 TV 신호들을 출력하는 임의의 다른 디바이스로서 구성된다. 일부 구현들에서, TV(108-1)는, 인터넷에 연결가능하지 않고, 그리고 오버 디 에어 브로드캐스트들(over the air broadcasts) 또는 위성 또는 케이블 연결을 통해 수신되는 디지털 및/또는 아날로그 TV 컨텐츠를 디스플레이하는 통상의 TV 디스플레이이다.
[00127] 유사하게, 일부 구현들에서, 클라이언트 디바이스(102-1)는 통신 네트워크(104) 및 TV(108-1)에 연결될 수 있는 임의의 컴퓨터 디바이스이다. 일부 구현들에서, 클라이언트 디바이스(102-1)는, 원격 제어 디바이스(도시되지 않음)로부터 셋탑 박스(103)로 지향된 적외선(IR) 송신들을 수신할 수 있다. 부가적으로 및/또는 대안적으로, 일부 구현들에서, 클라이언트 디바이스(102-1)는 클라이언트 디바이스(120)와 유선 및/또는 무선 통신할 수 있다. 일부 구현들에서, 클라이언트 디바이스(102-1)는 하나 또는 둘 이상의 프로세서들(121), 하드 디스크 드라이브와 같은 비-휘발성 메모리(125), 및 로컬 데이터베이스(123)를 포함한다. 일부 구현들에서, 메모리(122)는 애플리케이션 명령들(125a) 및 연관된 데이터(125b)를 포함한다. 아래에서 더 상세하게 논의되는 바와 같이, 프로세서(121)는 서버 시스템(106)으로부터 수신된 명령들의 세트에 따라 하나 또는 둘 이상의 애플리케이션들을 실행시킨다. 클라이언트 디바이스(102-1)는 또한, 키보드, 마우스 및/또는 트랙-패드(도시되지 않음)와 같은 입력 디바이스들을 가질 수 있다. 일부 구현들에서, 클라이언트 디바이스(102-1)는 기능성을 추가하기 위해, 터치 스크린 디스플레이, 디지털 카메라 및/또는 임의의 수의 보조 디바이스들을 포함한다.
[00128] 텔레비젼들에서 통상적인 바와 같이, TV(108-1)는 디스플레이(108-1a) 및 스피커들(108-1b)을 포함한다. 부가적으로 및/또는 대안적으로, TV(108-1)는, 예를 들어, 컴퓨터, 태블릿 디바이스, 모바일 전화, 프로젝터, 또는 다른 유형의 비디오 디스플레이 시스템과 같은, 비디오 컨텐츠를 사용자에게 프리젠팅하기 위한 다른 유형의 디스플레이 디바이스로 대체될 수 있다. 디스플레이 디바이스는 무선 또는 유선 연결을 통해 셋탑 박스(103)에 커플링될 수 있다.
[00129] 본 명세서에서 이용되는 바와 같이, TV 신호는, TV 채널 또는 프로그램에 대응하는 오디오 및/또는 비디오 컴포넌트들을 포함하는 전기, 광학, 또는 다른 유형의 데이터 송신 매체이다. 일부 구현들에서, TV 신호는 지상파 오버-디-에어 TV 브로드캐스트 신호이거나 또는 케이블-시스템 또는 위성 시스템 상에서 분배/브로드캐스팅되는 부호(sign)이다. 일부 구현들에서, TV 신호는 네트워크 연결을 통해 데이터로서 송신된다. 예를 들어, 셋탑 박스(103)는 비디오 스트림들을 인터넷 연결로부터 수신할 수 있다. 본 명세서에서, TV 신호의 오디오 및 비디오 컴포넌트들은 때때로, 오디오 신호들 및 비디오 신호들로 지칭된다. 일부 구현들에서, TV 신호는, TV(108-1) 상에서 디스플레이되는 TV 채널에 대응한다.
[00130] 도 9a는 일부 구현들에 따라, 정보 박스(910)를 디스플레이하도록 동작하는 텔레비젼(108-1)의 텔레비젼 디스플레이(108-1a)의 예시적 스크린샷의 개략도이다. 텔레비젼이 예시되지만, 당업자들은, 본 명세서에서 개시된 시스템들 및 방법들이 임의의 미디어 프리젠테이션 디바이스와 조합되어 이용될 수 있음을 본 개시내용으로부터 이해할 것이다. 동작에서, 도 8 및 9a를 참조하면, 일부 구현들에서, 클라이언트 디바이스(102-1)는, 프라이머리 셋탑 박스(103)에 의해 제공되는 디스플레이 신호에 부가하여, 디스플레이 명령들 및 디스플레이 데이터(즉, 디스플레이 신호)를 텔레비젼(108-1)에 제공한다. 디스플레이 명령들은, 텔레비젼(108-1)으로 하여금, 디스플레이 데이터에 의해 제공되는 정보 박스(910)를, 스크린(108-1a) 상에 프리젠팅되는 플레잉 텔레비젼 프로그램(920)의 적어도 일부분을 막는(obstructing) 시각적 오버레이로서 디스플레이하게 한다. 프라이머리 셋탑 박스(103)에 의해 제공되는 디스플레이 신호는 플레잉 텔레비젼 프로그램(920)을 프리젠팅하기 위한 데이터를 포함한다. 일부 구현들에서, 클라이언트 디바이스(102-1)에 의해 제공되는 디스플레이 데이터는, 예를 들어, 정보 박스(910)의 상대적 크기, 형상 및 색을 비롯한, 정보 박스(910)의 광학적 속성들을 포함한다. 일부 구현들에서, 디스플레이 데이터는 또한, 도 10 및 11을 참조하여 아래에서 설명되는 프로세스에 의해 획득된 플레잉 텔레비젼 프로그램(920)과 연관된 부가적인 컨텐츠를 포함한다. 예를 들어, 도 9a에 도시된 바와 같이, 정보 박스(710)는 텔레비젼 프로그램과 연관된 검색 결과들의 제 1 표시자(910-1), 텔레비젼 프로그램의 시놉시스(911-1), 및 연관된 컨텐츠에 대한 선택가능한 하이퍼링크들(911-1)을 포함한다. 일부 구현들에서, 검색 결과들의 각각의 표시자는, 일반적 인터넷 검색, 연관된 뉴스 아이템들에 대해 타겟팅된 검색, 연관된 이미지들에 대해 타겟팅된 검색, 연관된 인터넷-액세스가능 미디어 컨텐츠(예를 들어, 비디오들, 뮤직 등)에 대해 타겟팅된 검색, 및 연관된 소셜 미디어 컨텐츠에 대해 타겟팅된 검색으로부터의 검색 결과들 중 적어도 하나와 연관된다.
[00131] 도 9b는 일부 구현들에 따른 텔레비젼(108)의 텔레비젼 디스플레이(108-1a) 및 제 2 스크린 클라이언트 디바이스(120)(예를 들어, 태블릿)의 예시적 스크린샷들의 개략도이다. 도 9a에 예시된 예와 대조적으로, 플레잉 텔레비젼 프로그램(920)과 연관된 검색 결과들을 제공하는 정보 박스(930)가 제 2 스크린 클라이언트 디바이스(120)의 스크린(120a) 상에 디스플레이된다. 동작에서, 도 8 및 9b 양쪽 모두를 참조하면, 일부 구현들에서, 클라이언트 디바이스(102-1)는 디스플레이 명령들 및 디스플레이 데이터(즉, 디스플레이 신호)를 제 2 스크린 클라이언트 디바이스(120)에 제공한다. 디스플레이 명령들은, 제 2 스크린 클라이언트 디바이스(120)로 하여금, 디스플레이 데이터에 의해 제공되는 정보 박스(930)를, 스크린(120a)의 적어도 일부분을 막는 시각적 오버레이로서 디스플레이하게 한다. 일부 구현들에서, 디스플레이 데이터는, 예를 들어, 정보 박스(930)의 상대적 크기, 형상 및 색을 비롯한, 정보 박스(930)의 광학적 속성들을 포함한다. 일부 구현들에서, 정보 박스(930)는 다른 애플리케이션(또는 프로그램) 윈도우(950)와 조합되어 프리젠팅되고, 그리고/또는 디스플레이 스크린의 다른 부분은, 윈도우 등을 포함하지 않는 다른 디스플레이 영역(940)을 포함한다. 일부 구현들에서, 디스플레이 데이터는 또한, 앞서 간략하게 설명된 프로세스에 의해 획득된 플레잉 텔레비젼 프로그램(920)과 연관된 부가적인 컨텐츠를 포함한다. 예를 들어, 도 9b에 도시된 바와 같이, 정보 박스(930)는, 텔레비젼 프로그램과 연관된 검색 결과들의 제 1 표시자(930-1), 텔레비젼 프로그램의 시놉시스(931-1), 및 연관된 컨텐츠에 대한 선택가능한 하이퍼링크들(931-1)을 포함한다.
[00132] 도 10은 프로그램 데이터에 포함된 오디오 디스크립션 데이터를 이용하여, 연관된 컨텐츠 및 정보를 디스플레이하는 프로세스의 개요를 예시하는 신호 흐름도이다. 도 8을 계속 참조하면, 도 10은 도 11 및 12를 참조하여 아래에서 더 상세하게 설명되는 방법들의 개요를 제공한다. 이를 위해, 브로드캐스트 시스템(128) 또는 컨텐츠 제공자는, 오디오 디스크립션 데이터를 포함하는 비디오 스트림을 프라이머리 셋탑 박스 또는 클라이언트 디바이스(102-1) 중 적어도 하나에 전송한다(1001). 당업자들은, 오디오 디스크립션 데이터(또는 비디오 디스크립션 데이터)가 일반적으로, 시각 장애자를 돕기 위해 접근가능성 피쳐(accessibility feature)로서 제공됨을 본 개시내용으로부터 이해할 것이다. 오디오 디스크립션 데이터는 일반적으로, 미디어 프로그램에 포함된 프라이머리 오디오 컨텐츠(예를 들어, 등장인물들 사이의 대화)의 자연적 정지들(natural pauses) 동안 그리고 때때로 요구에 따라서는 프라이머리 오디오 컨텐츠 동안, 미디어 프로그램(예를 들어, 텔레비젼 프로그램, 스포츠 이벤트들, 플레이, 영화 등)에서 어떤 일이 벌어지고 있는지를 설명하는 동기화된 오디오 내러티브(synchronized audio narrative)를 포함한다. 더욱이, 앞서 언급된 바와 같이, 다양한 구현들에서, 클라이언트 디바이스(102-1)는 보조 셋탑 박스 및/또는 텔레비젼-통합형 디바이스 중 하나로서 구성된다.
[00133] 오디오 디스크립션 데이터를 포함하는 비디오 스트림은 프라이머리 셋탑 박스(103) 및 클라이언트 디바이스(102-1) 중 적어도 하나에 의해 수신된다(1002). 일부 구현들에서, 셋탑 박스(103)만이, 오디오 디스크립션 데이터를 포함한 비디오 스트림을 수신한다. 일부 구현들에서, 클라이언트 디바이스(102-1)가 오디오 디스크립션 데이터를 프라이머리 셋탑 박스(103)로부터 수신한다. 부가적으로 및/또는 대안적으로, 일부 구현들에서, 클라이언트 디바이스(102-1)는 연관된 오디오 디스크립션 데이터를 요청하여, 연관된 오디오 디스크립션 데이터를 컨텐츠 제공자(150) 및 브로드캐스트 시스템 중 하나로부터 수신한다. 부가적으로 및/또는 대안적으로, 일부 구현들에서, 클라이언트 디바이스(102-1)는 오디오 디스크립션 데이터 및 프라이머리 오디오 컨텐츠를, 텔레비젼(108-1)의 108-1b의 스피커들에 의해 플레이되는 바와 같이 기록한다. 부가적으로 및/또는 대안적으로, 일부 구현들에서, 클라이언트 디바이스(120)(예를 들어, 태블릿, 스마트폰 등)는 오디오 디스크립션 데이터 및 프라이머리 오디오 컨텐츠를, 텔레비젼(108-1)의 108-1b의 스피커들에 의해 플레이되는 바와 같이 기록하고, 그 기록의 적어도 일부를 클라이언트 디바이스(102-1)에 송신한다.
[00134] 오디오 디스크립션 데이터로부터의 정보의 세트가 결정된다(1004). 일부 구현들에서, 정보의 세트는, 하나 또는 둘 이상의 스피치 인식 기법들을 적용함으로써 오디오 컨텐츠를 텍스트로 변환하는 오디오-투-텍스트 전사 프로세스를 오디오 디스크립션 데이터에 대해 수행함으로써 부분적으로 결정된다. 일부 구현들에서, 정보의 세트는, 오디오 디스크립션 데이터가 들릴 수 있도록 오디오 디스크립션 데이터를 플레이함이 없이, 오디오 디스크립션 데이터를 텍스트로 변환함으로써 부분적으로 결정된다. 예를 들어, 스피커(또는 다른 사운드 액추에이터)에 적합한 신호로 변환되는 것에 부가하여 또는 그에 대한 대안으로서, 텍스트 스트림을 획득하기 위해 오디오 디스크립션 데이터가 디코딩된다.
[00135] 정보의 세트는 프로세싱을 위해 클라이언트 디바이스(102-1)로부터 원격 위치된 서버(106)에 전송된다(1006). 서버(106)는 정보의 세트를 수신한다(1008). 서버(106)는, 정보의 세트로부터 하나 이상의 관련 아이덴티티들을 식별하고, 하나 이상의 관련 아이덴티티들과 연관된 명령들의 세트를 결정하고, 명령들의 세트를 클라이언트 디바이스(102-1)에 전송한다(1010). 클라이언트 디바이스(102-1)는 서버(106)로부터 명령들의 세트를 수신한다(1012). 클라이언트 디바이스(102)는 명령들의 세트에 따라 텔레비전 스크린(108-1a) 및/또는 클라이언트 디바이스(120)의 스크린상에 연관 컨텐츠의 디스플레이를 야기하기 위해 하나 이상의 애플리케이션들을 실행한다(1014).
[00136] 도 11은 프로그램 데이터에 포함된 오디오 디스크립션 데이터를 사용하여 연관된 컨텐츠 및 정보를 디스플레이하는 방법(1100)의 구현의 흐름도 표현이다. 이러한 방법은 컨텐츠가 재생되는 동안 컨텐츠에 관한 정보 및 서비스들을 제공하도록 요망하는 브로드캐스터들 및 컨텐츠 제공자들에게 유용할 수 있다. 이러한 방법은, 그들이 관찰하는 컨텐츠에 관한 관련 정보를 원하는 컨텐츠 뷰어들에게 유용할 수 있다. 일부 구현들에서, 방법(1100)은 현재 재생중인 텔레비전 프로그램과 연관된 컨텐츠 또는 정보를 제공하기 위해 보조 셋톱 박스 및/또는 텔레비전 통합 모듈과 같은 디바이스에 의해 수행된다. 예를 들어, 도 8과 관련하여, 일부 구현들에서, 방법(1100)은 클라이언트 디바이스(102-1)(예를 들어, 보조 셋톱 박스) 및/또는 클라이언트 디바이스(120)에 의해 수행된다. 간략하게, 방법(1100)은, 미디어 프로그램의 비디오 스트림 데이터와 연관된 오디오 디스크립션 데이터를 포착함으로써, 오디오 디스크립션 데이터로부터 텍스트를 추출함으로써, 추출된 텍스트의 적어도 일부에 기초하여 정보에 대한 요청을 송신함으로써, 그리고 요청에 응답하여 수신된 연관 컨텐츠 및/또는 정보를 디스플레이함으로써 미디어 프로그램과 연관된 컨텐츠를 식별하고 제시하는 것을 포함한다.
[00137] 이를 달성하기 위해, 방법(1100)은, 오디오 디스크립션 데이터를 포함하는 비디오 스트림(161)을 수신하는 단계(1102)를 포함한다. 예를 들어, 비디오 스트림(161)은, 1차(primary) 비디오 및 오디오 컨텐츠에 관련된 그리고 이들과 동기화된 오디오 디스크립션 데이터를 갖는 텔레비전 프로그램, 영화 또는 광고에 대응할 수 있다. 일부 구현들에서, 비디오 스트림(161)은 비디오 입력(350), TV 튜너(352), 클라이언트 디바이스(102-1)의 네트워크 인터페이스(308), 및/또는 1차 셋톱 박스(103)에 의해 수신된다. 일부 구현들에서, 비디오 스트림(161)은 브로드캐스트 시스템(128) 및 컨텐츠 제공자(150) 중 적어도 하나로부터 수신된다. 다양한 구현들에서, 비디오 스트림(161)은 네트워크 접속, 위성 수신기, 케이블 박스를 통해 및/또는 공중파 안테나(over-the-air antenna)에 의해 수신될 수 있다.
[00138] 방법(1100)은 오디오 디스크립션 데이터로부터 정보의 세트(350)를 결정하는 단계(1104)를 포함한다. 일부 구현들에서, 정보의 세트는 하나 이상의 음성 인식 기법들을 적용함으로써 오디오 컨텐츠를 텍스트로 변환하는 오디오-투-텍스트 트랜스크립션 프로세스를 오디오 디스크립션 데이터 상에서 수행함으로써 부분적으로 결정된다. 일부 구현들에서, 정보의 세트는, 오디오 디스크립션 데이터가 들려질 수 있도록 오디오 디스크립션 데이터를 재생하지 않으면서 오디오 디스크립션 데이터를 텍스트로 변환함으로써 부분적으로 결정된다. 예를 들어, 스피커(또는 다른 사운드 액추에이터)에 적합한 신호로 변환되는 것에 더해 또는 그에 대한 대안으로서, 오디오 디스크립션 데이터는 텍스트 스트림을 획득하기 위해 디코딩된다. 일부 구현들에서, 정보의 세트(350)는 오디오 디스크립션 데이터의 컨텐츠로부터의 정보를 포함한다. 예를 들어, 일부 구현들에서, 정보의 세트(350)는 오디오 디스크립션 데이터의 트랜스크립션으로부터의 텍스트를 포함한다. 일부 구현들에서, 정보의 세트(350)는 알파벳 문자들, 숫자들, 심볼들, 또는 이들의 임의의 조합으로 구성된다. 일부 구현들에서, 정보의 세트는 파싱 모듈(예를 들어, 도 1에 도시된 파싱(126))에 의해 결정된다. 일부 구현들에서, 정보의 세트(350)는 컴퓨터 판독가능 명령들의 세트를 실행하는 프로세서(예를 들어, 도 8에 도시된 프로세서(121) 및 컴퓨터 판독가능 명령들(125a))에 의해 결정될 수 있다.
[00139] 일부 구현들에서, 결정하는 단계는 하나 이상의 심볼들을 결정하는 단계를 포함하며, 정보의 세트(350)는 결정된 하나 이상의 심볼들을 포함한다(1106). 즉, 일부 구현들에서, 파싱 모듈(126)은, 하나 이상의 심볼들이 설명되었는지 여부를 결정하기 위해 오디오 디스크립션 데이터를 파싱하고, 그리고 정보의 세트(350)에 결정된 하나 이상의 심볼들을 포함시킨다. 일부 구현들에서, 결정하는 단계는, 하나 이상의 심볼들 및 그 심볼 이후의 텍스트의 미리결정된 양을 결정하는 단계를 포함한다. 하나 이상의 심볼들 및 심볼 이후의 텍스트의 미리결정된 양은 정보의 세트(350)에 포함된다. 예를 들어, 브로드캐스터 또는 컨텐츠 제공자는, 심볼 이후의 텍스트가 명령들이 도출되어야만 하는 정보임을 시그널링하기 위해, 비디오 스트림의 오디오 디스크립션 데이터에 "#" 심볼을 포함시킬 수 있거나 또는 설명할 수 있다. 예를 들어, 오디오 디스크립션 데이터는, 사람 x가 배우임을 나타내기 위해 "#actor person x"를 포함할 수 있다. 일부 구현들에서, 심볼 이후의 텍스트는, 명령들이 도출되어야만 하는 정보 또는 명령들을 포함할 수 있다. 예를 들어, 파싱 모듈(126)은 오디오 디스크립션 데이터로부터 스트링 "#browser URL"을 검출하고 파싱하며, 파싱된 스트링을 정보의 세트(350)에 포함시킨다. 파싱 모듈(126)은, 파싱된 스트링을 포함하는 정보의 세트(350)를 서버(106)에 전송하고, 이에 응답하여 명령들의 세트(358)를 수신한다. 파싱된 스트링에 대응하는 명령들의 세트(358)는, 클라이언트 디바이스(106)에 웹 브라우저를 호출(invoke)할 수 있고 그리고 파싱된 스트링 내의 URL에 대응하는 웹페이지를 열람(open)할 수 있다. 컨텐츠 제공자는 비디오 스트림에 관한 정보를 제공하기 위해 비디오 스트림의 오디오 디스크립션 데이터 내의 특수 문자들 또는 심볼들을 설명할 수 있다. 관련 정보가 비디오 스트림과 동시에 디스플레이된다.
[00140] 일부 구현들에서, 결정하는 단계는 오디오 디스크립션 데이터에 하나 이상의 문장들을 결정하는 단계를 포함하며, 정보의 세트(350)는 결정된 하나 이상의 문장들을 포함한다(1108). 파싱 모듈(126)은, 하나 이상의 문장들을 결정하기 위해 오디오 디스크립션 데이터의 컨텐츠를 파싱하고 그리고 정보의 세트(350)에 결정된 문장들을 포함시킨다. 예를 들어, 파싱 모듈(126)은 오디오 디스크립션 데이터의 컨텐츠 내에서 마침표들 또는 다른 문장 부호들을 검출함으로써 문장들을 검출할 수 있다.
[00141] 일부 구현들에서, 결정하는 단계는 오디오 디스크립션 데이터에서의 하나 이상의 적절한 명사들을 결정하는 단계를 포함하며, 정보의 세트(350)는 하나 이상의 대명사들을 포함한다(1110). 파싱 모듈(126)은, 하나 이상의 명사들을 결정하기 위해 오디오 디스크립션 데이터의 컨텐츠를 파싱하고 그리고 결정된 하나 이상의 적절한 명사들을 정보의 세트(350)에 포함시킨다. 일부 구현들에서, 하나 이상의 적절한 명사들은, 이들이 파싱 모듈(126)에 저장된 하나 이상의 적절한 명사들과 일치하는 경우, 선택된다. 적절한 명사들은 사람, 장소, 또는 물건에 대응할 수 있다. 예를 들어, 파싱 모듈(126)은, 하나 이상의 사람들의 이름들, 물품 또는 회사의 명칭, 또는 국명을 결정하기 위해 오디오 디스크립션 데이터의 컨텐츠를 파싱할 수 있다. 일부 구현들에서, 파싱 모듈(126)은, 오디오 디스크립션 데이터에서 대문자들을 선택하고 그리고 정보의 세트(350)에 그 대문자들을 포함시킨다.
[00142] 몇몇 구현예들에서, 비디오 스트림이 디스플레이되고, 비디오 스트림이 디스플레이되는 동안, 정보의 세트(350)가 결정된다(1112). 비디오 스트림은 클라이언트 디바이스(102)의 디스플레이(313) 상에 디스플레이된다. 프로세싱을 위해, 정보의 세트(350)를 포함하는 요청(220)이, 클라이언트(102)로부터 원격으로 로케이팅된 서버(106)에 전송된다(1114). 프로세싱은 정보의 세트(350)에 기초하여 명령들의 세트(358)를 결정한다. 명령들의 세트(358)는 디스플레이될 비디오 스트림의 오디오 디스크립션 데이터와 관련된 정보를 디스플레이하기 위한 명령들을 포함한다. 요청(358)은 요청 모듈(352)에 의해 생성되고 전송된다.
[00143] 명령들의 세트(358)는 서버로부터 수신된다(1116). 명령들의 세트(358)는 정보의 세트(350)에 관한 정보를 디스플레이하기 위한 명령들을 포함한다(1116). 몇몇 구현예들에서, 명령들의 세트(358)는 컨텐츠 피드에 포함된다. 명령들의 세트(258)는 파싱 모듈(126)에 의해 수신된다.
[00144] 명령들의 세트(350)를 수신하는 것에 응답하여 명령들의 세트(358)에 따라 하나 이상의 기능들 및/또는 애플리케이션들이 실행된다(1118). 몇몇 구현예들에서, 하나 이상의 애플리케이션들은 미디어 애플리케이션, 피드 리더 애플리케이션, 브라우저 애플리케이션, 및 쿠폰 북 애플리케이션으로 이루어진 그룹으로부터 선택된다(1120). 예를 들어, 도 5c에 도시된 바와 같이, 명령들의 세트(358)는 미디어 플레이어 애플리케이션(512)을 호출할 수 있고, 사용자가 사용자의 플레이리스트에 노래를 추가하는 것을 촉구(prompt)할 수 있다. 몇몇 구현예들에서, 하나 이상의 컨텐츠 파일들이 서버로부터 수신된다(1121). 명령들의 세트(358)는 하나 이상의 컨텐츠 파일들을 디스플레이하기 위한 명령들을 포함하고, 하나 이상의 애플리케이션들을 실행하는 것은 하나 이상의 수신된 컨텐츠 파일을 디스플레이하는 것을 포함한다(1121). 예를 들어, 웹 페이지가 수신될 수 있고, 명령들의 세트(358)는 웹페이지를 디스플레이하도록 웹 브라우저를 호출하는 명령들을 포함한다.
[00145] 몇몇 구현예들에서, 비디오 스트림이 디스플레이되고 하나 이상의 애플리케이션들이 비디오 스트림에 인접하게 디스플레이된다(1122). 예를 들어, 도 5b에 도시된 바와 같이, 피드 리더 애플리케이션(508)이 텔레비젼 프로그램(502)과 함께 동시에 디스플레이된다. 하나 이상의 애플리케이션들은 도 5b, 5c, 5d, 및 5e의 논의에서 훨씬 상세하게 논의된다. 하나 이상의 애플리케이션들은 파싱 모듈(126)에 의해 실행된다.
[00146] 몇몇 구현예들에서, 명령들의 세트(358)는 메시지를 디스플레이하기 위한 명령들을 포함한다. 메시지의 컨텐츠는 정보의 세트(350)와 관련된다. 예를 들어, 제품의 웹사이트에 대한 URL이 디스플레이될 수 있거나 텔레비젼 프로그램과 관련된 정보의 단편(snippet)이 디스플레이될 수 있다. 몇몇 구현예들에서, 명령들의 세트(358)는 클라이언트(102)와 연관된 사용자에게 메시지(예를 들어, 이메일 또는 SMS)를 전송하기 위한 명령들을 포함한다. 예를 들어, 메시지는 쿠폰, 쿠폰에 대한 링크, 노래, 노래에 대한 링크, 텔레비젼 프로그램 또는 영화에 대한 정보와 정보에 대한 링크들을 포함할 수 있다. 메시지 모듈(356)은 메시지들을 디스플레이하고 전송한다.
[00147] 도 12는 오디오 디스크립션 데이터로부터 추출된 정보의 세트에 기초하여 명령들의 세트를 결정하는 방법(1200)의 구현예의 흐름도이다. 몇몇 구현예들에서, 방법(1200)은, 하나 이상의 프로세서들 및 메모리를 갖는 서버 시스템(예를 들어, 도 8의 서버 시스템(106))에서 수행된다. 간략하게, 방법(1200)은 미디어 프로그램과 연관된 컨텐츠에 대한 요청을 수신하는 단계, 요청과 함께 제공된 적어도 하나의 정보의 세트에 기초한 연관된 컨텐츠를 결정하는 단계, 및 연관된 컨텐츠를 요청 디바이스에 송신하는 단계를 포함한다.
[00148] 그러한 목적을 달성하기 위해, 방법(1200)은 정보의 세트(350)를 포함하는 요청(220)을 클라이언트 디바이스(102-1) 또는 클라이언트 디바이스(120)로부터 수신하는 단계(1202)를 포함한다. 몇몇 구현예들에서, 요청(220)은 사용자 식별자를 포함한다. 몇몇 구현예들에서, 정보의 세트(350)는 비디오 스트림과 연관된 오디오 디스크립션 데이터로부터 추출된 데이터를 포함한다(1204).
[00149] 차례대로, 방법(1200)은 정보의 세트(350)로부터 하나 이상의 관련 아이덴티티들(234)을 식별하는 단계(1206)를 포함한다. 몇몇 구현예들에서, 복수의 관련 아이덴티티들은 정보의 세트(350)를 사용하여 식별되고, 복수의 관련 아이덴티티들의 서브세트는 관련 아이덴티티들과 연관된 중요도 메트릭(242)에 기초하여 선택된다. 예를 들어, 식별 모듈(114)은 가장 높은 중요도 메트릭(242)을 갖는 관련 아이덴티티를 선택할 수 있다. 몇몇 구현예들에서, 하나 이상의 관련 아이덴티티들(234)은 요청(220)을 수신하는 것에 응답하여 결정된다. 식별 모듈(114)은 정보의 세트(350)의 정보를, 아이덴티티 데이터베이스(130))의 하나 이상의 아이덴티티들(234)에 매칭한다. 하나 이상의 관련 아이덴티티들(234)은 인물, 장소, 또는 물건에 대응할 수 있다.
[00150] 방법(1200)은 정보의 세트와 연관된 명령들의 세트(358)를 결정하는 단계(1208)를 포함한다. 몇몇 구현예들에서, 명령들의 세트(358)는 요청(220)을 수신하는 것에 응답하여 결정된다. 몇몇 구현예들에서, 명령들의 세트(358)는 식별된 하나 이상의 관련 아이덴티티들(234)에 기초하여 결정된다(1210). 몇몇 구현예들에서, 관련 아이덴티티(234)는 복수의 연관된 액션들을 포함한다. 예를 들어, 관련 아이덴티티(234)는 농구 선수의 이름일 수 있고, 연관된 액션들은 농구 선수의 가장 최근 경기의 비디오 하이라이트를 디스플레이하는 것 또는 농구 선수에 관한 웹 페이지를 디스플레이하는 것을 포함한다. 명령 모듈(118)은 사용자 식별자(246)에 대응하는 사용자에 대한 사용자 선호도들(250)에 기초하여, 복수의 연관된 액션들 중 하나 이상을 선택한다. 예를 들어, 사용자 정보는 특정 사용자가 관심이 있거나 관심이 없는 정보의 카테고리들을 나타내는 선호도들을 포함할 수 있다. 예를 들어, 관련 아이덴티티(234)는 배우, 운동 선수, 및 음악가인 인물의 이름일 수 있고, 사용자의 선호도는 스포츠 및 음악에 대한 친밀성을 나타낼 수 있다. 이러한 예에서, 일 구현예에서, 결과적인 명령들의 세트(358)는 음악가 또는 운동 선수로서의 인물의 활동과 관련될 것이다. 몇몇 구현예들에서, 사용자의 선호도들은 사용자가 좋아하거나 싫어하는 애플리케이션들을 나타낸다. 예를 들어, 사용자는 쿠폰 애플리케이션을 통해 쿠폰들을 수신하는 것 및 피드 리더 애플리케이션을 통해 컨텐츠 아이템들을 수신하는 것에 대한 친밀성을 가질 수 있다.
[00151] 몇몇 구현들에서, 명령들(358)의 세트는, 미디어 애플리케이션, 피드 판독기 애플리케이션, 브라우저 애플리케이션 및 쿠폰 북 애플리케이션으로 이루어지는 그룹으로부터 선택되는 애플리케이션을 실행하기 위한 명령들을 포함한다(1212).
[00152] 몇몇 구현들에서, 명령들(358)의 세트는, 식별된 하나 이상의 관련 아이덴티티들(234)과 연관된 하나 이상의 컨텐츠 파일들에 기초하여 결정된다. 몇몇 구현들에서, 관련 아이덴티티들과 연관된 하나 이상의 컨텐츠 파일들은, 식별 모듈(114)에 의해 결정된다(1214). 명령들(358)의 세트는 하나 이상의 컨텐츠 파일들을 디스플레이하기 위한 명령들 포함한다(1214). 몇몇 구현들에서, 식별 모듈(114)은, 질의로서 아이덴티티의 명칭들을 사용하여 컨텐츠 데이터 베이스(122)를 검색함으로써, 하나 이상의 컨텐츠 파일들을 식별한다. 예를 들어, 관련 아이덴티티들(234) 중 하나는 제품의 명칭일 수도 있고, 하나 이상의 쿠폰들이 제품과 연관될 수도 있다. 다른 예에서, 관련 아이덴티티들(234) 중 하나는 뮤지션일 수도 있고, 식별 모듈(114)은 컨텐츠 데이터베이스(122)로부터 뮤지션에 의한 노래를 식별한다. 몇몇 구현들에서, 각각의 아이덴티티에 대한 연관된 동작들(244)은 하나 이상의 컨텐츠 파일들을 특정한다. 명령 모듈(118)은, 특정된 컨텐츠 파일들을 컨텐츠 데이터베이스(122)에서 검색하고, 컨텐츠 파일들과 연관된 메트릭에 따라 컨텐츠 파일을 선택한다. 예를 들어, 명령 모듈(118)은, 파일들의 인기에 기초하여 컨텐츠 파일을 선택할 수도 있다. 명령 모듈(118)이 컨텐츠 파일을 식별한 이후, 명령 모듈은, 컨텐츠 파일을 디스플레이 또는 플레이할 애플리케이션을 결정하고, 결정된 애플리케이션으로 하여금 컨텐츠 파일을 디스플레이하게 하는 명령들(358)의 세트를 생성한다.
[00153] 몇몇 구현들에서, 명령들(358)의 세트는 클라이언트 디바이스(102) 상에 메시지를 디스플레이하기 위한 명령들을 포함한다. 메시지의 컨텐츠는 정보의 세트(350)에 관한 것이다. 예를 들어, 제품의 웹사이트에 대한 URL이 디스플레이될 수도 있거나, 텔레비전 프로그램에 관련된 정보의 스니핏이 디스플레이될 수도 있다. 몇몇 구현들에서, 명령들(358)의 세트는, 클라이언트와 연관된 사용자에게 메시지(예를 들어, 이메일 또는 SMS)를 전송하기 위한 명령들을 포함한다. 메시지는, 쿠폰, 쿠폰으로의 링크, 노래, 노래로의 링크, 텔레비전 프로그램 또는 영화에 대한 정보, 및 정보로의 링크들을 포함할 수도 있다. 명령들(358)의 세트는, 명령 모듈(118)에 의해 생성된다.
[00154] 방법(1200)은, 명령들(358)의 세트를 클라이언트(102)에 전송하는 단계(1216)를 포함한다. 몇몇 구현들에서, 명령들(358)의 세트는 컨텐츠 피드에서 전송된다. 몇몇 구현들에서, 하나 이상의 컨텐츠 파일들이 하나 이상의 명령들과 함께 전송된다(1218). 예를 들어, 컨텐츠 데이터베이스(122)에 저장된 플레이리스트, 미디어 파일, 광고 또는 피드는 명령들(358)의 세트와 함께 전송될 수도 있다. 명령들(358)의 세트 및 선택적으로 하나 이상의 컨텐츠 파일들은 명령 모듈(118)에 의해 전송된다.
[00155] 본 명세서에 설명된 방법들 각각은, 비-일시적인 컴퓨터 판독가능 저장 매체에 저장되고 하나 이상의 서버들(예를 들어, 서버 시스템(106))의 하나 이상의 프로세서들에 의해 실행되는 명령들에 의해 관리된다. 도 11 및 12에 도시된 동작들 각각은, 컴퓨터 메모리 또는 컴퓨터 판독가능 저장 매체에 저장된 명령들에 대응할 수도 있다.
[00156] 전술한 설명은, 설명의 목적들을 위해 특정한 구현들을 참조하여 설명되었다. 그러나, 위의 예시적인 설명들은, 완전하도록 의도되거나 기재된 명확한 형태들로 방법들 및 시스템들을 제한하도록 의도되지 않는다. 많은 변형들 및 변경들이 상기 교시들의 관점에서 가능하다. 구현들은, 방법들 및 시스템들의 원리들 및 그들의 실시 적용들을 가장 양호하게 설명하고, 그에 의해, 본 명세서에 설명된 기술들 및 디바이스들, 및 고려된 특정한 용도에 적절한 바와 같은 다양한 변형들을 갖는 다양한 구현들을 당업자들이 가장 양호하게 이용할 수 있게 하도록 선택되고 설명된다.
[00157] 또한, 전술한 설명에서, 본 구현의 철저한 이해를 제공하기 위해 다수의 특정한 세부사항들이 기재되었다. 그러나, 본 명세서에 설명된 방법들이 그 특정한 세부사항들 없이 실시될 수도 있음이 당업자에게 명백할 것이다. 다른 예시들에서, 당업자들에게 잘 알려져 있는 방법들, 절차들, 컴포넌트들, 및 네트워크들은 본 구현의 양상들을 불명료하게 하는 것을 회피하기 위해 상세히 설명되지 않는다.

Claims (20)

  1. 방법으로서,
    하나 이상의 프로세서들 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 갖는 컴퓨팅 디바이스에서,
    비디오 스트림을 획득하는 단계 ―상기 비디오 스트림은 오디오 디스크립션 데이터를 포함함―;
    상기 오디오 디스크립션 데이터로부터 정보의 세트를 결정하는 단계 ―상기 정보의 세트는, 상기 오디오 디스크립션 데이터로부터 유도된 하나 이상의 심볼들 또는 워드들을 포함함―;
    프로세싱을 위해 상기 컴퓨팅 디바이스로부터 원격에 위치된 서버에 상기 정보의 세트를 포함하는 요청을 전송하는 단계;
    상기 서버로부터 명령들의 세트를 수신하는 단계 ―상기 명령들의 세트는, 상기 정보의 세트와 관련된 컨텐츠 정보를 디스플레이하기 위한 명령들을 포함함―;
    상기 수신하는 단계에 응답하여, 그리고 상기 명령들의 세트에 따라, 상기 컨텐츠 정보의 타입에 기초하여 하나 이상의 애플리케이션들을 실행하는 단계 ―상기 하나 이상의 애플리케이션들은, 웹 브라우저, 뮤직 애플리케이션, 피드 리더 애플리케이션, 쿠폰 애플리케이션 및 컨텐츠 뷰어 중 적어도 하나를 포함함―;
    상기 오디오 디스크립션 데이터에 포함된 오디오 컨텐츠의 플레이를 개시하기 위한 코드를 송신하는 단계;
    상기 오디오 컨텐츠의 적어도 일부를 레코딩하는 단계;
    상기 레코딩된 오디오 컨텐츠로부터 텍스트를 추출하는 단계; 및
    상기 하나 이상의 애플리케이션들로부터 출력되는, 상기 비디오 스트림의 디스플레이에 인접한 디스플레이를 위해 포맷하는 단계를 포함하는,
    방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 정보의 세트는, 상기 오디오 디스크립션 데이터로부터 유도되는 넌-스피치 정보를 포함하는,
    방법.
  4. 제 1 항에 있어서,
    상기 정보의 세트는, 상기 오디오 디스크립션 데이터로부터 추출되는 적어도 하나의 심볼을 포함하는,
    방법.
  5. 제 1 항에 있어서,
    상기 정보의 세트는 상기 오디오 디스크립션 데이터로부터 추출된 적어도 하나의 문장을 포함하는,
    방법.
  6. 제 1 항에 있어서,
    상기 하나 이상의 애플리케이션들로부터의 출력은 상기 비디오 스트림과 동시에 디스플레이되는,
    방법.
  7. 제 1 항에 있어서,
    상기 하나 이상의 애플리케이션들로부터의 출력은, 상기 컴퓨팅 디바이스와 동기화된 제 2 디바이스 상에서 동시에 디스플레이되는,
    방법.
  8. 제 1 항에 있어서,
    상기 오디오 디스크립션 데이터로부터 상기 정보의 세트를 결정하는 단계는, 상기 오디오 컨텐츠를 텍스트로 변환하기 위해 스피치 인식 기술을 적용하는 단계를 포함하는,
    방법.
  9. 제 1 항에 있어서,
    상기 오디오 디스크립션 데이터로부터 상기 정보의 세트를 결정하는 단계는, 상기 오디오 디스크립션 데이터가 청취될 수 있도록 상기 오디오 디스크립션 데이터를 플레이함이 없이 상기 오디오 디스크립션 데이터를 텍스트로 변환하는 단계를 포함하는,
    방법.
  10. 제 1 항에 있어서,
    상기 정보의 세트는 상기 오디오 디스크립션 데이터로부터 추출된 적어도 몇몇 텍스트를 포함하는,
    방법.
  11. 삭제
  12. 컴퓨팅 디바이스로서,
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고,
    상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은:
    비디오 스트림을 획득하기 위한 명령 ―상기 비디오 스트림은 오디오 디스크립션 데이터를 포함함―;
    상기 오디오 디스크립션 데이터로부터 정보의 세트를 결정하기 위한 명령 ―상기 정보의 세트는, 상기 오디오 디스크립션 데이터로부터 유도된 하나 이상의 심볼들 또는 워드들을 포함함―;
    프로세싱을 위해 상기 컴퓨팅 디바이스로부터 원격에 위치된 서버에 상기 정보의 세트를 포함하는 요청을 전송하기 위한 명령;
    상기 서버로부터 명령들의 세트를 수신하기 위한 명령 ―상기 명령들의 세트는, 상기 정보의 세트와 관련된 컨텐츠 정보를 디스플레이하기 위한 명령들을 포함함―;
    상기 수신하기 위한 명령에 응답하여, 그리고 상기 명령들의 세트에 따라, 상기 컨텐츠 정보의 타입에 기초하여 하나 이상의 애플리케이션들을 실행하기 위한 명령 ―상기 하나 이상의 애플리케이션들은, 웹 브라우저, 뮤직 애플리케이션, 피드 리더 애플리케이션, 쿠폰 애플리케이션 및 컨텐츠 뷰어 중 적어도 하나를 포함함―;
    상기 오디오 디스크립션 데이터에 포함된 오디오 컨텐츠의 플레이를 개시하기 위한 코드를 송신하기 위한 명령;
    상기 오디오 컨텐츠의 적어도 일부를 레코딩하기 위한 명령;
    상기 레코딩된 오디오 컨텐츠로부터 텍스트를 추출하기 위한 명령; 및
    상기 하나 이상의 애플리케이션들로부터 출력되는, 상기 비디오 스트림의 디스플레이에 인접한 디스플레이를 위해 포맷하기 위한 명령을 포함하는,
    컴퓨팅 디바이스.
  13. 삭제
  14. 제 12 항에 있어서,
    상기 정보의 세트는, 상기 오디오 디스크립션 데이터로부터 유도되는 넌-스피치 정보를 포함하는,
    컴퓨팅 디바이스.
  15. 제 12 항에 있어서,
    상기 정보의 세트는, 상기 오디오 디스크립션 데이터로부터 추출되는 적어도 하나의 심볼을 포함하는,
    컴퓨팅 디바이스.
  16. 제 12 항에 있어서,
    상기 정보의 세트는 상기 오디오 디스크립션 데이터로부터 추출된 적어도 하나의 문장을 포함하는,
    컴퓨팅 디바이스.
  17. 컴퓨팅 디바이스의 하나 이상의 프로세서들에 의한 실행을 위해 구성되는 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 하나 이상의 프로그램들은 상기 하나 이상의 프로세서들에 의해 실행될:
    비디오 스트림을 획득하기 위한 명령 ―상기 비디오 스트림은 오디오 디스크립션 데이터를 포함함―;
    상기 오디오 디스크립션 데이터로부터 정보의 세트를 결정하기 위한 명령 ―상기 정보의 세트는, 상기 오디오 디스크립션 데이터로부터 유도된 하나 이상의 심볼들 또는 워드들을 포함함―;
    프로세싱을 위해 상기 컴퓨팅 디바이스로부터 원격에 위치된 서버에 상기 정보의 세트를 포함하는 요청을 전송하기 위한 명령;
    상기 서버로부터 명령들의 세트를 수신하기 위한 명령 ―상기 명령들의 세트는, 상기 정보의 세트와 관련된 컨텐츠 정보를 디스플레이하기 위한 명령들을 포함함―;
    상기 수신하기 위한 명령에 응답하여, 그리고 상기 명령들의 세트에 따라, 상기 컨텐츠 정보의 타입에 기초하여 하나 이상의 애플리케이션들을 실행하기 위한 명령 ―상기 하나 이상의 애플리케이션들은, 웹 브라우저, 뮤직 애플리케이션, 피드 리더 애플리케이션, 쿠폰 애플리케이션 및 컨텐츠 뷰어 중 적어도 하나를 포함함―;
    상기 오디오 디스크립션 데이터에 포함된 오디오 컨텐츠의 플레이를 개시하기 위한 코드를 송신하기 위한 명령;
    상기 오디오 컨텐츠의 적어도 일부를 레코딩하기 위한 명령;
    상기 레코딩된 오디오 컨텐츠로부터 텍스트를 추출하기 위한 명령; 및
    상기 하나 이상의 애플리케이션들로부터 출력되는, 상기 비디오 스트림의 디스플레이에 인접한 디스플레이를 위해 포맷하기 위한 명령을 포함하는,
    비일시적 컴퓨터 판독가능 저장 매체.
  18. 삭제
  19. 제 17 항에 있어서,
    상기 정보의 세트는, 상기 오디오 디스크립션 데이터로부터 유도되는 넌-스피치 정보를 포함하는,
    비일시적 컴퓨터 판독가능 저장 매체.
  20. 제 17 항에 있어서,
    상기 정보의 세트는, 상기 오디오 디스크립션 데이터로부터 추출되는 적어도 하나의 심볼을 포함하는,
    비일시적 컴퓨터 판독가능 저장 매체.
KR1020157029521A 2013-03-14 2014-03-13 현재 플레이 중인 텔레비전 프로그램과 연관된 메타데이터를 식별하기 위해 오디오 스트림 사용 Active KR101992475B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361785518P 2013-03-14 2013-03-14
US61/785,518 2013-03-14
US13/927,015 2013-06-25
US13/927,015 US8849959B2 (en) 2011-05-25 2013-06-25 Systems and method for using closed captions to initiate display of related content on a second display device
US14/139,727 US9043444B2 (en) 2011-05-25 2013-12-23 Using an audio stream to identify metadata associated with a currently playing television program
US14/139,727 2013-12-23
PCT/US2014/026612 WO2014151883A1 (en) 2013-03-14 2014-03-13 Using an audio stream to identify metadata associated with a currently playing television program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020197017496A Division KR102128359B1 (ko) 2013-03-14 2014-03-13 현재 플레이 중인 텔레비전 프로그램과 연관된 메타데이터를 식별하기 위해 오디오 스트림 사용

Publications (2)

Publication Number Publication Date
KR20150131297A KR20150131297A (ko) 2015-11-24
KR101992475B1 true KR101992475B1 (ko) 2019-06-24

Family

ID=51581062

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197017496A Active KR102128359B1 (ko) 2013-03-14 2014-03-13 현재 플레이 중인 텔레비전 프로그램과 연관된 메타데이터를 식별하기 위해 오디오 스트림 사용
KR1020157029521A Active KR101992475B1 (ko) 2013-03-14 2014-03-13 현재 플레이 중인 텔레비전 프로그램과 연관된 메타데이터를 식별하기 위해 오디오 스트림 사용

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020197017496A Active KR102128359B1 (ko) 2013-03-14 2014-03-13 현재 플레이 중인 텔레비전 프로그램과 연관된 메타데이터를 식별하기 위해 오디오 스트림 사용

Country Status (5)

Country Link
US (4) US9043444B2 (ko)
EP (2) EP3598769A3 (ko)
KR (2) KR102128359B1 (ko)
CN (3) CN110049370B (ko)
WO (1) WO2014151883A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12200464B2 (en) 2021-01-25 2025-01-14 Samsung Electronics Co., Ltd. Apparatus and method for processing multi-channel audio signal

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9043444B2 (en) * 2011-05-25 2015-05-26 Google Inc. Using an audio stream to identify metadata associated with a currently playing television program
EP2854317A1 (en) * 2013-09-26 2015-04-01 Alcatel Lucent Method for providing a client device with a media asset
US10757159B2 (en) 2014-07-25 2020-08-25 Gracenote Digital Ventures, Llc Retrieval and playout of media content
KR20160059162A (ko) * 2014-11-18 2016-05-26 삼성전자주식회사 방송 수신 장치 및 그 제어 방법
KR102185700B1 (ko) * 2014-11-28 2020-12-02 삼성전자주식회사 디스플레이 장치 및 이의 정보 제공 방법
US10129308B2 (en) * 2015-01-08 2018-11-13 Qualcomm Incorporated Session description information for over-the-air broadcast media data
WO2016205548A1 (en) * 2015-06-17 2016-12-22 Wal-Mart Stores, Inc. Systems and methods for selecting media for meal plans
US10490209B2 (en) * 2016-05-02 2019-11-26 Google Llc Automatic determination of timing windows for speech captions in an audio stream
JP6697373B2 (ja) * 2016-12-06 2020-05-20 カシオ計算機株式会社 文生成装置、文生成方法及びプログラム
US11023417B2 (en) 2017-05-30 2021-06-01 Home Box Office, Inc. Video content graph including enhanced metadata
CN108024146A (zh) * 2017-12-14 2018-05-11 深圳Tcl数字技术有限公司 新闻界面自动设置方法、智能电视及计算机可读存储介质
CN108600785B (zh) * 2018-05-10 2021-05-04 闪玩有限公司 视频串流中子程序的同步方法及计算机可读存储介质
CN109121009B (zh) * 2018-08-17 2021-08-27 百度在线网络技术（北京）有限公司 视频处理方法、客户端和服务器
CN109462766A (zh) * 2018-11-14 2019-03-12 深圳市蓝蜂时代实业有限公司 一种利用视频的字幕流控制蓝牙设备的方法、系统及存储介质
CN109714628B (zh) * 2018-12-29 2021-08-03 广州方硅信息技术有限公司 播放音视频的方法、装置、设备、存储介质及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110321098A1 (en) 2010-06-25 2011-12-29 At&T Intellectual Property I, L.P. System and Method for Automatic Identification of Key Phrases during a Multimedia Broadcast
US20120303742A1 (en) 2011-05-25 2012-11-29 Steven Keith Hines Using a Closed Caption Stream for Device Metadata

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6388714B1 (en) 1995-10-02 2002-05-14 Starsight Telecast Inc Interactive computer system for providing television schedule information
US6018768A (en) 1996-03-08 2000-01-25 Actv, Inc. Enhanced video programming system and method for incorporating and displaying retrieved integrated internet information segments
US8261306B2 (en) 2001-12-11 2012-09-04 Koninklijke Philips Electronics N.V. System for and method of shopping through television
JP4280634B2 (ja) 2001-12-18 2009-06-17 トムソン ライセンシング 装置への設定パラメータの入力を補助する方法および装置
US20030163816A1 (en) * 2002-02-28 2003-08-28 Koninklijke Philips Electronics N.V. Use of transcript information to find key audio/video segments
FR2844661B1 (fr) * 2002-09-16 2005-10-14 France Telecom Procede d'acquisition de donnees de description de contenus audiovisuels, systeme, serveur de diffusion, serveur de description, et terminal de reception pour la mise en oeuvre de ce procede
AU2003263732A1 (en) * 2002-10-11 2004-05-04 Matsushita Electric Industrial Co. Ltd. A method and apparatus for delivering programme-associated data to generate relevant visual displays for audio contents
US20040268419A1 (en) 2003-06-24 2004-12-30 Microsoft Corporation Interactive content without embedded triggers
EP1685715A1 (en) 2003-11-10 2006-08-02 Koninklijke Philips Electronics N.V. Providing additional information
KR100767676B1 (ko) * 2005-08-22 2007-10-17 엘지전자 주식회사 영상기기 및 영상기기의 영상 스캔 방법
US8566887B2 (en) 2005-12-09 2013-10-22 Time Warner Cable Enterprises Llc Caption data delivery apparatus and methods
US7592912B2 (en) 2005-12-09 2009-09-22 Time Warner Cable Inc. Emergency alert data delivery apparatus and methods
US9100723B2 (en) * 2006-03-07 2015-08-04 Samsung Electronics Co., Ltd. Method and system for managing information on a video recording
US8115869B2 (en) 2007-02-28 2012-02-14 Samsung Electronics Co., Ltd. Method and system for extracting relevant information from content metadata
US8312497B2 (en) 2006-03-29 2012-11-13 At&T Intellectual Property I, L.P. Closed-captioning universal resource locator (URL) capture system and method
WO2007142648A1 (en) * 2006-06-09 2007-12-13 Thomson Licensing System and method for closed captioning
US20080065602A1 (en) 2006-09-12 2008-03-13 Brian John Cragun Selecting advertisements for search results
US20080111822A1 (en) 2006-09-22 2008-05-15 Yahoo, Inc.! Method and system for presenting video
JP4257862B2 (ja) * 2006-10-06 2009-04-22 パナソニック株式会社 音声復号化装置
CN101529500B (zh) 2006-10-23 2012-05-23 日本电气株式会社 内容概括系统、内容概括的方法
CN100428787C (zh) * 2006-10-27 2008-10-22 中山大学 一种静音后智能处理电视节目的方法及其装置
JP4482829B2 (ja) 2006-11-08 2010-06-16 ソニー株式会社 嗜好抽出装置、嗜好抽出方法及び嗜好抽出プログラム
US20080112690A1 (en) 2006-11-09 2008-05-15 Sbc Knowledge Venturses, L.P. Personalized local recorded content
JP5022025B2 (ja) * 2006-12-27 2012-09-12 インターナショナル・ビジネス・マシーンズ・コーポレーション コンテンツのデータ・ストリームとメタデータを同期するための方法および装置。
CA2687691C (en) 2007-03-22 2017-05-09 The Nielsen Company (Us) Llc Systems and methods to identify intentionally placed products
US9258346B2 (en) * 2007-03-26 2016-02-09 International Business Machines Corporation System, method and program for controlling MP3 player
US20080276266A1 (en) * 2007-04-18 2008-11-06 Google Inc. Characterizing content for identification of advertising
US8097668B2 (en) 2007-08-27 2012-01-17 Sabic Innovative Plastics Ip B.V. Colorimetric indicator of radiation exposure
US20090064247A1 (en) 2007-08-31 2009-03-05 Jacked, Inc. User generated content
US20090235312A1 (en) * 2008-03-11 2009-09-17 Amir Morad Targeted content with broadcast material
US8095610B2 (en) 2008-03-28 2012-01-10 Time Warner Cable Inc. Methods and apparatus for centralized and decentralized emergency alert messaging
US8621505B2 (en) 2008-03-31 2013-12-31 At&T Intellectual Property I, L.P. Method and system for closed caption processing
US8249423B2 (en) * 2008-05-08 2012-08-21 Sony Ericsson Mobile Communications Ab Electronic devices and methods that insert addressable chapter marks relative to advertising content in video streams
KR20100039717A (ko) * 2008-10-08 2010-04-16 삼성전자주식회사 개인용 녹화장치 및 그 제어방법
US8359399B2 (en) 2008-10-16 2013-01-22 Echostar Technologies L.L.C. Method and device for delivering supplemental content associated with audio/visual content to a user
US9049477B2 (en) 2008-11-13 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for managing media content
US9641884B2 (en) 2008-11-15 2017-05-02 Adobe Systems Incorporated Method and device for establishing a content mirroring session
KR20100071314A (ko) * 2008-12-19 2010-06-29 삼성전자주식회사 영상처리장치 및 영상처리장치의 제어 방법
US8910232B2 (en) * 2009-09-14 2014-12-09 At&T Intellectual Property I, Lp System and method of analyzing internet protocol television content for closed-captioning information
US20110113438A1 (en) 2009-11-06 2011-05-12 Sony Corporation Method and system of displaying information of specific interest to a user on a television
CN101908053A (zh) * 2009-11-27 2010-12-08 新奥特（北京）视频技术有限公司 一种语音检索的方法及装置
WO2011088412A1 (en) * 2010-01-15 2011-07-21 Apollo Group, Inc. Dynamically recommending learning content
WO2011106907A1 (en) * 2010-03-04 2011-09-09 Yahoo! Inc. Intelligent feature expansion of online text ads
US20120233646A1 (en) 2011-03-11 2012-09-13 Coniglio Straker J Synchronous multi-platform content consumption
US9043444B2 (en) * 2011-05-25 2015-05-26 Google Inc. Using an audio stream to identify metadata associated with a currently playing television program
US8964977B2 (en) * 2011-09-01 2015-02-24 Sonic Ip, Inc. Systems and methods for saving encoded media streamed using adaptive bitrate streaming
US20140098177A1 (en) * 2012-10-09 2014-04-10 Tv Ears, Inc. Mobile application for accessing television audio
US10389733B2 (en) * 2016-09-06 2019-08-20 Apple Inc. Data verification via independent processors of a device
US10580457B2 (en) * 2017-06-13 2020-03-03 3Play Media, Inc. Efficient audio description systems and methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110321098A1 (en) 2010-06-25 2011-12-29 At&T Intellectual Property I, L.P. System and Method for Automatic Identification of Key Phrases during a Multimedia Broadcast
US20120303742A1 (en) 2011-05-25 2012-11-29 Steven Keith Hines Using a Closed Caption Stream for Device Metadata

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12200464B2 (en) 2021-01-25 2025-01-14 Samsung Electronics Co., Ltd. Apparatus and method for processing multi-channel audio signal

Also Published As

Publication number Publication date
CN110049370A (zh) 2019-07-23
US20140320742A1 (en) 2014-10-30
EP2974341B1 (en) 2019-05-29
CN105210376B (zh) 2019-03-12
US10154305B2 (en) 2018-12-11
KR20150131297A (ko) 2015-11-24
US20190098357A1 (en) 2019-03-28
US9661381B2 (en) 2017-05-23
EP2974341A1 (en) 2016-01-20
EP3598769A3 (en) 2020-02-19
US20150256880A1 (en) 2015-09-10
CN110087127B (zh) 2021-08-20
US10567834B2 (en) 2020-02-18
KR102128359B1 (ko) 2020-06-30
CN110049370B (zh) 2021-12-14
CN105210376A (zh) 2015-12-30
WO2014151883A1 (en) 2014-09-25
CN110087127A (zh) 2019-08-02
US20170257666A1 (en) 2017-09-07
US9043444B2 (en) 2015-05-26
KR20190072691A (ko) 2019-06-25
EP3598769A2 (en) 2020-01-22

Similar Documents

Publication Publication Date Title
US10567834B2 (en) Using an audio stream to identify metadata associated with a currently playing television program
US10631063B2 (en) Systems and method for using closed captions to initiate display of related content on a second display device
US11797625B2 (en) Displaying information related to spoken dialogue in content playing on a device

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

A201 Request for examination
A302 Request for accelerated examination
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PA0302 Request for accelerated examination

St.27 status event code: A-1-2-D10-D17-exm-PA0302

St.27 status event code: A-1-2-D10-D16-exm-PA0302

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

A107 Divisional application of patent
GRNT Written decision to grant
PA0104 Divisional application for international application

St.27 status event code: A-0-1-A10-A18-div-PA0104

St.27 status event code: A-0-1-A10-A16-div-PA0104

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

R17-X000 Change to representative recorded

St.27 status event code: A-5-5-R10-R17-oth-X000

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载