+

WO2018124842A1 - 컨텐트에 관한 정보를 제공하는 방법 및 디바이스 - Google Patents

컨텐트에 관한 정보를 제공하는 방법 및 디바이스 Download PDF

Info

Publication number
WO2018124842A1
WO2018124842A1 PCT/KR2018/000029 KR2018000029W WO2018124842A1 WO 2018124842 A1 WO2018124842 A1 WO 2018124842A1 KR 2018000029 W KR2018000029 W KR 2018000029W WO 2018124842 A1 WO2018124842 A1 WO 2018124842A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile device
electronic device
search
content
recognition information
Prior art date
Application number
PCT/KR2018/000029
Other languages
English (en)
French (fr)
Inventor
장태권
김민수
이현석
최지웅
류종엽
전해인
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/475,554 priority Critical patent/US10911833B2/en
Publication of WO2018124842A1 publication Critical patent/WO2018124842A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Definitions

  • the disclosed embodiments relate to a computer readable recording medium having recorded thereon a program for executing a method for providing information about content, a device for providing information about content, and a method for providing information about content.
  • the conventional search engines have a problem in that it is difficult to obtain information on an object when the user does not recognize the object because the user must directly input the name of the object for which the user wants information.
  • the user may miss the information retrieval time unless the object is recognized in advance. There is a problem that can not. Therefore, there is a need for a technology for recognizing and providing an object for which information is desired to be retrieved at a desired time.
  • the disclosed embodiment provides information on content that provides an environment in which a user can more easily retrieve information of an object related to the content by providing recognition information indicating an object related to the content at the time the user is watching the content. To provide a method and device for providing.
  • Detect an electronic device displaying content determine whether at least one search application is running on the mobile device as the electronic device is detected, and indicate at least one object associated with the content as the at least one search application is executed
  • a method is disclosed in which a mobile device that requests recognition information from an electronic device and receives the requested recognition information from the electronic device provides information about the content.
  • FIG. 1 is a conceptual diagram illustrating a method of providing information about content in an electronic device and a mobile device according to an embodiment.
  • FIG. 2 is a flowchart illustrating a method of providing information about content by a mobile device according to an exemplary embodiment.
  • FIG. 3 is a flowchart illustrating a method of providing information about content by an electronic device according to an exemplary embodiment.
  • 4A and 4B are flowcharts illustrating a method of providing information about content by a mobile device and an electronic device according to an exemplary embodiment.
  • FIG. 5 is a diagram for describing a method of determining, by a mobile device, whether a search mode is activated for a search application according to an exemplary embodiment.
  • FIG. 6 is a diagram for describing a method of generating, by an electronic device, identification information of a content, according to an exemplary embodiment.
  • FIG. 7 is a diagram for describing a method of displaying, by a mobile device, identification information received from an electronic device, according to an exemplary embodiment.
  • FIG. 8 is a diagram for describing a method of inputting, by a mobile device, recognition information received from an electronic device into a search window, according to an exemplary embodiment.
  • FIG. 9 is a diagram for describing a method of displaying, by a mobile device, identification information received from an electronic device, according to another exemplary embodiment.
  • FIG. 10 is a diagram for describing a method of inputting, by a mobile device, recognition information received from an electronic device into a search window according to another exemplary embodiment.
  • FIG. 11 is a diagram for describing a method of displaying, by a mobile device, identification information received from an electronic device according to another embodiment.
  • FIG. 12 is a diagram for describing a method of displaying, by a mobile device, identification information received from an electronic device according to another embodiment.
  • FIG. 13 is a diagram for describing a method of displaying, by a mobile device, identification information received from an electronic device according to another embodiment.
  • FIG. 14 is a flowchart illustrating a method of classifying and displaying recognition information about content according to at least one of a type of a search application and user preference information, according to an exemplary embodiment.
  • 15 is a diagram for describing a method of classifying and displaying recognition information received by a mobile device according to a preset category, according to an exemplary embodiment.
  • FIG. 16 is a diagram for describing a method of displaying, by a mobile device, recognition information including an object displayed on content and an associated object of an object displayed on content.
  • 17A is a diagram for describing a method of sharing, by another mobile device, identification information received from an electronic device with another user, according to an exemplary embodiment.
  • FIG. 17B is a diagram for describing a method of sharing, by another mobile device, identification information received from an electronic device with another user according to another exemplary embodiment.
  • 18 is a diagram for describing types of recognition information that a mobile device receives from an electronic device, according to an exemplary embodiment.
  • FIG. 19 is a diagram for describing a method of providing, by a mobile device, identification information received from an electronic device to a user according to an exemplary embodiment.
  • 20 is a diagram for describing a method of interlocking an electronic device, a mobile device, and a refrigerator, according to an embodiment, to provide information about content.
  • 21 and 22 are block diagrams of mobile devices providing information about content according to an embodiment.
  • 23 is a block diagram of an electronic device for providing information about content according to an embodiment.
  • a method for a mobile device to provide information about content includes: sensing an electronic device displaying content; Determining whether the at least one search application is running on the mobile device as the electronic device is detected; Requesting, by the electronic device, recognition information indicative of at least one object associated with the content as the at least one search application is executed; And receiving the requested recognition information from the electronic device.
  • the determining may include determining a state of a search box in which a search term is input in at least one search application and a state of an input menu capable of inputting a search term. It is determined whether the search mode of the search application is activated based on at least one.
  • the method of providing information about the content by the mobile device further includes displaying the received recognition information on a predetermined area on a screen of the mobile device in which at least one search application is displayed.
  • a method for providing information about content by a mobile device includes: classifying received recognition information according to a category of at least one object associated with the content; And displaying the classified recognition information on a screen of the mobile device.
  • a method of providing information about content by a mobile device includes: arranging recognition information according to at least one of pre-stored preference information of a user of the mobile device and at least one type of search application; And displaying the arranged recognition information on a screen of the mobile device.
  • the method for the mobile device to provide information about the content further includes transmitting the received recognition information to another device connected with the mobile device.
  • a method of providing information about content by an electronic device includes: transmitting, by an electronic device displaying content, at a predetermined time interval; Receiving at least one request for recognition information representing an object associated with the content from the mobile device as the at least one search application is executed in the mobile device that senses the electronic device via the signal; As the request is received, generating recognition information representing an object associated with the content; And transmitting the generated recognition information to the mobile device.
  • generating the recognition information may include content and content based on at least one of an image of a screen on which the content is output and metadata of the content. Recognizing the associated object.
  • a method of providing information about content by a mobile device includes: detecting an electronic device displaying content; When the electronic device is detected, determining whether the search mode is activated in the mobile device; And as a result of the determination, when the search mode is activated in the mobile device, receiving recognition information indicating the at least one object related to the content from the electronic device.
  • a method of providing information about content by a mobile device further includes requesting recognition information from an electronic device when a search mode is activated in the mobile device.
  • a method of providing information about content by a mobile device may include determining whether to activate a search mode in the mobile device. It is determined whether the search mode is activated based on at least one of the states.
  • a mobile device for providing information about content includes: a communication unit configured to sense the electronic device through a signal transmitted from an electronic device displaying content; A controller configured to determine whether at least one search application is executed in the mobile device as the electronic device is detected; And an output unit configured to display an execution screen of at least one search application, wherein the communication unit requests recognition information indicating at least one object related to the content as the at least one search application is executed, and requests the electronic device. Receive the requested recognition information from the.
  • an electronic device for providing information about content includes: a display unit displaying content; According to a preset time interval, as the at least one search application is executed in the mobile device that transmits a signal and detects the electronic device through the signal, receiving a request for recognition information indicating the object associated with the content from the mobile device Communication unit; And a controller configured to generate recognition information indicating an object related to the content as the request is received, and the communication unit transmits the generated recognition information to the mobile device.
  • any part of the specification is to “include” any component, this means that it may further include other components, except to exclude other components unless otherwise stated.
  • the terms “... unit”, “module”, etc. described in the specification mean a unit for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software. .
  • FIG. 1 is a conceptual diagram illustrating a method of providing information about content in an electronic device 10 and a mobile device 100 according to an embodiment.
  • the electronic device 10 may receive content from an external device.
  • the electronic device 10 may receive content from at least one of a broadcasting station server, a set-top box, and a web server, but this is only an example, and the external device is not limited to the above-described example.
  • 'content' refers to digital information provided through a wired or wireless communication network.
  • Content includes video content, still image content (eg, pictures, pictures, etc.), text content (eg, web pages, etc.), audio content (eg, music, radio broadcasts, etc.), and the like. It may be, but is not limited thereto. And the like, but are not limited thereto.
  • the electronic device 10 may display the received content.
  • the electronic device 10 may display content received from a channel set or a channel selected by a user.
  • the electronic device 10 may periodically transmit a signal so that the mobile device 100 located near the electronic device 10 can detect the electronic device 10.
  • the mobile device 100 may receive a signal transmitted from the electronic device 10 and confirm that the electronic device 10 is positioned near the mobile device 100.
  • the mobile device 100 may determine whether the search mode is activated in the mobile device 100. For example, the mobile device 100 may determine whether to activate the search mode based on at least one of whether to execute an application having a search function, a state of a search box for inputting a search word, and a state of an input menu for inputting a search word. have.
  • the state of the input menu may include whether a keyboard menu is displayed or whether a voice command is in a waiting state.
  • the mobile device 100 may request recognition information indicating at least one object related to content displayed on the electronic device 10.
  • the recognition information may include information about at least one of a title of a channel content of a content displayed on the electronic device 10, a plot of the content, a character in the content, a product, and a place, but this is one embodiment.
  • the recognition information is not limited to the above example.
  • the mobile device 100 may receive recognition information from the electronic device 10 in response to the request.
  • the mobile device 100 may display the received recognition information on the screen.
  • a method of displaying the recognition information on the screen by the mobile device 100 will be described in detail later with reference to FIGS. 7 to 19.
  • FIG. 2 is a flowchart for describing a method of providing, by the mobile device 100, information about content, according to an exemplary embodiment.
  • the mobile device 100 may detect an electronic device displaying content.
  • the mobile device 100 detects the electronic device 10 by receiving a signal periodically transmitted by the electronic device 10 displaying content.
  • the mobile device 100 may detect the electronic device 10 by receiving a Bluetooth Low Energy (BLE) publishing packet that the electronic device 10 periodically transmits.
  • BLE Bluetooth Low Energy
  • the mobile device 100 determines whether the search mode is activated in the mobile device 100.
  • the mobile device 100 may be pre-installed with at least one application having a search function for searching for information about the content.
  • the mobile device 100 may obtain and display data related to the search word through a web server.
  • the mobile device 100 may determine whether the search function may be performed in the currently running application by checking the metadata of the application. For example, the mobile device 100 may check the metadata of the currently running application and confirm identification information of the currently running application. When the identification information of the identified application is included in the list of pre-stored applications, the mobile device 100 may determine that an application capable of performing a search function is running on the mobile device 100.
  • the application capable of performing the search function may be an application included in a category classified as utility or shopping in the application market.
  • an icon eg, a search button or a magnifying glass icon
  • the mobile device 100 searches for the running application. You can see that it is an application that can perform a function.
  • the mobile device 100 may determine whether to activate the search mode based on at least one of a state of a search window for inputting a search word and a state of an input menu for inputting a search word. For example, when the search box or the input menu is displayed on the screen, the mobile device 100 may determine that the search mode is activated. According to another example, the mobile device 100 displays a cursor or the like in the search box to more clearly confirm whether the user of the mobile device 100 intends to search for the information of the content, or the mobile device 100 You can additionally check whether the keyboard menu for entering text is displayed on the screen.
  • whether the keyboard menu is displayed can be confirmed by screen recognition or by detecting a broadcast event indicating that the keyboard menu is on from the operating system (OS), but there is a method of checking whether the keyboard menu is displayed. It is not limited to the example mentioned above. ,
  • the above-described example is only an example, and the method of determining whether the search mode is activated by the mobile device 100 is not limited to the above-described example.
  • the mobile device 100 may request recognition information indicating at least one object related to the content from the electronic device 10.
  • the mobile device 100 may determine that the user of the mobile device 100 intends to search for recognition information about content displayed on the electronic device 10.
  • the recognition information may include at least one of text, an image, and a video representing at least one object related to the content.
  • the recognition information includes a keyword and an image representing a title of a content, a channel provided with the content, an object and an image included in the screen on which the content is output, and an associated object associated with an object included in the screen on which the content is output. At least one of may be included.
  • the mobile device 100 may perform a connection process with the electronic device before requesting recognition information. For example, the mobile device 100 may transmit a connection request message requesting a connection to the electronic device as at least one search application is executed. As the response message to the connection request message is received, the mobile device 100 may request recognition information from the electronic device 10.
  • the mobile device 100 may receive the requested recognition information from the electronic device 10.
  • the mobile device 100 may display the recognition information received from the electronic device 10 on a preset area of a screen of the mobile device on which at least one search application is running. Here, it is assumed that at least one search application is displayed on the screen of the mobile device 100.
  • the mobile device 100 may display recognition information received around a search window of at least one search application displayed on a screen.
  • the recognition information received by the mobile device 100 may include the name of the person of the content displayed on the electronic device 10, the title of the content, and the brand information of the bag worn by the person. Accordingly, the mobile device 100 may display the name of the person of the content, the title of the content, and the brand information of the bag worn by the person around the search box.
  • the mobile device 100 may transmit recognition information received from the electronic device 10 to an external device.
  • the mobile device 100 may transmit recognition information received from the electronic device to another device that is connected to the mobile device 100.
  • FIG. 3 is a flowchart illustrating a method of providing, by the electronic device 10, information about a content, according to an exemplary embodiment.
  • the electronic device 10 may transmit a signal.
  • signals transmitted from the electronic device 10 may include beacons, pilot signals, and the like.
  • the electronic device 10 may transmit a signal at a predetermined time interval, this is only an example, and the method of transmitting a signal in the electronic device 10 is not limited to the above-described example.
  • the electronic device 10 sets a beacon for notifying that the electronic device 10 operates to perform a connection with other devices around the electronic device 10 while the screen is turned on. Can be sent at intervals.
  • the electronic device 10 may transmit the BLE post packet at a predetermined time interval.
  • the signal transmitted from the electronic device 10 is not limited to the BLE post packet, but may be various signals such as BLE, Wifi, and Bluetooth.
  • the electronic device 10 may transmit a beacon both when the screen is on and when it is off.
  • the electronic device 10 may recognize the identification information indicating the object related to the content from the mobile device 100. The request can be received.
  • the mobile device 100 located within a preset distance range from the electronic device 10 may detect a beacon transmitted from the electronic device 10.
  • the mobile device 100 may confirm that the electronic device 10 is located within a predetermined distance through a beacon transmitted from the electronic device 10.
  • the electronic device 10 may receive a request for recognition information from the mobile device 100.
  • the electronic device 10 may transmit a beacon both when the screen is on and off.
  • the mobile device 100 checks whether the screen of the electronic device 10 is turned on, and applies the recognition information indicating the object related to the content to the electronic device 10. Can send a request.
  • the mobile device 100 transmits a message for querying the power state of the screen to the electronic device 10 or whether the screen of the electronic device 10 is turned on based on the power state information of the screen included in the beacon. It can be determined.
  • the electronic device 10 may perform a connection process with the mobile device 100 before receiving a request for recognition information from the mobile device 100.
  • the electronic device 10 may receive a connection request message from the mobile device 100 that detects the electronic device 10 through a beacon. Accordingly, the electronic device 10 may establish a session with the mobile device 100 by transmitting a response message according to the connection request message to the mobile device 100. After the session is established, the electronic device 10 may receive a request for recognition information from the mobile device 100.
  • the electronic device 10 may generate recognition information indicating an object related to the content.
  • the electronic device 10 may generate recognition information by recognizing an object included in a captured image of a screen on which content is output. For example, the electronic device 10 may recognize an object displayed on the screen by using an OCR and finger print technique. According to another example, the electronic device 10 may recognize an object by comparing a database storing images of a plurality of objects with an image of an object displayed on a screen. According to another example, the electronic device 10 may recognize the object using a technique such as deep learning based on information of the object learned through the content previously output.
  • the electronic device 10 may generate recognition information from metadata of the output content.
  • the electronic device 10 may parse the metadata of the content to generate recognition information including information about the title of the content, a channel through which the content is provided, and the like.
  • the electronic device 10 may generate recognition information such as a song title from voice information of the content through voice recognition of the content.
  • the electronic device 10 may transmit the generated recognition information to the mobile device 100.
  • the electronic device 10 may broadcast the generated recognition information as the recognition information regarding the displayed content is generated. According to another embodiment, the electronic device 10 may transmit the recognition information to the mobile device 100 through a session established through the connection process with the mobile device 100.
  • 4A and 4B are flowcharts illustrating a method in which the mobile device 100 and the electronic device 10 provide information about content, according to an exemplary embodiment.
  • the mobile device 100 transmits information about content from the electronic device 10 through a BLE data channel.
  • the electronic device 10 may transmit a BLE advertising signal.
  • the BLE post signal may include information regarding at least one of identification information of the electronic device and state information (eg, a screen power state) of the electronic device.
  • the search mode of the mobile device 100 is activated. It can be determined whether or not.
  • the method of determining whether the search mode is activated may correspond to the above description with reference to FIG. 2.
  • the mobile device 100 may confirm that the electronic device 10 is located within a predetermined distance from the mobile device 100 through the BLE posting signal. In addition, the mobile device 100 may confirm that the electronic device 10 is powered on through the BLE post signal. In addition, the mobile device 100 may confirm that the electronic device 10 is displaying content through the BLE posting signal.
  • the mobile device 100 may transmit a connection request to the electronic device 10.
  • the connection request may include identification information of the electronic device 10.
  • the electronic device 10 may transmit a connection response thereto.
  • the BLE data channel is formed, and the mobile device 10 may request recognition information indicating an object related to the content from the electronic device 10 through the BLE data channel.
  • the electronic device 10 may generate recognition information indicating an object related to the content displayed on the electronic device 10 according to a request of the mobile device 100.
  • the electronic device 10 may generate recognition information by capturing a screen on which content is displayed and recognizing an object of the captured image. According to another embodiment, the electronic device 10 may generate recognition information of the content based on the metadata of the content.
  • the electronic device 10 may transmit the generated recognition information to the mobile device 100.
  • the electronic device 10 may broadcast the generated recognition information. Accordingly, the mobile device 100 located within a preset range from the electronic device 10 may receive the recognition information broadcast from the electronic device. According to another exemplary embodiment, the electronic device 10 may transmit recognition information to the mobile device 100 using a preset session through the connection process with the mobile device 100.
  • the mobile device 100 may display the received recognition information.
  • the mobile device 100 transmits content information through the BLE advertising signal from the electronic device 10.
  • the electronic device 10 sets a predetermined time interval. Beacons can be sent.
  • the beacon signal may be a BLE advertising signal, but is not limited thereto.
  • the beacon may include information regarding at least one of identification information of the electronic device and state information (eg, screen power state) of the electronic device.
  • the preset time interval may be, for example, 120 ms or less.
  • the mobile device 100 determines whether the search mode of the mobile device 100 is activated as it is confirmed that the electronic device 10 is located within a predetermined distance based on the beacon received from the electronic device 10. You can judge.
  • the method of determining whether the search mode is activated may correspond to the above description with reference to FIG. 2.
  • the mobile device 100 may request recognition information indicating an object related to the content from the electronic device 10.
  • the request for recognition information may include identification information of the mobile device 100.
  • the electronic device 10 may generate recognition information indicating an object related to the content displayed on the electronic device 10 according to a request of the mobile device 100.
  • the electronic device 10 may generate recognition information by capturing a screen on which content is displayed and recognizing an object of the captured image. According to another embodiment, the electronic device 10 may generate recognition information of the content based on the metadata of the content.
  • the electronic device 10 may transmit the generated recognition information to the mobile device 100.
  • the signal for transmitting information may be a BLE advertising signal, but is not limited thereto.
  • the electronic device 10 may broadcast the generated recognition information. Accordingly, the mobile device located within the preset range from the electronic device 10 may receive the recognition information broadcast from the electronic device 10. According to another exemplary embodiment, the electronic device 10 may transmit recognition information to the mobile device using a preset session through the connection process with the mobile device 100.
  • the identification information transmitted from the electronic device 10 to the mobile device 100 may include identification information of the electronic device 10.
  • the mobile device 100 may display the received recognition information.
  • FIG. 5 is a diagram for describing a method of determining, by a mobile device 500, a search mode for a search application according to an embodiment.
  • the mobile device 500 may determine whether the search mode of the search application is activated in the mobile device 500.
  • the mobile device 500 may parse metadata of an currently running application to determine whether the currently running application is a search application.
  • the mobile device 500 may determine whether the search mode of the search application is activated. For example, the mobile device 500 may check whether the cursor is executed in the search window 510 of the search application. When the cursor is executed in the search window 510, the mobile device 500 may determine that the search mode is activated.
  • the mobile device 500 may check whether the keyboard menu 520 for inputting text into the search box 510 is running. When the keyboard menu 520 is executed, the mobile device 500 may determine that the search mode is activated.
  • the mobile device 500 may request recognition information indicating an object related to the content from the electronic device.
  • FIG. 6 is a diagram for describing a method of generating, by the electronic device 600, identification information of a content, according to an exemplary embodiment.
  • the electronic device 600 may capture a screen on which content is displayed to generate recognition information.
  • the electronic device 600 may recognize an object included in the captured image through an object recognition technique.
  • the object recognition technique may include OCR, fingerprint, deep learning, etc. This is only an embodiment, and the object recognition technique is not limited to the above-described example.
  • the electronic device 600 may recognize the title 610 and the channel number 620 of the content displayed in the image captured through the OCR technique.
  • the electronic device 600 may recognize the brand and product name of the bag 630 worn by the person displayed in the captured image.
  • the electronic device 600 may generate recognition information including the title 610 of the recognized content, the channel number 620, and the brand and product name of the bag 630.
  • the recognition information may include information in the form of an image, such as an image of the bag 630 in addition to the text form.
  • an associated object related to the object displayed in the captured image may be included in the recognition information.
  • the title of the content provided in another channel at the same time as the content displayed on the screen may be included in the recognition information as association information of the content currently displayed on the screen.
  • the electronic device 600 may transmit the generated recognition information to the mobile device.
  • FIG. 7 is a diagram for describing a method of displaying, by the mobile device 720, recognition information received from the electronic device 710, according to an exemplary embodiment.
  • the mobile device 720 may detect the electronic device 710 that outputs a soccer game program. For example, the mobile device 720 may detect the electronic device 710 through a beacon transmitted at a predetermined time interval in the electronic device 710.
  • the mobile device 720 may determine whether the search mode of the mobile device 720 is activated. When the user of the mobile device 720 touches the search window 722 of the search application, and the cursor is executed in the search window 722, the mobile device 720 may determine that the search mode is activated. According to another example, the mobile device 720 may determine that the search mode is activated when the keyboard menu 724 for inputting text into the search window 722 is executed.
  • the mobile device 720 may request recognition information indicating an object related to the content from the electronic device 710. Accordingly, the electronic device 710 may generate recognition information indicating an object related to a soccer game program, which is content currently being displayed. For example, the electronic device 710 may capture a screen displaying a soccer game program and recognize a soccer player included in the captured image. In addition, the electronic device 710 may recognize a game score, country information, and the like included in the captured image. According to another example, the electronic device 710 may recognize a channel or the like provided with the soccer game program from the metadata of the soccer game program.
  • the electronic device 710 may transmit recognition information indicating the object associated with the soccer game program to the mobile device 720.
  • the mobile device 720 may display the received recognition information in the preset area 726 between the search window 722 and the keyboard menu 724.
  • FIG. 8 is a diagram for describing a method of inputting, by the mobile device 720, the recognition information received from the electronic device 710 to the search box with reference to FIG. 7.
  • the mobile device 720 may receive a user input of selecting a keyword 734 of “soccer” corresponding to a sporting event among identification information of each of the plurality of objects included in the recognition information displayed on the screen. Can be. Accordingly, the mobile device 720 may enter a keyword 734 of "soccer" in the search box.
  • the mobile device 720 may additionally receive a user input of selecting a keyword 736 of “AAA” corresponding to the player name among identification information of each of the plurality of objects included in the recognition information displayed on the screen.
  • the mobile device 720 may sequentially input the selected keywords in the search box according to the order in which the keywords are selected. Accordingly, a keyword 734 of "football” and a keyword of "AAA" may be sequentially input to the search box.
  • the mobile device 720 may perform a search for the input keywords as the user touches the search icon 738 that may request a search. Accordingly, the mobile device 720 may obtain search information for "soccer" and "AAA".
  • FIG. 9 is a diagram for describing a method of displaying, by the mobile device 920, recognition information received from the electronic device 910, according to another exemplary embodiment.
  • the mobile device 920 may detect the electronic device 910 that outputs a soccer game program. As the electronic device 910 is detected, the mobile device 920 determines whether the search window 922 of the search application installed in the mobile device 920 is running to determine whether the search mode of the search application is activated. You can judge.
  • the mobile device 920 may request recognition information indicating the object related to the content from the electronic device 910. Accordingly, the mobile device 920 may receive recognition information indicating an object related to a soccer game program, which is content currently being displayed, from the electronic device 910.
  • the mobile device 920 may display keywords of an object included in the received recognition information on the top of the keyboard menu 924.
  • the mobile device 920 may display a keyword 926 indicating a sporting event, a soccer player name, a channel type, and the like in a label form at the top of the keyboard menu 924.
  • FIG. 10 is a diagram for describing a method of inputting, by a mobile device 920, recognition information received from an electronic device 910 into a search box, according to another exemplary embodiment.
  • the mobile device 920 may display keywords 926 of each of the plurality of objects included in the recognition information on the top of the keyboard menu.
  • the mobile device 920 may select and display a portion of the keywords 926 of each of the plurality of objects according to the letter selected by the user from the keyboard menu. For example, if the letter selected by the user from the keyboard menu is A, the mobile device 920 selectively selects AAA and ACC 932 starting with A from the keywords 926 of each of the plurality of objects. Can be marked on.
  • the mobile device 920 may input the ACC into the search box 922 when the user selects the ACC 934 from among the selectively displayed keywords AAA and ACC 932.
  • the mobile device 720 may perform a search for the input keyword ACC 932. Accordingly, the mobile device 920 may obtain search information for "AAC".
  • FIG. 11 is a diagram for describing a method of displaying, by the mobile device 1120, recognition information received from the electronic device 1110 according to another embodiment.
  • the mobile device 1120 may detect an electronic device 1110 that outputs a drama “OOO”. As the electronic device 1110 is detected, the mobile device 1120 determines whether the search window 1122 of the search application installed in the mobile device 1120 is running to determine whether the search mode of the search application is activated. You can judge.
  • the mobile device 1120 may request recognition information indicating an object related to the content from the electronic device 1110. Accordingly, the mobile device 1120 may receive recognition information indicating an object related to the drama “OOO” which is the content currently being displayed from the electronic device 1110.
  • the mobile device 1120 may display “OOO” 1124, which is a title of a drama included in the received recognition information, in the form of a bar on the top of the search window 1122. Also, as the user selects "OOO" displayed at the top of the search box 1122, the mobile device 1120 may sequentially display the names 1126 of actors A and B, which are details of the drama "OOO". Can be.
  • the mobile device 1120 may additionally display detailed information about the actor A among recognition information received from the electronic device 1110. For example, the mobile device 1120 may additionally display a keyword 1128 for the blouse, jeans, and bag worn by actor A in the drama "OOO".
  • the mobile device 1120 may provide an environment in which a user may easily search for a keyword desired to search by sequentially displaying recognition information received from the electronic device 1110 according to an input to a user. have.
  • FIG. 12 is a diagram for describing a method of displaying, by the mobile device 1200, recognition information received from an electronic device, according to another exemplary embodiment.
  • the mobile device 1200 may display a recognition information received from the electronic device by generating a tab separate from the tab on which the search application is executed. For example, as the recognition information is received from the electronic device, the mobile device 1200 generates a tab 1220 that searches for the recognition information separately from the tab of the search application in which the search window 1210 is activated. can do. In addition, the mobile device 1120 may search for the keyword included in the recognition information by using the separately generated tab 1220.
  • the mobile device 1200 may generate a separate tab to provide a user with a search result for recognition information in parallel with a tab of a search application in which the search box 1210 is activated.
  • FIG. 13 is a diagram for describing a method of displaying, by the mobile device 1300, identification information received from an electronic device, according to another exemplary embodiment.
  • the mobile device 1300 may execute a web page 1310 that provides a search function through a web browser. As it is determined that the web page 1310 providing the search function is activated, the mobile device 1300 may request recognition information of the content displayed on the electronic device from the detected electronic device.
  • the mobile device 1300 taps the result information by inputting keywords included in the recognition information of the content on a web page providing a search function. (1320, 1330). For example, the mobile device 1300 enters one of the keywords "AAA" into the web page 1310 that provides the search function, and the result of entering the tab 1320 of the page and another keyword "ACC".
  • the tab 1330 of the page may be displayed on the screen.
  • the mobile device 1300 may provide an environment in which a user may be provided with a search result for the recognition information and a search web page in parallel.
  • FIG. 14 is a flowchart illustrating a method of classifying and displaying recognition information about content according to at least one of a type of a search application and preference information of a user, according to an exemplary embodiment.
  • the mobile device 100 may detect the electronic device 10 displaying the content.
  • step S1410 may correspond to step S210 described above with reference to FIG. 2.
  • the mobile device 100 may determine whether at least one search application is executed in the mobile device 100.
  • step S1420 may correspond to step S220 described above with reference to FIG. 2.
  • the mobile device 100 may request recognition information indicating at least one object related to the content from the electronic device 10.
  • step S1430 may correspond to step S230 described above with reference to FIG. 2.
  • the mobile device 100 may receive the requested recognition information from the electronic device 10.
  • step S1440 may correspond to step S240 described above with reference to FIG. 2.
  • the mobile device 100 may display recognition information arranged according to at least one of preference information of the user of the mobile device 100 previously stored and a type of a search application.
  • the mobile device 100 may prestore preference information of a user of the mobile device 100.
  • the preference information may be determined based on profile information including the gender, age and occupation of the user, the type of information searched through the search application, the number of searches, and the like before the user receives the content recognition information.
  • the mobile device 100 may classify keywords of each of the plurality of objects included in the received recognition information in order of high preference based on preference information of the user.
  • the mobile device 100 includes keywords of car A, blouse B, and cafe C in the received recognition information, and when the number of times the user recently retrieved information is 10 times for women's clothing and 5 times for restaurants, the blouse B
  • the identification information may be displayed in the order of, cafe C and car A.
  • the mobile device 100 may calculate an association degree between a keyword of each of the plurality of objects included in the received recognition information and the search application. For example, when the search application is a clothing shopping mall application, the mobile device 100 ranks Blouse B having the highest correlation with the clothing shopping mall application among keywords of cars A, blouse B, and cafe C included in the recognition information. Can be displayed as
  • the mobile device 100 may more accurately provide the recognition information that the user of the mobile device 100 wants to search by arranging and displaying the received recognition information according to the preference information of the user and the type and at least one of the search applications. .
  • FIG. 15 is a diagram for describing a method of classifying and displaying recognition information received by a mobile device 1500 according to a preset category, according to an exemplary embodiment.
  • the mobile device 1500 may classify keywords of a plurality of objects included in the received recognition information according to a preset category.
  • the preset category may include a person, channel information, clothing, and the like, but this is only an example, and the category is not limited to the above-described example.
  • the recognition information received by the mobile device 1500 may include a keyword "No. 23, channel N, OOO !, Seo OO, Kim OO, Jeon OO, Blouse, and Man to Man".
  • the mobile device 1500 may classify and display the received recognition information into categories of identification information, characters, and clothes. Accordingly, the mobile device 1500 may classify the channel number "23", the channel name "channel N” and the title "OOO! Included in the content identification information into one group. In addition, the mobile device 1500 classifies characters such as "Soo OO", “Kim OO", and “All OO" into one group, and "Blouse” and "Man-to-Man” corresponding to the clothing as one group. Can be classified into groups.
  • the mobile device 1500 may display the recognition information 1510 classified according to a preset category in a preset area on the screen of the mobile device 1500.
  • FIG. 16 is a diagram for describing a method of displaying, by the mobile device 1600, recognition information including an object displayed on content and an associated object of an object displayed on content.
  • the mobile device 1600 may request the electronic device to recognize information about the content displayed on the previously detected electronic device.
  • the electronic device may generate recognition information by recognizing an object displayed on a screen on which content is played. Meanwhile, the electronic device may include, in addition to the object displayed on the screen, the information indicating the related object related to the object displayed on the screen in the recognition information.
  • the electronic device may recognize a singer's name appearing in a music program and a song title of the singer.
  • the method of the electronic device recognizing the name of the singer and the song title of the singer may correspond to that described above with reference to FIG. 3.
  • the electronic device may include identification information of the application capable of playing the singer's song together with the singer and the song title of the singer as the information representing the association object in the recognition information.
  • the mobile device 1600 receives recognition information 1620 including an identification information of a singer appearing in a music program, a song title of a singer, and identification information of an application capable of playing a singer's song, from the electronic device, and then displays an image on the screen.
  • the recognition information 1620 may be displayed on the screen.
  • the mobile device 1600 may input the singer's name 1622 into the search box 1610 as the singer's name 1622 is selected from the user among the keywords displayed in the recognition information 1620.
  • 17A is a diagram for describing a method of sharing, by another mobile device, recognition information received from an electronic device 1710 with another user, according to an exemplary embodiment.
  • the mobile device 1720 may detect the electronic device 1710 that outputs the drama “OOO”. As the electronic device 1710 is detected, the mobile device 1720 may display the TV information request button 1722 on the screen.
  • the TV information request button 1722 is only an example, and the mobile device 1720 may display another type of icon or button for confirming whether the user wants to obtain recognition information. .
  • the mobile device 1720 may request recognition information from the electronic device 1710 as the user touches the TV information request button 1722. Accordingly, the electronic device 710 may generate recognition information indicating an object related to the drama "OOO" currently being displayed. For example, the electronic device 1710 may generate recognition information including information about a bag worn by actor A in the drama "OOO" (1724 (eg, an image of a bag, a brand name of a bag) 1128). Can be. The electronic device 1710 may transmit the generated recognition information to the mobile device 1720.
  • the mobile device 1720 may display recognition information received from the electronic device 1710 on the screen. Although the mobile device 1720 may display all received recognition information on the screen, in the present embodiment, it is assumed that only information 1724 about a bag worn by the actor A selected by the user is displayed on the screen. do.
  • the mobile device 1720 may determine whether to share the received recognition information with another device. For example, the mobile device 1720 may display a sharing button 1726 as a result of confirming whether to share through a social network service (SNS) or a messenger service. When the user touches the result sharing button 1726, the mobile device 1720 may share all of the received recognition information or a portion selected by the user through an SNS or a messenger service. Accordingly, the mobile device 1720 may display, for example, an SNS screen 1728 in which information 1724 related to the bag worn by the actor A is shared. 17A is only an example, and the mobile device 1720 may display an additional menu for selecting any one of a plurality of SNS or a messenger service together with the result sharing button 1726. The user of the mobile device 1720 may select a service through which he wants to share the results via an additional menu.
  • SNS social network service
  • another user using the SNS or the messenger service may acquire the recognition information by selecting the shared recognition information.
  • another user may select shared recognition information to watch the content portion at the time when the recognition information is generated.
  • the content portion at the time when the recognition information is generated may be provided through a device having a display function located around the other user.
  • FIG. 17B is a diagram for describing a method in which the mobile device 1720 shares recognition information received from the electronic device 1710 with another user, according to another exemplary embodiment.
  • FIG. 17B as described above with reference to FIG. 17A, it is assumed that the mobile device 1720 receives recognition information from the electronic device 1710 as the user touches the TV information request button 1722.
  • the messenger application is running on the mobile device 1720.
  • the mobile device 1720 may display the result sharing button 1726 in a portion of the messenger window.
  • the mobile device 1720 may display information corresponding to the text input in the messenger window among the received recognition information. For example, the mobile device 1720 recognizes a text in a messenger window of "a bag worn by actor B in drama A," and the messenger window displays information 1728 of the bag worn by actor B among the received recognition information. Can be marked on.
  • the information 1728 of the bag worn by the actor B may include, for example, an image of a bag, URL information of a shopping mall where a bag can be purchased, and the like, but this is only an example. It is not limited to an example.
  • FIG. 18 is a diagram for describing types of recognition information that the mobile device 1820 receives from the electronic device 1810, according to an exemplary embodiment.
  • the mobile device 1820 may detect an electronic device 1810 that outputs a “C program” which is a program related to a travel. As the electronic device 1810 is detected, the mobile device 1820 may display the TV information request button 1822 on the screen.
  • a “C program” which is a program related to a travel.
  • the mobile device 1820 may display a menu 1824 for selecting a type of recognition information as the user touches the TV information request button 1822.
  • the menu 1824 includes a summary button 1825 for requesting summary information of the "C program” and a wallpaper button 1826 for setting an image included in the "C program” as the wallpaper of the mobile device 1820. Can be displayed.
  • the mobile device 1820 may provide information summarizing the contents of the "C program" reproduced from the time when the summary button 1825 is selected.
  • the recognition information including a summary from the time when the summary button 1825 is selected to the electronic device 1810 to the end point of the “C program” is included.
  • the mobile device 1820 may summarize the contents from the time when the summary button 1825 is selected among all the recognition information received from the electronic device 1810. Accordingly, the mobile device 1820 may display the summary content 1827 of the "C program" on the screen.
  • the summary contents of the "C program” may include information about a travel route, a means of transportation, accommodation, and the like, but this is only an example, and the above-described example is not limited to the summary contents.
  • the mobile device 1820 when the user selects the wallpaper button 1826, the mobile device 1820 according to another embodiment receives an image displayed on the electronic device 1810 as recognition information when the wallpaper button 1826 is selected. can do.
  • the mobile device 1820 may receive, as recognition information, an image of a time point at which the background screen button 1826 is selected from the entire recognition information received from the electronic device 1810.
  • the mobile device 1820 may set the received image as the background screen 1828 of the mobile device 1820.
  • 19 is a diagram for describing a method of providing, by a mobile device 1920, recognition information received from an electronic device 1910 to a user, according to an exemplary embodiment.
  • the mobile device 1920 may detect an electronic device 1910 that outputs a “D program” which is a program related to food. As the electronic device 1910 is detected, the mobile device 1920 may display a TV information request button 1922 on the screen. In addition, the mobile device 1920 may receive recognition information about the “D program” from the electronic device 1910 as the user touches the TV information request button 1922.
  • the recognition information for the "D program” includes the place name or the location information 1924 of the place obtained from the "D program”.
  • the information included in the recognition information is not limited to the above-described example.
  • the mobile device 1920 may store the received place name or location information 1924 of the place.
  • the mobile device 1920 may store the received place name or location information 1924 of the place in the location information providing application installed in the mobile device 1920. Accordingly, when the user is located near the place corresponding to the received place name or the location information 1924 of the place, the mobile device 1920 executes the location information providing application and places the place name 1926 and the place on the execution screen. Position 1928 may be indicated. Accordingly, the user can confirm that the current user's location is around the place appearing in the content viewed through the electronic device 1910.
  • FIG. 20 is a diagram for describing a method of providing an electronic device 2010, a mobile device 2020, and a refrigerator 2030 in association with each other to provide information on content.
  • the mobile device 2020 may detect an electronic device 2010 that outputs an “E program” which is a program related to cooking. As the electronic device 2010 is detected, the mobile device 2020 may display a TV information request button on the screen. In addition, the mobile device 2020 may receive recognition information about the “E program” from the electronic device 2010 as the user touches the TV information request button.
  • the recognition information for the "E program” includes a cooking recipe obtained from the "E program”.
  • the information included in the recognition information is not limited to the above-described example.
  • the mobile device 2020 may transmit the received cooking recipe to the refrigerator 2030.
  • the refrigerator 2030 may compare the cooking recipe with materials stored in the refrigerator 2030.
  • the refrigerator 2030 can acquire an image of the material stored through the provided camera and identify the type of the material stored based on the acquired image.
  • the refrigerator 2030 may transmit information about a material that is not stored in the refrigerator 2030 among the ingredients related to the cooking recipe, to the mobile device 2020.
  • the mobile device 2020 may display a pop-up message confirming the intention to purchase the material not stored on the screen of the mobile device 2020.
  • the mobile device 2020 may recommend a shopping mall that can purchase materials not stored.
  • the mobile device 2020 or the electronic device 2010 may receive and display a recipe available from materials currently stored in the refrigerator 2030.
  • 21 and 22 are block diagrams of a mobile device 100 for providing information about content according to one embodiment.
  • the mobile device 100 may include a communication unit 110, a processor 120, and an output unit 130.
  • a communication unit 110 may include a communication unit 110, a processor 120, and an output unit 130.
  • the mobile device 100 may be implemented by more components than the illustrated components, and the mobile device 100 may be implemented by fewer components.
  • the mobile device 100 may sense the user input unit 140 and the sensing unit in addition to the communication unit 110, the control unit 120, and the output unit 130.
  • the unit 150 may further include an A / V input unit 160 and a memory 170.
  • the communication unit 110 detects the electronic device through a beacon transmitted from the electronic device displaying the content.
  • the communication unit 110 requests the electronic device for recognition information indicating at least one object related to the content.
  • the communicator 110 may receive the requested recognition information from the electronic device.
  • the communication unit 110 may transmit the identification information received from the electronic device to another device connected to the mobile device 100.
  • the communication unit 110 may include one or more components that allow communication between the mobile device 100 and the electronic device (not shown) or the mobile device 100 and the server.
  • the communicator 110 may include a short range communicator 111, a mobile communicator 112, and a broadcast receiver 113.
  • the short-range wireless communication unit 111 may include a Bluetooth communication unit, a Bluetooth low energy (BLE) communication unit, a near field communication unit, a WLAN (Wi-Fi) communication unit, a Zigbee communication unit, an infrared ray ( IrDA (Infrared Data Association) communication unit, WFD (Wi-Fi Direct) communication unit, UWB (ultra wideband) communication unit, Ant + communication unit and the like, but may not be limited thereto.
  • BLE Bluetooth low energy
  • WLAN Wi-Fi
  • Zigbee communication unit an infrared ray ( IrDA (Infrared Data Association) communication unit
  • WFD (Wi-Fi Direct) communication unit Ultra wideband) communication unit
  • Ant + communication unit and the like, but may not be limited thereto.
  • the mobile communication unit 112 transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.
  • the broadcast receiving unit 113 receives a broadcast signal and / or broadcast related information from the outside through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • the mobile device 100 may not include the broadcast receiver 113.
  • the processor 120 typically controls the overall operation of the mobile device 100.
  • the processor 120 executes programs stored in the memory 170, thereby communicating the unit 110, the output unit 130, the user input unit 140, the sensing unit 150, and the A / V input unit 160. ),
  • the memory 170 and the like can be controlled overall.
  • the processor 120 determines whether the search mode is activated in the mobile device 100. For example, the processor 120 may determine whether the search mode is activated based on at least one of a state of a search box in which a search term is input in at least one search application and a state of an input menu in which a search term may be input. .
  • the processor 120 may classify the received recognition information according to a category of at least one object related to the content. Also, according to another example, the processor 120 may arrange the recognition information according to at least one of preference information of the user of the mobile device 100 and at least one type of search application.
  • the output unit 130 is for outputting an audio signal, a video signal, or a vibration signal, and may include a display unit 131, a sound output unit 132, a vibration motor 133, and the like.
  • the display unit 131 displays and outputs information processed by the mobile device 100.
  • the display unit 131 may display an execution screen of at least one search application.
  • the display unit 131 may display the received recognition information in a predetermined area on the screen of the mobile device 100 on which at least one search application is displayed.
  • the display unit 131 may display recognition information classified according to a category of at least one object related to content. According to another example, the display unit 131 may display recognition information arranged according to at least one of preference information of a user of the mobile device 100 previously stored and at least one type of search application.
  • the display unit 131 may be used as an input device in addition to the output device.
  • the display unit 131 may be a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, or a three-dimensional display. 3D display, an electrophoretic display.
  • the mobile device 100 may include two or more display units 1731 according to the implementation form of the mobile device 1700. In this case, the two or more display units 1731 may be disposed to face each other using a hinge.
  • the sound output unit 132 outputs audio data received from the communication unit 110 or stored in the memory 170.
  • the sound output unit 132 outputs a sound signal related to a function performed in the mobile device 1700 (eg, a notification sound for notifying a connection with the electronic device, a popup message display sound).
  • the sound output unit 132 may include a speaker, a buzzer, and the like.
  • the vibration motor 133 may output a vibration signal.
  • the vibration motor 133 may output a vibration signal corresponding to the output of audio data or video data (eg, an alarm according to reception of recognition information, a message reception sound, etc.).
  • the vibration motor 133 may output a vibration signal when a touch is input to the touch screen.
  • the user input unit 140 means a means for a user to input data for controlling the mobile device 100.
  • the user input unit 140 may include a key pad, a dome switch, a touch pad (contact capacitive type, pressure resistive layer type, infrared sensing type, surface ultrasonic conduction type, and integral type). Tension measurement method, piezo effect method, etc.), a jog wheel, a jog switch, and the like, but are not limited thereto.
  • the user input unit 140 may receive a user input for activating a search mode of a search application executed in the mobile device 100. In addition, the user input unit 140 may receive a user input for selecting any one of keywords of each of the plurality of objects included in the recognition information displayed on the mobile device 100.
  • the sensing unit 150 may detect a state of the mobile device 100 or a state around the mobile device 1700 and transmit the detected information to the processor 120. For example, the sensing unit 150 may detect information regarding a location where the mobile device 100 exists and transmit the information to the processor 120.
  • the sensing unit 150 may include a geomagnetic sensor 151, an acceleration sensor 152, a temperature / humidity sensor 1753, an infrared sensor 154, a gyroscope sensor 155, and a position sensor. (Eg, GPS) 156, barometric pressure sensor 157, proximity sensor 158, and RGB sensor (illuminance sensor) 159, but are not limited thereto. Since functions of the respective sensors can be intuitively deduced by those skilled in the art from the names, detailed descriptions thereof will be omitted.
  • the A / V input unit 160 is for inputting an audio signal or a video signal, and may include a camera 161 and a microphone 162.
  • the camera 161 may obtain an image frame such as a still image or a moving image through an image sensor in a video call mode or a shooting mode.
  • the image captured by the image sensor may be processed by the processor 120 or a separate image processor (not shown).
  • the image frame processed by the camera 161 may be stored in the memory 170 or transmitted to the outside through the communication unit 150. Two or more cameras 161 may be provided according to the configuration aspect of the terminal.
  • the microphone 162 receives an external sound signal and processes the external sound signal into electrical voice data.
  • the microphone 162 may receive a voice input from an external device or a user.
  • the microphone 162 may use various noise removing algorithms for removing noise generated in the process of receiving an external sound signal.
  • the memory 170 may store a program for processing and controlling the processor 120, and may store input / output data (eg, recognition information, search word of a search application, preference information, etc.).
  • input / output data eg, recognition information, search word of a search application, preference information, etc.
  • the memory 170 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), RAM Random Access Memory (RAM) Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory, Magnetic Disk It may include at least one type of storage medium of the optical disk.
  • the mobile device 100 may operate a web storage or a cloud server that performs a storage function of the memory 170 on the Internet.
  • Programs stored in the memory 170 may be classified into a plurality of modules according to their functions. For example, the programs stored in the memory 170 may be classified into the UI module 171, the touch screen module 172, and the notification module 173. .
  • the UI module 171 may provide a specialized UI, GUI, or the like that is linked to the mobile device 100 for each application.
  • the touch screen module 172 may detect a touch gesture on the user's touch screen and transmit information about the touch gesture to the processor 120.
  • the touch screen module 172 according to an embodiment of the present invention may recognize and analyze a touch code.
  • the touch screen module 172 may be configured as separate hardware including a controller.
  • the user's touch gesture may include tap, touch and hold, double tap, drag, pan, flick, drag and drop, and swipe.
  • the notification module 173 may generate a signal for notifying occurrence of an event of the mobile device 100. Examples of events occurring in the mobile device 100 include beacon signal reception, message reception, recognition information reception, and connection with an electronic device.
  • the notification module 173 may output the notification signal in the form of a video signal through the display unit 131, may output the notification signal in the form of an audio signal through the sound output unit 132, and the vibration motor 133. Through the notification signal may be output in the form of a vibration signal.
  • 23 is a block diagram of an electronic device 10 that provides information about content according to an embodiment.
  • an electronic device 10 may include a communication unit 11, a processor 12, a display unit 13, and a memory 14.
  • the electronic device 10 may be implemented by more components than the illustrated components, and the electronic device 10 may be implemented by fewer components.
  • the electronic device 10 may further include an input / output unit.
  • the electronic device 10 may receive content through an input / output unit.
  • the communication unit 11 may connect the electronic device 10 to an external device (eg, a mobile device, an input device, a service providing device, a server, etc.) under the control of the processor 12.
  • the processor 12 may transmit / receive content to a service providing device connected through the communication unit 11, download an application from the service providing device, or perform web browsing.
  • the communication unit 11 may include one of wireless LAN, Bluetooth, and wired Ethernet in response to the performance and structure of the electronic device 10.
  • the communication unit 11 may include a combination of wireless LAN, Bluetooth, and wired Ethernet.
  • the communication unit 11 may receive a control signal of the input device under the control of the processor 12.
  • the control signal may be implemented in a Bluetooth type, an RF signal type or a Wi-Fi type.
  • the communication unit 11 may further include other short-range communication (eg, near field communication (NFC) (not shown)) or Bluetooth low energy (BLE) (not shown) in addition to Bluetooth.
  • NFC near field communication
  • BLE Bluetooth low energy
  • the communication unit 11 transmits a beacon at predetermined time intervals.
  • the communication unit 11 receives a request for recognition information indicating an object related to the content from the mobile device as at least one search application is executed in the mobile device that detects the electronic device through the beacon. For example, when it is determined that the search mode is activated in the mobile device, the communication unit 11 may receive a request for recognition information from the mobile device.
  • the communication unit 11 transmits the recognition information generated by the processor 12 to the mobile device.
  • the processor 12 typically controls the overall operation of the electronic device 10.
  • the processor 12 may control the communication unit 11, the display unit 13, and the like as a whole by executing programs stored in the memory 14.
  • the processor 12 may execute a program stored in the memory 14 to perform a method of recognizing the above-described content with reference to FIGS. 1 to 20.
  • the processor 12 when the request for recognition information of the content is received, the processor 12 generates recognition information indicating an object related to the content. For example, the processor 12 may recognize an object related to the content based on at least one of the image of the screen on which the content is output and the metadata of the content.
  • the processor 12 may classify at least one object related to the content according to a preset category and generate recognition information.
  • the display unit 13 converts an image processed by the processor 12, a data signal, an OSD signal, a control signal, and the like to generate a driving signal.
  • the display unit 13 may be implemented as a PDP, an LCD, an OLED, a flexible display, or a 3D display.
  • the display unit 13 may be configured as a touch screen and used as an input device in addition to the output device.
  • the display unit 13 displays the received content.
  • the display unit 13 may have a configuration corresponding to a screen in that content is displayed.
  • the memory 14 may store various data, programs or applications for driving and controlling the electronic device 10 under the control of the processor 12.
  • the memory 14 may provide a control program for controlling the electronic device 10 and the processor 12, an application originally provided by a manufacturer or downloaded from an external source, a graphical user interface (GUI) related to the application, and a GUI.
  • GUI graphical user interface
  • an object eg, image text, an icon, a button, etc.
  • user information eg, image text, an icon, a button, etc.
  • a document e.g., identification information regarding a plurality of contents, databases, or related data.
  • the term “memory” refers to a memory card (eg, a micro SD card, a USB memory, or the like) mounted in the storage 1940, the ROM 1922 of the controller, the RAM 1921, or the electronic device 10. Not shown).
  • the memory 1440 may include a nonvolatile memory, a volatile memory, a hard disk drive (HDD), or a solid state drive (SSD).
  • the memory 14 includes a broadcast receiving module (not shown), a channel control module, a volume control module, a communication control module, a voice recognition module, a motion recognition module, an optical reception module, a display control module, an audio control module, an external input control module, and a power supply. It may include a control module, a power control module of an external device connected wirelessly (for example, Bluetooth), a voice database DB, or a motion database DB. Modules and databases (not shown) of the memory 14 include the control function of the broadcast reception, the channel control function, the volume control function, the communication control function, the voice recognition function, the motion recognition function, the light reception control function in the electronic device 10.
  • the display control function, the audio control function, the external input control function, the power control function, or a power control function of an external device connected to a wireless device may be implemented in software form.
  • the processor 12 may use these software stored in the memory 14 to perform each function.
  • Method according to an embodiment of the present invention is implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • a device may include a processor, a memory for storing and executing program data, a persistent storage such as a disk drive, a communication port for communicating with an external device, a touch panel, a key, a user interface such as a button, and the like.
  • Methods implemented by software modules or algorithms may be stored on a computer readable recording medium as computer readable codes or program instructions executable on the processor.
  • the computer-readable recording medium may be a magnetic storage medium (eg, read-only memory (ROM), random-access memory (RAM), floppy disk, hard disk, etc.) and an optical reading medium (eg, CD-ROM). ) And DVD (Digital Versatile Disc).
  • the computer readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • the medium is readable by the computer, stored in the memory, and can be executed by the processor.
  • An embodiment may be represented by functional block configurations and various processing steps. Such functional blocks may be implemented in various numbers of hardware or / and software configurations that perform particular functions.
  • an embodiment may include an integrated circuit configuration such as memory, processing, logic, look-up table, etc. that may execute various functions by the control of one or more microprocessors or other control devices. You can employ them.
  • an embodiment may employ the same or different types of cores, different types of CPUs.
  • Similar to the components in the present invention may be implemented in software programming or software elements, embodiments include C, C ++, including various algorithms implemented in combinations of data structures, processes, routines or other programming constructs. It may be implemented in a programming or scripting language such as Java, an assembler, or the like.
  • the functional aspects may be implemented with an algorithm running on one or more processors.
  • the embodiment may employ the prior art for electronic configuration, signal processing, and / or data processing.
  • Terms such as “mechanism”, “element”, “means” and “configuration” can be used widely and are not limited to mechanical and physical configurations. The term may include the meaning of a series of routines of software in conjunction with a processor or the like.
  • connection or connection members of the lines between the components shown in the drawings by way of example shows a functional connection and / or physical or circuit connections, in the actual device replaceable or additional various functional connections, physical It may be represented as a connection, or circuit connections.
  • such as "essential”, “important” may not be a necessary component for the application of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephone Function (AREA)

Abstract

컨텐트를 표시하는 전자 디바이스를 감지하고, 전자 디바이스가 감지됨에 따라 모바일 디바이스에서 적어도 하나의 검색 애플리케이션이 실행되는지 여부를 판단하고, 적어도 하나의 검색 애플리케이션이 실행됨에 따라 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 전자 디바이스에 요청하고, 전자 디바이스로부터 요청된 인식 정보를 수신하는 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법이 개시된다.

Description

컨텐트에 관한 정보를 제공하는 방법 및 디바이스
개시된 실시예는 컨텐트에 관한 정보를 제공하는 방법, 컨텐트에 관한 정보를 제공하는 디바이스, 컨텐트에 관한 정보를 제공하는 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.
IT 기술의 발달로 인해, 사용자들에게 정보를 제공하는 다양한 애플리케이션이 개발됨에 따라, 사용자들은 자신이 원하는 정보를 쉽게 검색할 수 있는 환경을 제공받게 되었다. 특히, 다양한 검색 엔진들이 다양한 객체들을 인터넷을 통해 검색할 수 있는 사용자 인터페이스를 사용자에게 제공하기 위해 개발되고 있는 실정이다.
다만, 종래의 검색 엔진들은 사용자가 정보를 원하는 객체의 명칭을 직접 입력해야 하므로, 사용자가 객체를 인식(recognize)하지 못하는 경우에는 객체에 대한 정보를 얻기 힘들다는 문제점이 있다. 특히, 사용자가 컨텐트 등을 시청하는 동안 컨텐트에 포함된 객체에 대해 정보를 얻고자 하는 경우에는, 객체에 대해 미리 인식하고 있지 않는 한 정보 검색 시점을 놓치게 되어, 사용자가 원하는 정보를 적절한 시점에 검색하지 못한다는 문제점이 있다. 따라서, 사용자가 원하는 시점에 정보 검색을 원하는 객체를 인식하여 제공하는 기술에 대한 필요성이 대두되었다.
개시된 실시예는 사용자가 컨텐트를 시청하고 있는 시점에, 컨텐트와 관련된 객체를 나타내는 인식 정보를 제공함으로써, 사용자가 컨텐트에 관련된 객체의 정보를 보다 용이하게 검색할 수 있는 환경을 제공하는 컨텐트에 관한 정보를 제공하는 방법 및 디바이스를 제공하고자 한다.
컨텐트를 표시하는 전자 디바이스를 감지하고, 전자 디바이스가 감지됨에 따라 모바일 디바이스에서 적어도 하나의 검색 애플리케이션이 실행되는지 여부를 판단하고, 적어도 하나의 검색 애플리케이션이 실행됨에 따라 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 전자 디바이스에 요청하고, 전자 디바이스로부터 요청된 인식 정보를 수신하는 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법이 개시된다.
도 1은 일 실시예에 따른 전자 디바이스 및 모바일 디바이스에서 컨텐트에 관한 정보를 제공하는 방법을 설명하기 위한 개념도이다.
도 2는 일 실시예에 따라 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 전자 디바이스가 컨텐트에 관한 정보를 제공하는 방법을 설명하기 위한 흐름도이다.
도 4a 및 도 4b는 일 실시예에 따른 모바일 디바이스 및 전자 디바이스가 컨텐트에 관한 정보를 제공하는 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 모바일 디바이스가 검색 애플리케이션에 대해 검색 모드의 활성화 여부를 판단하는 방법을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 전자 디바이스가 컨텐트의 인식 정보를 생성하는 방법을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 모바일 디바이스가 전자 디바이스로부터 수신한 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 모바일 디바이스가 전자 디바이스로부터 수신한 인식 정보를 검색창에 입력하는 방법을 설명하기 위한 도면이다.
도 9는 다른 실시예에 따른 모바일 디바이스가 전자 디바이스로부터 수신한 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
도 10은 다른 실시예에 따른 모바일 디바이스가 전자 디바이스로부터 수신한 인식 정보를 검색창에 입력하는 방법을 설명하기 위한 도면이다.
도 11은 또 다른 실시예에 따른 모바일 디바이스가 전자 디바이스로부터 수신한 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
도 12 는 또 다른 실시예에 따른 모바일 디바이스가 전자 디바이스로부터 수신한 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
도 13은 또 다른 실시예에 따른 모바일 디바이스가 전자 디바이스로부터 수신한 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 모바일 디바이스가 컨텐트에 관한 인식 정보를 검색 애플리케이션의 종류 및 사용자의 선호도 정보 중 적어도 하나에 따라 분류하여 표시하는 방법을 설명하기 위한 흐름도이다.
도 15는 일 실시예에 따른 모바일 디바이스가 수신한 인식 정보를 기 설정된 카테고리에 따라 분류하여 표시하는 방법을 설명하기 위한 도면이다.
도 16은 다른 실시예에 따른 모바일 디바이스가 컨텐트에 표시된 객체 및 컨텐트에 표시된 객체의 연관 객체를 포함하는 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
도 17a는 일 실시예에 따른 모바일 디바이스가 전자 디바이스로부터 수신한 인식 정보를 다른 사용자와 공유하는 방법을 설명하기 위한 도면이다.
도 17b는 다른 실시예에 따른 모바일 디바이스가 전자 디바이스로부터 수신한 인식 정보를 다른 사용자와 공유하는 방법을 설명하기 위한 도면이다.
도 18은 일 실시예에 따른 모바일 디바이스가 전자 디바이스로부터 수신하는 인식 정보의 종류를 설명하기 위한 도면이다.
도 19는 일 실시예에 따른 모바일 디바이스가 전자 디바이스로부터 수신한 인식 정보를 사용자에게 제공하는 방법을 설명하기 위한 도면이다.
도 20은 일 실시예에 따른 전자 디바이스, 모바일 디바이스 및 냉장고가 연동되어 컨텐트에 관한 정보를 제공하는 방법을 설명하기 위한 도면이다.
도 21 및 도 22는 일 실시예에 따라 컨텐트에 관한 정보를 제공하는 모바일 디바이스의 블록도이다.
도 23은 일 실시예에 따라 컨텐트에 관한 정보를 제공하는 전자 디바이스의 블록도이다.
일 실시예에 따라, 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법은, 컨텐트를 표시하는 전자 디바이스를 감지하는 단계; 전자 디바이스가 감지됨에 따라, 모바일 디바이스에서 적어도 하나의 검색 애플리케이션이 실행되는지 여부를 판단하는 단계; 적어도 하나의 검색 애플리케이션이 실행됨에 따라, 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 전자 디바이스에 요청하는 단계; 및 전자 디바이스로부터 요청된 인식 정보를 수신하는 단계를 포함한다.
일 실시예에 따라, 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법에 있어서, 판단하는 단계는, 적어도 하나의 검색 애플리케이션에서 검색어가 입력되는 검색창의 상태 및 검색어를 입력할 수 있는 입력 메뉴의 상태 중 적어도 하나에 기초하여 검색 애플리케이션의 검색 모드가 활성화되는지 여부를 판단한다.
일 실시예에 따라, 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법은, 적어도 하나의 검색 애플리케이션이 표시되는 모바일 디바이스의 화면 상의 기 설정된 영역에 상기 수신된 인식 정보를 표시하는 단계를 더 포함한다.
일 실시예에 따라, 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법은, 수신된 인식 정보를 컨텐트와 관련된 적어도 하나의 객체의 카테고리에 따라 분류하는 단계; 및 분류된 인식 정보를 모바일 디바이스의 화면에 표시하는 단계를 더 포함한다.
일 실시예에 따라, 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법은, 기 저장된 상기 모바일 디바이스의 사용자의 선호도 정보 및 적어도 하나의 검색 애플리케이션의 종류 중 적어도 하나에 따라 인식 정보를 배열하는 단계; 및배열된 인식 정보를 모바일 디바이스의 화면에 표시하는 단계를 더 포함한다.
일 실시예에 따라, 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법은, 모바일 디바이스와 연결된 다른 디바이스에 수신한 인식 정보를 송신하는 단계를 더 포함한다.
일 실시예에 따라, 전자 디바이스가 컨텐트에 관한 정보를 제공하는 방법은, 컨텐트를 표시하는 전자 디바이스가 기 설정된 시간 간격에 따라, 신호를 송신하는 단계; 신호를 통해 전자 디바이스를 감지한 모바일 디바이스에서 적어도 하나의 검색 애플리케이션이 실행됨에 따라, 모바일 디바이스로부터 컨텐트와 관련된 객체를 나타내는 인식 정보에 대한 요청을 수신하는 단계; 요청이 수신됨에 따라, 컨텐트와 관련된 객체를 나타내는 인식 정보를 생성하는 단계; 및 생성된 인식 정보를 모바일 디바이스에 송신하는 단계를 포함한다.
일 실시예에 따라, 전자 디바이스가 컨텐트에 관한 정보를 제공하는 방법에 있어서, 인식 정보를 생성하는 단계는, 컨텐트가 출력되는 화면이 캡쳐된 이미지 및 컨텐트의 메타데이터 중 적어도 하나를 기초로 컨텐트와 관련된 객체를 인식하는 단계를 더 포함한다.
일 실시예에 따라 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법은, 컨텐트를 표시하는 전자 디바이스를 감지하는 단계; 전자 디바이스가 감지됨에 따라, 모바일 디바이스에서 검색 모드의 활성화 여부를 판단하는 단계; 및판단 결과, 모바일 디바이스에서 검색 모드가 활성화된 경우 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 전자 디바이스로부터 수신하는 단계를 포함한다.
일 실시예에 따라 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법은, 모바일 디바이스에서 검색 모드가 활성화된 경우, 전자 디바이스에 인식 정보를 요청하는 단계를 더 포함한다.
일 실시예에 따라 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법은에 있어서, 검색 모드의 활성화 여부를 판단하는 단계는, 모바일 디바이스에서, 검색어를 입력 가능한 검색창의 상태 및 검색어를 입력 가능한 입력 메뉴의 상태 중 적어도 하나를 기초로 검색 모드의 활성화 여부를 판단한다.
일 실시예에 따라, 컨텐트에 관한 정보를 제공하는 모바일 디바이스는, 컨텐트를 표시하는 전자 디바이스에서 송신되는 신호를 통해 전자 디바이스를 감지하는 통신부; 전자 디바이스가 감지됨에 따라, 모바일 디바이스에서 적어도 하나의 검색 애플리케이션이 실행되는지 여부를 판단하는 제어부; 및 적어도 하나의 검색 애플리케이션의 실행 화면을 표시하는 출력부를 포함하고, 통신부는, 적어도 하나의 검색 애플리케이션이 실행됨에 따라, 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 전자 디바이스에 요청하고, 전자 디바이스로부터 요청된 인식 정보를 수신한다.
일 실시예에 따라, 컨텐트에 관한 정보를 제공하는 전자 디바이스는, 컨텐트를 표시하는 디스플레이부; 기 설정된 시간 간격에 따라, 신호를 송신하고, 신호를 통해 전자 디바이스를 감지한 모바일 디바이스에서 적어도 하나의 검색 애플리케이션이 실행됨에 따라, 모바일 디바이스로부터 컨텐트와 관련된 객체를 나타내는 인식 정보에 대한 요청을 수신하는 통신부; 및 요청이 수신됨에 따라, 컨텐트와 관련된 객체를 나타내는 인식정보를 생성하는 제어부를 포함하고, 통신부는, 생성된 인식 정보를 모바일 디바이스에 송신한다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따른 전자 디바이스(10) 및 모바일 디바이스(100)에서 컨텐트에 관한 정보를 제공하는 방법을 설명하기 위한 개념도이다.
도 1을 참고하면, 전자 디바이스(10)는 외부의 장치로부터 컨텐트를 수신할 수 있다. 예를 들어, 전자 디바이스(10)는 방송국 서버, 셋탑 박스 및 웹 서버 중 적어도 하나로부터 컨텐트를 수신할 수 있으나, 이는 일 실시예일 뿐, 외부의 장치가 전술한 예에 한정되는 것은 아니다.
본 명세서 전체에서 '컨텐트'는 유무선 통신망을 통해 제공되는 디지털 정보를 의미한다. 본 발명의 일 실시예에 따른 컨텐트는, 동영상 컨텐트, 정지 영상 콘텐트(예컨대, 사진, 그림 등), 텍스트 컨텐트(예컨대, 웹 페이지 등) 및 음성 컨텐트(예컨대, 음악, 라디오 방송 등) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
전자 디바이스(10)는 수신한 컨텐트를 표시할 수 있다. 예를 들어, 전자 디바이스(10)는 설정되어 있는 채널 또는 사용자가 선택한 채널로부터 수신한 컨텐트를 표시할 수 있다.
한편, 일 실시예에 따른 전자 디바이스(10)는 전자 디바이스(10)의 주변에 위치한 모바일 디바이스(100)가 전자 디바이스(10)를 감지할 수 있도록 주기적으로 신호를 송신할 수 있다. 모바일 디바이스(100)는 전자 디바이스(10)가 송신하는 신호를 수신하여, 모바일 디바이스(100)의 주변에 전자 디바이스(10)가 위치함을 확인할 수 있다.
일 실시예에 따른 모바일 디바이스(100)는 전자 디바이스(10)가 감지됨에 따라, 모바일 디바이스(100)에서 검색 모드가 활성화되었는지 여부를 판단할 수 있다. 예를 들어, 모바일 디바이스(100)는 검색 기능을 갖는 애플리케이션의 실행 여부, 검색어를 입력 가능한 검색창의 상태 및 검색어를 입력 가능한 입력 메뉴의 상태 중 적어도 하나를 기초로 검색 모드의 활성화 여부를 판단할 수 있다. 여기에서, 입력 메뉴의 상태는 키보드 메뉴가 표시되었는지 여부, 음성 명령이 수신 대기 상태인지 여부 등을 포함할 수 있으나, 이는 일 실시예일 뿐, 입력 메뉴의 상태가 전술한 예에 한정되는 것은 아니다.
또한, 모바일 디바이스(100)는 검색 모드가 활성화된 것으로 판단된 경우, 전자 디바이스(10)에 표시되는 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 요청할 수 있다.
본 명세서에서, 인식 정보는 전자 디바이스(10)에 표시되는 컨텐트의 채널 컨텐트의 제목, 컨텐트의 줄거리, 컨텐트 내의 등장 인물, 상품 및 장소 중 적어도 하나에 관한 정보를 포함할 수 있으나, 이는 일 실시예일 뿐, 인식 정보가 전술한 예에 한정되는 것은 아니다.
일 실시예에 따른 모바일 디바이스(100)는 요청에 대한 응답으로, 전자 디바이스(10)로부터 인식 정보를 수신할 수 있다. 모바일 디바이스(100)는 수신된 인식 정보를 화면에 표시할 수 있다. 모바일 디바이스(100)에서 인식 정보를 화면에 표시하는 방법에 대해서는 도 7 내지 도 19를 참고하여 보다 구체적으로 후술하도록 한다.
도 2는 일 실시예에 따라 모바일 디바이스(100)가 컨텐트에 관한 정보를 제공하는 방법을 설명하기 위한 흐름도이다.
단계 S210에서, 모바일 디바이스(100)는 컨텐트를 표시하는 전자 디바이스를 감지할 수 있다.
일 실시예에 따른 모바일 디바이스(100)는 컨텐트를 표시하는 전자 디바이스(10)가 주기적으로 송신하는 신호를 수신함으로써, 전자 디바이스(10)를 감지한다. 예를 들어, 모바일 디바이스(100)는 전자 디바이스(10)가 주기적으로 송신하는 BLE(Bluetooth Low Energy) 게시(advertising) 패킷을 수신함으로써, 전자 디바이스(10)를 감지할 수 있다. 다만, 이는 일 실시예일 뿐, 전자 디바이스(10)가 주기적으로 송신하는 신호가 BLE 게시 패킷에 한정되는 것은 아니다.
단계 S220에서, 모바일 디바이스(100)는 전자 디바이스(10)가 감지됨에 따라 모바일 디바이스(100)에서 검색 모드가 활성화되었는지 여부를 판단한다. 여기에서, 모바일 디바이스(100)에는 컨텐트에 관한 정보를 검색할 수 있는 검색 기능을 갖는 적어도 하나의 애플리케이션이 기 설치될 수 있다. 모바일 디바이스(100)는 검색 기능을 갖는 애플리케이션에 적어도 하나의 검색어가 입력되는 경우, 웹 서버를 통해 검색어와 관련된 데이터를 획득하여 표시할 수 있다.
일 실시예에 따른 모바일 디바이스(100)는 애플리케이션의 메타데이터를 확인함으로써, 현재 실행되고 있는 애플리케이션에서 검색 기능을 수행할 수 있는 지 여부를 판단할 수 있다. 예를 들어, 모바일 디바이스(100)는 현재 실행되고 있는 애플리케이션의 메타데이터를 확인하여, 현재 실행되고 있는 애플리케이션의 식별 정보를 확인할 수 있다. 모바일 디바이스(100)는 기 저장된 애플리케이션의 리스트에 확인된 애플리케이션의 식별 정보가 포함되는 경우, 모바일 디바이스(100)에 검색 기능을 수행할 수 있는 애플리케이션이 실행되고 있는 것으로 판단할 수 있다. 여기에서, 검색 기능을 수행할 수 있는 애플리케이션은 애플리케이션 마켓에서 유틸리티 또는 쇼핑 등으로 분류된 카테고리에 포함된 애플리케이션일 수 있다. 또한, 모바일 디바이스(100)는 애플리케이션이 실행되고 있는 화면 및 애플리케이션의 시작 화면에 검색 기능을 나타내는 아이콘(예를 들어, 검색 버튼, 돋보기 모양의 아이콘)이 표시되어 있는 경우, 실행되고 있는 애플리케이션이 검색 기능을 수행할 수 있는 애플리케이션임을 확인할 수 있다.
또한, 다른 실시예에 따라, 모바일 디바이스(100)는 검색어를 입력 가능한 검색창의 상태 및 검색어를 입력 가능한 입력 메뉴의 상태 중 적어도 하나를 기초로 검색 모드의 활성화 여부를 판단할 수도 있다. 예를 들어, 모바일 디바이스(100)는 검색창 또는 입력 메뉴가 화면에 표시된 경우, 검색 모드가 활성화된 것으로 판단할 수 있다. 다른 예에 따라, 모바일 디바이스(100)는 모바일 디바이스(100)의 사용자가 컨텐트의 정보에 관한 검색을 의도하는지 여부를 보다 명확히 확인하기 위해, 검색창에 커서 등이 표시되거나, 모바일 디바이스(100)의 화면에 텍스트를 입력할 수 있는 키보드 메뉴가 표시되어 있는지 여부를 추가적으로 확인할 수 있다. 여기에서, 키보드 메뉴가 표시되어 있는지 여부는 화면 인식을 수행하거나 OS(Operating System)로부터 키보드 메뉴가 on 상태임을 알리는 브로드캐스트 이벤트를 감지하여 확인할 수 있으나 키보드 메뉴가 표시되어 있는지 여부를 확인하는 방법이 전술한 예에 한정되는 것은 아니다. ,
한편, 전술한 예는 일 실시예일 뿐, 모바일 디바이스(100)가 검색 모드가 활성화되어 있는지 여부를 판단하는 방법이 전술한 예에 한정되는 것은 아니다.
단계 S230에서, 모바일 디바이스(100)는 적어도 하나의 검색 애플리케이션이 실행됨에 따라, 전자 디바이스(10)에 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 요청할 수 있다.
일 실시예에 따른 모바일 디바이스(100)는 적어도 하나의 검색 애플리케이션이 실행됨에 따라, 모바일 디바이스(100)의 사용자가 전자 디바이스(10)에 표시되는 컨텐트에 대한 인식 정보의 검색을 의도하는 것으로 판단할 수 있다. 여기에서, 인식 정보는 컨텐트와 관련된 적어도 하나의 객체를 나타내는 텍스트, 이미지 및 동영상 중 적어도 하나를 포함할 수 있다. 예를 들어, 인식 정보에는 컨텐트의 제목, 컨텐트가 제공되는 채널, 컨텐트가 출력되는 화면에 포함된 객체를 나타내는 키워드와 이미지 및 컨텐트가 출력되는 화면에 포함된 객체와 관련된 연관 객체를 나타내는 키워드와 이미지 중 적어도 하나가 포함될 수 있다.
한편, 다른 실시예에 따라, 모바일 디바이스(100)는 인식 정보를 요청하기에 앞서, 전자 디바이스와 연결 프로세스를 수행할 수 있다. 예를 들어, 모바일 디바이스(100)는 적어도 하나의 검색 애플리케이션이 실행됨에 따라 전자 디바이스에 연결을 요청하는 연결 요청 메시지를 송신할 수 있다. 모바일 디바이스(100)는 연결 요청 메시지에 대한 응답 메시지가 수신됨에 따라, 전자 디바이스(10)에 인식 정보를 요청할 수 있다.
단계 S240에서, 모바일 디바이스(100)는 전자 디바이스(10)로부터 요청된 인식 정보를 수신할 수 있다.
일 실시예에 따른 모바일 디바이스(100)는 전자 디바이스(10)로부터 수신된 인식 정보를 적어도 하나의 검색 애플리케이션이 실행되고 있는 모바일 디바이스의 화면의 기 설정된 영역에 표시할 수 있다. 여기에서, 모바일 디바이스(100)의 화면에는 적어도 하나의 검색 애플리케이션이 표시되고 있는 것으로 가정한다.
예를 들어, 모바일 디바이스(100)는 화면에 표시되는 적어도 하나의 검색 애플리케이션의 검색창 주변에 수신된 인식 정보를 표시할 수 있다. 모바일 디바이스(100)가 수신한 인식 정보에는 전자 디바이스(10)에서 표시되고 있는 컨텐트의 등장 인물의 성명, 컨텐트의 제목 및 등장인물이 착용하고 있는 가방의 브랜드 정보가 포함될 수 있다. 이에 따라, 모바일 디바이스(100)는 검색창 주변에 컨텐트의 등장 인물의 성명, 컨텐트의 제목 및 등장 인물이 착용하고 있는 가방의 브랜드 정보를 표시할 수 있다.
다른 실시예에 따라 모바일 디바이스(100)는 전자 디바이스(10)로부터 수신된 인식 정보를 외부의 디바이스에 송신할 수 있다. 예를 들어, 모바일 디바이스(100)는 모바일 디바이스(100)와 연결이 설정되어 있는 다른 디바이스에 전자 디바이스로부터 수신된 인식 정보를 송신할 수 있다.
도 3은 일 실시예에 따른 전자 디바이스(10)가 컨텐트에 관한 정보를 제공하는 방법을 설명하기 위한 흐름도이다.
단계 S310에서, 전자 디바이스(10)는 신호를 송신할 수 있다. 예를 들어, 전자 디바이스(10)에서 송신되는 신호는 비콘 및 파일럿 신호 등을 포함할 수 있다. 또한, 전자 디바이스(10)는 기 설정된 시간 간격에 따라 신호를 송신할 수 있으나, 이는 일 실시예일 뿐, 전자 디바이스(10)에서 신호를 송신하는 방법이 전술한 예에 한정되는 것은 아니다.
일 실시예에 따른 전자 디바이스(10)는 화면이 켜져 있는 상태에서, 전자 디바이스(10) 주변의 다른 기기와의 연결을 수행하기 위해, 전자 디바이스(10)가 동작함을 알리는 비콘을 기 설정된 시간 간격으로 송신할 수 있다. 예를 들어, 전자 디바이스(10)는 BLE 게시 패킷을 기 설정된 시간 간격으로 송신할 수 있다. 다만, 이는 일 실시예일 뿐, 전자 디바이스(10)에서 송신되는 신호가 BLE 게시 패킷에 한정되는 것은 아니며,BLE, Wifi,Bluetooth 등 다양한 신호가 될 수 있다.
한편, 다른 실시예에 따라, 전자 디바이스(10)는 화면이 켜져있을 때와 꺼져 있을 때 모두 비콘을 송신할 수도 있다.
단계 S320에서, 전자 디바이스(10)는 신호를 통해 전자 디바이스(10)를 감지한 모바일 디바이스(100)에서 검색 모드가 활성화됨에 따라, 모바일 디바이스(100)로부터 컨텐트에 관련된 객체를 나타내는 인식 정보에 대한 요청을 수신할 수 있다.
예를 들어, 전자 디바이스(10)로부터 기 설정된 거리 범위 내에 위치한 모바일 디바이스(100)는 전자 디바이스(10)에서 송신되는 비콘을 감지할 수 있다. 모바일 디바이스(100)는 전자 디바이스(10)에서 송신되는 비콘을 통해, 전자 디바이스(10)가 소정 거리 이내에 위치하고 있음을 확인할 수 있다.
일 실시예에 따른 전자 디바이스(10)는 모바일 디바이스(100)에서 적어도 하나의 검색 애플리케이션이 실행되는 경우, 모바일 디바이스(100)로부터 인식 정보에 대한 요청을 수신할 수 있다.
한편, 단계 S310에서 전술한 바와 같이, 전자 디바이스(10)는 화면이 켜져있을 때와 꺼져 있을 때 모두 비콘을 송신할 수 있다. 이러한 경우, 모바일 디바이스(100)는 전자 디바이스(10)로부터 비콘이 수신되는 경우, 전자 디바이스(10)의 화면이 켜져 있는지 여부를 확인하여 전자 디바이스(10)에 컨텐트에 관련된 객체를 나타내는 인식 정보에 대한 요청을 송신할 수 있다. 예를 들어, 모바일 디바이스(100)는 전자 디바이스(10)에 화면의 전원 상태를 질의하는 메시지를 송신하거나, 비콘에 포함된 화면의 전원 상태 정보를 기초로 전자 디바이스(10)의 화면이 켜져 있는지 여부를 판단할 수 있다.
다른 실시예에 따라, 전자 디바이스(10)는 모바일 디바이스(100)로부터 인식 정보에 대한 요청을 수신하기에 앞서, 모바일 디바이스(100)와 연결 프로세스를 수행할 수 있다. 예를 들어, 전자 디바이스(10)는 비콘을 통해 전자 디바이스(10)를 감지한 모바일 디바이스(100)로부터 연결 요청 메시지를 수신할 수 있다. 이에 따라, 전자 디바이스(10)는 연결 요청 메시지에 따른 응답 메시지를 모바일 디바이스(100)에 송신함으로써, 모바일 디바이스(100)와 세션을 설정할 수 있다. 전자 디바이스(10)는 세션이 설정된 후에, 모바일 디바이스(100)로부터 인식 정보에 대한 요청을 수신할 수 있다.
단계 S330에서, 전자 디바이스(10)는 요청이 수신됨에 따라 컨텐트와 관련된 객체를 나타내는 인식 정보를 생성할 수 있다.
일 실시예에 따른 전자 디바이스(10)는 컨텐트가 출력되고 있는 화면의 캡쳐 이미지에 포함된 객체를 인식하여, 인식 정보를 생성할 수 있다. 예를 들어, 전자 디바이스(10)는 OCR, 핑거 프린트(finger print) 기술을 이용하여, 화면에 표시되고 있는 객체를 인식할 수 있다. 다른 예에 따라, 전자 디바이스(10)는 복수의 객체의 이미지를 저장한 데이터 베이스와 화면에 표시되고 있는 객체의 이미지를 비교하여, 객체를 인식할 수도 있다. 또 다른 예에 따라, 전자 디바이스(10)는 이전에 출력되었던 컨텐트를 통해 학습한 객체의 정보를 기초로 딥러닝(deep learning) 등의 기법을 이용하여, 객체를 인식할 수도 있다.
또한, 전자 디바이스(10)는 출력되고 있는 컨텐트의 메타데이터로부터 인식 정보를 생성할 수도 있다. 예를 들어, 전자 디바이스(10)는 컨텐트의 메타데이터를 파싱(parsing)하여, 컨텐트의 제목, 컨텐트가 제공되는 채널 등의 정보를 포함하는 인식 정보를 생성할 수도 있다. 다른 예에 따라, 전자 디바이스(10)는 컨텐트의 음성 인식을 통해, 컨텐트의 음성 정보로부터 노래 제목 등의 인식 정보를 생성할 수도 있다.
단계 S340에서, 전자 디바이스(10)는 생성된 인식 정보를 모바일 디바이스(100)에 송신할 수 있다.
일 실시예에 따른 전자 디바이스(10)는 표시되고 있는 컨텐트에 대한 인식 정보가 생성됨에 따라, 생성된 인식 정보를 브로드캐스팅할 수 있다. 다른 실시예에 따라, 전자 디바이스(10)는 모바일 디바이스(100)와 연결 프로세스를 통해 설정한 세션을 통해 인식 정보를 모바일 디바이스(100)에 송신할 수도 있다.
도 4a 및 도 4b는 일 실시예에 따른 모바일 디바이스(100) 및 전자 디바이스(10)가 컨텐트에 관한 정보를 제공하는 방법을 설명하기 위한 흐름도이다.
도 4a의 실시예에서는, 모바일 디바이스(100)는 전자 디바이스(10)로부터컨테트 관한 정보를 BLE data 채널을 통해 전송하는 것으로 가정한다..
단계 S410a에서, 전자 디바이스(10)는 BLE 게시(advertising) 신호를 송신할 수 있다. 여기에서, BLE 게시 신호에는 전자 디바이스의 식별 정보 및 전자 디바이스의 상태 정보(예를 들어, 화면 전원 상태) 중 적어도 하나에 관한 정보가 포함될 수 있다.
단계 S420a에서, 모바일 디바이스(100)는 전자 디바이스(10)로부터 수신된 BLE 게시 신호를 기초로 전자 디바이스(10)가 일정 거리안에 위치함이 확인됨에 따라, 모바일 디바이스(100)의 검색 모드가 활성화되었는지 여부를 판단할 수 있다. 여기에서, 검색 모드가 활성화되었는지 여부를 판단하는 방법은 도 2를 참고하여 전술한 바와 대응될 수 있다.
한편, 모바일 디바이스(100)는 BLE 게시 신호를 통해, 전자 디바이스(10)가 모바일 디바이스(100)로부터 소정 거리 이내에 위치함을 확인할 수도 있다. 또한, 모바일 디바이스(100)는 BLE 게시 신호를 통해 전자 디바이스(10)의 전원이 켜져 있는 상태임을 확인할 수 있다. 또한, 모바일 디바이스(100)는 BLE 게시 신호를 통해, 전자 디바이스(10)가 컨텐트를 표시하고 있음을 확인할 수도 있다.
단계 S430a에서, 모바일 디바이스(100)는 검색 모드가 활성화됨에 따라, 전자 디바이스(10)에 연결 요청을 송신할 수 있다. 여기에서, 연결 요청에는 전자 디바이스(10)의 식별 정보가 포함될 수 있다.
단계 S440a에서, 전자 디바이스(10)는 모바일 디바이스(100)로부터 연결 요청이 수신됨에 따라, 이에 대한 연결 응답을 송신할 수 있다.
단계 S450a에서, 모바일 디바이스(10)는 연결 응답이 수신됨에 따라, BLE데이터 채널이 형성되고, BLE 데이터 채널을 통해 전자 디바이스(10)에 컨텐트와 관련된 객체를 나타내는 인식 정보를 요청할 수 있다.
단계 S460a에서, 전자 디바이스(10)는 모바일 디바이스(100)의 요청에 따라, 전자 디바이스(10)에서 표시되는 컨텐트와 관련된 객체를 나타내는 인식 정보를 생성할 수 있다.
일 실시예에 따른 전자 디바이스(10)는 컨텐트가 표시되는 화면을 캡쳐하여, 캡쳐된 이미지의 객체를 인식함으로써 인식 정보를 생성할 수 있다. 다른 실시예에 따라, 전자 디바이스(10)는 컨텐트의 메타데이터를 기초로 컨텐트의 인식 정보를 생성할 수도 있다.
단계 S470a에서, 전자 디바이스(10)는 모바일 디바이스(100)에 생성된 인식 정보를 송신할 수 있다.
일 실시예에 따른 전자 디바이스(10)는 생성된 인식 정보를 브로드캐스팅할 수 있다. 이에 따라, 전자 디바이스(10)로부터 기 설정된 범위 내에 위치한 모바일 디바이스(100)는 전자 디바이스로부터 브로드캐스팅 되는 인식 정보를 수신할 수 있다. 다른 실시예에 따라 전자 디바이스(10)는 모바일 디바이스(100)와 연결 프로세스를 통해 기 설정된 세션을 이용하여, 모바일 디바이스(100)에 인식 정보를 송신할 수도 있다.
단계 S480a에서, 모바일 디바이스(100)는 수신한 인식 정보를 표시할 수 있다.
도 4b의 실시예에서는, 모바일 디바이스(100)는 전자 디바이스(10)로부터 BLE 게시(advertising) 신호를 통해 컨텐츠 정보를 전송하는 것으로 가정한다.단계 S410b에서, 전자 디바이스(10)는 기 설정된 시간 간격으로 비콘을 송신할 수 있다. 이 때, 비콘 신호는 BLE 게시(advertising) 신호일 수 있으며 이에 한정되지는 않는다. 여기에서, 비콘에는 전자 디바이스의 식별 정보 및 전자 디바이스의 상태 정보(예를 들어, 화면 전원 상태) 중 적어도 하나에 관한 정보가 포함될 수 있다. 또한, 기 설정된 시간 간격은 예를 들어, 120ms 이하일 수 있다.
단계 S420b에서, 모바일 디바이스(100)는 전자 디바이스(10)로부터 수신된 비콘을 기초로 전자 디바이스(10)가 일정 거리안에 위치함이 확인됨에 따라 모바일 디바이스(100)의 검색 모드가 활성화되었는지 여부를 판단할 수 있다. 여기에서, 검색 모드가 활성화되었는지 여부를 판단하는 방법은 도 2를 참고하여 전술한 바와 대응될 수 있다.
단계 S430b에서, 모바일 디바이스(100)는 검색 모드가 활성화됨에 따라, 전자 디바이스(10)에 컨텐트와 관련된 객체를 나타내는 인식 정보를 요청할 수 있다. 여기에서, 인식 정보의 요청에는 모바일 디바이스(100)의 식별 정보가 포함될 수 있다.
단계 S440b에서, 전자 디바이스(10)는 모바일 디바이스(100)의 요청에 따라, 전자 디바이스(10)에서 표시되는 컨텐트와 관련된 객체를 나타내는 인식 정보를 생성할 수 있다.
일 실시예에 따른 전자 디바이스(10)는 컨텐트가 표시되는 화면을 캡쳐하여, 캡쳐된 이미지의 객체를 인식함으로써 인식 정보를 생성할 수 있다. 다른 실시예에 따라, 전자 디바이스(10)는 컨텐트의 메타데이터를 기초로 컨텐트의 인식 정보를 생성할 수도 있다.
단계 S450b에서, 전자 디바이스(10)는 모바일 디바이스(100)에 생성된 인식 정보를 송신할 수 있다. 이 때, 정보를 송신하는 신호는 BLE 게시(advertising) 신호일 수 있으며 이에 한정되지는 않는다..
일 실시예에 따른 전자 디바이스(10)는 생성된 인식 정보를 브로드캐스팅할 수 있다. 이에 따라, 전자 디바이스(10)로부터 기 설정된 범위 내에 위치한 모바일 디바이스는 전자 디바이스(10)로부터 브로드캐스팅 되는 인식 정보를 수신할 수 있다. 다른 실시예에 따라 전자 디바이스(10)는 모바일 디바이스(100)와 연결 프로세스를 통해 기 설정된 세션을 이용하여, 모바일 디바이스에 인식 정보를 송신할 수도 있다.
한편, 전자 디바이스(10)가 모바일 디바이스(100)에 송신하는 인식 정보에는 전자 디바이스(10)의 식별 정보가 포함될 수도 있다.
단계 S460b에서, 모바일 디바이스(100)는 수신한 인식 정보를 표시할 수 있다.
도 5는 일 실시예에 따른 모바일 디바이스(500)가 검색 애플리케이션에 대해 검색 모드의 활성화 여부를 판단하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 모바일 디바이스(500)는 컨텐트를 표시하는 전자 디바이스가 감지됨에 따라, 모바일 디바이스(500)에서 검색 애플리케이션의 검색 모드가 활성화되었는지 여부를 판단할 수 있다.
도 5를 참고하면, 모바일 디바이스(500)는 현재 실행되고 있는 애플리케이션의 메타데이터를 파싱하여, 현재 실행되고 있는 애플리케이션이 검색 애플리케이션인지 여부를 판단할 수 있다.
또한, 모바일 디바이스(500)는 검색 애플리케이션이 실행되고 있는 경우, 검색 애플리케이션의 검색 모드가 활성화되었는지 여부를 판단할 수 있다. 예를 들어, 모바일 디바이스(500)는 검색 애플리케이션의 검색창(510)에 커서가 실행되고 있는지 여부를 확인할 수 있다. 모바일 디바이스(500)는 검색창(510)에 커서가 실행되고 있는 경우, 검색 모드가 활성화된 것으로 판단할 수 있다.
다른 예에 따라, 모바일 디바이스(500)는 검색창(510)에 텍스트를 입력할 수 있는 키보드 메뉴(520)가 실행되고 있는지 여부를 확인할 수 있다. 모바일 디바이스(500)는 키보드 메뉴(520)가 실행되고 있는 경우, 검색 모드가 활성화된 것으로 판단할 수 있다.
일 실시예에 따른 모바일 디바이스(500)는 검색 모드가 활성화됨에 따라, 전자 디바이스에 컨텐트와 관련된 객체를 나타내는 인식 정보를 요청할 수 있다.
도 6은 일 실시예에 따른 전자 디바이스(600)가 컨텐트의 인식 정보를 생성하는 방법을 설명하기 위한 도면이다.
도 6을 참고하면, 전자 디바이스(600)는 모바일 디바이스로부터 컨텐트에 관련된 객체를 나타내는 인식 정보에 대한 요청이 수신됨에 따라, 인식 정보를 생성하기 위해, 컨텐트가 표시되는 화면을 캡쳐할 수 있다. 전자 디바이스(600)는 객체 인식 기법을 통해, 캡쳐된 이미지에 포함된 객체를 인식할 수 있다. 여기에서, 객체 인식 기법에는 OCR, 핑거프린트, 딥러닝 등이 포함될 수 있으나 이는 일 실시예일 뿐, 객체 인식 기법이 전술한 예에 한정되는 것은 아니다.
예를 들어, 전자 디바이스(600)는 OCR 기법을 통해 캡쳐된 이미지에 표시된 컨텐트의 제목(610) 및 채널 번호(620)를 인식할 수 있다. 또한, 전자 디바이스(600)는 캡쳐된 이미지에 표시된 등장 인물이 착용한 가방(630)의 브랜드 및 제품명을 인식할 수 있다. 전자 디바이스(600)는 인식된 컨텐트의 제목(610), 채널 번호(620) 및 가방(630)의 브랜드 및 제품명을 포함한 인식 정보를 생성할 수 있다. 한편, 이는 일 실시예일 뿐, 인식 정보는 텍스트 형태 이외에도, 가방(630)의 이미지와 같은 이미지 형태의 정보를 포함할 수도 있다.
또한, 다른 예에 따라, 캡쳐된 이미지에 표시된 객체와 관련된 연관 객체가 인식 정보에 포함될 수도 있다. 예를 들어, 화면에 표시되고 있는 컨텐트와 동시간대에 다른 채널에서 제공되는 컨텐트의 제목이 현재 화면에 표시되고 있는 컨텐트의 연관 정보로서 인식 정보에 포함될 수도 있다.
일 실시예에 따른, 전자 디바이스(600)는 인식 정보가 생성됨에 따라, 생성된 인식 정보를 모바일 디바이스에 송신할 수 있다.
도 7은 일 실시예에 따른 모바일 디바이스(720)가 전자 디바이스(710)로부터 수신한 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
도 7을 참고하면, 모바일 디바이스(720)는 축구 경기 프로그램을 출력하는 전자 디바이스(710)를 감지할 수 있다. 예를 들어, 모바일 디바이스(720)는 전자 디바이스(710)에서 기 설정된 시간 간격에 따라 송신되는 비콘을 통해 전자 디바이스(710)를 감지할 수 있다.
모바일 디바이스(720)는 전자 디바이스(710)가 감지됨에 따라, 모바일 디바이스(720) 의 검색 모드가 활성화되었는지 여부를 판단할 수 있다. 모바일 디바이스(720)의 사용자가 검색 애플리케이션의 검색창(722)을 터치하여, 검색창(722)에 커서가 실행되고 있는 경우, 모바일 디바이스(720)는 검색 모드가 활성화된 것으로 판단할 수 있다. 다른 예에 따라, 모바일 디바이스(720)는 검색창(722)에 텍스트를 입력할 수 있는 키보드 메뉴(724)가 실행되고 있는 경우, 검색 모드가 활성화된 것으로 판단할 수 있다.
모바일 디바이스(720)는 검색 모드가 활성화된 것으로 판단된 경우, 전자 디바이스(710)에 컨텐트와 관련된 객체를 나타내는 인식 정보를 요청할 수 있다. 이에 따라, 전자 디바이스(710)는 현재 표시되고 있는 컨텐트인 축구 경기 프로그램과 관련된 객체를 나타내는 인식 정보를 생성할 수 있다. 예를 들어, 전자 디바이스(710)는 축구 경기 프로그램이 표시되고 있는 화면을 캡쳐하여, 캡쳐된 이미지에 포함된 축구 선수를 인식할 수 있다. 또한, 전자 디바이스(710)는 캡쳐된 이미지에 포함된 경기 스코어, 국가 정보 등을 인식할 수 있다. 다른 예에 따라, 전자 디바이스(710)는 축구 경기 프로그램의 메타데이터로부터 축구 경기 프로그램이 제공되는 채널 등을 인식할 수도 있다.
전자 디바이스(710)는 축구 경기 프로그램과 관련된 객체를 나타내는 인식 정보를 모바일 디바이스(720)에 송신할 수 있다. 모바일 디바이스(720)는 수신한 인식 정보를 검색창(722)과 키보드 메뉴(724)사이의 기 설정된 영역(726)에 표시할 수 있다.
도 8은 도 7을 참고하여 전술한 모바일 디바이스(720)가 전자 디바이스(710)로부터 수신한 인식 정보를 검색창에 입력하는 방법을 설명하기 위한 도면이다.
도 8을 참고하면, 모바일 디바이스(720)는 화면에 표시된 인식 정보에 포함된 복수의 객체 각각의 식별 정보들 중 경기 종목에 해당하는 "축구"라는 키워드(734)를 선택하는 사용자 입력을 수신할 수 있다. 이에 따라, 모바일 디바이스(720)는 검색창에 "축구"라는 키워드(734)를 입력할 수 있다.
또한, 모바일 디바이스(720)는 화면에 표시된 인식 정보에 포함된 복수의 객체 각각의 식별 정보들 중 선수이름에 해당하는 "AAA"라는 키워드(736)를 선택하는 사용자 입력을 추가적으로 수신할 수 있다. 모바일 디바이스(720)는 키워드가 선택된 순서에 따라, 순차적으로 검색창에 선택된 키워드를 입력할 수 있다. 이에 따라, 검색창에는 "축구"라는 키워드(734)와 "AAA"라는 키워드가 순차적으로 입력될 수 있다.
모바일 디바이스(720)는 사용자가 검색을 요청할 수 있는 검색 아이콘(738)을 터치함에 따라, 입력된 키워드들에 대한 검색을 수행할 수 있다. 이에 따라, 모바일 디바이스(720)는 "축구"와 "AAA"에 대한 검색 정보를 획득할 수 있다.
도 9는 다른 실시예에 따른 모바일 디바이스(920)가 전자 디바이스(910)로부터 수신한 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
도 9를 참고하면, 모바일 디바이스(920)는 축구 경기 프로그램을 출력하는 전자 디바이스(910)를 감지할 수 있다. 모바일 디바이스(920)는 전자 디바이스(910)가 감지됨에 따라, 모바일 디바이스(920)에 설치된 검색 애플리케이션의 검색창(922)이 실행되고 있는지 여부를 판단하여, 검색 애플리케이션의 검색 모드가 활성화되었는지 여부를 판단할 수 있다.
모바일 디바이스(920)는 검색 애플리케이션의 검색 모드가 활성화된 것으로 판단된 경우, 전자 디바이스(910)에 컨텐트와 관련된 객체를 나타내는 인식 정보를 요청할 수 있다. 이에 따라, 모바일 디바이스(920)는 전자 디바이스(910)로부터 현재 표시되고 있는 컨텐트인 축구 경기 프로그램과 관련된 객체를 나타내는 인식 정보를 수신할 수 있다.
일 실시예에 따른 모바일 디바이스(920)는 수신한 인식 정보에 포함된 객체의 키워드들을 키보드 메뉴(924)의 상단에 표시할 수 있다. 예를 들어, 모바일 디바이스(920)는 키보드 메뉴(924)의 상단에 라벨 형태로, 경기 종목, 축구 선수 이름, 채널 종류 등을 나타내는 키워드(926)를 표시할 수 있다.
도 10은 다른 실시예에 따른 모바일 디바이스(920)가 전자 디바이스(910)로부터 수신한 인식 정보를 검색창에 입력하는 방법을 설명하기 위한 도면이다.
도 10을 참고하면, 모바일 디바이스(920)는 키보드 메뉴의 상단에 인식 정보에 포함된 복수의 객체 각각의 키워드(926)를 표시할 수 있다. 모바일 디바이스(920)는 복수의 객체 각각의 키워드(926) 중에서, 사용자가 키보드 메뉴에서 선택한 글자에 따라, 일부를 선택하여 표시할 수 있다. 예를 들어, 사용자가 키보드 메뉴에서 선택한 글자가 A인 경우, 모바일 디바이스(920)는 복수의 객체 각각의 키워드(926) 중에서, A로 시작하는 AAA 및 ACC(932)를 선택적으로 키보드 메뉴의 상단에 표시할 수 있다.
또한, 모바일 디바이스(920)는 선택적으로 표시된 키워드인 AAA 및 ACC(932) 중에서, 사용자가 ACC(934)를 선택하는 경우, 검색창(922)에 ACC를 입력할 수 있다. 모바일 디바이스(720)는 사용자가 검색을 요청할 수 있는 검색 아이콘(미도시)을 터치함에 따라, 입력된 키워드인 ACC(932)에 대한 검색을 수행할 수 있다. 이에 따라, 모바일 디바이스(920)는 "AAC"에 대한 검색 정보를 획득할 수 있다.
도 11은 또 다른 실시예에 따른 모바일 디바이스(1120)가 전자 디바이스(1110)로부터 수신한 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
도 11을 참고하면, 모바일 디바이스(1120)는 드라마 "OOO"를 출력하는 전자 디바이스(1110)를 감지할 수 있다. 모바일 디바이스(1120)는 전자 디바이스(1110)가 감지됨에 따라, 모바일 디바이스(1120)에 설치된 검색 애플리케이션의 검색창(1122)이 실행되고 있는지 여부를 판단하여, 검색 애플리케이션의 검색 모드가 활성화되었는지 여부를 판단할 수 있다.
모바일 디바이스(1120)는 검색 애플리케이션의 검색 모드가 활성화된 것으로 판단된 경우, 전자 디바이스(1110)에 컨텐트와 관련된 객체를 나타내는 인식 정보를 요청할 수 있다. 이에 따라, 모바일 디바이스(1120)는 전자 디바이스(1110)로부터 현재 표시되고 있는 컨텐트인 드라마 "OOO"와 관련된 객체를 나타내는 인식 정보를 수신할 수 있다.
일 실시예에 따른 모바일 디바이스(1120)는 수신한 인식 정보에 포함된 드라마의 제목인 "OOO"(1124)를 검색창(1122)의 상단에 바(bar) 형태로 표시할 수 있다. 또한, 모바일 디바이스(1120)는 사용자가 검색창(1122)의 상단에 표시된 "OOO"를 선택함에 따라, 드라마 "OOO"의 세부 정보인 배우 A 및 배우 B의 이름(1126)을 순차적으로 표시할 수 있다.
모바일 디바이스(1120)는 사용자가 배우 A의 이름을 선택함에 따라, 전자 디바이스(1110)로부터 수신한 인식 정보 중에서, 배우 A에 관한 세부 정보를 추가적으로 표시할 수 있다. 예를 들어, 모바일 디바이스(1120)는 배우 A가 드라마 "OOO"에서 착용한 블라우스, 청바지 및 가방에 관한 키워드(1128)를 추가적으로 표시할 수 있다.
일 실시예에 따른 모바일 디바이스(1120)는 전자 디바이스(1110)로부터 수신한 인식 정보를 사용자로의 입력에 따라 순차적으로 표시함으로써 사용자가 검색을 원하는 키워드를 보다 용이하게 찾을 수 있는 환경을 제공할 수 있다.
도 12 는 또 다른 실시예에 따른 모바일 디바이스(1200)가 전자 디바이스로부터 수신한 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
도 12를 참고하면, 모바일 디바이스(1200)는 검색 애플리케이션이 실행되고 있는 탭과 별도의 탭을 생성하여 전자 디바이스로부터 수신한 인식 정보를 표시할 수도 있다. 예를 들어, 모바일 디바이스(1200)는 전자 디바이스로부터 인식 정보가 수신됨에 따라, 검색창(1210)이 활성화되어 있는 검색 애플리케이션의 탭과는 별도로 인식 정보에 대한 검색을 수행하는 탭(1220)을 생성할 수 있다. 또한, 모바일 디바이스(1120)는 별도로 생성된 탭(1220)을 이용하여 인식 정보에포함된 키워드에 대한 검색을 수행할 수 있다.
일 실시예에 따른 모바일 디바이스(1200)는 별도의 탭을 생성함으로써, 사용자에게 검색창(1210)이 활성화되어 있는 검색 애플리케이션의 탭과 병렬적으로 인식 정보에 대한 검색 결과를 제공할 수 있다.
도 13은 또 다른 실시예에 따른 모바일 디바이스(1300)가 전자 디바이스로부터 수신한 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
도 13을 참고하면, 모바일 디바이스(1300)는 웹 브라우저를 통해 검색 기능을 제공하는 웹 페이지(1310)를 실행할 수 있다. 모바일 디바이스(1300)는 검색 기능을 제공하는 웹 페이지(1310)가 활성화된 것으로 판단됨에 따라, 감지된 전자 디바이스에 전자 디바이스에서 표시되는 컨텐트의 인식 정보를 요청할 수 있다.
한편, 모바일 디바이스(1300)는 요청에 대한 응답으로 전자 디바이스로부터 컨텐트의 인식 정보가 수신됨에 따라, 검색 기능을 제공하는 웹 페이지에 컨텐트의 인식 정보에 포함된 키워드들을 입력한 결과 정보를 별도의 탭(1320, 1330)으로 제공할 수 있다. 예를 들어, 모바일 디바이스(1300)는 검색 기능을 제공하는 웹 페이지(1310)에 키워드 중 하나인 "AAA"를 입력한 결과 페이지의 탭(1320)과 또 다른 키워드인 "ACC"를 입력한 결과 페이지의 탭(1330)을 화면에 표시할 수 있다.
이에 따라, 모바일 디바이스(1300)는 사용자가 인식 정보에 대한 검색 결과와, 검색 웹 페이지를 병렬적으로 제공받을 수 있는 환경을 제공할 수 있다.
도 14는 일 실시예에 따른 모바일 디바이스(100)가 컨텐트에 관한 인식 정보를 검색 애플리케이션의 종류 및 사용자의 선호도 정보 중 적어도 하나에 따라 분류하여 표시하는 방법을 설명하기 위한 흐름도이다.
단계 S1410에서, 모바일 디바이스(100)는 컨텐트를 표시하는 전자 디바이스(10)를 감지할 수 있다.
한편, 단계 S1410은 도 2를 참고하여 전술한 단계 S210과 대응될 수 있다.
단계 S1420에서, 모바일 디바이스(100)는 전자 디바이스(10)가 감지됨에 따라 모바일 디바이스(100)에서 적어도 하나의 검색 애플리케이션이 실행되는지 여부를 판단할 수 있다.
한편, 단계 S1420은 도 2를 참고하여 전술한 단계 S220과 대응될 수 있다.
단계 S1430에서, 모바일 디바이스(100)는 적어도 하나의 검색 애플리케이션이 실행됨에 따라 전자 디바이스(10)에 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 요청할 수 있다.
한편, 단계 S1430은 도 2를 참고하여 전술한 단계 S230과 대응될 수 있다.
단계 S1440에서, 모바일 디바이스(100)는 전자 디바이스(10)로부터 요청된 인식 정보를 수신할 수 있다.
한편, 단계 S1440은 도 2를 참고하여 전술한 단계 S240과 대응될 수 있다.
단계 S1450에서, 모바일 디바이스(100)는 기 저장된 모바일 디바이스(100)의 사용자의 선호도 정보 및 검색 애플리케이션의 종류 중 적어도 하나에 따라 배열된 인식 정보를 표시할 수 있다.
일 실시예에 따른 모바일 디바이스(100)는 모바일 디바이스(100)의 사용자의 선호도 정보를 기 저장할 수 있다. 여기에서 선호도 정보는 사용자의 성별, 나이 및 직업 등을 포함하는 프로파일 정보, 사용자가 컨텐트 인식 정보를 수신하기 이전에, 검색 애플리케이션을 통해 검색하였던 정보의 종류 및 검색 횟수 등을 기초로 결정될 수 있다.
한편, 모바일 디바이스(100)는 수신한 인식 정보에 포함된 복수의 객체 각각의 키워드를 사용자의 선호도 정보에 기초하여 선호도가 높은 순서에 따라 분류할 수 있다. 예를 들어, 모바일 디바이스(100)는 수신한 인식 정보에 자동차 A, 블라우스 B, 카페 C의 키워드가 포함되어 있고, 사용자가 최근 검색한 정보의 횟수가 여성 의류 10회, 맛집 5회인 경우 블라우스 B, 카페 C 및 자동차 A의 순서로 인식 정보를 표시할 수 있다.
다른 실시예에 따라, 모바일 디바이스(100)는 수신한 인식 정보에 포함된 복수의 객체 각각의 키워드와 검색 애플리케이션 간의 연관도를 산출할 수 있다. 예를 들어, 모바일 디바이스(100)는 검색 애플리케이션이 의류 쇼핑몰 애플리케이션인 경우, 인식 정보에 포함된 자동차 A, 블라우스 B, 카페 C의 키워드 중 의류 쇼핑몰 애플리케이션과 연관도가 가장 높은 블라우스 B를 제 1 순위로 표시할 수 있다.
모바일 디바이스(100)는 수신한 인식 정보를 사용자의 선호도 정보 및 검색 애플리케이션의 종류 및 적어도 하나에 따라 배열하여 표시함으로써, 모바일 디바이스(100)의 사용자가 검색을 원하는 인식 정보를 보다 정확하게 제공할 수 있다.
도 15는 일 실시예에 따른 모바일 디바이스(1500)가 수신한 인식 정보를 기 설정된 카테고리에 따라 분류하여 표시하는 방법을 설명하기 위한 도면이다.
도 15를 참고하면, 모바일 디바이스(1500)는 수신한 인식 정보에 포함된 복수의 객체의 키워드를 기 설정된 카테고리에 따라 분류할 수 있다. 예를 들어, 기 설정된 카테고리에는 등장 인물, 채널 정보 및 의류 등을 포함할 수 있으나, 이는 일 실시예일 뿐 카테고리가 전술한 예에 한정되는 것은 아니다.
일 실시예에 따른 모바일 디바이스(1500)가 수신한 인식 정보에는 "23번, 채널 N, OOO!, 서OO, 김OO, 전OO, 블라우스 및 맨투맨"이라는 키워드가 포함될 수 있다. 모바일 디바이스(1500)는 수신한 인식 정보를 컨텐트의 식별 정보, 등장 인물 및 의류라는 카테고리로 분류하여 표시할 수 있다. 이에 따라, 모바일 디바이스(1500)는 컨텐트의 식별 정보에 포함되는 채널 번호인 "23번", 채널 명칭인 "채널 N" 및 컨텐트의 제목인 "OOO!"를 하나의 그룹으로 분류할 수 있다. 또한, 모바일 디바이스(1500)는 등장인물들에 해당하는 "서OO", "김OO" 및 "전OO"를 하나의 그룹으로 분류하고, 의류에 해당하는 "블라우스" 및 "맨투맨"을 하나의 그룹으로 분류할 수 있다.
또한, 모바일 디바이스(1500)는 기 설정된 카테고리에 따라 분류된 인식 정보(1510)를 모바일 디바이스(1500)의 화면 상의 기 설정된 영역에 표시할 수 있다.
도 16은 다른 실시예에 따른 모바일 디바이스(1600)가 컨텐트에 표시된 객체 및 컨텐트에 표시된 객체의 연관 객체를 포함하는 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 모바일 디바이스(1600)는 검색 애플리케이션의 검색창(1610)이 활성화됨을 감지함에 따라, 기 감지된 전자 디바이스에서 표시되고 있는 컨텐트의 인식 정보를 전자 디바이스에 요청할 수 있다.
이에 따라 전자 디바이스는 컨텐트가 재생되는 화면 상에 표시된 객체를 인식하여 인식 정보를 생성할 수 있다. 한편, 전자 디바이스는 화면 상에 표시된 객체 이외에 화면 상에 표시된 객체와 관련된 연관 객체를 나타내는 정보를 인식 정보에 포함시킬 수 있다.
예를 들어, 도 16을 참고하면, 전자 디바이스는 음악 프로그램에 등장하는 가수의 이름과 가수의 노래 제목을 인식할 수 있다. 여기에서, 전자 디바이스가 가수의 이름과 가수의 노래 제목을 인식하는 방법은 도 3을 참고하여 전술한 바와 대응될 수 있다.
한편, 전자 디바이스는 가수 및 가수의 노래 제목과 함께 가수의 노래를 재생할 수 있는 애플리케이션의 식별 정보를 연관 객체를 나타내는 정보로서 인식 정보에 포함시킬 수 있다.
일 실시예에 따른 모바일 디바이스(1600)는 전자 디바이스로부터 음악 프로그램에 등장하는 가수, 가수의 노래 제목 및 가수의 노래를 재생할 수 있는 애플리케이션의 식별 정보를 포함한 인식 정보(1620)를 수신하여, 화면 상에 인식 정보(1620)를 표시할 수 있다.
또한, 모바일 디바이스(1600)는 인식 정보(1620)에 표시된 키워드들 중 가수의 이름(1622)이 사용자로부터 선택됨에 따라, 가수의 이름(1622)을 검색창(1610)에 입력할 수 있다.
도 17a는 일 실시예에 따른 모바일 디바이스(1720)가 전자 디바이스(1710)로부터 수신한 인식 정보를 다른 사용자와 공유하는 방법을 설명하기 위한 도면이다.
도 17a를 참고하면, 모바일 디바이스(1720)는 드라마 "OOO"를 출력하는 전자 디바이스(1710)를 감지할 수 있다. 모바일 디바이스(1720)는 전자 디바이스(1710)가 감지됨에 따라, 화면에 TV 정보 요청 버튼(1722)을 표시할 수 있다. 다만, 여기에서, TV 정보 요청 버튼(1722)은 일 실시예일 뿐, 모바일 디바이스(1720)는 사용자가 인식 정보를 획득하기를 원하는지 여부를 확인하기 위한 다른 형태의 아이콘 또는 버튼 등을 표시할 수 있다.
또한, 모바일 디바이스(1720)는 사용자가 TV 정보 요청 버튼(1722)을 터치함에 따라, 전자 디바이스(1710)에 인식 정보를 요청할 수 있다. 이에 따라, 전자 디바이스(710)는 현재 표시되고 있는 드라마 "OOO"와 관련된 객체를 나타내는 인식 정보를 생성할 수 있다. 예를 들어, 전자 디바이스(1710)는 드라마 "OOO"에서 배우 A가 착용한 가방에 관한 정보(1724, 예를 들어, 가방의 이미지, 가방의 브랜드 명)(1128)를 포함한 인식 정보를 생성할 수 있다. 전자 디바이스(1710)는 생성된 인식 정보를 모바일 디바이스(1720)에 송신할 수 있다.
한편, 일 실시예에 따른 모바일 디바이스(1720)는 전자 디바이스(1710)로부터 수신한 인식 정보를 화면에 표시할 수 있다. 모바일 디바이스(1720)는 수신한 인식 정보를 모두 화면에 표시할 수도 있으나, 본 실시예에서는 수신한 인식 정보 중 사용자가 선택한 배우 A가 착용한 가방에 관한 정보(1724) 만이 화면에 표시되는 것으로 가정한다.
또한, 모바일 디바이스(1720)는 수신된 인식 정보를 다른 디바이스와 공유할 지 여부를 결정할 수 있다. 예를 들어, 모바일 디바이스(1720)는 SNS(Social Network Service) 또는 메신저 서비스를 통한 공유 여부를 확인하는 결과 공유 버튼(1726)을 표시할 수 있다. 모바일 디바이스(1720)는 사용자가 결과 공유 버튼(1726)을 터치하는 경우, 수신한 인식 정보 전체 또는 수신한 인식 정보 중 사용자가 선택한 일부를 SNS 또는 메신저 서비스를 통해 공유할 수 있다. 이에 따라, 모바일 디바이스(1720)에는 예를 들어, 배우 A가 착용한 가방에 관한 정보(1724)가 공유된 SNS 화면(1728)이 표시될 수 있다. 한편, 도 17a는 일 실시예일 뿐, 모바일 디바이스(1720)에는 복수의 SNS 또는 메신저 서비스 중 어느 하나를 선택할 수 있는 추가 메뉴가 결과 공유 버튼(1726)과 함께 표시될 수도 있다. 모바일 디바이스(1720)의 사용자는 추가 메뉴를 통해, 결과를 공유하기를 원하는 서비스를 선택할 수 있다.
한편, SNS 또는 메신저 서비스를 통해 인식 정보가 공유됨에 따라, SNS 또는 메신저 서비스를 이용하는 다른 사용자는 공유된 인식 정보를 선택함으로써, 인식 정보를 획득할 수 있다. 또한, 다른 예에 따라, 다른 사용자는 공유된 인식 정보를 선택하여, 인식 정보가 생성된 시점의 컨텐트 부분을 시청할 수 있다. 다른 사용자가 공유된 인식 정보를 선택하는 경우, 다른 사용자의 주변에 위치한 디스플레이 기능을 가진 디바이스를 통해, 인식 정보가 생성된 시점의 컨텐트 부분이 제공될 수 있다.
도 17b는 다른 실시예에 따른 모바일 디바이스(1720)가 전자 디바이스(1710)로부터 수신한 인식 정보를 다른 사용자와 공유하는 방법을 설명하기 위한 도면이다.
도 17b에서는 도 17a를 참고하여 전술한 바와 같이, 사용자가 TV 정보 요청 버튼(1722)을 터치함에 따라, 모바일 디바이스(1720)가 전자 디바이스(1710)로부터 인식 정보를 수신하는 것으로 가정한다.
한편, 본 실시예에서는 모바일 디바이스(1720)에 메신저 애플리케이션이실행되고 있는 것으로 가정한다. 모바일 디바이스(1720)는 메신저 애플리케이션의 메신저 창에 입력된 텍스트에 수신한 인식 정보와 관련된 텍스트가 포함되어 있는 경우, 결과 공유 버튼(1726)을 메신저 창의 일부 영역에 표시할 수 있다.
모바일 디바이스(1720)는 사용자가 결과 공유 버튼(1726)을 터치하는 경우, 수신한 인식 정보 중 메신저 창에 입력된 텍스트와 대응되는 정보를 표시할 수 있다. 예를 들어, 모바일 디바이스(1720)는 "드라마 A에 나온 배우 B가 착용한 가방"이라는 메신저 창의 텍스트를 인식하여, 수신한 인식 정보 중 배우 B가 착용한 가방에 관한 정보(1728)를 메신저 창에 표시할 수 있다. 배우 B가 착용한 가방에 관한 정보(1728)에는 예를 들어, 가방의 이미지, 가방을 구매할 수 있는 쇼핑몰의 URL 정보 등이 포함될 수 있으나, 이는 일 실시예일 뿐, 메신저 창에 표시되는 정보가 전술한 예에 한정되는 것은 아니다.
도 18은 일 실시예에 따른 모바일 디바이스(1820)가 전자 디바이스(1810)로부터 수신하는 인식 정보의 종류를 설명하기 위한 도면이다.
도 18을 참고하면, 모바일 디바이스(1820)는 여행에 관한 프로그램인 "C프로그램"을 출력하는 전자 디바이스(1810)를 감지할 수 있다. 모바일 디바이스(1820)는 전자 디바이스(1810)가 감지됨에 따라, 화면에 TV 정보 요청 버튼(1822)을 표시할 수 있다.
또한, 모바일 디바이스(1820)는 사용자가 TV 정보 요청 버튼(1822)을 터치함에 따라, 인식 정보의 종류를 선택하는 메뉴(1824)를 표시할 수 있다. 메뉴(1824)에는 "C 프로그램"의 요약 정보를 요청할 수 있는 요약 버튼(1825) 및 "C 프로그램"에 포함된 이미지를 모바일 디바이스(1820)의 배경 화면으로 설정할 수 있는 배경 화면 버튼(1826)이 표시될 수 있다.
일 실시예에 따른, 모바일 디바이스(1820)는 사용자가 요약 버튼(1825)을 선택하는 경우, 요약 버튼(1825)이 선택된 시점부터 재생된 "C 프로그램"의 내용을 요약한 정보를 제공할 수 있다. 예를 들어, 모바일 디바이스(1820)는 요약 버튼(1825)이 선택됨에 따라, 전자 디바이스(1810)에 요약 버튼(1825)이 선택된 시점부터 "C 프로그램"의 종료 시점까지의 요약 내용을 포함한 인식 정보를 요청할 수 있다. 다른 예에 따라, 모바일 디바이스(1820)는 전자 디바이스(1810)로부터 수신한 전체 인식 정보 중에서 요약 버튼(1825)이 선택된 시점부터의 내용을 요약할 수도 있다. 이에 따라, 모바일 디바이스(1820)는 "C 프로그램"의 요약 내용(1827)를 화면에 표시할 수 있다. 여기에서, "C 프로그램"의 요약 내용에는 여행 루트, 이동 수단 및 숙박 시설 등에 관한 정보가 포함될 수 있으나, 이는 일 실시예일 뿐, 전술한 예가 요약 내용에 한정되는 것은 아니다.
한편, 다른 실시예에 따른 모바일 디바이스(1820)는 사용자가 배경 화면 버튼(1826)을 선택하는 경우, 배경 화면 버튼(1826)이 선택된 시점에 전자 디바이스(1810)에 표시되는 이미지를 인식 정보로서 수신할 수 있다. 다른 예에 따라, 모바일 디바이스(1820)는 전자 디바이스(1810)로부터 수신한 전체 인식 정보 중에서 배경 화면 버튼(1826)이 선택된 시점의 이미지를 인식 정보로서 수신할 수 있다. 모바일 디바이스(1820)는 수신된 이미지를 모바일 디바이스(1820)의 배경 화면(1828)으로 설정할 수 있다.
도 19는 일 실시예에 따른 모바일 디바이스(1920)가 전자 디바이스(1910)로부터 수신한 인식 정보를 사용자에게 제공하는 방법을 설명하기 위한 도면이다.
도 19를 참고하면, 모바일 디바이스(1920)는 음식에 관한 프로그램인 "D프로그램"을 출력하는 전자 디바이스(1910)를 감지할 수 있다. 모바일 디바이스(1920)는 전자 디바이스(1910)가 감지됨에 따라, 화면에 TV 정보 요청 버튼(1922)을 표시할 수 있다. 또한, 모바일 디바이스(1920)는 사용자가 TV 정보 요청 버튼(1922)을 터치함에 따라, 전자 디바이스(1910)로부터 "D 프로그램"에 대한 인식 정보를 수신할 수 있다. 여기에서, "D 프로그램"에 대한 인식 정보에는 "D 프로그램"으로부터 획득한 장소명 또는 장소의 위치 정보(1924)가 포함되는 것으로 가정한다. 다만, 이는 일 실시예일 분, 인식 정보에 포함되는 정보가 전술한 예에 한정되는 것은 아니다.
모바일 디바이스(1920)는 수신한 장소명 또는 장소의 위치 정보(1924)를 저장할 수 있다. 또한, 모바일 디바이스(1920)는 수신한 장소명 또는 장소의 위치 정보(1924)를 모바일 디바이스(1920) 내에 설치된 위치 정보 제공 애플리케이션에 저장할 수 있다. 이에 따라, 모바일 디바이스(1920)는 수신한 장소명 또는 장소의 위치 정보(1924)에 대응되는 장소의 주변에 사용자가 위치한 경우, 위치 정보 제공 애플리케이션을 실행하여, 실행 화면 상에 장소명(1926) 및 장소의 위치(1928)를 표시할 수 있다. 이에 따라, 사용자는 현재 사용자의 위치가 전자 디바이스(1910)를 통해 시청하였던 컨텐트에 등장한 장소의 주변이라는 점을 확인할 수 있다.
도 20은 일 실시예에 따른 전자 디바이스(2010), 모바일 디바이스(2020)및 냉장고(2030)가 연동되어 컨텐트에 관한 정보를 제공하는 방법을 설명하기 위한 도면이다.
도 20을 참고하면, 모바일 디바이스(2020)는 요리에 관한 프로그램인 "E프로그램"을 출력하는 전자 디바이스(2010)를 감지할 수 있다. 모바일 디바이스(2020)는 전자 디바이스(2010)가 감지됨에 따라, 화면에 TV 정보 요청 버튼을 표시할 수 있다. 또한, 모바일 디바이스(2020)는 사용자가 TV 정보 요청 버튼을 터치함에 따라, 전자 디바이스(2010)로부터 "E 프로그램"에 대한 인식 정보를 수신할 수 있다. 여기에서, "E 프로그램"에 대한 인식 정보에는 "E 프로그램"으로부터 획득한 요리 레시피(recipe)가 포함되는 것으로 가정한다. 다만, 이는 일 실시예일 분, 인식 정보에 포함되는 정보가 전술한 예에 한정되는 것은 아니다.
일 실시예에 따른 모바일 디바이스(2020)는 수신한 요리 레시피를 냉장고(2030)에 송신할 수 있다. 냉장고(2030)는 모바일 디바이스(2020)로부터 요리 레시피를 수신함에 따라, 냉장고(2030)에 보관되어 있는 재료들과 요리 레시피를 비교할 수 있다. 여기에서, 냉장고(2030)는 구비된 카메라를 통해 보관되어 있는 재료의 이미지를 획득하고, 획득된 이미지를 기초로 보관되어 있는 재료의 종류를 식별할 수 있는 것으로 가정한다. 냉장고(2030)는 요리 레시피와 관련된 재료들 중 냉장고(2030)에 보관되어 있지 않은 재료에 대한 정보를 모바일 디바이스(2020)에 송신할 수 있다.
또한, 모바일 디바이스(2020)는 보관되어 있지 않은 재료에 대한 정보를 수신함에 따라, 모바일 디바이스(2020)의 화면에 보관되어 있지 않은 재료의 구매 의사를 확인하는 팝업 메시지를 표시할 수 있다. 모바일 디바이스(2020)는 사용자가 표시된 팝업 메시지를 터치하는 경우, 보관되어 있지 않은 재료를 구매할 수 있는 쇼핑몰을 추천할 수 있다.
한편, 다른 실시예에 따라, 모바일 디바이스(2020) 또는 전자 디바이스(2010)는 냉장고(2030)로부터 현재 보관된 재료들로 가능한 레시피를 수신하여 표시할 수도 있다.
도 21 및 도 22는 일 실시예에 따라 컨텐트에 관한 정보를 제공하는 모바일 디바이스(100)의 블록도이다.
도 21에 도시된 바와 같이, 본 발명의 일 실시예에 따른 모바일 디바이스(100)는, 통신부(110), 프로세서(120) 및 출력부(130)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 모바일 디바이스(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 모바일 디바이스(100)는 구현될 수 있다.
예를 들어, 도 22에 도시된 바와 같이, 본 발명의 일 실시예에 따른 모바일 디바이스(100)는, 통신부(110), 제어부(120) 및 출력부(130) 이외에 사용자 입력부(140), 센싱부(150), A/V입력부(160) 및 메모리(170)를 더 포함할 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
통신부(110)는 컨텐트를 표시하는 전자 디바이스에서 송신되는 비콘을 통해 전자 디바이스를 감지한다. 또한, 통신부(110)는 적어도 하나의 검색 애플리케이션이 프로세서(120)에서 실행됨에 따라, 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 전자 디바이스에 요청한다. 통신부(110)는 전자 디바이스로부터 요청된 인식 정보를 수신할 수 있다.
또한, 일 실시예에 따른 통신부(110)는 모바일 디바이스(100)와 연결된 다른 디바이스에 전자 디바이스로부터 수신한 인식 정보를 송신할 수 있다.
통신부(110)는, 모바일 디바이스(100)와 전자 디바이스(미도시) 또는 모바일 디바이스(100)와 서버 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(110)는, 근거리 통신부(111), 이동 통신부(112) 및 방송 수신부(113)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(111)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(112)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(113)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 모바일 디바이스(100)가 방송 수신부(113)를 포함하지 않을 수도 있다.
프로세서(120)는, 통상적으로 모바일 디바이스(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(120)는, 메모리(170)에 저장된 프로그램들을 실행함으로써, 통신부(110), 출력부(130), 사용자 입력부(140), 센싱부(150), A/V 입력부(160), 메모리(170) 등을 전반적으로 제어할 수 있다.
프로세서(120)는, 통신부(110)를 통해 전자 디바이스가 감지됨에 따라, 모바일 디바이스(100)에서 검색 모드가 활성화되는지 여부를 판단한다. 예를 들어, 프로세서(120)는 적어도 하나의 검색 애플리케이션에서 검색어가 입력되는 검색창의 상태 및 검색어를 입력할 수 있는 입력 메뉴의 상태 중 적어도 하나에 기초하여 검색 모드가 활성화되는지 여부를 판단할 수 있다.
프로세서(120)는 수신된 인식 정보를 컨텐트와 관련된 적어도 하나의 객체의 카테고리에 따라 분류할 수 있다. 또한, 다른 예에 따라 프로세서(120)는 기 저장된 모바일 디바이스(100)의 사용자의 선호도 정보 및 적어도 하나의 검색 애플리케이션의 종류 중 적어도 하나에 따라 인식 정보를 배열할 수 있다.
출력부(130)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(131)와 음향 출력부(132), 진동 모터(133) 등이 포함될 수 있다.
디스플레이부(131)는 모바일 디바이스(100)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(131)는 적어도 하나의 검색 애플리케이션의 실행 화면을 표시할 수 있다.
또한, 디스플레이부(131)는 적어도 하나의 검색 애플리케이션이 표시되는 모바일 디바이스(100)의 화면 상의 기 설정된 영역에 수신된 인식 정보를 표시할 수 있다.
디스플레이부(131)는 컨텐트와 관련된 적어도 하나의 객체의 카테고리에 따라 분류된 인식 정보를 표시할 수 있다. 다른 예에 따라, 디스플레이부(131)는 기 저장된 모바일 디바이스(100)의 사용자의 선호도 정보 및 적어도 하나의 검색 애플리케이션의 종류 중 적어도 하나에 따라 배열된 인식 정보를 표시할 수 있다.
한편, 디스플레이부(131)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(131)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(131)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 모바일 디바이스(1700)의 구현 형태에 따라 모바일 디바이스(100)는 디스플레이부(1731)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부(1731)는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다.
음향 출력부(132)는 통신부(110)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(132)는 모바일 디바이스(1700)에서 수행되는 기능(예를 들어, 전자 디바이스와의 연결을 알리는 알림음, 팝업 메시지 표시음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(132)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(133)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(133)는 오디오 데이터 또는 비디오 데이터(예컨대, 인식 정보 수신에 따른 알람, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(133)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
사용자 입력부(140)는, 사용자가 모바일 디바이스(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(140)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(140)는, 모바일 디바이스(100)에서 실행되는 검색 애플리케이션의 검색 모드를 활성화하는 사용자 입력을 수신할 수 있다. 또한, 사용자 입력부(140)는 모바일 디바이스(100)에 표시되는 인식 정보에 포함된 복수의 객체 각각의 키워드 중 어느 하나를 선택하는 사용자 입력을 수신할 수 있다.
센싱부(150)는, 모바일 디바이스(100)의 상태 또는 모바일 디바이스(1700) 주변의 상태를 감지하고, 감지된 정보를 프로세서(120)로 전달할 수 있다. 예를 들어, 센싱부(150)는 모바일 디바이스(100)가 존재하는 위치 등에 관한 정보를 감지하여 프로세서(120)로 전달할 수 있다.
센싱부(150)는, 지자기 센서(Magnetic sensor)(151), 가속도 센서(Acceleration sensor)(152), 온/습도 센서(1753), 적외선 센서(154), 자이로스코프 센서(155), 위치 센서(예컨대, GPS)(156), 기압 센서(157), 근접 센서(158), 및 RGB 센서(illuminance sensor)(159) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
A/V(Audio/Video) 입력부(160)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(161)와 마이크로폰(162) 등이 포함될 수 있다. 카메라(161)은 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(120) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(161)에서 처리된 화상 프레임은 메모리(170)에 저장되거나 통신부(150)를 통하여 외부로 송신될 수 있다. 카메라(161)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(162)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(162)은 외부 디바이스 또는 사용자로부터 음성 입력을 수신할 수 있다. 마이크로폰(162)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
메모리(170)는, 프로세서(120)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 인식 정보, 검색 애플리케이션의 검색어, 선호도 정보 등)을 저장할 수도 있다.
메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 모바일 디바이스(100)는 인터넷(internet)상에서 메모리(170)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
메모리(170)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(171), 터치 스크린 모듈(172), 알림 모듈(173) 등으로 분류될 수 있다.
UI 모듈(171)은, 애플리케이션 별로 모바일 디바이스(100)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(172)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(120)로 전달할 수 있다. 본 발명의 일 실시예에 따른 터치 스크린 모듈(172)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(172)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
알림 모듈(173)은 모바일 디바이스(100)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 모바일 디바이스(100)에서 발생되는 이벤트의 예로는 비콘 신호 수신, 메시지 수신, 인식 정보 수신, , 전자 디바이스와의 연결 등이 있다. 알림 모듈(173)은 디스플레이부(131)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(132)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(133)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
도 23은 일 실시예에 따라 컨텐트에 관한 정보를 제공하는 전자 디바이스(10)의 블록도이다.
도 23을 참고하면, 일 실시예에 따른 전자 디바이스(10)는 통신부(11), 프로세서(12), 디스플레이부(13) 및 메모리(14)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 전자 디바이스(10)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 전자 디바이스(10)는 구현될 수 있다. 예를 들어, 전자 디바이스(10)는 입/출력부를 더 포함할 수도 있다. 전자 디바이스(10)는 입/출력부를 통해 컨텐트를 수신할 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
통신부(11)는 프로세서(12)의 제어에 의해 전자 디바이스(10)를 외부 장치(예를 들어, 모바일 디바이스, 입력 장치, 서비스 제공 장치 및 서버 등)와 연결할 수 있다. 예를 들어, 프로세서(12)는 통신부(11)를 통해 연결된 서비스 제공 장치로 컨텐트를 송/수신, 서비스 제공 장치에서부터 어플리케이션(application)을 다운로드 하거나 또는 웹 브라우징을 할 수 있다. 통신부(11)는 전자 디바이스(10)의 성능 및 구조에 대응하여 무선 랜, 블루투스, 및 유선 이더넷(Ethernet) 중 하나를 포함할 수 있다. 또한, 통신부(11)는 무선랜, 블루투스, 및 유선 이더넷(Ethernet)의 조합을 포함할 수 있다. 통신부(11)는 프로세서(12)의 제어에 의해 입력 장치의 제어 신호를 수신할 수 있다. 제어 신호는 블루투스 타입, RF 신호 타입 또는 와이파이 타입으로 구현될 수 있다.
통신부(11)는 블루투스 외에 다른 근거리 통신(예를 들어, NFC(near field communication, 도시되지 아니함), BLE(bluetooth low energy, 도시되지 아니함)를 더 포함할 수 있다.
통신부(11)는 기 설정된 시간 간격에 따라, 비콘을 송신한다. 또한, 통신부(11)는 비콘을 통해 전자 디바이스를 감지한 모바일 디바이스에서 적어도 하나의 검색 애플리케이션이 실행됨에 따라, 모바일 디바이스로부터 컨텐트와 관련된 객체를 나타내는 인식 정보에 대한 요청을 수신한다. 예를 들어, 통신부(11)는 모바일 디바이스에서 검색 모드가 활성화된 것으로 판단됨에 따라, 모바일 디바이스로부터 인식 정보에 대한 요청을 수신할 수 있다.
통신부(11)는 프로세서(12)에서 생성된 인식 정보를 모바일 디바이스에 송신한다.
프로세서(12)는 통상적으로 전자 디바이스(10)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(12)는, 메모리(14)에 저장된 프로그램들을 실행함으로써, 통신부(11) 및 디스플레이부(13),등을 전반적으로 제어할 수 있다. 또한, 프로세서(12)는 메모리(14)에 저장된 프로그램들을 실행함으로써, 도 1 내지 도 20을 참고하여 전술한 컨텐트를 인식하는 방법을 수행할 수 있다.
한편, 프로세서(12)는 컨텐트의 인식 정보에 대한 요청이 수신됨에 따라,컨텐트와 관련된 객체를 나타내는 인식 정보를 생성한다. 예를 들어, 프로세서(12)는 컨텐트가 출력되는 화면이 캡쳐된 이미지 및 컨텐트의 메타데이터 중 적어도 하나를 기초로 컨텐트와 관련된 객체를 인식할 수 있다.
또한, 프로세서(12)는 컨텐트와 관련된 적어도 하나의 객체를 기 설정된 카테고리에 따라 분류하여, 인식 정보를 생성할 수 있다.
디스플레이부(13)는, 프로세서(12)에서 처리된 이미지, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이부(13)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이부(13)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
일 실시예에 따른 디스플레이부(13)는 수신된 컨텐트를 표시한다. 본 명세서에서 디스플레이부(13)는 컨텐트가 표시된다는 점에서 화면과 대응되는 구성일 수 있다.
메모리(14)는 프로세서(12)의 제어에 의해 전자 디바이스(10)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 예를 들어, 메모리(14)는 전자 디바이스(10) 및 프로세서(12)의 제어를 위한 제어 프로그램, 제조사에서 최초 제공되거나 외부에서부터 다운로드 받은 어플리케이션, 어플리케이션과 관련된 GUI(graphical user interface), GUI를 제공하기 위한 오브젝트(예를 들어, 이미지 텍스트, 아이콘, 버튼 등), 사용자 정보, 문서, 복수의 컨텐트에 관한 식별 정보, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.
일 실시예에서 "메모리" 라는 용어는 저장부(1940), 제어부의 롬(1922), 램(1921) 또는 전자 디바이스(10)에 장착되는 메모리 카드(예를 들어, micro SD 카드, USB 메모리, 도시되지 아니함)를 포함한다. 또한, 메모리(1440)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
메모리(14)는 도시되지 아니한 방송 수신 모듈, 채널 제어 모듈, 볼륨 제어 모듈, 통신 제어 모듈, 음성 인식 모듈, 모션 인식 모듈, 광 수신 모듈, 디스플레이 제어 모듈, 오디오 제어 모듈, 외부 입력 제어 모듈, 전원 제어 모듈, 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 모듈, 음성 데이터베이스(DB), 또는 모션 데이터베이스(DB)를 포함할 수 있다. 메모리(14)의 도시되지 아니한 모듈들 및 데이터 베이스는 전자 디바이스(10)에서 방송 수신의 제어 기능, 채널 제어 기능, 볼륨 제어 기능, 통신 제어 기능, 음성 인식 기능, 모션 인식 기능, 광 수신 제어 기능, 디스플레이 제어 기능, 오디오 제어 기능, 외부 입력 제어 기능, 전원 제어 기능 또는 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 기능을 수행하기 위하여 소프트웨어 형태로 구현될 수 있다. 프로세서(12)는 메모리(14)에 저장된 이들 소프트웨어를 이용하여 각각의 기능을 수행할 수 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
실시 예에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
도면에 도시된 실시 예들에서 참조 부호를 기재하였으며, 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 실시 예는 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.
실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 또한, 실시예는 동종의 또는 서로 다른 종류의 코어들, 서로 다른 종류의 CPU들을 채용할 수도 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
실시 예에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 실시 예의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
실시 예의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 실시 예에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 실시 예에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 실시 예들이 한정되는 것은 아니다. 실시 예에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 실시 예를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 실시 예의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (15)

  1. 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법에 있어서,
    상기 컨텐트를 표시하는 전자 디바이스를 감지하는 단계;
    상기 전자 디바이스가 감지됨에 따라, 상기 모바일 디바이스에서 적어도 하나의 검색 애플리케이션이 실행되는지 여부를 판단하는 단계;
    상기 적어도 하나의 검색 애플리케이션이 실행됨에 따라, 상기 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 상기 전자 디바이스에 요청하는 단계; 및
    상기 전자 디바이스로부터 상기 요청된 인식 정보를 수신하는 단계를 포함하는 방법.
  2. 제 1항에 있어서, 상기 판단하는 단계는,
    상기 적어도 하나의 검색 애플리케이션에서 검색어가 입력되는 검색창의 상태 및 상기 검색어를 입력할 수 있는 입력 메뉴의 상태 중 적어도 하나에 기초하여 상기 검색 애플리케이션의 검색 모드가 활성화되는지 여부를 판단하는 방법.
  3. 제 1항에 있어서,
    상기 수신된 인식 정보를 상기 컨텐트와 관련된 적어도 하나의 객체의 카테고리에 따라 분류하는 단계; 및
    상기 분류된 인식 정보를 상기 모바일 디바이스의 화면에 표시하는 단계를 더 포함하는 방법.
  4. 제 1항에 있어서,
    기 저장된 상기 모바일 디바이스의 사용자의 선호도 정보 및 상기 적어도 하나의 검색 애플리케이션의 종류 중 적어도 하나에 따라 상기 인식 정보를 배열하는 단계; 및
    상기 배열된 인식 정보를 상기 모바일 디바이스의 화면에 표시하는 단계를 더 포함하는 방법.
  5. 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법에 있어서,
    상기 컨텐트를 표시하는 전자 디바이스를 감지하는 단계;
    상기 전자 디바이스가 감지됨에 따라, 상기 모바일 디바이스에서 검색 모드의 활성화 여부를 판단하는 단계; 및
    상기 판단 결과, 상기 모바일 디바이스에서 상기 검색 모드가 활성화된 경우 상기 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 상기 전자 디바이스로부터 수신하는 단계를 포함하는 방법.
  6. 제 5항에 있어서,
    상기 모바일 디바이스에서 상기 검색 모드가 활성화된 경우, 상기 전자 디바이스에 상기 인식 정보를 요청하는 단계를 더 포함하는 방법.
  7. 제 5항에 있어서, 상기 검색 모드의 활성화 여부를 판단하는 단계는,
    상기 모바일 디바이스에서, 검색어를 입력 가능한 검색창의 상태 및 상기검색어를 입력 가능한 입력 메뉴의 상태 중 적어도 하나를 기초로 상기 검색 모드의 활성화 여부를 판단하는 방법.
  8. 컨텐트에 관한 정보를 제공하는 모바일 디바이스에 있어서,
    상기 컨텐트를 표시하는 전자 디바이스에서 송신되는 신호를 통해 상기 전자 디바이스를 감지하는 통신부;
    상기 전자 디바이스가 감지됨에 따라, 상기 모바일 디바이스에서 적어도 하나의 검색 애플리케이션이 실행되는지 여부를 판단하는 프로세서; 및
    상기 적어도 하나의 검색 애플리케이션의 실행 화면을 표시하는 출력부를 포함하고,
    상기 통신부는,
    상기 적어도 하나의 검색 애플리케이션이 실행됨에 따라, 상기 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 상기 전자 디바이스에 요청하고, 상기 전자 디바이스로부터 상기 요청된 인식 정보를 수신하는 모바일 디바이스.
  9. 제 8항에 있어서, 상기 프로세서는,
    상기 적어도 하나의 검색 애플리케이션에서 검색어가 입력되는 검색창의 상태 및 상기 검색어를 입력할 수 있는 입력 메뉴의 상태 중 적어도 하나에 기초하여 상기 검색 애플리케이션의 검색 모드가 활성화되는지 여부를 판단하는 모바일 디바이스.
  10. 제 8항에 있어서, 상기 프로세서는,
    상기 수신된 인식 정보를 상기 컨텐트와 관련된 적어도 하나의 객체의 카테고리에 따라 분류하고,
    상기 출력부는,
    상기 분류된 인식 정보를 상기 모바일 디바이스의 화면에 표시하는 모바일 디바이스.
  11. 제 8항에 있어서, 상기 프로세서는,
    기 저장된 상기 모바일 디바이스의 사용자의 선호도 정보 및 상기 적어도 하나의 검색 애플리케이션의 종류 중 적어도 하나에 따라 상기 인식 정보를 배열하고,
    상기 출력부는,
    상기 배열된 인식 정보를 표시하는 모바일 디바이스.
  12. 컨텐트에 관한 정보를 제공하는 모바일 디바이스에 있어서,
    상기 컨텐트를 표시하는 전자 디바이스를 감지하는 통신부; 및
    상기 전자 디바이스가 감지됨에 따라, 상기 모바일 디바이스에서 검색 모드의 활성화 여부를 판단하는 프로세서를 포함하고,
    상기 통신부는,
    상기 모바일 디바이스에서 상기 검색 모드가 활성화된 경우 상기 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 상기 전자 디바이스로부터 수신하는 모바일 디바이스.
  13. 제 12항에 있어서, 상기 통신부는,
    상기 모바일 디바이스에서 상기 검색 모드가 활성화된 경우, 상기 전자 디바이스에 상기 인식 정보를 요청하는 모바일 디바이스.
  14. 제 12항에 있어서, 상기 프로세서는,
    상기 모바일 디바이스에서, 검색어를 입력 가능한 검색창의 상태 및 상기검색어를 입력 가능한 입력 메뉴의 상태 중 적어도 하나를 기초로 상기 검색 모드의 활성화 여부를 판단하는 모바일 디바이스.
  15. 제 1 항의 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2018/000029 2017-01-02 2018-01-02 컨텐트에 관한 정보를 제공하는 방법 및 디바이스 WO2018124842A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/475,554 US10911833B2 (en) 2017-01-02 2018-01-02 Method and device for providing information on content

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0000341 2017-01-02
KR1020170000341A KR102741043B1 (ko) 2017-01-02 2017-01-02 컨텐트에 관한 정보를 제공하는 방법 및 디바이스

Publications (1)

Publication Number Publication Date
WO2018124842A1 true WO2018124842A1 (ko) 2018-07-05

Family

ID=62709962

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/000029 WO2018124842A1 (ko) 2017-01-02 2018-01-02 컨텐트에 관한 정보를 제공하는 방법 및 디바이스

Country Status (3)

Country Link
US (1) US10911833B2 (ko)
KR (1) KR102741043B1 (ko)
WO (1) WO2018124842A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816495A (zh) * 2019-02-13 2019-05-28 北京达佳互联信息技术有限公司 商品信息推送方法、系统及服务器和存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102566149B1 (ko) 2018-08-08 2023-08-11 삼성전자주식회사 이미지에 포함된 상품 정보와 관련된 키워드를 제공하기위한 전자 장치
KR102747289B1 (ko) * 2019-01-18 2024-12-31 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11589124B1 (en) 2020-04-14 2023-02-21 Worldpay Limited Methods and systems for seamlessly transporting objects between connected devices for electronic transactions
NL2033903B1 (en) * 2022-01-04 2024-09-05 Uniquify Inc Implementations and methods for using mobile devices to communicate with a neural network semiconductor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100128895A (ko) * 2009-05-29 2010-12-08 엘지전자 주식회사 이동 단말기 및 이것의 방송 콘텐츠 검색 방법
KR20110115088A (ko) * 2010-04-14 2011-10-20 한국과학기술원 Ｉｐｔｖ 서비스 제공 방법 및 그 장치
KR101343488B1 (ko) * 2013-06-10 2013-12-20 주식회사 코난테크놀로지 Tv 방송 프로그램과 연동되는 tv-커머스 상품 검색 시스템 및 tv 커머스 상품 검색 방법
KR20140000754A (ko) * 2012-06-25 2014-01-06 네이버 주식회사 실시간 방송에서의 자동화된 추천 검색어 제안 방법 및 서버
KR20150127238A (ko) * 2013-03-14 2015-11-16 구글 인코포레이티드 미디어 콘텐츠에 대응하는 모바일 콘텐츠를 제시하기 위한 방법들, 시스템들 및 미디어

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10580459B2 (en) * 2007-08-23 2020-03-03 Sony Interactive Entertainment America Llc Dynamic media interaction using time-based metadata
US8180891B1 (en) * 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
KR20150046950A (ko) 2013-10-23 2015-05-04 삼성전자주식회사 영상에 포함된 정보코드를 처리하는 디스플레이장치 및 방법
FR3016510B1 (fr) * 2014-01-20 2018-04-20 Arthroplastie Diffusion Instrument chirurgical pour poser une agrafe d’osteosynthese
JP6415929B2 (ja) * 2014-10-30 2018-10-31 株式会社東芝 音声合成装置、音声合成方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100128895A (ko) * 2009-05-29 2010-12-08 엘지전자 주식회사 이동 단말기 및 이것의 방송 콘텐츠 검색 방법
KR20110115088A (ko) * 2010-04-14 2011-10-20 한국과학기술원 Ｉｐｔｖ 서비스 제공 방법 및 그 장치
KR20140000754A (ko) * 2012-06-25 2014-01-06 네이버 주식회사 실시간 방송에서의 자동화된 추천 검색어 제안 방법 및 서버
KR20150127238A (ko) * 2013-03-14 2015-11-16 구글 인코포레이티드 미디어 콘텐츠에 대응하는 모바일 콘텐츠를 제시하기 위한 방법들, 시스템들 및 미디어
KR101343488B1 (ko) * 2013-06-10 2013-12-20 주식회사 코난테크놀로지 Tv 방송 프로그램과 연동되는 tv-커머스 상품 검색 시스템 및 tv 커머스 상품 검색 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816495A (zh) * 2019-02-13 2019-05-28 北京达佳互联信息技术有限公司 商品信息推送方法、系统及服务器和存储介质
CN109816495B (zh) * 2019-02-13 2020-11-24 北京达佳互联信息技术有限公司 商品信息推送方法、系统及服务器和存储介质

Also Published As

Publication number Publication date
US10911833B2 (en) 2021-02-02
US20190349640A1 (en) 2019-11-14
KR20180079762A (ko) 2018-07-11
KR102741043B1 (ko) 2024-12-11

Similar Documents

Publication Publication Date Title
WO2014119889A1 (en) Method of displaying user interface on device, and device
WO2018124842A1 (ko) 컨텐트에 관한 정보를 제공하는 방법 및 디바이스
WO2014157886A1 (en) Method and device for executing application
WO2013125796A1 (en) Method of sharing content and mobile terminal thereof
WO2013125802A1 (en) Method of capturing content and mobile terminal thereof
WO2016137167A1 (en) Terminal
WO2013125806A1 (en) Method of providing capture data and mobile terminal thereof
WO2014017759A1 (en) Method and mobile terminal for displaying information, method and display device for providing information, and method and mobile terminal for generating control signal
WO2014025185A1 (en) Method and system for tagging information about image, apparatus and computer-readable recording medium thereof
WO2016017987A1 (en) Method and device for providing image
WO2015016622A1 (en) Method and electronic device for sharing image card
WO2016117836A1 (en) Apparatus and method for editing content
WO2015083975A1 (en) Method of displaying pointing information and device for performing the method
WO2015072670A1 (en) System and method of sharing profile image card for communication
WO2016099228A1 (en) Method of providing content and electronic apparatus performing the method
WO2014017757A1 (en) Method of transmitting inquiry message, display device for the method, method of sharing information, and mobile terminal
WO2013012112A1 (ko) 쿠폰 검색을 수행하는 전자 기기 및 소셜 커머스 서버
WO2016129840A1 (en) Display apparatus and information providing method thereof
WO2016043530A1 (en) System and method for providing service via application
WO2015178716A1 (en) Search method and device
WO2016093633A1 (ko) 컨텐트를 표시하는 방법 및 디바이스
WO2016032039A1 (ko) 영상 투사 장치 및 그의 동작 방법
WO2016048019A1 (en) Method and device for outputting content and recording medium for executing the method
WO2018074768A1 (ko) 영상 표시 방법 및 그 전자장치
WO2021132922A1 (en) Computing device and operation method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18734029

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18734029

Country of ref document: EP

Kind code of ref document: A1

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载