WO2018163811A1 - 情報処理装置、情報処理方法、並びにプログラム - Google Patents
情報処理装置、情報処理方法、並びにプログラム Download PDFInfo
- Publication number
- WO2018163811A1 WO2018163811A1 PCT/JP2018/006113 JP2018006113W WO2018163811A1 WO 2018163811 A1 WO2018163811 A1 WO 2018163811A1 JP 2018006113 W JP2018006113 W JP 2018006113W WO 2018163811 A1 WO2018163811 A1 WO 2018163811A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- information
- robot
- request
- agent device
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 41
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 230000005540 biological transmission Effects 0.000 claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 47
- 238000000034 method Methods 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 35
- 238000005516 engineering process Methods 0.000 abstract description 16
- 239000003795 chemical substances by application Substances 0.000 description 104
- 238000009423 ventilation Methods 0.000 description 14
- 238000004140 cleaning Methods 0.000 description 12
- 239000000446 fuel Substances 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 235000013305 food Nutrition 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
- H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Definitions
- the present technology relates to an information processing apparatus, an information processing method, and a program.
- the present technology relates to an information processing apparatus, an information processing method, and a program that are suitable for reliably transmitting information to be transmitted to a user.
- Patent Document 1 proposes a means for enriching the emotions of a robot that acts autonomously based on actions and / or internal states according to external actions.
- robots that replicate animals have been developed for people who want to keep pets, and there are robots that replicate cats and dogs.
- Such a robot for example, a robot that replicates a cat, utters a cry like a cat, but does not speak human language and is desired to operate like a cat. Therefore, there has been no means for clearly telling the user some information, for example, information that he / she wants to play, by voice or display.
- the present technology has been made in view of such a situation, and enables information to be transmitted to a user more reliably.
- An information processing apparatus includes an acquisition unit that acquires information from another device, a detection unit that detects whether a user is paying attention to the other device, and the detection unit that detects the other A transmission control unit that transmits the information to the user when it is detected that the user is paying attention to the device.
- An information processing method acquires information from another device, detects whether the user is paying attention to the other device, and the user pays attention to the other device. The information is transmitted to the user.
- a program acquires information from another device in a computer, detects whether the user is paying attention to the other device, and the user pays attention to the other device.
- a process including a step of transmitting the information to the user is executed.
- information from another apparatus is acquired, and the information is transmitted to the user when the user is paying attention to the other apparatus.
- the information processing apparatus may be an independent apparatus or an internal block constituting one apparatus.
- the program can be provided by being transmitted through a transmission medium or by being recorded on a recording medium.
- information can be conveyed to the user more reliably.
- FIG. 1 is a diagram illustrating a configuration of an embodiment of a system to which the present technology is applied. It is a figure which shows the structural example of an agent apparatus. It is a flowchart for demonstrating the operation example of a system. It is a figure for demonstrating the data structure of a request. It is a figure for demonstrating the data structure of a reply. It is a figure for demonstrating the data structure of a completion notification. It is a flowchart for demonstrating the process of an agent apparatus. It is a flowchart for demonstrating the other operation example of a system. It is a figure for demonstrating the other data structure of a request. It is a flowchart for demonstrating the other process of an agent apparatus.
- FIG. 1 is a diagram illustrating a configuration of an embodiment of an information processing system to which the present technology is applied.
- an agent device 21 is connected to the local network 11.
- a robot 31, a refrigerator 32, a television receiver 33, and a lighting device 34 are also connected to the local network 11.
- the local network 11 is a network built in a home.
- the local network 11 is, for example, a local area network (LAN) or a wide area network (WAN) configured by wireless or / and wired, and is configured so that data can be exchanged between connected devices.
- LAN local area network
- WAN wide area network
- the robot 31, the refrigerator 32, the television receiver 33, and the lighting device 34 may be connected to different LANs, and these LANs may be connected to the WAN. That is, the present technology can also be applied to a system configured by devices connected to different networks.
- the agent device 21 performs control for presenting information from a device connected to the local network 11 to a user or causing other devices to present information.
- the agent device 21 continues the description by taking as an example the case of functioning as an information processing device for processing such information.
- the agent device 21 accesses an external server by a request from another user, for example, a user. It may have a function of searching for information and presenting the searched information.
- the robot 31 is a robot called a pet robot or the like.
- the robot 31 is an apparatus that has an appearance that replicates people, animals, and the like, and functions as a user's pet and a friend by communicating with the user.
- the refrigerator 32, the television receiver 33, and the lighting device 34 belong to an apparatus called an IoT (Internet of Things) device, and are connected to a network and exchange information in addition to the original functions. Have.
- IoT Internet of Things
- FIG. 2 is a diagram illustrating a configuration example of the agent device 21.
- the agent device 21 includes an audio output unit 51, a display output unit 52, a communication unit 53, an image acquisition unit 54, an image recognition unit 55, an attention position detection unit 56, a transmission information processing unit 57, a transmission control unit 58, and an output control unit. 59 is included.
- the sound output unit 51 includes a speaker, outputs sound, and transmits information to the user by sound.
- the display output unit 52 includes a display, outputs text and images, and transmits information to the user by display.
- the communication unit 53 exchanges data (information) with other devices via the local network 11.
- the image acquisition unit 54 includes an imaging device such as a camera, and images a user, the robot 31, and the like, for example.
- the image recognition unit 55 recognizes the user using the image acquired by the image acquisition unit 54.
- the image recognition unit 55 holds in advance information on the user's face, for example, information on feature points extracted from the face in order to recognize the user.
- the image recognition unit 55 compares the stored information with the information obtained from the image supplied from the image acquisition unit 54, determines whether or not the user is a registered user, and identifies the user. It also recognizes devices such as the robot 31.
- the attention position detection unit 56 detects the location of the user recognized by the image recognition unit 55, the direction in which the user is facing, the device at the end of the line of sight, and the like.
- the image acquisition unit 54 acquires an image from each of a plurality of rooms, and determines a room by determining which room the user is in. Further, by analyzing the image acquired by the image acquisition unit 54, the direction of the user's line of sight can be analyzed. It is also possible to detect a device in the line-of-sight direction.
- the transmission information processing unit 57 performs processing related to information that is supplied from another device via the communication unit 53 and requested to be transmitted by the user. For example, a device that has transmitted a request for information transmission to a user is identified, a location where the identified device is installed is identified, and a transmission content is identified.
- the transmission control unit 58 performs control for transmitting the information specified as information transmitted to the user from the transmission information processing unit 57 to the user.
- the transmission information processing unit 57 requests the user to transmit the information A from the refrigerator 32, an apparatus located ahead of the user's line of sight detected by the attention position detection unit 56.
- control is performed such that the information A is displayed on the television receiver 33 that the user is viewing.
- the output control unit 59 controls any one or more of the audio output unit 51, the display output unit 52, and the communication unit 53 based on an instruction from the transmission control unit 58, and outputs information.
- the display output unit 52 is controlled so that the information A is displayed on the television receiver 33.
- step S11 the robot 31 transmits a request to the agent device 21.
- step S ⁇ b> 31 the agent device 21 receives a request from the robot 31.
- the transmitted / received request is, for example, data as shown in FIG.
- the user looks at the target that is, in this case, when he / she looks at the robot 31, it is indicated that the request is to say “Play” by voice.
- Target Type “Adult” will be used as an example, but the explanation will continue, but “Target Type”: “Female” and “Target Type”: “Children” It may be a woman or a child.
- “Target User”: “Family 01” and “Target User”: F “Family any” may be used.
- the father is represented by “01”, it is indicated that the object is designated as the father.
- a request is executed to the father when the father is recognized.
- the request is executed when the target is a family and the family is recognized.
- a URL with information on the appearance of the robot 31 is presented from data “target 3Dmodel Url”: “https://xxx.com/3Dmodel/xxx”. Such information is used as information when the agent device 21 analyzes the image acquired by the image acquisition unit 54 and determines whether or not it is the robot 31, for example. Such information may be presented as needed. For example, when the agent device 21 accesses the URL once and downloads the appearance information of the robot 31, it is included in the request. It does not have to be.
- the validity period of this request is set from the data “time out”: “120sec”. In this case, if the user does not see the robot 31 within 120 seconds, this request is discarded. It is shown.
- Such data is transmitted from the robot 31 to the agent device 21 as a request.
- this data is an example and is not a limitation.
- the data shown below shows an example and is not a limitation. Therefore, other data structures and other data may be included.
- step S31 When the agent device 21 receives the request from the robot 31 in step S31, the agent device 21 transmits a response in step S32. In step S ⁇ b> 12, the robot 31 receives a response from the agent device 21.
- the response sent and received is data as shown in FIG. 5, for example.
- the agent device 21 has accepted a request identified by a request ID 48 from the robot 31 based on data “result” result: “Accept”, “id”: “48”. It is shown.
- Such data is transmitted from the agent device 21 to the robot 31 as a response.
- the agent device 21 transmits a response to the robot 31 and starts processing for the accepted request.
- step S33 the agent device 21 recognizes that the user's line of sight is on the robot 31.
- step S34 the agent device 21 conveys “playing” to the user by voice. In this way, the agent device 21 executes processing according to the request from the robot 31.
- the agent device 21 When the agent device 21 completes the processing for the request, the agent device 21 transmits a completion notification representing the completion of the processing to the robot 31 in step S35. In step S13, the robot 31 receives a completion notification from the agent device 21.
- the completion notification transmitted / received is, for example, data as shown in FIG.
- the agent device 21 replaces the robot 31 with “play” as a message (information) from the robot 31. To the user. Therefore, even if the device does not have a means for transmitting information to the user, the agent device 21 can transmit information.
- the information source when the information source is viewed, the information is transmitted, so that the information can be transmitted when the user is paying attention, and the user can be focused on the information itself. As a result, the contents of the information can be reliably transmitted to the user.
- step S71 it is determined whether there is information to be transmitted to the user. This determination is performed, for example, by determining whether or not the transmission control unit 58 (FIG. 2) has received a request from another device. For example, when the communication unit 53 receives a request from another device, for example, the robot 31, the request is supplied to the transmission information processing unit 57.
- the transmission information processing unit 57 analyzes the data, and for example, as in the above example, the robot An analysis result that 31 is a request to transmit “play” to the user is supplied to the transmission control unit 58.
- the transmission control unit 58 receives the analysis result from the transmission information processing unit 57, and when the analysis result includes an analysis result indicating that there is information to be transmitted, in step S71, the transmission control unit 58 determines that there is information to be transmitted and performs processing. Proceed to step S72.
- step S71 the process of step S71 is repeated until it is determined that there is information to be transmitted, and the standby state is maintained.
- step S72 the agent device 21 acquires information on the device and location to be noted.
- the device to be noted is the robot 31, and information regarding the location where the robot 31 is located is acquired.
- the transmission control unit 58 specifies the position of the robot 31 using the information.
- the position information may be registered, and the registered information may be used when the process in step S72 is executed. Further, the position information may be registered by the user, and the information may be used.
- the registered information may be used to specify the position as described above.
- the position may be specified.
- the request data shown in FIG. 4 also includes URL information with the appearance data of the robot 31.
- the transmission control unit 58 accesses the URL included in the request data, and acquires the appearance data of the robot 31.
- the transmission control unit 58 analyzes the image acquired by the image acquisition unit 54 and determines whether or not a matching object is captured in the image using the acquired appearance data of the robot 31. . By determining that the robot 31 is captured in the image, it can be specified that the robot 31 is in the room where the image is captured.
- the position when the position can be specified from information registered in advance, the position is specified using the registered information, and when such information is not available, other methods, for example, The position is specified by the image recognition as described above.
- step S73 control for attention movement according to the situation is performed.
- the output control unit 59 controls the audio output unit 51 to output a message such as “The robot is calling”, so that a process in which the user pays attention to the robot 31 is executed.
- step S73 may be omitted. For example, if a request from another device includes a request that the user wants to pay attention to, such processing is executed, and if such a request is not included, it is performed. You may make it not.
- step S74 the agent device 21 determines whether or not the user has moved to a device or place of interest. In other words, in step S74, it is determined whether or not the user's line of sight is in a position to be noticed.
- the attention position detection unit 56 (FIG. 2) analyzes the image acquired by the image acquisition unit 54 and detects the user's line-of-sight direction.
- the transmission control unit 58 determines whether or not the detected line-of-sight direction coincides with the device of interest acquired in step S72 and the location of the device, so that the processing in step S74 is executed. Is done.
- step S74 If it is not determined in step S74 that the user has moved to the device or location to be noticed (the user's line of sight is at the device or location to be noted), the processing returns to step S71, and the subsequent processing Is repeated. In this case, the process is repeated until the user's line of sight moves to a device or place of interest.
- the determination as to whether or not it is within the valid period has been moved to the device or location that the user should pay attention to at the time before step S74 or at step S74. It may be executed when it is determined that there is not.
- step S74 determines whether the user has moved to a device or place of interest. If it is determined in step S74 that the user has moved to a device or place of interest, the process proceeds to step S75.
- step S75 information is transmitted to the user.
- information that the robot 31 is going to play is transmitted to the user.
- the output control unit 59 controls the audio output unit 51 according to an instruction from the transmission control unit 58, a voice such as “Let's play” is output.
- step S76 it is determined whether or not the user understands the information. For example, when the user utters a voice indicating understanding, “nods”, performs a nod, or plays with the robot 31 in response to the message “let's play”. Is determined to have understood the information, and the process proceeds to step S77.
- step S76 if it is determined in step S76 that the user does not understand the information, the process returns to step S71, and the subsequent processes are repeated.
- step S76 may be omitted, and the process may be advanced to step S77 when the process related to information transmission is completed in step S75.
- step S77 information to be transmitted is deleted. That is, requests received from other devices are deleted.
- the request is deleted, as described with reference to the flowchart of FIG. 3, as a process in step S ⁇ b> 35, the process for the request is or has been normally executed for the apparatus that has issued the request. You may make it notify the completion notification that there was no.
- the agent device 21 executes processing for the request.
- step S101 the robot 31 recognizes that the user's line of sight is in the robot 31 (self).
- This recognition can be configured such that the robot 31 itself has a function of detecting the user's line of sight, and that function recognizes that the user's line of sight is directed at him / herself.
- the agent device 21 detects the user's line of sight, determines whether or not the robot 31 is ahead of the detected line of sight. When it is determined that the robot 31 is in the state, such a determination result is transmitted from the agent device 21 to the robot 31 so that the robot 31 recognizes that the user's line of sight is directed toward itself. You can also.
- step S101 when the robot 31 recognizes that the user's line of sight is in the robot 31, it makes a request to the agent device 21 in step S102.
- step S131 the agent device 21 receives a request from the robot 31.
- the request transmitted / received is, for example, data as shown in FIG.
- the data related to the request shown in FIG. 9 is data “” when “” is “immediate”, which indicates that the user wants the user to immediately say “Play” by voice.
- Such data is transmitted from the robot 31 to the agent device 21 as a request.
- the agent device 21 When the agent device 21 receives the request from the robot 31 in step S131, the agent device 21 transmits a voice message “Play” to the user in step S132. In this way, the agent device 21 executes processing according to the request from the robot 31.
- the agent device 21 When the agent device 21 completes the processing for the request, the agent device 21 transmits a completion notification representing the completion of the processing to the robot 31 in step S133. In step S103, the robot 31 receives a completion notification from the agent device 21.
- the completion notification transmitted / received is, for example, data as shown in FIG. 6, and since the data shown in FIG. 6 has already been described, the description thereof is omitted here.
- the agent device 21 transmits a message (information) from the robot 31 to the user instead of the robot 31. Therefore, even if the device does not have a means for transmitting information to the user, the agent device 21 can transmit information.
- step S171 an image is acquired.
- This image is acquired in step S172 in order to acquire information regarding the device that recognizes the user's line of sight, the position of the device, and the like.
- the process in step S172 can be performed in the same manner as the process in step S72 in the flowchart of FIG. That is, a device that recognizes the user's line of sight (a device that has issued a request) is specified from the acquired image, and a location where the device is located is specified.
- step S173 it is determined whether there is information to be transmitted.
- the received data is analyzed, and it is determined whether or not there is a request for information to be transmitted to the user. If it is determined in step S173 that there is no information to be transmitted, the processing of the flowchart shown in FIG. 10 is terminated. Even if it is determined that there is no information to be transmitted, processing for a request from another device is performed.
- step S173 determines whether there is information to be transmitted. If it is determined in step S173 that there is information to be transmitted, the process proceeds to step S174.
- step S174 information is transmitted to the user in response to a request from another device. For example, in the above-described example, information “playing” as a message from the robot 31 is transmitted to the user by voice.
- step S175 information to be transmitted is deleted. That is, requests received from other devices are deleted.
- a completion notification indicating that the processing for the request has been normally executed or has not been executed for the device that has issued the request. You may make it come out.
- the agent device 21 executes processing for the request.
- step S201 the lighting device 34 detects that the light bulb has been burned out.
- step S ⁇ b> 202 the lighting device 34 sends a request to the agent device 21 to notify the user that the light bulb has run out.
- the request data sent and received at this time can have, for example, a data structure as described with reference to FIG. 4, and the content is a content that the user wants the user to know that the light bulb has run out. be able to.
- step S221 when the agent device 21 receives the request from the lighting device 34, in step S222, the agent device 21 issues a response indicating that the request has been received to the lighting device 34. In step S203, the lighting device 34 receives such a response.
- the response data exchanged at this time may have a data structure as described with reference to FIG. 5, for example.
- the agent device 21 starts processing for responding to the request from the lighting device 34.
- step S ⁇ b> 223 the agent device 21 recognizes that the user's line of sight is on the television receiver 33.
- the illumination device 34 is a device that does not have a means for outputting sound or displaying a message as a means for transmitting information to the user. Therefore, in the television receiver 33 having such means, Communicate information.
- step S223 the agent device 21 detects whether or not the user's line of sight is present on the television receiver 33 that displays information, and recognizes that the user's line of sight is on the television receiver 33 when detected. Then, the process proceeds to step S224.
- step S224 the agent device 21 instructs the television receiver 33 to issue a message.
- This instruction includes, for example, an instruction to display a message such as “The light bulb has run out”.
- step S241 upon receiving an instruction from the agent device 21, the television receiver 33 executes a process based on the received instruction in step S242. That is, in this case, the television receiver 33 displays a message that “the light bulb has run out” on the screen.
- a message such as “Look at the light bulb” may be displayed, and a message for the user to turn his / her line of sight toward the light bulb (illumination device 34) may be displayed. Then, after it is detected that the user turns his / her line of sight toward the light bulb, a message “the light bulb has run out” may be displayed on the television receiver 33.
- the lighting device 34 transmits the information via the agent device 21 by another device called the television receiver 33.
- the agent device 21 controls the television receiver 33 so that the information is presented to the device that transmits information at the timing when the user is paying attention to the device that transmits the information. Do.
- step S71 when the agent device 21 receives the request from the lighting device 34, the agent device 21 determines that there is information to be transmitted, and advances the processing to step S72.
- step S72 information on the television receiver 33 is acquired as information on a device or place to be noted.
- the television receiver 33 in order to display a message, is selected as an apparatus that the user wants to pay attention to, and information about the television receiver 33 is acquired.
- step S73 control for attention movement according to the situation is performed, but this control can be omitted, for example, a message such as “Look at the television receiver” is output.
- this control can be omitted, for example, a message such as “Look at the television receiver” is output.
- step S74 it is determined whether or not the user's attention is on the device to be noted, in this case, the television receiver 33.
- step S74 when it is determined that the user's attention is on the television receiver 33, the process proceeds to step S75, and information is transmitted. For example, when the user is watching a program on the television receiver 33, a message such as “The light bulb has run out” or a message “Look at the light bulb” is displayed on the display. A process for displaying such a message is executed by the agent device 21 in step S75.
- step S76 it is determined whether or not the user understands the information. For example, when it is determined that the user's line of sight is directed toward the light bulb, it is determined that the user understands the information.
- step S77 the request from the lighting device 34 is deleted, and the process for the request from the lighting device 34 is terminated.
- steps S261 to S263 executed in the lighting device 34 is performed in the same manner as steps S201 to S203 in the flowchart of FIG. 11, the description thereof is omitted. Further, the processing of steps S281 and S282 executed in the agent device 21 is performed in the same manner as steps S221 and S222 in the flowchart of FIG.
- step S283 when the agent device 21 recognizes that the user's line of sight is near the light bulb, the process proceeds to step S284, and information is presented to the user.
- the agent device 21 utters a message such as “the light bulb is burned out”, for example, so that the information requested from the lighting device 34 is transmitted to the user.
- the agent device 21 itself may transmit information from the lighting device 34.
- the lighting device 34 light bulb
- information from the lighting device 34 can be transmitted.
- the agent device 21 that has received the request from the refrigerator 32 detects that the user is in the vicinity of the refrigerator 32 or is looking at the inside of the refrigerator 32, and at that timing, the agent device 21 informs the user that Say the message “There are expired foods”.
- the agent device 21 that receives the request from the refrigerator 32, for example, when the user is watching a program on the television receiver 33 when the request is received, “There is a message” is displayed on the television receiver 33.
- the refrigerator 32 may issue a request to the agent device 21 when the user is in the vicinity or when it is detected that the user is looking inside the warehouse. Then, when the agent device 21 receives the request from the refrigerator 32, the agent device 21 utters a message such as “There is a food with an expiration date” to the user.
- the refrigerator 32 when the user is paying attention to the refrigerator 32 (when attention can be paid), the information from the refrigerator 32 as the information source is transmitted.
- the refrigerator 32 when the refrigerator 32 is the source of information, the refrigerator that is the source of information when the user is paying attention to (for example, the television receiver 33) having means capable of transmitting information. Information from 32 is transmitted.
- the ventilation fan When the ventilation fan detects that the ventilation fan is dirty and needs to be cleaned, it issues a request to the agent device 21 to transmit information to the user that it is time for cleaning.
- the ventilator makes a request and starts control to increase the sound of the fan.
- the agent device 21 that has detected this utters a message “cleaning time” to the user.
- Control that increases the sound of the fan is started by giving an instruction to the ventilation fan when the agent device 21 detects that the user is near the ventilation fan after receiving the request from the ventilation fan. May be.
- the agent device 21 performs control so that the user pays attention to the ventilation fan.
- the user pays attention to the ventilation fan information from the ventilation fan is presented to the user.
- the ventilation fan when the ventilation fan is a source of information, the ventilation fan itself or the agent device 21 performs a process in which the user pays attention to the ventilation fan. As a result, when the user pays attention to the ventilation fan, Information from the ventilation fan that is the source of information is transmitted.
- a request is sent to the agent device 21 for information indicating that the robot cannot move.
- the agent device 21 detects the position where the cleaning robot is located, searches for a lighting device 34 near the cleaning robot, and blinks the lighting device 34.
- the agent device 21 detects that the lighting device 34 flashes, the user notices the flashing, directs his / her line of sight toward the lighting device 34 side, or approaches the lighting device 34 side, the user is notified. , Utter the message “The cleaning robot is stuck”.
- the agent device 21 performs a process in which the user pays attention to the cleaning robot, and as a result, the user pays attention to the cleaning robot (watches the vicinity of the cleaning robot). ), The information from the cleaning robot that is the source of the information is transmitted.
- agent device 21 is in the home has been described as an example.
- the agent device 21 is not limited to being in the home, and may be installed in another place. For example, it may be mounted on a car.
- FIG. 13 is a diagram showing instruments that the driver (user) can see from the driver side of the car.
- the driver can see the speedometer 202, fuel gauge 203, and tachometer 204 on the front panel 201.
- the agent device 21 is mounted in the vehicle as a device for managing these agents.
- the speedometer 202 when the speedometer 202 detects that the speed exceeds the speed limit, the speedometer 202 sends a request to the agent device 21 to transmit information that the speed is too high to the user.
- the agent device 21 detects the user's line of sight, and when the user detects that there is a line of sight on the front panel 201 (internal speedometer 202), for example, the speedometer 202 emits light, “speed is out”. Information is transmitted to the user by executing processing such as uttering a message such as
- the fuel gauge 203 when the fuel gauge 203 detects that the remaining fuel is low, the fuel gauge 203 issues a request to the agent device 21 to transmit information indicating that the fuel is low to the user.
- the agent device 21 detects the line of sight of the user, and when the user detects that the line of sight is on the front panel 201 (inside the fuel gauge 203), for example, the fuel gauge 203 emits light. Information is transmitted to the user by executing processing such as uttering a message such as “
- the agent device 21 detects that the maintenance has not been performed for a while, the agent's line of sight is detected, and when the user detects that the front panel 201 has a line of sight, for example, an icon indicating maintenance is displayed.
- Information is transmitted to the user by executing processing such as emitting light, causing the tachometer 204 to emit light, and uttering a message such as “Please perform maintenance”.
- FIG. 14 is a diagram illustrating instruments and the like that the driver (user) can see from the driver's seat side of the car, and is a diagram illustrating an example different from the example illustrated in FIG. 13.
- the front panel 251 includes a display 252 on which the speedometer 202, the fuel gauge 203, the tachometer 204, and the like shown in FIG. 13 are displayed.
- the agent device 21 displays the speedometer 202 on the display 252. This display is performed when the agent device 21 detects the user's line of sight and detects that the user has a line of sight on the front panel 251.
- the agent device 21 detects the user's line of sight and detects that the user has a line of sight on the front panel 251
- the display of the speedometer 202 displayed on the display 252 is displayed brightly or flashing. Information is transmitted to the user by performing control such as display.
- the agent device 21 displays the fuel gauge 203 on the display 252. This display is performed when the agent device 21 detects the user's line of sight and detects that the user has a line of sight on the front panel 251.
- the agent device 21 detects the user's line of sight and detects that the user has a line of sight on the front panel 251
- the display of the fuel gauge 203 displayed on the display 252 is displayed brightly or blinking. Information is transmitted to the user by performing control such as display.
- the agent device 21 detects that the maintenance has not been performed for a while, the user's line of sight is detected, and when the user detects that the display 252 has the line of sight, for example, an icon representing maintenance is displayed. Information is transmitted to the user by executing processing such as causing the icon representing the displayed maintenance to emit light.
- information may be transmitted to the user by voice.
- the series of processes described above can be executed by hardware or can be executed by software.
- a program constituting the software is installed in the computer.
- the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
- FIG. 15 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
- a CPU Central Processing Unit
- ROM Read Only Memory
- RAM Random Access Memory
- An input / output interface 1005 is further connected to the bus 1004.
- An input unit 1006, an output unit 1007, a storage unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
- the input unit 1006 includes a keyboard, a mouse, a microphone, and the like.
- the output unit 1007 includes a display, a speaker, and the like.
- the storage unit 1008 includes a hard disk, a nonvolatile memory, and the like.
- the communication unit 1009 includes a network interface.
- the drive 1010 drives a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
- the CPU 1001 loads the program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program, for example. Is performed.
- the program executed by the computer (CPU 1001) can be provided by being recorded on the removable medium 1011 as a package medium, for example.
- the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
- the program can be installed in the storage unit 1008 via the input / output interface 1005 by attaching the removable medium 1011 to the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be installed in advance in the ROM 1002 or the storage unit 1008.
- the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
- system represents the entire apparatus composed of a plurality of apparatuses.
- this technique can also take the following structures.
- the information is information issued when the user is paying attention to the other apparatus.
- the information processing apparatus according to any one of (1) to (4), wherein the transmission control unit transmits the information to the user after executing processing for causing the user to pay attention to the other apparatus.
- the transmission control unit displays a message for notifying the other apparatus on an apparatus having a display device, and as a result, after the user pays attention to the other apparatus, transmits the information to the user.
- the information processing apparatus according to any one of (1) to (5).
- the other device is a plurality of instruments, The detection unit detects whether the user is paying attention to the meter, The information transmission apparatus according to (1), wherein the transmission control unit transmits the information using the meter.
- the other device is a plurality of instruments
- the detection unit detects whether or not the user is paying attention to a display device that displays the instrument
- the information processing apparatus according to (1), wherein the transmission control unit displays the instrument that has output information on the display device.
- Get information from other devices Detecting whether the user is paying attention to the other device;
- An information processing method including a step of transmitting the information to the user when it is detected that the user is paying attention to the other device.
- On the computer Get information from other devices, Detecting whether the user is paying attention to the other device;
- a program for executing a process including a step of transmitting the information to the user when it is detected that the user is paying attention to the other device.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Selective Calling Equipment (AREA)
Abstract
本技術は、他の装置からの情報を伝達できるようにする情報処理装置、情報処理方法、並びにプログラムに関する。 他の装置からの情報を取得する取得部と、他の装置にユーザが注目しているか否かを検出する検出部と、検出部により他の装置にユーザが注目していると検出されたとき、情報をユーザに伝達する伝達制御部とを備える。伝達制御部は、検出部で他の装置にユーザが注目していると検出されるまで、情報の伝達を行わない。本技術は、例えば、家庭内に設置されている装置を制御したり、ユーザに適切な情報を提示したりするエージェント装置に適用できる。
Description
本技術は情報処理装置、情報処理方法、並びにプログラムに関し、例えば、伝えたい情報を、確実にユーザに伝えるときに用いて好適な情報処理装置、情報処理方法、並びにプログラムに関する。
動物を模写したロボットや、人型のロボットなどがある。そのようなロボットは、人(ユーザ)とコミュニケーションをとったり、人を癒やしたりする。そのようなロボットに関する提案もなされている(例えば、特許文献１参照)。特許文献１では、外部からの働きかけに応じた動作及び／又は内部状態に基づいて自律的に行動するロボットの感情をより豊かにするための手段について提案されている。
例えば、動物を模写したロボットは、ペットを飼いたい人のために開発され、猫や犬などを模写したものがある。そのようなロボット、例えば猫を模写したロボットは、猫のような鳴き声を発するが、人間の言葉は話さないようにし、猫のように動作することが望まれている。よって、ユーザに何らかの情報、例えば、遊びたいといった情報を音声や表示などで明確に伝える手段がなかった。
ロボットに限らず、ユーザに何らかの情報を伝えたい場合に、音声や表示などで伝える手段を有さない装置では、伝えることができない。そこで、ユーザに伝えたい情報がある場合、伝えることができるようにし、ユーザが情報を得られないといったことがないようにすることが望まれていた。
本技術は、このような状況に鑑みてなされたものであり、ユーザに情報をより確実に伝えるようにすることができるようにするものである。
本技術の一側面の情報処理装置は、他の装置からの情報を取得する取得部と、前記他の装置にユーザが注目しているか否かを検出する検出部と、前記検出部により前記他の装置に前記ユーザが注目していると検出されたとき、前記情報を前記ユーザに伝達する伝達制御部とを備える。
本技術の一側面の情報処理方法は、他の装置からの情報を取得し、前記他の装置にユーザが注目しているか否かを検出し、前記他の装置に前記ユーザが注目していると検出されたとき、前記情報を前記ユーザに伝達するステップを含む。
本技術の一側面のプログラムは、コンピュータに、他の装置からの情報を取得し、前記他の装置にユーザが注目しているか否かを検出し、前記他の装置に前記ユーザが注目していると検出されたとき、前記情報を前記ユーザに伝達するステップを含む処理を実行させる。
本技術の一側面の情報処理装置、情報処理方法、並びにプログラムにおいては、他の装置からの情報が取得され、他の装置にユーザが注目しているときに、情報がユーザに伝達される。
なお、情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
本技術の一側面によれば、ユーザに情報をより確実に伝えることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。
＜システムの構成例＞
図１は、本技術を適用した情報処理システムの一実施の形態の構成を示す図である。図１に示した情報処理システムは、ローカルネットワーク１１に、エージェント装置２１が接続されている。また、ローカルネットワーク１１には、ロボット３１、冷蔵庫３２、テレビジョン受像機３３、照明装置３４も接続されている。
図１は、本技術を適用した情報処理システムの一実施の形態の構成を示す図である。図１に示した情報処理システムは、ローカルネットワーク１１に、エージェント装置２１が接続されている。また、ローカルネットワーク１１には、ロボット３１、冷蔵庫３２、テレビジョン受像機３３、照明装置３４も接続されている。
ローカルネットワーク１１は、家庭内に構築されたネットワークであるとする。またローカルネットワーク１１は、例えば、無線または／および有線で構成されたＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）であり、接続されている装置同士でデータの授受が行えるように構成されている。
なお、ロボット３１、冷蔵庫３２、テレビジョン受像機３３、照明装置３４は、異なるＬＡＮに接続され、それらのＬＡＮがＷＡＮに接続されているような構成であっても良い。すなわち、異なるネットワークに接続されている装置で構成されるシステムに対しても本技術を適用することはできる。
エージェント装置２１は、ローカルネットワーク１１に接続されている装置からの情報を、ユーザに提示したり、他の装置で情報を提示させたりするための制御を行う。ここでは、エージェント装置２１は、このような情報の処理を行う情報処理装置として機能する場合を例に挙げて説明を続けるが、他の機能、例えばユーザからの依頼により、外部のサーバにアクセスして情報を検索したり、その検索した情報を提示したりする機能を有していても良い。
ロボット３１は、愛玩ロボットなどと称されるロボットであるとする。ロボット３１は、人、動物などを模写した外観を有し、ユーザとコミュニケーションをとることで、ユーザのペットとして、友達として、機能する装置である。
冷蔵庫３２、テレビジョン受像機３３、照明装置３４は、ＩｏＴ（Internet of Things）デバイスと称される装置に属しているとし、ネットワークに接続され、情報を交換する機能を、本来の機能の他に有している。
＜エージェント装置の構成例＞
図２は、エージェント装置２１の構成例を示す図である。エージェント装置２１は、音声出力部５１、表示出力部５２、通信部５３、画像取得部５４、画像認識部５５、注目位置検出部５６、伝達情報処理部５７、伝達制御部５８、および出力制御部５９を含む構成とされている。
図２は、エージェント装置２１の構成例を示す図である。エージェント装置２１は、音声出力部５１、表示出力部５２、通信部５３、画像取得部５４、画像認識部５５、注目位置検出部５６、伝達情報処理部５７、伝達制御部５８、および出力制御部５９を含む構成とされている。
音声出力部５１は、スピーカを含む構成とされ、音声を出力し、ユーザに対して、音声で情報を伝達する。表示出力部５２は、ディスプレイを含む構成とされ、テキストや画像を出力し、ユーザに対して、表示により情報を伝達する。
通信部５３は、他の装置とローカルネットワーク１１を介してデータ(情報)の授受を行う。画像取得部５４は、カメラなどの撮像装置を含む構成とされ、例えばユーザやロボット３１などを撮像する。画像認識部５５は、画像取得部５４で取得された画像を用いて、ユーザを認識する。
画像認識部５５は、ユーザを認識するために、ユーザの顔の情報、例えば顔から抽出された特徴点の情報などを、予め保持している。画像認識部５５は、保持している情報と、画像取得部５４から供給された画像から得られる情報を比較し、登録されているユーザであるか否かを判定し、ユーザを特定する。また、ロボット３１などの装置の認識も行う。
注目位置検出部５６は、画像認識部５５で認識されたユーザがいる場所の検出や、ユーザが向いている方向、その視線の先にある装置などを検出する。例えば、画像取得部５４は、複数の部屋からそれぞれ画像を取得し、どの部屋から得られた画像にユーザが写っているかを判定することで、部屋が特定される。また、画像取得部５４で取得された画像を解析することで、ユーザの視線の方向を解析することができる。またその視線方向にある装置を検出することもできる。
伝達情報処理部５７は、通信部５３を介して他の装置から供給された、ユーザに伝達を依頼された情報に関する処理を行う。例えば、ユーザに情報の伝達の依頼を出してきた装置を特定し、その特定された装置が設置されている場所を特定し、伝達内容を特定する。
伝達制御部５８は、伝達情報処理部５７から、ユーザに伝達する情報として特定された情報を、ユーザに伝達するための制御を行う。詳細は後述するが、伝達情報処理部５７により、例えば、冷蔵庫３２からユーザに情報Ａの伝達が依頼された場合であり、注目位置検出部５６で検出されたユーザの視線の先にある装置が、例えばテレビジョン受像機３３といった表示デバイスを有する装置である場合、情報Ａを、ユーザが見ているテレビジョン受像機３３に表示するといった制御を行う。
出力制御部５９は、伝達制御部５８からの指示に基づき、音声出力部５１、表示出力部５２、通信部５３のいずれか１つまたは複数を制御し、情報を出力する。上記した例では、表示出力部５２を制御し、テレビジョン受像機３３において情報Ａが表示されるような制御が行われる。
＜システムにおける処理＞
＜ロボットからの情報を伝達する場合の第１の実施の形態＞
ここで、図１に示したシステムにおける処理について説明を加える。またここでは、ロボット３１からの情報を、ユーザに伝達する場合を例に挙げて説明する。
＜ロボットからの情報を伝達する場合の第１の実施の形態＞
ここで、図１に示したシステムにおける処理について説明を加える。またここでは、ロボット３１からの情報を、ユーザに伝達する場合を例に挙げて説明する。
ロボット３１からの情報を、ユーザに伝達する場合として、ここではロボット３１にユーザの視線が向いたときに情報を伝達する処理（第１の実施の形態とする）と、ロボット３１にユーザの視線があるときに情報を伝達する処理（第２の実施の形態とする）とに分けて説明を行う。
第１の実施の形態について、図３に示したフローチャートを参照して説明する。
ステップＳ１１において、ロボット３１は、エージェント装置２１に対して、リクエストを送信する。ステップＳ３１において、エージェント装置２１は、ロボット３１からのリクエストを受信する。送受信されるリクエストは、例えば、図４に示すようなデータである。
図４を参照するに、 “method” : “Request To Tell User” 、 “id” :”48 とのデータから、ユーザに対して情報を伝えたいリクエストであり、このリクエストを識別するためのIDが“４８”であることが示されている。
また、 ”message” : “please play with me.”, “type” : “speech” , “Target Type” : “Adult” , “when” : “look At Target” とのデータから、大人のユーザに対して、ユーザがターゲットを見たとき、すなわちこの場合、ロボット３１を見たときに、“遊んで”と音声で伝えてほしいとのリクエストであることが示されている。
なおここでは、“Target Type” : “Adult”である場合を例に挙げて説明を続けるが、“Target Type” : “Female”や、“Target Type” : “Children”であっても良く対象が女性や子供であっても良い。
また、“Target User” : “Family 01”や、“Target User” : “Family any”といったデータでも良い。このようなデータの場合、例えば、“01”で表されるのがお父さんである場合、対象が、お父さんとの指定がなされていることが示されている。このような指定がなされている場合には、お父さんが認識された時点で、お父さんに対してリクエストが実行される。また、”any”の場合、対象が家族であり、家族であると認識されたときにリクエストが実行される。
また、 “target 3Dmodel Url” : “https://xxx.com/3Dmodel/xxx” とのデータから、ロボット３１の外観の情報があるＵＲＬが提示されている。このような情報は、エージェント装置２１が、例えば、画像取得部５４で取得された画像を解析し、ロボット３１であるか否かを判定するときの情報として用いられる。このような情報は、必要に応じて提示されれば良く、例えば、エージェント装置２１側で、一度このＵＲＬにアクセスし、ロボット３１の外観の情報をダウンロードしているようなときには、リクエストに含まれてなくても良い。
また “time out” : “120sec” とのデータから、このリクエストの有効期間が設定されており、この場合、１２０秒の間にユーザがロボット３１を見なかったときには、このリクエストは破棄されることが示されている。
このようなデータが、リクエストとして、ロボット３１からエージェント装置２１に対して送信される。なお、このデータは一例であり、限定を示す記載ではない。以下に示すデータも同様に、一例を示すものであり、限定を示す記載ではない。よって、他のデータ構造や、他のデータが含まれていても良い。
エージェント装置２１は、ステップＳ３１において、ロボット３１からのリクエストを受け取ると、ステップＳ３２において、返答を送信する。ステップＳ１２において、ロボット３１は、エージェント装置２１からの返答を受信する。送受信される返答は、例えば、図５に示すようなデータである。
図５を参照するに、 “result” : “Accept” , “id” : “48” とのデータから、ロボット３１からのリクエストIDが４８で識別されるリクエストが、エージェント装置２１により受け付けられたことが示されている。
このようなデータが、返答として、エージェント装置２１からロボット３１に対して送信される。エージェント装置２１は、返答をロボット３１に送信するとともに、受け付けたリクエストに対する処理を開始する。
ステップＳ３３において、エージェント装置２１は、ユーザの視線がロボット３１にあることを認識する。エージェント装置２１は、ユーザの視線がロボット３１にあることを認識すると、ステップＳ３４において、“遊んで”とユーザに音声で伝達する。このようにして、エージェント装置２１は、ロボット３１からのリクエストに応じた処理を実行する。
エージェント装置２１は、リクエストに対する処理を完了すると、ステップＳ３５において、処理が完了したことを表す完了通知をロボット３１に対して送信する。ロボット３１は、ステップＳ１３において、エージェント装置２１からの完了通知を受信する。送受信される完了通知は、例えば、図６に示すようなデータである。
図６を参照するに “result” : “OK” , “id” : “48” とのデータから、ロボット３１からのリクエストIDが４８のリクエストに対する処理が正常に実行されたことが示されている。
なお、有効期間内、この場合、１２０秒の間に、ユーザがロボット３１側を見ることなく、ロボット３１からのリクエストが実行されなかった場合、“result” : “NG” , “id” : “48” とのデータが、エージェント装置２１からロボット３１に対して送信される。
このように、ロボット３１自体は、“遊んで”といった人間の言葉を発することができない仕様とされている場合、ロボット３１の代わりにエージェント装置２１が、ロボット３１からの伝言（情報）として“遊んで”とユーザに伝える。よって、ユーザに対して情報を伝達する手段を有しない装置であっても、エージェント装置２１により、情報を伝達することが可能となる。
また、ユーザが情報の発信元である装置、この場合、ロボット３１を見ているときに、“遊んで”といった情報が伝達されるため、確実に情報を伝達することが可能となる。
換言すれば、情報の発信元を見ているときに、情報が伝達されることで、ユーザが注目しているときに情報を伝達することができ、その情報自体にユーザを注目させることができるようになるため、情報の内容をユーザに確実に伝えることができる。
また、情報の発信元を見ているときに、情報を提示することで、伝達された情報だけでなく、見ている装置（発信元）からの情報であることを確実にユーザに伝えることが可能となる。
図３に示したフローチャートに基づく処理が実行されるときのエージェント装置２１の処理の詳細について、図７のフローチャートを参照して説明する。
ステップＳ７１において、ユーザに伝えたい情報があるか否かが判定される。この判定は、例えば、伝達制御部５８（図２）が、他の装置からリクエストを受信したか否かを判定することで行われる。例えば、通信部５３により他の装置、例えば、ロボット３１からリクエストが受信されると、そのリクエストは、伝達情報処理部５７に供給される。
伝達情報処理部５７は、通信部５３を介して供給されたリクエスト、例えば、図４に示したようなデータが供給されると、そのデータを解析し、例えば、上記した例のように、ロボット３１がユーザに“遊んで”と伝達してほしいとのリクエストであるという解析結果を、伝達制御部５８に供給する。
伝達制御部５８は、伝達情報処理部５７からの解析結果を受け取り、その解析結果が、伝えたい情報があるという解析結果を含む場合、ステップＳ７１において、伝えたい情報があると判定し、処理をステップＳ７２に進める。
ステップＳ７１において、伝えたい情報があると判定されるまで、ステップＳ７１の処理が繰り返され、待機状態が維持される。
ステップＳ７２において、エージェント装置２１は、注目すべき装置や場所に関する情報を取得する。上記した例においては、注目すべき装置は、ロボット３１であり、ロボット３１がいる場所に関する情報が取得される。
伝達制御部５８は、ロボット３１が、どの部屋に設置されているかという情報を事前に取得している場合、その情報を用いて、ロボット３１の位置を特定する。
例えば、冷蔵庫３２やテレビジョン受像機３３（図１）などは、一度設置されたら、その設置位置が変更されることは少ない。このような装置の場合、一度位置が特定されたときに、その位置情報が登録され、その登録されている情報が、ステップＳ７２における処理が実行されるときに用いられるようにしても良い。またユーザにより位置情報が登録されるようにし、その情報が用いられるようにしても良い。
ロボット３１のように、位置が変更される可能性がある装置の場合、上記したように、登録されている情報が用いられて、位置などが特定されるようにしても良いが、画像認識により位置が特定されるようにしても良い。例えば、図４に示したリクエストのデータには、ロボット３１の外観のデータがあるＵＲＬの情報も含まれている。伝達制御部５８は、リクエストのデータに含まれるＵＲＬにアクセスし、ロボット３１の外観のデータを取得する。
また、伝達制御部５８は、画像取得部５４で取得された画像を解析し、取得したロボット３１の外観のデータを用いて、一致する物体が画像内に撮像されていないか否かを判定する。画像内に、ロボット３１が撮像されていることが判定されることで、その画像が撮像された部屋に、ロボット３１が居ると特定することができる。
このように、事前に登録されている情報から位置が特定できる場合には、登録されている情報を用いて位置が特定され、そのような情報が利用できない場合には、他の方法、例えば、上記したような画像認識により、位置が特定される。
ステップＳ７３において、状況に合わせた注目移動のための制御が行われる。上記した例において、ユーザがロボット３１の方を向いていない場合、ロボット３１にユーザが注目するような処理が実行される。例えば、出力制御部５９が、音声出力部５１を制御して、“ロボットが呼んでます”といったメッセージを出力することで、ロボット３１にユーザが注目するような処理が実行される。
なお、ステップＳ７３における処理は、省略されても良い。例えば、他の装置からのリクエストに、ユーザに注目してほしいといったリクエストも含まれていた場合には、このような処理が実行され、このようなリクエストが含まれていない場合には、行われないようにしても良い。
ステップＳ７４において、エージェント装置２１は、ユーザが、注目すべき装置や場所に移動したか否かを判定する。換言すれば、ステップＳ７４において、ユーザの視線が、注目させたい位置にあるか否かが判定される。例えば、注目位置検出部５６（図２）は、画像取得部５４で取得された画像を解析し、ユーザの視線方向を検出する。その検出された視線の方向が、ステップＳ７２において取得された注目すべき装置や、その装置がある場所に一致するか否かを、伝達制御部５８が判定することで、ステップＳ７４における処理は実行される。
ステップＳ７４において、ユーザが注目すべき装置や場所に移動した（ユーザの視線が、注目すべき装置や場所にある）と判定されなかった場合、処理は、ステップＳ７１に戻され、それ以降の処理が繰り返される。この場合、ユーザの視線が、注目すべき装置や場所に移動するまで処理が繰り返されることになる。
なお、リクエストの有効期間が設定されている場合、有効期間内であるか否かの判定が、ステップＳ７４の前の時点、または、ステップＳ７４において、ユーザが注目すべき装置や場所に移動していないと判定されたときに、実行されるようにしても良い。
一方、ステップＳ７４において、ユーザが注目すべき装置や場所に移動したと判定された場合、ステップＳ７５に処理は進められる。ステップＳ７５において、ユーザに対して情報が伝達される。上記した例においては、ユーザに対してロボット３１が遊ぼうといっているという情報が伝達される。例えば、出力制御部５９が、伝達制御部５８の指示により、音声出力部５１を制御することで、“遊ぼう”といった音声が出力される。
ステップＳ７６において、ユーザが情報を理解したか否かが判定される。例えば、ユーザが“わかった”といった理解を表す音声を出したとき、うなずくといった動作を行ったとき、また、“遊ぼう”というメッセージに対して、実際にロボット３１と遊びだしたときなど、ユーザが情報を理解したと判定され、処理は、ステップＳ７７に進められる。
一方、ステップＳ７６において、ユーザは情報を理解していないと判定された場合、ステップＳ７１に処理は戻され、それ以降の処理が繰り返される。
なお、ステップＳ７６の処理は省略され、ステップＳ７５において情報の伝達に係わる処理が終了されると、ステップＳ７７に処理が進められるようにしても良い。
ステップＳ７７において、伝えたい情報が削除される。すなわち、他の装置から受け取ったリクエストは削除される。なお、リクエストが削除されるとき、図３のフローチャートを参照して説明したように、ステップＳ３５の処理として、リクエストを出してきた装置に対してリクエストに対する処理は正常に実行された、または実行されなかったという完了通知が出されるようにしても良い。
このように、エージェント装置２１は、他の装置からリクエストがあった場合、そのリクエストに対する処理を実行する。
＜ロボットからの情報を伝達する場合の第２の実施の形態＞
図１に示したシステムにおける処理について説明を加える。ここではロボット３１にユーザの視線があるときに情報を伝達する処理（第２の実施の形態）について、図８に示したフローチャートを参照して説明する。
図１に示したシステムにおける処理について説明を加える。ここではロボット３１にユーザの視線があるときに情報を伝達する処理（第２の実施の形態）について、図８に示したフローチャートを参照して説明する。
ステップＳ１０１において、ロボット３１は、ユーザの視線がロボット３１（自己）にあることを認識する。この認識は、ロボット３１自体が、ユーザの視線を検知する機能を有し、その機能によりユーザの視線が、自己に向けられていることを認識するように構成することができる。
また、上記した第１の実施の形態と同じく、エージェント装置２１が、ユーザの視線を検知し、その検知した視線の先にロボット３１があるか否かを判定し、ユーザの視線は、ロボット３１にあると判定されたとき、エージェント装置２１からロボット３１に対して、そのような判定結果が伝えられることにより、ロボット３１がユーザの視線が自己に向けられていることを認識するように構成することもできる。
ステップＳ１０１において、ロボット３１は、ユーザの視線がロボット３１にあると認識すると、ステップＳ１０２において、エージェント装置２１に対してリクエストを出す。ステップＳ１３１において、エージェント装置２１は、ロボット３１からのリクエストを受信する。送受信されるリクエストは、例えば、図９に示すようなデータである。
図９に示したリクエストに関するデータと、図４に示したリクエストに関するデータとで、同一のデータについては説明を省略する。図９に示したリクエストに関するデータは、 “when” : “immediate”とのデータとなっており、ユーザに直ちに“遊んで”と音声で伝えてほしいとのリクエストであることが示されている。
このようなデータが、リクエストとして、ロボット３１からエージェント装置２１に対して送信される。
エージェント装置２１は、ステップＳ１３１において、ロボット３１からのリクエストを受け取ると、ステップＳ１３２において、“遊んで”とユーザに音声で伝達する。このようにして、エージェント装置２１は、ロボット３１からのリクエストに応じた処理を実行する。
エージェント装置２１は、リクエストに対する処理を完了すると、ステップＳ１３３において、処理が完了したことを表す完了通知をロボット３１に対して送信する。ロボット３１は、ステップＳ１０３において、エージェント装置２１からの完了通知を受信する。送受信される完了通知は、例えば、図６に示したようなデータであり、図６に示したデータに関しては既に説明したので、ここではその説明は省略する。
このように、ロボット３１自体は、「遊んで」といった人間の言葉を発することができない場合、ロボット３１の代わりにエージェント装置２１がユーザに、ロボット３１からの伝言（情報）を伝達する。よって、ユーザに対して情報を伝達する手段を有しない装置であっても、エージェント装置２１により、情報を伝達することが可能となる。
図８に示したフローチャートに基づく処理が実行されるときのエージェント装置２１の処理の詳細について、図９のフローチャートを参照して説明する。図９に示したフローチャートの処理は、他の装置からのリクエストを受けたときに、エージェント装置２１で開始される。
ステップＳ１７１において、画像が取得される。この画像は、ステップＳ１７２において、ユーザの視線を認識している装置や、その装置の位置に関する情報などを取得するために取得される。ステップＳ１７２における処理は、図７のフローチャートにおけるステップＳ７２の処理と同様に行うことができる。すなわち、取得された画像から、ユーザの視線を認識している装置（リクエストを出してきた装置）が特定され、その装置がある場所が特定される。
ステップＳ１７３において、伝達する情報があるか否かが判定される。受信されたデータを解析し、ユーザに伝達したい情報があるとのリクエストであるか否かが判定される。ステップＳ１７３において、伝達する情報はないと判定された場合、図１０に示したフローチャートの処理は終了される。なお、伝達する情報がないと判定された場合であっても、他の装置からのリクエストに対する処理は行われる。
一方、ステップＳ１７３において、伝達する情報があると判定された場合、ステップＳ１７４に処理は進められる。ステップＳ１７４において、他の装置からのリクエストに応じて、ユーザに対して情報が伝達される。例えば、上記した例においては、ユーザに対してロボット３１からのメッセージとして“遊んで”との情報が、音声で伝達される。
ステップＳ１７５において、伝えたい情報が削除される。すなわち、他の装置から受け取ったリクエストは削除される。なお、リクエストが削除されるとき、図８のフローチャートを参照して説明したように、リクエストを出してきた装置に対してリクエストに対する処理は正常に実行された、または実行されなかったという完了通知が出されるようにしても良い。
このように、エージェント装置２１は、他の装置からリクエストがあった場合、そのリクエストに対する処理を実行する。
＜他の具体例１＞
上記した実施の形態においては、ロボット３１からのリクエストを処理する場合を例に挙げて説明したが、ロボット３１以外の装置からのリクエストを処理する場合を例に挙げて説明を続ける。
上記した実施の形態においては、ロボット３１からのリクエストを処理する場合を例に挙げて説明したが、ロボット３１以外の装置からのリクエストを処理する場合を例に挙げて説明を続ける。
図１１のフローチャートを参照し、照明装置３４からのリクエストを処理する場合を例に挙げた説明を行う。
ステップＳ２０１において、照明装置３４は、電球が切れたことを検知する。ステップＳ２０２において、照明装置３４は、電球が切れたことを、ユーザに伝えてほしいとのリクエストを、エージェント装置２１に対して出す。このとき授受されるリクエストのデータは、例えば、図４を参照して説明したようなデータ構造とすることでき、その内容は、ユーザに対して電球が切れたことを知らせてほしいという内容とすることができる。
ステップＳ２２１において、エージェント装置２１は、照明装置３４からのリクエストを受信すると、ステップＳ２２２において、リクエストを受け付けたことを示す返答を、照明装置３４に対して出す。そのような返答を、ステップＳ２０３において、照明装置３４は受け取る。このとき授受される返答のデータは、例えば、図５を参照して説明したようなデータ構造とすることができる。
エージェント装置２１は、照明装置３４からのリクエストに応じるための処理を開始する。ステップＳ２２３において、エージェント装置２１は、ユーザの視線がテレビジョン受像機３３にあることを認識する。照明装置３４は、ユーザに情報を伝達する手段として、音声を出力したり、メッセージを表示したりする手段を有さない装置であるため、そのような手段を有するテレビジョン受像機３３にて、情報を伝達するようにする。
そこで、エージェント装置２１は、ステップＳ２２３において、情報を表示するテレビジョン受像機３３に、ユーザの視線があるかを検出し、検出したときに、ユーザの視線がテレビジョン受像機３３にあると認識し、処理をステップＳ２２４に進める。
ステップＳ２２４において、エージェント装置２１は、テレビジョン受像機３３にメッセージを出すように指示を出す。この指示には、例えば、“電球が切れました”といったメッセージを表示するといった指示が含まれる。
ステップＳ２４１において、テレビジョン受像機３３は、エージェント装置２１からの指示を受け取ると、ステップＳ２４２において、受け取った指示に基づく処理を実行する。すなわちこの場合、テレビジョン受像機３３は、画面上に、“電球が切れました”というメッセージを表示する。
または、“電球を見て”といったようなメッセージでも良く、ユーザが電球（照明装置３４）側に視線を向けるようにするためのメッセージが表示されるようにしても良い。そして、ユーザが電球の方に視線を向けたことが検知された後、テレビジョン受像機３３に、“電球が切れました”というメッセージが表示されるようにしても良い。
このように、ユーザに対して情報を伝達する手段を有さない装置、この場合、照明装置３４は、エージェント装置２１を介してテレビジョン受像機３３という他の装置で、情報を伝達する。また、エージェント装置２１は、テレビジョン受像機３３にユーザの視線があるタイミングで、換言すれば、情報を伝達する装置に、ユーザが注目しているタイミングで、情報が提示されるように制御を行う。
このような処理がエージェント装置２１において実行される場合も、上記した図７に示したフローチャートに基づく処理がエージェント装置２１において実行される。
図７に示したフローチャートを再度参照して、簡便に説明を加える。ステップＳ７１において、エージェント装置２１は、照明装置３４からリクエストを受け取った時点で、伝達したい情報があると判定し、処理をステップＳ７２に進める。
ステップＳ７２において、注目すべき装置や場所の情報として、テレビジョン受像機３３の情報が取得される。この場合、メッセージを表示するために、ユーザに注目させたい装置としてテレビジョン受像機３３が選択され、テレビジョン受像機３３に関する情報が取得される。
ステップＳ７３において、状況に合わせた注目移動のための制御が行われるが、この制御は省略することも可能であるし、例えば、“テレビジョン受像機を見て”といったメッセージが出音されるようにしても良い。
ステップＳ７４において、ユーザの注目が、注目すべき装置、この場合、テレビジョン受像機３３にあるか否かが判定される。ステップＳ７４において、ユーザの注目が、テレビジョン受像機３３にあると判定されたときに、処理は、ステップＳ７５に進められ、情報の伝達が行われる。例えば、ユーザがテレビジョン受像機３３で番組を見ているときに、“電球が切れました”といったメッセージや、“電球を見てください”といったメッセージが、ディスプレイに表示される。このようなメッセージが表示されるようにするための処理が、ステップＳ７５において、エージェント装置２１により実行される。
ステップＳ７６において、ユーザが情報を理解したか否かが判定される。例えば、ユーザの視線が、電球の方に向いたと判定された場合に、ユーザが情報を理解したと判定される。そして、ステップＳ７７において、照明装置３４からのリクエストは削除され、照明装置３４からのリクエストに対する処理は終了される。
次に、図１２のフローチャートを参照し、照明装置３４からのリクエストを処理する場合の他の例について説明する。
照明装置３４において実行されるステップＳ２６１乃至Ｓ２６３の処理は、図１１のフローチャートにおけるステップＳ２０１乃至Ｓ２０３と同様に行われるため、その説明は省略する。また、エージェント装置２１において実行されるステップＳ２８１，Ｓ２８２の処理は、図１１のフローチャートにおけるステップＳ２２１，Ｓ２２２と同様に行われるため、その説明は省略する。
ステップＳ２８３において、エージェント装置２１は、ユーザの視線が電球近くにあると認識すると、処理を、ステップＳ２８４に進め、ユーザに対して情報を提示する。この場合、エージェント装置２１が、例えば、“電球が切れています”といったメッセージを発話することで、ユーザに照明装置３４からリクエストされていた情報が伝達される。
このように、エージェント装置２１自体が、照明装置３４からの情報を、伝達するようにしても良い。また、ユーザが照明装置３４（電球）を見ているときに、照明装置３４からの情報が伝達されるようにすることができる。
＜他の具体例２＞
さらに具体例について説明を加える。なお、システムにおける基本的な処理の流れは、上記した場合と同様であるため、重複する説明は適宜省略する。
さらに具体例について説明を加える。なお、システムにおける基本的な処理の流れは、上記した場合と同様であるため、重複する説明は適宜省略する。
他の具体例として、冷蔵庫３２からのリクエストを処理する場合を例に挙げた説明を行う。
冷蔵庫３２が庫内に賞味期限（消費期限）切れの商品を検知した場合、エージェント装置２１に対して、ユーザに賞味期限切れの食品があるという情報を伝達してほしいというリクエストを出す。
冷蔵庫３２からのリクエストを受信したエージェント装置２１は、ユーザが冷蔵庫３２の近傍にいることや、冷蔵庫３２の庫内を見ていることなどを検知し、そのタイミングで、ユーザに対して、“賞味期限切れの食品があります”といったメッセージを発話する。
または、冷蔵庫３２からのリクエストを受信したエージェント装置２１は、例えば、リクエストを受信したときに、ユーザがテレビジョン受像機３３で番組を視聴していた場合、ユーザに対して、“賞味期限切れの食品があります”といったメッセージをテレビジョン受像機３３に表示させる。
または、冷蔵庫３２は、ユーザが近傍にいるときや、庫内をみていることを検知したときに、エージェント装置２１に対してリクエストを出すようにしても良い。そして、エージェント装置２１は、冷蔵庫３２からのリクエストを受信した時点で、ユーザに対して、“賞味期限切れの食品があります”といったメッセージを発話する。
このように、冷蔵庫３２が情報の発信元となっている場合、ユーザが冷蔵庫３２に注目しているとき（注目できるとき）に、情報の発信元である冷蔵庫３２からの情報が伝達される。または、冷蔵庫３２が情報の発信元となっている場合、ユーザが情報を伝達できる手段を有する例えばテレビジョン受像機３３に注目しているとき（注目できるとき）に、情報の発信元である冷蔵庫３２からの情報が伝達される。
他の具体例として、換気扇（不図示）からのリクエストを処理する場合を例に挙げた説明を行う。
換気扇は、換気扇が汚れ、掃除が必要になってきたことを検知した場合、エージェント装置２１に対して、ユーザに掃除の時期であるという情報を伝達してほしいというリクエストを出す。
換気扇は、リクエストを出すとともに、ファンの音が大きくなるような制御を開始する。ファンの音が大きくなることで、ユーザが換気扇に注目すると、そのことを検知したエージェント装置２１が、ユーザに対して、“掃除の時期です”といったメッセージを発話する。
ファンの音が大きくなるような制御は、エージェント装置２１が、換気扇からのリクエストを受信した後に、ユーザが換気扇の近くいることを検知したときに、換気扇に指示を出すことで開始されるようにしても良い。この場合、エージェント装置２１は、換気扇にユーザが注目するように制御を行い、その結果、ユーザが換気扇に注目したときに、換気扇からの情報が、ユーザに提示される。
このように、換気扇が情報の発信元となっている場合、ユーザが換気扇に注目するような処理を、換気扇自体またはエージェント装置２１が行い、その結果、ユーザが換気扇に注目しているときに、情報の発信元である換気扇からの情報が伝達される。
他の具体例として、掃除ロボット（不図示）からのリクエストを処理する場合を例に挙げた説明を行う。
掃除ロボットが段差などにより動けなくなったことを検知した場合、エージェント装置２１に対して、動けなくなったという情報を伝達してほしいというリクエストを出す。
エージェント装置２１は、掃除ロボットが居る位置を検知し、その近くにある照明装置３４を検索し、その照明装置３４を点滅させる。照明装置３４が点滅し、その点滅にユーザが気づき、その照明装置３４側に視線を向けたことや、その照明装置３４側に近づいたことを、エージェント装置２１が検知した場合、ユーザに対して、“掃除ロボットが動けなくなっています”といったメッセージを発話する。
このように、掃除ロボットが情報の発信元となっている場合、ユーザが掃除ロボットに注目するような処理を、エージェント装置２１が行い、その結果、ユーザが掃除ロボットに注目（掃除ロボット付近を注目）しているときに、情報の発信元である掃除ロボットからの情報が伝達される。
＜他の具体例３＞
さらに具体例について説明を加える。上記した具体例は、エージェント装置２１が家庭内にある場合を例に挙げて説明したが、エージェント装置２１は、家庭内に限らず、他の場所に設置されていても良い。例えば、車に搭載されていても良い。
さらに具体例について説明を加える。上記した具体例は、エージェント装置２１が家庭内にある場合を例に挙げて説明したが、エージェント装置２１は、家庭内に限らず、他の場所に設置されていても良い。例えば、車に搭載されていても良い。
図１３は、車の運転席側から運転者（ユーザ）が見える計器類などを示した図である。運転者は、フロントパネル２０１にあるスピードメータ２０２、燃料計２０３、およびタコメータ２０４を見ることができる。エージェント装置２１は、図１３には図示していないが、これらを管理する装置として車内に搭載されている。
例えば、スピードメータ２０２は、制限速度を超えた速度であることを検知した場合、スピードが出すぎているという情報を、ユーザに伝達したいというリクエストをエージェント装置２１に対して出す。
エージェント装置２１は、ユーザの視線を検知し、ユーザがフロントパネル２０１（内のスピードメータ２０２）に視線があることを検知したとき、例えば、スピードメータ２０２を発光させる、“スピードが出ています”といったメッセージを発話するなどの処理を実行することで、ユーザに情報を伝達する。
また例えば、燃料計２０３は、燃料が残り少なくなったことを検知した場合、燃料が少なくなったという情報を、ユーザに伝達したいというリクエストをエージェント装置２１に対して出す。
エージェント装置２１は、ユーザの視線を検知し、ユーザがフロントパネル２０１（内の燃料計２０３）に視線があることを検知したとき、例えば、燃料計２０３を発光させる、“燃料が少なくなりました”といったメッセージを発話するなどの処理を実行することで、ユーザに情報を伝達する。
また例えば、エージェント装置２１が、しばらくメンテナンスがされていないことを検知したときに、ユーザの視線を検知し、ユーザがフロントパネル２０１に視線があることを検知したとき、例えば、メンテナンスを表すアイコンを発光させる、タコメータ２０４を発光させる、“メンテナンスをしてください”といったメッセージを発話するなどの処理を実行することで、ユーザに情報を伝達する。
図１４は、車の運転席側から運転者（ユーザ）が見える計器類などを示した図であり、図１３に示した例とは異なる例を示す図である。フロントパネル２５１には、ディスプレイ２５２が備えられ、そのディスプレイ２５２に、図１３に示したスピードメータ２０２、燃料計２０３、およびタコメータ２０４などが表示される。
例えば、制限速度を超えた速度であることが検知された場合、エージェント装置２１は、ディスプレイ２５２に、スピードメータ２０２を表示させる。この表示は、エージェント装置２１が、ユーザの視線を検知し、ユーザがフロントパネル２５１に視線があることを検知したときに行われる。
または、エージェント装置２１が、ユーザの視線を検知し、ユーザがフロントパネル２５１に視線があることを検知したときに、ディスプレイ２５２に表示されているスピードメータ２０２の表示を明るく表示する、点滅して表示するなどの制御を行うことで、ユーザに情報を伝達する。
また例えば、燃料が残り少なくなったことが検知された場合、エージェント装置２１は、ディスプレイ２５２に、燃料計２０３を表示させる。この表示は、エージェント装置２１が、ユーザの視線を検知し、ユーザがフロントパネル２５１に視線があることを検知したときに行われる。
または、エージェント装置２１が、ユーザの視線を検知し、ユーザがフロントパネル２５１に視線があることを検知したときに、ディスプレイ２５２に表示されている燃料計２０３の表示を明るく表示する、点滅して表示するなどの制御を行うことで、ユーザに情報を伝達する。
また例えば、エージェント装置２１が、しばらくメンテナンスがされていないことを検知したときに、ユーザの視線を検知し、ユーザがディスプレイ２５２に視線があることを検知したとき、例えば、メンテナンスを表すアイコンを表示させる、表示されているメンテナンスを表すアイコンを発光させるなどの処理を実行することで、ユーザに情報を伝達する。
この場合も、ユーザに音声により、情報が伝達されるようにしても良い。
このように、ユーザに伝達したい情報が発生したとき、情報を伝達する位置にユーザの視線があるときに、情報が伝達される。よって、確実に情報を伝達することができるようになる。
＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は以下のような構成も取ることができる。
(１）
他の装置からの情報を取得する取得部と、
前記他の装置にユーザが注目しているか否かを検出する検出部と、
前記検出部により前記他の装置に前記ユーザが注目していると検出されたとき、前記情報を前記ユーザに伝達する伝達制御部と
を備える情報処理装置。
(２）
前記伝達制御部は、前記検出部で前記他の装置にユーザが注目していると検出されるまで、前記情報の伝達を行わない
前記（１)に記載の情報処理装置。
(３）
前記情報は、前記他の装置に前記ユーザが注目しているときに出された情報である
前記（１)または（２）に記載の情報処理装置。
(４）
前記伝達制御部は、前記ユーザが、表示デバイスを有する装置に注目しているとき、前記表示デバイスに前記情報を表示する
前記（１)乃至（３）のいずれかに記載の情報処理装置。
(５）
前記伝達制御部は、前記ユーザを前記他の装置に注目させるための処理を実行した後、前記情報を前記ユーザに伝達する
前記（１)乃至（４）のいずれかに記載の情報処理装置。
(６）
前記伝達制御部は、表示デバイスを有する装置に、前記他の装置に注目させるためのメッセージを表示し、その結果、前記ユーザが前記他の装置に注目した後、前記情報を前記ユーザに伝達する
前記（１)乃至（５）のいずれかに記載の情報処理装置。
(７）
前記他の装置は、複数の計器であり、
前記検出部は、前記計器に前記ユーザが注目しているか否かを検出し、
前記伝達制御部は、前記計器で前記情報を伝達する
前記（１)に記載の情報処理装置。
(８）
前記他の装置は、複数の計器であり、
前記検出部は、前記計器を表示する表示デバイスに前記ユーザが注目しているか否かを検出し、
前記伝達制御部は、情報を出してきた前記計器を前記表示デバイスに表示する
前記（１)に記載の情報処理装置。
(９）
他の装置からの情報を取得し、
前記他の装置にユーザが注目しているか否かを検出し、
前記他の装置に前記ユーザが注目していると検出されたとき、前記情報を前記ユーザに伝達する
ステップを含む情報処理方法。
(１０）
コンピュータに、
他の装置からの情報を取得し、
前記他の装置にユーザが注目しているか否かを検出し、
前記他の装置に前記ユーザが注目していると検出されたとき、前記情報を前記ユーザに伝達する
ステップを含む処理を実行させるためのプログラム。
(１）
他の装置からの情報を取得する取得部と、
前記他の装置にユーザが注目しているか否かを検出する検出部と、
前記検出部により前記他の装置に前記ユーザが注目していると検出されたとき、前記情報を前記ユーザに伝達する伝達制御部と
を備える情報処理装置。
(２）
前記伝達制御部は、前記検出部で前記他の装置にユーザが注目していると検出されるまで、前記情報の伝達を行わない
前記（１)に記載の情報処理装置。
(３）
前記情報は、前記他の装置に前記ユーザが注目しているときに出された情報である
前記（１)または（２）に記載の情報処理装置。
(４）
前記伝達制御部は、前記ユーザが、表示デバイスを有する装置に注目しているとき、前記表示デバイスに前記情報を表示する
前記（１)乃至（３）のいずれかに記載の情報処理装置。
(５）
前記伝達制御部は、前記ユーザを前記他の装置に注目させるための処理を実行した後、前記情報を前記ユーザに伝達する
前記（１)乃至（４）のいずれかに記載の情報処理装置。
(６）
前記伝達制御部は、表示デバイスを有する装置に、前記他の装置に注目させるためのメッセージを表示し、その結果、前記ユーザが前記他の装置に注目した後、前記情報を前記ユーザに伝達する
前記（１)乃至（５）のいずれかに記載の情報処理装置。
(７）
前記他の装置は、複数の計器であり、
前記検出部は、前記計器に前記ユーザが注目しているか否かを検出し、
前記伝達制御部は、前記計器で前記情報を伝達する
前記（１)に記載の情報処理装置。
(８）
前記他の装置は、複数の計器であり、
前記検出部は、前記計器を表示する表示デバイスに前記ユーザが注目しているか否かを検出し、
前記伝達制御部は、情報を出してきた前記計器を前記表示デバイスに表示する
前記（１)に記載の情報処理装置。
(９）
他の装置からの情報を取得し、
前記他の装置にユーザが注目しているか否かを検出し、
前記他の装置に前記ユーザが注目していると検出されたとき、前記情報を前記ユーザに伝達する
ステップを含む情報処理方法。
(１０）
コンピュータに、
他の装置からの情報を取得し、
前記他の装置にユーザが注目しているか否かを検出し、
前記他の装置に前記ユーザが注目していると検出されたとき、前記情報を前記ユーザに伝達する
ステップを含む処理を実行させるためのプログラム。
１１ ローカルネットワーク， ２１ エージェント装置， ３１ ロボット， ３２ 冷蔵庫， ３３ テレビジョン受像機， ３４ 照明装置， ５１ 音声出力部， ５２ 表示装置部， ５３ 通信部， ５４ 画像取得部， ５５ 画像認識部， ５６ 注目位置検出部， ５７ 伝達情報処理部， ５８ 伝達制御部， ５９ 出力制御部， ２０１ フロントパネル， ２０２ スピードメータ， ２０３ 燃料計， ２０４ タコメータ
Claims (10)
- 他の装置からの情報を取得する取得部と、
前記他の装置にユーザが注目しているか否かを検出する検出部と、
前記検出部により前記他の装置に前記ユーザが注目していると検出されたとき、前記情報を前記ユーザに伝達する伝達制御部と
を備える情報処理装置。 - 前記伝達制御部は、前記検出部で前記他の装置にユーザが注目していると検出されるまで、前記情報の伝達を行わない
請求項１に記載の情報処理装置。 - 前記情報は、前記他の装置に前記ユーザが注目しているときに出された情報である
請求項１に記載の情報処理装置。 - 前記伝達制御部は、前記ユーザが、表示デバイスを有する装置に注目しているとき、前記表示デバイスに前記情報を表示する
請求項１に記載の情報処理装置。 - 前記伝達制御部は、前記ユーザを前記他の装置に注目させるための処理を実行した後、前記情報を前記ユーザに伝達する
請求項１に記載の情報処理装置。 - 前記伝達制御部は、表示デバイスを有する装置に、前記他の装置に注目させるためのメッセージを表示し、その結果、前記ユーザが前記他の装置に注目した後、前記情報を前記ユーザに伝達する
請求項１に記載の情報処理装置。 - 前記他の装置は、複数の計器であり、
前記検出部は、前記計器に前記ユーザが注目しているか否かを検出し、
前記伝達制御部は、前記計器で前記情報を伝達する
請求項１に記載の情報処理装置。 - 前記他の装置は、複数の計器であり、
前記検出部は、前記計器を表示する表示デバイスに前記ユーザが注目しているか否かを検出し、
前記伝達制御部は、情報を出してきた前記計器を前記表示デバイスに表示する
請求項１に記載の情報処理装置。 - 他の装置からの情報を取得し、
前記他の装置にユーザが注目しているか否かを検出し、
前記他の装置に前記ユーザが注目していると検出されたとき、前記情報を前記ユーザに伝達する
ステップを含む情報処理方法。 - コンピュータに、
他の装置からの情報を取得し、
前記他の装置にユーザが注目しているか否かを検出し、
前記他の装置に前記ユーザが注目していると検出されたとき、前記情報を前記ユーザに伝達する
ステップを含む処理を実行させるためのプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18764873.8A EP3594783A4 (en) | 2017-03-07 | 2018-02-21 | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM |
| JP2019504444A JP7092110B2 (ja) | 2017-03-07 | 2018-02-21 | 情報処理装置、情報処理方法、並びにプログラム |
| US16/479,440 US20190387061A1 (en) | 2017-03-07 | 2018-02-21 | Information processing device, information processing method, and program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017-042681 | 2017-03-07 | ||
| JP2017042681 | 2017-03-07 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018163811A1 true WO2018163811A1 (ja) | 2018-09-13 |
Family
ID=63448543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2018/006113 WO2018163811A1 (ja) | 2017-03-07 | 2018-02-21 | 情報処理装置、情報処理方法、並びにプログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20190387061A1 (ja) |
| EP (1) | EP3594783A4 (ja) |
| JP (1) | JP7092110B2 (ja) |
| WO (1) | WO2018163811A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020255280A1 (ja) * | 2019-06-19 | 2020-12-24 | シャープＮｅｃディスプレイソリューションズ株式会社 | データ処理装置、データ処理方法、及びプログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005169567A (ja) | 2003-12-11 | 2005-06-30 | Sony Corp | コンテンツ再生システム、コンテンツ再生方法、コンテンツ再生装置 |
| WO2013136740A1 (ja) * | 2012-03-14 | 2013-09-19 | 株式会社デンソー | 運転支援装置および運転支援方法 |
| JP2015185088A (ja) * | 2014-03-26 | 2015-10-22 | 日産自動車株式会社 | 情報呈示装置及び情報呈示方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1611499A2 (en) * | 2003-03-21 | 2006-01-04 | Queen's University At Kingston | Method and apparatus for communication between humans and devices |
| US8957847B1 (en) * | 2010-12-28 | 2015-02-17 | Amazon Technologies, Inc. | Low distraction interfaces |
| US8594845B1 (en) * | 2011-05-06 | 2013-11-26 | Google Inc. | Methods and systems for robotic proactive informational retrieval from ambient context |
| US10120438B2 (en) * | 2011-05-25 | 2018-11-06 | Sony Interactive Entertainment Inc. | Eye gaze to alter device behavior |
| US9213659B2 (en) * | 2013-12-03 | 2015-12-15 | Lenovo (Singapore) Pte. Ltd. | Devices and methods to receive input at a first device and present output in response on a second device different from the first device |
| US20150348513A1 (en) * | 2014-05-27 | 2015-12-03 | Lenovo (Singapore) Pte. Ltd. | Gaze based notification placement |
| US9811954B2 (en) * | 2014-12-02 | 2017-11-07 | Honeywell International, Inc. | Near-to-eye display systems and methods for verifying aircraft components |
-
2018
- 2018-02-21 JP JP2019504444A patent/JP7092110B2/ja active Active
- 2018-02-21 WO PCT/JP2018/006113 patent/WO2018163811A1/ja unknown
- 2018-02-21 EP EP18764873.8A patent/EP3594783A4/en not_active Withdrawn
- 2018-02-21 US US16/479,440 patent/US20190387061A1/en not_active Abandoned
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005169567A (ja) | 2003-12-11 | 2005-06-30 | Sony Corp | コンテンツ再生システム、コンテンツ再生方法、コンテンツ再生装置 |
| WO2013136740A1 (ja) * | 2012-03-14 | 2013-09-19 | 株式会社デンソー | 運転支援装置および運転支援方法 |
| JP2015185088A (ja) * | 2014-03-26 | 2015-10-22 | 日産自動車株式会社 | 情報呈示装置及び情報呈示方法 |
Non-Patent Citations (1)
| Title |
|---|
| See also references of EP3594783A4 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3594783A4 (en) | 2020-02-26 |
| US20190387061A1 (en) | 2019-12-19 |
| JPWO2018163811A1 (ja) | 2020-01-09 |
| EP3594783A1 (en) | 2020-01-15 |
| JP7092110B2 (ja) | 2022-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112166350B (zh) | 智能设备中的超声感测的系统和方法 | |
| US11010601B2 (en) | Intelligent assistant device communicating non-verbal cues | |
| JP7254772B2 (ja) | ロボットインタラクションのための方法及びデバイス | |
| CN106297781B (zh) | 控制方法和控制器 | |
| JP2018190413A (ja) | ユーザ発話の表現法を把握して機器の動作やコンテンツ提供範囲を調整し提供するユーザ命令処理方法およびシステム | |
| AU2014236686B2 (en) | Apparatus and methods for providing a persistent companion device | |
| US9473594B1 (en) | Projection of interactive map data | |
| CN110383235A (zh) | 多用户智能辅助 | |
| CN111163906B (zh) | 能够移动的电子设备及其操作方法 | |
| CN112005281A (zh) | 智能设备上的功率管理的系统和方法 | |
| CN105045122A (zh) | 一种基于音频和视频的智能家居自然交互系统 | |
| JP6716630B2 (ja) | 情報を提供する装置、方法、コンピュータプログラムおよび記録媒体 | |
| WO2017141530A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| US20220351600A1 (en) | Information processing apparatus, information processing method, and information processing program | |
| US20220237915A1 (en) | Electronic apparatus and controlling method thereof | |
| CN111869226A (zh) | 显示装置及其控制方法 | |
| WO2018139036A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| WO2018163811A1 (ja) | 情報処理装置、情報処理方法、並びにプログラム | |
| US11375275B2 (en) | Method and system for using lip sequences to control operations of a device | |
| US11031004B2 (en) | System for communicating with devices and organisms | |
| JP7533224B2 (ja) | 情報機器、情報処理方法、情報処理プログラム、制御装置、制御方法及び制御プログラム | |
| US11936718B2 (en) | Information processing device and information processing method | |
| CN115904082A (zh) | 多模态交互系统及交互方法 | |
| CN111919250B (zh) | 传达非语言提示的智能助理设备 | |
| WO2018139050A1 (ja) | 情報処理装置、情報処理方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18764873 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2019504444 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| ENP | Entry into the national phase |
Ref document number: 2018764873 Country of ref document: EP Effective date: 20191007 |