+

WO2018131789A1 - 합성 센서와 상황인식기를 이용하여 생활 소음을 비롯한 각종 센서데이터를 분석하여 일상 활동 정보를 인식하고 공유하는 홈 소셜 로봇 시스템 - Google Patents

합성 센서와 상황인식기를 이용하여 생활 소음을 비롯한 각종 센서데이터를 분석하여 일상 활동 정보를 인식하고 공유하는 홈 소셜 로봇 시스템 Download PDF

Info

Publication number
WO2018131789A1
WO2018131789A1 PCT/KR2017/013401 KR2017013401W WO2018131789A1 WO 2018131789 A1 WO2018131789 A1 WO 2018131789A1 KR 2017013401 W KR2017013401 W KR 2017013401W WO 2018131789 A1 WO2018131789 A1 WO 2018131789A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
noise
robot
social robot
home social
Prior art date
Application number
PCT/KR2017/013401
Other languages
English (en)
French (fr)
Inventor
김진우
정광민
김병관
심혜린
이해성
김태윤
성지현
김아람
김혜미
Original Assignee
주식회사 하이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170017709A external-priority patent/KR101982260B1/ko
Priority claimed from KR1020170112838A external-priority patent/KR102064365B1/ko
Application filed by 주식회사 하이 filed Critical 주식회사 하이
Publication of WO2018131789A1 publication Critical patent/WO2018131789A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training

Definitions

  • the present disclosure relates to a home social robot management system for sharing living activity information.
  • the home social robot that acquires and reads the living noise of a household of a single household through a home social robot installed by a user and shares it with other users A robot management system.
  • Home social robots are attracting attention as one of the tools to solve the various complex social problems in the changing modern society, such as population aging, increasing single-person households, and deepening individualism.
  • Home social robots are emotion-oriented robots that interact with people, unlike traditional robots that simply replace physical tasks that are difficult for people to do, and help people not feel isolated.
  • Home social robots have emerged as a way to solve such problems in single households.
  • the need for a home social robot capable of practically guiding life in the elderly's life by providing feedback to the elderly appropriately while monitoring the living pattern of the elderly from the outside is emerging.
  • the present disclosure aims to promote companionship to solve the social isolation of single households, and devise a method of sharing activity information.
  • the most appropriate activity for the living pattern of a single household was considered as home activity, but since home is the most private space, there may be concern about privacy infringement in sharing information of home activity.
  • a core recognition module of the IoT system is a "synthetic sensor: a distance measuring sensor, a temperature and humidity measuring sensor, an illuminance measuring sensor, an acoustic measuring sensor, a grid-eye sensor, a gyro acceleration sensor. It has adopted an artificial intelligence module that recognizes and analyzes user's activity through the combination of existing sensors, etc.), and recognizes the user's activity pattern and the sound of opening and closing of home appliances. The situation can be inferred.
  • Synthetic sensors one of the core research areas of Human Computer Interaction (HCI) and Human Robot Interaction (HRI), go beyond the limits of existing individual sensors and combine various types of sensors to pursue effective and economical sensing.
  • HCI Human Computer Interaction
  • HRI Human Robot Interaction
  • a home social robot management system for living activity sharing, comprising a plurality of home social robots and a management server communicatively connected to the home social robot, the home social robot comprising living noise and living environment information
  • a synthesis sensor unit for receiving a signal, a speaker for outputting the state of the home social robot as a sound, a display for outputting the state of the home social robot as an image, a communication unit for communicating with a management server of the home social robot through a network;
  • a control unit connected to the synthesis sensor unit, the speaker, the display, and the communication unit, wherein the control unit transmits the living noise and living environment information obtained from the synthesis sensor unit to the management server. Based on the living noise and the living environment information, the situation information is determined and transmitted to the home social robot. Constructed, there is provided a home social robot control system.
  • the synthesis sensor unit may include two or more of the distance measuring unit, gyro accelerating unit, temperature and humidity measuring unit, illuminance measuring unit, grid-eye unit, and sound measuring unit.
  • the home social robot may include a hub robot and one or more edge robots communicatively connected to the hub robot.
  • the distance measuring unit may include at least one of an infrared measuring device and an ultrasonic measuring device.
  • the sound measurement unit includes a sound sensor and a sound recognizer
  • the sound sensor may be configured to notify the sound recognizer to operate the sound recognizer only when the energy level of the sound is equal to or greater than a predetermined threshold.
  • the acoustic measurement unit may be configured to divide into different time magnitudes for the noise canceled input signal.
  • the acoustic measurement unit to remove the noise primarily by the wavelet transform (Wavelet transform) for the input signal related to the living noise and living environment information, the noise by applying a median filter after the inverse wavelet transform Can be configured to remove secondary.
  • Wavelet transform wavelet transform
  • the management server may be configured to first remove noise by wavelet transforming the input signal, and secondly remove noise by applying a median filter after the inverse wavelet transform.
  • the management server may be configured to extract a feature vector by applying a wavelet transform to the input signal from which the noise is removed, and to classify a sound type based on the extracted feature vector.
  • the situation information may include opening and closing the front door, opening and closing the window, turning on the tap, turning on the stove, turning on the microwave, opening the refrigerator, operating the vacuum cleaner, turning the lights on and off in the house, turning the lights on and off, and moving the people. It may include at least one.
  • the management server may be configured to transmit the situation information to a terminal of a second user or a second home social robot to share life activity information with the user of the home social robot.
  • the management server may instruct at least one of the facial expression and the voice of the robot to at least one of the home social robot and the second home social robot based on the situation information.
  • the management server determines that a dangerous situation occurs based on the situation information
  • the terminal of the second user or the second home social that share the living activity information with the user of the home social robot And send an emergency notification message to the robot.
  • the living noise may include at least one of a washing machine sound, a cleaner sound, a microwave oven sound, a gas stove sound, a keyboard sound, a window opening sound, a water sound, a front door sound, a refrigerator door sound, a visit sound, and a footstep sound. It may include.
  • a method of determining a sound type comprising: receiving living noise and living environment information as an input signal, and removing noise from the input signal And obtaining a feature vector by performing wavelet transform on the signal from which the noise has been removed, and determining the type of sound by applying the feature vector to a machine learning tool.
  • the removing of the noise may be performed by performing a wavelet transform on the input signal to remove the noise first, and performing the inverse wavelet transform on the signal from which the noise is first removed; And applying a median filter to the inverse wavelet transformed signal to remove noise secondarily.
  • the step of obtaining the feature vector may include making the noise canceled signal dyed, and performing a discrete wavelet transform (DTW) on the dyed signal using a multi resolution analysis (MRA) method. And obtaining a second half of the feature vector representing the magnitude of energy for each location section in the time domain, and obtaining the first half of the feature vector representing the magnitude of energy for each bandwidth in the frequency domain. Connecting the first half and the second half of to obtain a final feature vector.
  • DTW discrete wavelet transform
  • MRA multi resolution analysis
  • a method of sharing living noises comprising: a home social robot Receiving the living noise and living environment information, the step of transmitting the living noise and living environment information to the management server via a network, and determining the status information based on the living noise and living environment information And transmitting the contextual information to at least one of a terminal of a second user or a second home social robot to share living activity information with the home social robot and the user of the home social robot.
  • a noise sharing method is provided.
  • the step of receiving the living noise and living environment information comprises the steps of determining whether an input value for the living noise and living environment information is greater than a predetermined threshold value, and if determined to be large, the left and right sound cards Recording at the same time, selecting data of a large energy of the left and right sounds recorded on the sound card as an analysis target, and dividing a sound of the analysis target data into a plurality of different sized data. Can be.
  • the method may further include controlling, by the management server, at least one of a facial expression and a voice of the robot to at least one of the home social robot and the second home social robot based on the situation information. Can be.
  • the management server determines that a dangerous situation occurs based on the situation information
  • a terminal or a second home of a second user who has decided to share living activity information with the user of the home social robot may further include transmitting an emergency notification message to the social robot.
  • a home social robot management system for sharing life activities that recognizes people's daily life activities and takes appropriate measures without violating privacy.
  • the elderly living alone can be applied to an environment where they live alone, it is possible to prevent mistakes such as going out without turning off the gas stove, thereby increasing safety of the elderly and minimizing economic losses.
  • the social isolation problem may be solved by connecting the user with another user through interaction with a social robot capable of social interaction with a person to expand the social connection of the single household.
  • the present disclosure can easily adjust the degree of information sharing selectively according to a user's situation, privacy balancing is possible.
  • FIG. 1 is a diagram illustrating a system environment for controlling a home social robot performed by a management server of a home social robot according to one embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a home social robot according to one embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating the internal components of the synthesis sensor unit according to an embodiment of the present disclosure.
  • FIG. 4 is a conceptual diagram of removing noise and block phenomenon using spatial correlation according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating a two-stage downsampling of an input signal according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating a decomposition of the input signal in the frequency domain according to an embodiment of the present disclosure.
  • FIG. 7 is a flowchart illustrating an operation process of an acoustic measuring unit according to an exemplary embodiment of the present disclosure.
  • FIG. 8 is a flowchart for describing a procedure of controlling, by a controller, a situation analysis of a robot according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating a system environment for controlling a home social robot performed by a management server of a home social robot according to one embodiment of the present disclosure.
  • the system environment 100 for controlling a home social robot may include a management server 110.
  • the management server 110 may be communicatively connected to the home social robot 120 and the plurality of second user terminals 130-1, 130-2, 130-n of the user through the network 140.
  • the network 140 may include an internet network, a mobile communication network (for example, a WCDMA network, a GSM network, a CDMA network, etc.), a wireless internet network (for example, a Wibro network, a Wimax network, etc.). Including but not limited to wired / wireless networks.
  • the home social robot 120 is configured to act as a hub, and one or more edge robots 150-1, 150-2 ... 150-n that are communicatively connected to the home social robot 120. It may further include.
  • the home social robot 120 serving as a hub is installed in the kitchen or living room, and the edge robots 150-1, 150-2 ... 150-n are installed in the bathroom, the bedroom, the porch, and the like. It is possible to monitor almost anywhere in the living room.
  • the management server 110 may be a collocated server, a hosting server, or a cloud server, such as a dedicated server.
  • the management server 110 receives sound from the user's home social robot 120 via the network 140 and stores the sound in a database (not shown) of the management server 110 (eg, washer sound).
  • a database not shown
  • It may be transmitted to the home social robot (not shown) or the terminals 130-1, 130-2, 130-n of the second user. It is possible to adjust the category of the living noise to be shared according to the intimacy of the user and the second user.
  • the living environment information may include information such as temperature, humidity, illuminance of the indoor space.
  • the management server 110 may be stored in a database in the management server 110 for each category by machine learning about the living noise that may occur in the home.
  • the management server 110 may continuously update the frequency of the living noise through the machine learning.
  • the management server 110 may use the machine learning to match the sound from the user's home social robot 120 with a certain category of living noise.
  • the user's terminal (not shown) of the home social robot 120 may communicate with the user through WiFi, Bluetooth, infrared communication, WiMax, and the like. After the user installs an app on the terminal and undergoes user registration (for example, interworking with the user's home social robot 120 and the terminal), the user may control the home social robot 120 through the app.
  • the user's terminal and the plurality of second user terminals 130-1, 130-2,..., 130-n are wireless devices based on various types of handhelds such as laptops, portable terminals such as note pads, and smart phones. Although it may include a communication device, a computer, a server, and the like, which can communicate with other devices through the network 140, the terminal of the user and the plurality of second user terminals 130-1, 130-2,.
  • the type of is not limited to this.
  • the management server 110 detects the living noise from the user's home social robot 120 by the second user terminals 130-1 and 130-2. 130-n), it is possible to transmit the living noise from the home social robot 120 of the user to the home social robot of the second user. Also in another embodiment, to transmit living noise from the user's home social robot 120 to both the second user terminal 130-1, 130-2 ... 130-n and the second user's home social robot. It is also possible.
  • the acoustic measurement unit 244 or the management server 110 performs a wavelet transform on the input signal and removes noise first, and removes the noise by applying a median filter after the inverse wavelet transform. It can be configured to.
  • the management server 110 may be configured to extract a feature vector by applying a wavelet transform to the input signal from which the noise is removed, and to classify a sound type based on the extracted feature vector.
  • the home social robot 120 includes a synthetic sensor unit 240 for receiving living noise and living environment information such as sound, a storage unit 230 for storing the received living noise and living environment information, and living noise and living environment information.
  • a speaker 250 for outputting auditory information about the display a display 260 for outputting visual information about living noise and living environment information, and a subscriber terminal (not shown) and a home social robot through the network 140.
  • the communication unit 220 communicates with the management server 110 of the control unit 210 is connected to the synthesis sensor unit 240, storage unit 230, speaker 250, display 260, and communication unit 220 ).
  • the controller 210 may transmit the living noise and the living environment information to the management server 110 through the network 140.
  • the management server 110 stores the living noise and living environment information database After matching the living noise of the category stored in the home noise (e.g. door opening noise) to the home social robot or terminal of one or more second users to share the living noise with the user send.
  • the operation of matching the living noise and the living environment information with a specific category of the living noise and the living environment information can be performed by using machine learning that is advanced through a large amount of data learning.
  • control unit 210 of the home social robot 120 may be configured to receive the sound information of the second user to share the living noise from the management server 110.
  • the control unit 210 may be configured to receive sound information of a second user who is to share living noise and convert the sound information of the second user as it is, or convert the sound information into a robot sound or a human voice.
  • Synthetic sensor unit 240 is a distance measuring unit 241, temperature and humidity measuring unit 242, illuminance measuring unit 243, sound measuring unit 244, grid-eye unit 245, gyro acceleration unit 246, etc. It includes (see Figure 3).
  • the communication unit 220 may be configured to implement a communication protocol that supports transmission and reception of various information under the control of the control unit 210.
  • the communication protocol may be implemented with appropriate hardware and / or firmware.
  • the communication protocol can include a Transmission Control Protocol / Internet Protocol (TCP / IP) protocol and / or a User Datagram Protocol (UDP) protocol.
  • the communication unit 220 may be implemented with hardware and / or firmware that implements various Radio Access Technologies (RATs) including LTE / LTE-A.
  • RATs Radio Access Technologies
  • the communication unit 220 may be implemented to comply with a wireless communication interface standard such as LTE-Ue.
  • the communication unit 220 may control the management server 110 and the plurality of second user terminals 130-1, 130-2,..., 130-n, and a home social robot (not shown) under the control of the controller 210. Communicate
  • the storage unit 230 may store frequencies of living noise for each category.
  • the storage unit 230 may also store software / firmware and / or data for the operation of the controller 210, and store data input / output.
  • the storage unit 230 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM) Magnetic Memory, Magnetic It may include a storage medium of at least one type of a disk, an optical disk.
  • a flash memory type for example, SD or XD memory
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • Magnetic Memory Magnetic It may include a storage medium of at least one type of a disk, an optical disk.
  • FIG. 3 is a diagram illustrating the internal components of the synthesis sensor unit according to an embodiment of the present disclosure.
  • Synthesis sensor unit 240 for example, distance measuring unit 241, temperature and humidity measuring unit 242, illuminance measuring unit 243, acoustic measuring unit 244, grid-eye unit 245, gyro acceleration unit And a plurality of sensors, such as 246.
  • the distance measuring unit 241 may include, for example, an infrared sensor or an ultrasonic sensor.
  • the distance measuring unit 241 periodically measures the distance of a specific object in front of the robot and stores the measured value. This is necessary for the robot to perceive and react to objects appearing in front of it.
  • Infrared and ultrasonic sensors may use either one, or both.
  • the management server 110 may execute time and IP (Internet). Protocol), robot universally unique identifier (UUID), owner's ID (identification), and distance value.
  • IP Internet
  • the robot 120 stores values in arrays of size N global variables, the stored value being distance.
  • N is a natural number representing the size of the buffer and can be set to 100, 200, or the like. Therefore, old stored values are removed in order as new stored values increase.
  • the distance measuring unit 241 waits for a predetermined time (for example, 5 seconds), and obtains the distance measurement value from the sensor again.
  • Temperature and humidity measurement unit 242 periodically measures the temperature and humidity of the environment in which the robot is located, and stores it. This is necessary for the robot to perceive and react to the comfort of its environment.
  • the management server 110 When measuring the temperature and humidity in the temperature and humidity thread of the temperature and humidity measurement unit 242, and transmits the measured value to the management server 110, the management server 110, time, robot UUID, owner's ID, temperature value and time It stores the robot UUID, owner ID, and humidity value.
  • the robot 120 stores the temperature value in the N-size global variable arrays, and also stores the humidity value in the N-size global variable arrays.
  • N is a natural number representing the size of the buffer and can be set to 100, 200, or the like. Therefore, old stored values are removed in order as new stored values increase.
  • the illuminance measuring unit 243 periodically measures the ambient brightness of the environment where the robot is located and stores it. This is necessary for the robot 120 to perceive and react to whether the lighting of the environment in which the robot 120 is located is on / off.
  • the management server 110 displays time, robot UUID, owner's ID, temperature value, and time. Stores the robot's UUID, owner's ID, and illuminance.
  • the robot 120 stores the illuminance value in the N variable global variable arrays.
  • N is a natural number representing the size of the buffer and can be set to 100, 200, or the like. Therefore, old stored values are removed in order as new stored values increase.
  • the acoustic measurement unit 244 periodically measures the ambient noise of the environment in which the robot 120 is located and stores it.
  • the acoustic measurement unit 244 may include a sound sensor 2441 and a sound recognizer 2442.
  • the sound recognizer 2442 can operate only when the sound sensor 2441 notifies the sound recognizer 2442 about sound recognition. That is, the sound recognizer 2442 does not always operate, but the sound sensor first recognizes that the sound is generated, and the sound recognizer 2442 attempts to recognize the result only when the sound energy is greater than or equal to a predetermined threshold. It is preferable. This is to reduce the system load by not always operating the sound recognizer, which requires very large computational complexity.
  • the gyro acceleration unit 245 may detect vibrations when a person moves and detect movement of a person or falls.
  • the grid-eye unit 246 may detect the presence / movement of a person through a grid-eye using infrared array sensors.
  • the grid-eye unit 246 only detects the presence / movement of a person, and unlike a camera, the grid-eye unit 246 does not generate an image that can identify an individual, and thus does not cause a concern about a person's privacy.
  • the home social robot 120 serving as a hub has all the functions of the synthesis sensor unit 240, but the edge robots 150-1, 150-2. Depending on where it is installed, it may include only some of the functions of the synthesis sensor unit 240.
  • the edge robot installed in the toilet only the acoustic measurement unit 244 and the gyro acceleration unit 245 may be included.
  • only a part of the function of the synthesis sensor unit 240 of the edge robot may be configured to be activated, and includes only the distance measuring unit 241, the acoustic measurement unit 244, and the gyro acceleration unit 245.
  • the part 240 may be manufactured.
  • the synthesis sensor unit 240 can detect the movement of the person in the bathroom (for example, the fall of the person).
  • the synthesis sensor unit 240 may detect the movement of the person (for example, the movement / exit of the person).
  • the function of the acoustic measurement unit 244 will be described in more detail. In particular, the denoising technique and feature vector extraction methodology employed in one embodiment of the present disclosure will be described.
  • the key to noise cancellation is to distinguish between the boundary components of noise and the boundary components of a signal in the wavelet transform domain.
  • the algorithm proposed in the present disclosure should have better performance than all existing noise reduction algorithms, and at the same time, have no large computational complexity.
  • the noise to be removed in the present disclosure aims at an additive white Gaussian as a primary target, but is not limited thereto.
  • the boundary line As [Definition 1], the mathematical model of the boundary line includes a step edge, a roof edge, and a ridge edge. However, in the present disclosure, it is assumed that the boundary line existing in the sound is simply a step edge, and [Definition 1] is introduced.
  • a (x) and a '(x) are wavelet transform results of the pure original signal without noise. It is known that the wavelet transform of a signal is equal to the result of smoothing and then differentiating the signal. That is, a (x) and a '(x) mean the result of smoothing and differentiating a given signal. Thus, all boundary components present in a given signal are represented as Local Modulus Maxima at these a (x) and a '(x).
  • [Definition 1] to derive a set of x that does not belong to the boundary component Same as And for all x Is true, then x satisfying this set is Will be satisfied.
  • O 1 (x) and O 2 (x) can be expressed as [Theorem 3] below.
  • [Theorem 4] and [Theorem 2] described above provide useful information for distinguishing boundary components from noise and block boundary components in the wavelet transform region. Meanwhile, the method for removing noise components and block boundary components in the wavelet transform region by modifying [Theorem 3] can be represented by the following [Coordination 1].
  • O 1 (x) and O 2 (x) are maintained as they are.
  • the circled portion of FIG. 4 represents borderline components but the value falls to zero.
  • O 1 (x) and O 2 (x) are the derivatives of a given signal. Therefore, if we look at the part where the value changed from O 1 (x), O 2 (x) to 0 in the original signal, that is, integrating O 1 (x) and O 2 (x), there is no change in the slope in that part. It makes sense. Therefore, the circled part of FIG. 4 serves as a kind of discontinuity, that is, a step edge when restored to the original signal through the inverse wavelet. And when modeling these discontinuities as noise, the impact noise will be the closest model.
  • Borderline component values smaller than D (x) must also be restored by some amount.
  • the portion indicated by circles is referred.
  • the algorithm implemented in the present disclosure starts at the point where the boundary components are truncated and starts with O 1 (x), O 2 (x) until the slope of the D (x) Profile does not change, i.e. To restore the values.
  • the truncated portion of the borderline component corresponding to the right circle of FIG. 4 is almost completely restored when the algorithm is applied, while the truncated portion of the borderline component corresponding to the left circle is not completely restored. In other words, there is a limit to this restoration method.
  • the median filter is applied to the primary result signal from which the noise and the block phenomenon are removed through the foregoing method.
  • the region to which the median filter is applied may be limited to portions in which the values of O 1 (x) and O 2 (x) are modified to 0, or may be extended to the entire region of the sound.
  • the experimental results confirmed that when the amount of noise or block phenomena inserted into the sound was small, the median filter was applied to the areas where O 1 (x) and O 2 (x) were modified to 0. On the contrary, when the amount of noise inserted in the sound or the degree of block phenomenon is large, a better result can be obtained when the median filter application area is considered as the whole sound.
  • Noise to be removed in this disclosure is additive white Gaussian noise. And this assumption is possible due to the fundamental nature of additive white Gaussian noise. This is because the property of white means that the statistical distribution of wavelet transformed noise component values is tentatively coincident through all domains of x. In other words, if only a part of the pure noise region without boundary lines is reliably included in the wavelet transformed sound, the distribution pattern of the wavelet transform values in the remaining pure noise region is also compared with the wavelet transform values in this specific region. It will have a similar distribution pattern. But another important problem arises. When the orthogonal wavelet filter is used, the noise distribution remains white even after the wavelet transform.
  • the variance difference between each region is used in the wavelet transformed sound of step 2 2 , that is, O 2 (x, y), to find this random pure noise region. This was due to the assumption that the region containing both boundary and noise components was much larger than the region containing purely noise components. Table 1 below shows that this assumption is very valid (for convenience, we used data about images instead of sound).
  • the acoustic measurement unit 244 performs a machine learning function of automatically recognizing and determining what kind of signal this signal is based on the signal from which the noise is removed.
  • a machine learning function of automatically recognizing and determining what kind of signal this signal is based on the signal from which the noise is removed.
  • the neural network is divided into a shallow neural network (SNN) and a deep neural network (DNN).
  • the difference between the SNN and the DNN depends on how many layers of the hidden layer are present.However, in actual theoretical terms, the difference between the SNN and the DNN is that the SNN forms the feature vector to be inserted into the Neural Network's input node and the input.
  • the neural network part that executes the optimization classification is separated, and in the case of the DNN, even the part constituting the feature vector is included in the neural network.
  • the input signal is subjected to a wavelet transform.
  • the wavelet transform can be thought of as a generalized version of the Fourier transform that transforms given time (or spatial) information into frequency information. Whereas the Fourier transform converts time information into all frequency information, wavelet transform maps the given time information into time-frequency space simultaneously. Therefore, the wavelet transform provides spatial information, which is difficult to extract from the conventional Fourier transform, and thus obtains much richer data to interpret the input signal.
  • a method of extracting a feature vector from a signal (eg, a sound) received in the present disclosure is as follows.
  • Diadic means that a number is a power of two. For example, 3, 5, and 9 are not multiples of 2, so they are not diadic, but 2, 4, 8, 16, and 32 are 2 squared, so they are diadic. For 6 and 10, although they are even numbers divided by 2, they are not squared because they are not squared.
  • wavelet transform performs a discrete wavelet transform (DWT) using a multi resolution analysis (MRA) method.
  • DWT discrete wavelet transform
  • MRA multi resolution analysis
  • FIG. 5 is a diagram illustrating a two-stage downsampling process of an input signal according to an embodiment of the present disclosure
  • FIG. 6 is a diagram illustrating a decomposition aspect of the input signal in the frequency domain according to an embodiment of the present disclosure.
  • c j + 1 represents an input signal
  • g ( ⁇ n) represents a high frequency
  • h ( ⁇ n) represents a low frequency
  • a downward arrow represents downsampling.
  • c j + 1 is down-sampled to the d j and c j
  • c j is down-sampled back to d j-1 and j-1 c.
  • C j-1 in FIG. 5 corresponds to ⁇ 0 band which is the lowest frequency band in FIG. 6, d j-1 in FIG. 5 corresponds to ⁇ 0 band in FIG. 6, and c j in FIG. 5 is 6 corresponds to the ⁇ 1 band, and d j in FIG. 5 corresponds to the ⁇ 2 band in FIG. 6.
  • the feature vector of the present disclosure may be divided into a first half and a second half, and the first half expresses the magnitude of energy for each bandwidth in the frequency domain, and the second half expresses the magnitude of energy for each location section in the time domain.
  • the dimension (number of elements) constituting the first half of the dimension of the feature vector is log 2 (N) +1.
  • the size (number) of the input signal is 8
  • the number of first half elements is 4, 16 is 5, and 1024 is 11. In fact, this coincides with the number of bandwidths generated when MRA of an input signal by one difference.
  • the number of elements constituting the second half of the feature vector is the closest number to the number of elements in the first half. For example, if the size (number) of the input signal is 8, the number of second half elements is 4, 16 is 4, and 1024 is 8.
  • the latter half of the vector represents the magnitude of each energy in the time domain, which can be derived during the MRA.
  • the MRA lasts until there is only one element corresponding to the low frequency. During this period, there is a point where the size of the low frequency region coincides with the number of the latter elements. This is because both the magnitude of the input signal and the number of latter elements are diadic.
  • the size of the low frequency region is equal to the number of elements in the latter part of the feature vector, then the smallest value among the low frequency data is obtained. If this value is less than 0, all data are adjusted upward by the absolute value of this value. Make it positive.
  • the next step is to sum up the latter elements and divide each element by this value, which is a kind of normalization. If normalization is not performed, the probability of statistical bias is increased.
  • the total bandwidth plus one equals the number of first half elements in the feature vector.
  • FIG. 7 is a flowchart illustrating an operation process of an acoustic measuring unit according to an exemplary embodiment of the present disclosure.
  • the acoustic measurement unit 244 includes a sound sensor 2441 and a sound recognizer 2442, and the sound recognizer may operate only when the sound sensor 2441 is "on".
  • the sound sensor 2441 measures an input value (S710), and determines whether the input value is larger than a predetermined threshold value (S720). If the input value is less than or equal to the predetermined threshold, the controller waits for a predetermined time (for example, 3 seconds, 5 seconds, 10 seconds, etc.) (S730), and measures the input value again (S710).
  • a predetermined time for example, 3 seconds, 5 seconds, 10 seconds, etc.
  • the left / right sound card is recorded at the same time (S740), and the large energy data among the left / right sounds is selected as the analysis target (S750).
  • S740 the large energy data among the left / right sounds
  • S750 the analysis target
  • voice filtering may be performed as necessary (S760).
  • the present disclosure mainly deals with processing on living noise, the processing of voice signals may be performed in parallel in order to facilitate communication between a user and friends.
  • the input value is divided into data having sizes t1, t2, t3, and the like (S770).
  • the present inventor needs about 5 seconds of time to determine, for example, whether it is a "washing machine” sound, but "cleaner”, “microwave oven”, “gas range”, “keyboard”, “window close”, “water sound” It was found that a time of about 1 second was required to determine whether the sound was a sound of a lamp, and a time of about 0.5 seconds was required to determine whether it was a sound of "front door", “fridge door”, “visit”, and the like.
  • the type of sound is determined based on sound data divided into data having sizes of t1, t2, t3, and the like (S780).
  • FIG. 8 is a flowchart for describing a procedure of controlling, by a controller, a situation analysis of a robot according to an embodiment of the present disclosure.
  • the controller 210 periodically rotates and analyzes the current situation of the robot 120 itself.
  • the information used at this time is the history of the information of the synthesis sensor unit 240 and the type of the recognized sound. Based on this, the robot 120 selects and drives an appropriate motion, facial expression, and language to be performed by itself.
  • the controller thread obtains the latest value and the past value of the history array stored in the global variables for each sensor of the synthesis sensor unit 240 to construct a plurality of input vectors which are global variables (S801).
  • the following 38-dimensional input vector can be configured.
  • Element 2 Current illuminance: 3 levels of dark, appropriate, bright
  • Element 4 Current Distance (Infrared): 3 levels of Far, Apt, Near
  • Element 6 (Ultrasonic) Current Distance: 3 Levels of Far, Apt, Close
  • Element 8 Current temperature: 3 levels of cold, appropriate, and hot
  • Component 9 Humidity Variation: Number of permutations of three of three: wet, moderate, dry
  • Component 10 Current Humidity: Humid, Proper, 3 levels of drying
  • Element 12 Current Washing Machine Sound: 2 Levels of Washing, Not Washing
  • Element 16 Current keyboard sound: two levels of operation, not operation
  • Element 18 Current Microwave Sound: Two Levels of Operation, Non-Operation
  • Element 20 Current stove sound: Operation, non-operation 2 level
  • Element 22 Current window sound: 2 levels of opening and closing, no sound
  • Element 24 Current front door sound: 2 levels of close, no sound
  • Element 26 Current Refrigerator Door Sound: Close, Two Levels of No Sound
  • Component 30 Current “Like” Sound: Level 2 of "Like", “Like”
  • Component 32 Current “No” Sounds: Level 2 of "No", "No"
  • Component 34 Current “Sad” Sounds: Level 2 of "Sad”, "Sad”
  • Component 35 Final time voice prompted washing machine sound
  • Component 36 End Time Voice Prompted Cleaner Sound
  • Component 37 End time voiced keyboard sound
  • Component 38 Final time of voice prompt for microwave sound
  • an output matrix corresponding to the plurality of input vectors is constructed (S802).
  • a 17 * 4 output matrix corresponding to a 38-dimensional input vector is constructed.
  • row values include specific contextual information about a change in conditions, such as ⁇ sound volume change, illuminance change, user distance change, temperature change, humidity change, washing machine sound change, cleaner sound change, keyboard sound change, microwave sound. Change, gas range sound change, window sound change, front door sound change, refrigerator door sound change, wonder change, liking change, dislike change, sad change ⁇ . Voice, friend's robot expression, friend's robot voice ⁇ . This is shown in the table below.
  • the i-th row is selected (S804), and the time, IP, the robot UUID, the owner ID, the energy size, the input vector, the output vector, and the UUIDs of the friend robots are stored in the management server 110 (S805).
  • the output vector is a set sharing activity (S809). For example, when the sound of the "front door" has been recognized and it is determined that the sound is to be shared with the friend robot, the output vector is transmitted to the friend robot's UUID channel (S810).
  • i i + 1 (S812), and determines whether i is greater than N (N is a natural number, for example, "17"). If i is smaller than N (S812), the i-th row is selected (S804).
  • i is larger than N
  • the operation is waited for a predetermined time (for example, 1 second, 3 seconds, 5 seconds, etc.) (S813), and the operation is resumed from step S801.
  • a predetermined time for example, 1 second, 3 seconds, 5 seconds, etc.
  • the management server 100 when the management server 100 determines that a dangerous situation occurs based on the situation information, the management server 100 of the second user who has decided to share living activity information with the user of the home social robot 120. And send an emergency notification message to the terminal or the second home social robot.
  • the situation information may include at least one of opening and closing the door, opening and closing the window, tapping the water, turning on the stove, turning on the microwave, opening the refrigerator, operating the cleaner, turning on and off the lights in the house, turning the TV on and off, and human movement. have.
  • the management server 100 judges based on the status information such as "turning on the gas range” and “opening the front door", opening and closing the front door in the home of the single household elderly-> turning on the gas range-> opening and closing the front door If there is a change in the second home (for example, family, social worker, etc.) and / or your own terminal to decide to share the living activity information with the user by judging that you turned out the gas range in the home and going out An emergency notification message (eg, a mobile phone text message) can be sent.
  • the second home for example, family, social worker, etc.
  • An emergency notification message eg, a mobile phone text message
  • turning on the gas range may be detected by, for example, the acoustic measurement unit 244 and the temperature and humidity measurement unit 242 of the synthesis sensor unit 240, and opening and closing the front door may be performed by the acoustic measurement unit of the synthesis sensor unit 240.
  • the grid-eye unit 245, and the gyro accelerator unit 246 can be detected.
  • the arrangement of the components shown may vary depending on the environment or requirements on which the invention is implemented. For example, some components may be omitted or several components may be integrated and implemented as one. In addition, the arrangement order and connection of some components may be changed.
  • Components of the embodiments of the present disclosure described above may be implemented in hardware, software, firmware, middleware, or a combination thereof, and may be utilized as systems, subsystems, components, or subcomponents thereof. It must be understood. If implemented in software, the elements of the present disclosure may be instructions / code segments for performing the necessary tasks. The program or code segments may be stored in a machine readable medium, a computer program product, such as a processor readable medium. Machine-readable media or processor-readable media can include any medium that can store or transmit information in a form readable and executable by a machine (eg, processor, computer, etc.).

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Marketing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Human Resources & Organizations (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Manipulator (AREA)

Abstract

본 개시에 따르면, 프라이버시를 침해하지 않고 사람들의 일상 생활 활동을 인식하여 적절한 조치를 취해주는 합성 센서 기반의 일상 활동 정보 공유용 홈 소셜 로봇 관리 시스템이 개시된다. 본 개시에서는, 일상생활에서 발생하는 소리를 음향 인식을 하기에 최적의 상태로 분할하여 처리하는 음향 전처리 기술, 생활 활동 상에 편재하는 가산형 화이트 잡음을 효과적으로 제거하는 기술, 전처리된 신호에서 생활 활동 음향을 효과적으로 인식하기 위한 피처 벡터를 추출하는 기술, 추출된 피처 벡터에 머신 러닝을 적용하여 생활 소음 종류를 추출하는 기술 등이 사용된다. 본 개시에 따르면, 특히, 독거 노인이 혼자 거주하시는 환경에 적용하게 되면 음식을 조리하다가 가스 레인지 불을 끄지 않고 외출하는 등의 실수를 방지할 수 있어서 노인 안전을 높여주고 경제적 손실을 최소화할 수 있다.

Description

합성 센서와 상황인식기를 이용하여 생활 소음을 비롯한 각종 센서데이터를 분석하여 일상 활동 정보를 인식하고 공유하는 홈 소셜 로봇 시스템
본 개시는 생활 활동 정보 공유용 홈 소셜 로봇 관리 시스템에 관한 것으로, 구체적으로는 1인 가구의 가정 내 생활 소음을 사용자가 설치한 홈 소셜 로봇을 통해 획득하고 판독하여 다른 사용자들과 공유하는 홈 소셜 로봇 관리 시스템에 관한 것이다.
인구 고령화, 1인 가구의 증가, 개인주의 심화 등 변화하는 현대사회에서의 복잡 다양한 사회 문제를 해결할 수 있는 도구의 하나로 홈 소셜 로봇이 주목받고 있다. 홈 소셜 로봇은 단순히 사람이 하기 힘든 육체적인 일을 대신하는 기존 로봇과 달리 사람과 교감하는 감성 중심의 로봇을 말하며, 사람이 고립감을 느끼지 않도록 도와주는 역할을 한다.
1인 가구는 관계에 피로감을 느끼지만 동시에 외로움을 느끼고 있다고 조사되고 있다. 이러한 사회적 관계의 축소 경향은 사회적 고립을 초래한 원인이 된다. 1인 가구를 중심으로 이들이 겪고 있는 문제점을 살펴보면, 이들 가구는 인간관계에 피로감을 느끼고 있다고 조사된다. 최근 인간관계에서 오는 스트레스로 인해 남과 좋은 관계를 맺기 위해 노력을 쏟기보다는 혼자만의 시간을 즐기기를 더 선호하는 사람들이 늘면서 '관계'와 '권태기'를 합한 '관태기'라는 신조어가 등장했다. 이 단어는 새로운 인간관계에 대한 필요성을 느끼지 못하고 불필요하고 소모적인 인간관계에 염증과 회의를 느끼는 모습을 나타낸다. 이와 같은 관태기의 시대에 대해 전문가들은 사람들과 관계를 맺는 훈련보다는 혼자 사는 데 익숙해진 근현대 사회의 산물이라고 진단했다. 그러나, 그들이 관계에 피로감을 느끼고 자발적으로 1인 가구가 되었다고 해서 외로움을 느끼지 않는 것은 아니다. 1인 가구를 대상으로 한 기존 연구에서 그들이 혼자 살면서 겪는 어려움 중 외로움이 큰 비중을 차지하고 있다고 조사되고 있다.
이러한 1인 가구에서의 문제점을 해결할 수 있는 방안으로 홈 소셜 로봇이 등장하고 있다. 특히 노인의 경우에는 외부에서 노인의 생활 패턴을 모니터링하면서 적절하게 노인에게 피드백을 줌으로써, 노인의 생활에 실질적인 생활 지도가 가능한 홈 소셜 로봇의 필요성이 대두되고 있다.
[선행기술문헌]
1. 한국 공개특허 제10-2008-0011422호
2. 한국 공개특허 제10-2017-7003990호
3. 한국 공개특허 제10-2009-0084267호
4. 미국 등록특허 제8909370호
5. 미국 등록특허 제9288594호
6. 중국 공개특허 제105818165호
본 개시는 1인 가구의 사회적 고립 현상을 해결하기 위해 컴패니언십을 증진시키고자 했으며, 그 방안으로 활동 정보를 공유하는 방법을 고안하였다. 공유할 활동 중 1인 가구의 생활패턴에 가장 적합한 활동은 가정 내 활동으로 보았으나, 집은 가장 사적인 공간이므로 가정 내 활동 정보 공유에는 사생활 침해에 대한 우려가 있을 수 있다. 본 개시에서는 사생활 침해 우려를 줄이기 위한 방법으로 가정 내 활동 정보를 '소셜 로봇'과 '청각'으로 공유하는 점에 주목하였고, 사회적 단서 중 물리적 단서인 '에이전트의 물리적 구현 여부'와 음성적 단서인 '청각인터페이스 유형'을 통해 사생활 침해를 최소화하여 친구에 대한 사회적 연결감, 에이전트에 대한 컴패니언십, 자주 반복하는 실수를 줄일 수 있는 활동 정보 공유 방안에 대해 실험 연구를 통해 도출하고자 했다. 실험 결과, 에이전트가 물리적으로 구현되고 로봇의 목소리로 친구의 활동정보를 전달할 때 친구에 대한 사회적 연결감, 에이전트에 대한 컴패니언십, 친구에 대한 컴패니언십이 가장 높게 나타났다. 실험 연구 결과에 기초하여 가정 내 활동 정보를 청각적으로 알려주는 홈 소셜 로봇을 제작하였다.
본 개시에서는 홈 소셜 로봇의 제작을 위하여, 특히 IoT 시스템의 핵심 인식 모듈인 "합성센서(Synthetic Sensor: 거리 측정 센서, 온습도 측정 센서, 조도 측정 센서, 음향 측정 센서, 그리드-아이 센서, 자이로가속도 센서 등 기존 센서들을 조합하여 센싱 능력을 향상 시킨 센서)"를 통해 사용자 활동을 인식하고 분석하는 인공지능 모듈을 채용하였으며, 이를 통해 가전제품 작동 소리, 현관문 등의 개폐 소리를 인식하여 사용자 활동 패턴 및 상황을 유추할 수 있도록 하였다.
HCI(Human Computer Interaction) 및 HRI(Human Robot Interaction)의 핵심 연구분야 중 하나인 합성센서는 기존 개별 센서의 한계를 넘어서 여러 종류의 센서를 결합하여 효과적이고 경제적인 센싱을 추구한다.
기존 단일 센서에 의한 온-오프식 1차원적 정보 제공에 머무르지 않고 합성센서를 통해 입력되는 다양한 측정값들을 시간대별로 저장하여 이들 전체 집합의 데이터를 기반으로 현재 사용자 상황을 고차원적으로 분석하여 사용자에 대한 종합적인 활동 분석 정보를 제공함에 있어 본 개시는 독창성을 보유하고 있으며, 기존 센서 네트워크 시스템과 차별점이 있다.
본 개시가 해결하고자 하는 과제는 이상에서 언급한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 측면에서, 생활 활동 공유용 홈 소셜 로봇 관리 시스템으로서, 복수의 홈 소셜 로봇과 상기 홈 소셜 로봇과 통신 가능하게 연결된 관리 서버를 포함하고, 상기 홈 소셜 로봇은 생활 소음 및 생활 환경 정보를 수신하는 합성센서부와, 홈 소셜 로봇의 상태를 사운드로 출력하는 스피커와, 상기 홈 소셜 로봇의 상태를 이미지로 출력하는 디스플레이와, 네트워크를 통해 홈 소셜 로봇의 관리 서버와 통신하는 통신부와, 상기 합성센서부, 상기 스피커, 상기 디스플레이, 및 상기 통신부와 연결되는 제어부를 포함하고, 상기 제어부는 상기 합성센서부에서 얻은 상기 생활 소음 및 생활 환경 정보를 상기 관리 서버로 전송하고, 상기 관리 서버는 상기 생활 소음 및 생활 환경 정보에 기초하여 상황 정보를 판별하여 상기 홈 소셜 로봇으로 전송하도록 구성된, 홈 소셜 로봇 관리 시스템이 제공된다.
일 실시예에서, 상기 합성센서부는 거리 측정부, 자이로가속도부, 온습도 측정부, 조도 측정부, 그리드-아이부, 및 음향 측정부 중 둘 이상을 포함할 수 있다.
일 실시예에서, 상기 홈 소셜 로봇은 허브 로봇과 상기 허브 로봇과 통신 가능하게 연결되는 하나 이상의 에지 로봇을 포함할 수 있다.
일 실시예에서, 상기 거리 측정부는 적외선 측정기 및 초음파 측정기 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 음향 측정부는 사운드 센서 및 사운드 인식기를 포함하고, 상기 사운드 센서는 소리의 에너지 크기가 미리 결정된 임계값 이상일 경우에만 상기 사운드 인식기가 동작하도록 상기 사운드 인식기에게 통보하도록 구성될 수 있다.
일 실시예에서, 상기 음향 측정부는 상기 잡음이 제거된 입력 신호에 대해 상이한 시간 크기로 분할하도록 구성될 수 있다.
일 실시예에서, 상기 음향 측정부는 상기 생활 소음 및 생활 환경 정보에 관한 입력 신호에 대해 웨이블릿 변환(Wavelet transform)하여 잡음을 1차적으로 제거하고, 인버스 웨이블릿 변환 후 메디안(Median) 필터를 적용하여 잡음을 2차적으로 제거하도록 구성될 수 있다.
일 실시예에서, 상기 관리 서버는 입력 신호에 대해 웨이블릿 변환하여 잡음을 1차적으로 제거하고, 인버스 웨이블릿 변환 후 메디안 필터를 적용하여 잡음을 2차적으로 제거하도록 구성될 수 있다.
일 실시예에서, 상기 관리 서버는 잡음이 제거된 입력 신호에 대해 웨이블릿 변환을 적용하여 피처 벡터(feature vector)를 추출하고, 추출된 상기 피처 벡터에 기초하여 음향 종류를 구분하도록 구성될 수 있다.
일 실시예에서, 상기 상황 정보는 현관문 개폐, 창문 개폐, 수돗물 틀기, 가스레인지 켜기, 전자레이지 켜기, 냉장고 문열기, 청소기 작동하기, 집안 내의 전등 키고 끄기, TV 키고 끄기, 및 사람의 움직임 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 관리 서버는 상기 상황 정보를 상기 홈 소셜 로봇의 사용자와 생활 활동 정보를 서로 공유하기로 한 제2 사용자의 단말기 또는 제2 홈 소셜 로봇에게 전송하도록 구성될 수 있다.
일 실시예에서, 상기 관리 서버는 상기 상황 정보에 기초하여 상기 홈 소셜 로봇 및 제2 홈 소셜 로봇 중 적어도 하나에 대해, 로봇의 표정 및 음성 중 적어도 하나를 표시하도록 명령할 수 있다.
일 실시예에서, 상기 관리 서버는 상기 상황 정보에 기초하여 위험 상황이 발생했다고 판단하는 경우, 상기 홈 소셜 로봇의 사용자와 생활 활동 정보를 서로 공유하기로 한 제2 사용자의 단말기 또는 제2 홈 소셜 로봇에게 긴급 알림 메시지를 전송하도록 구성될 수 있다.
일 실시예에서, 상기 생활 소음은, 세탁기 소리, 청소기 소리, 전자레인지 소리, 가스레인지 소리, 키보드 소리, 창문여닫기 소리, 물소리, 현관문 소리, 냉장고문 소리, 방문 소리, 발자국 소리 중 적어도 하나를 포함할 수 있다.
본 개시의 다른 측면에서, 생활 활동 공유용 홈 소셜 로봇 관리 시스템에서, 음향 종류를 판별하는 방법으로서, 생활 소음 및 생활 환경 정보를 입력 신호로 수신하는 단계와, 상기 입력 신호에서 잡음을 제거하는 단계와, 잡음을 제거한 신호에 대해 웨이블릿 변환을 수행하여 피처 벡터(feature vector)를 구하는 단계와, 상기 피처 벡터를 머신 러닝 툴에 적용하여 음향의 종류를 판별하는 단계를 포함하는, 음향 종류 판별 방법이 제공된다.
일 실시예에서, 상기 잡음을 제거하는 단계는 상기 입력 신호에 대해 웨이블릿 변환을 수행하여 1차적으로 잡음을 제거하는 단계와, 1차적으로 잡음을 제거한 신호에 대해, 인버스 웨이블릿 변환하는 단계와, 상기 인버스 웨이블릿 변환된 신호에 대해 메디안(Median) 필터를 적용하여 잡음을 2차적으로 제거하는 단계를 포함할 수 있다.
일 실시예에서, 상기 피처 벡터를 구하는 단계는 상기 잡음을 제거한 신호를 다이아딕(Dyadic)하게 만드는 단계와, 다이아딕하게 된 신호를 MRA(Multi Resolution Analysis) 방식으로 DTW(Discrete Wavelet Transform)하는 단계와, 시간 영역에서 각 위치 구간에 대한 에너지의 크기를 나타내는 상기 피처 벡터의 후반부를 구하는 단계와, 주파수 영역에서 각 대역폭에 대한 에너지의 크기를 나타내는 상기 피처 벡터의 전반부를 구하는 단계와, 상기 피처 벡터의 전반부 및 후반부를 연결하여 최종 피처 벡터를 얻는 단계를 포함할 수 있다.
본 개시의 또 다른 측면에서, 복수의 홈 소셜 로봇과 상기 홈 소셜 로봇과 통신 가능하게 연결된 관리 서버를 포함하는 생활 활동 공유용 홈 소셜 로봇 관리 시스템에서, 생활 소음을 공유하는 방법으로서, 홈 소셜 로봇에서, 생활 소음 및 생활 환경 정보를 수신하는 단계와, 네트워크를 통해 상기 생활 소음 및 생활 환경 정보를 상기 관리 서버로 전송하는 단계와, 상기 생활 소음 및 생활 환경 정보에 기초하여 상황 정보를 판별하는 단계와, 상기 상황 정보를 상기 홈 소셜 로봇 및 상기 홈 소셜 로봇의 사용자와 생활 활동 정보를 서로 공유하기로 한 제2 사용자의 단말기 또는 제2 홈 소셜 로봇 중 적어도 하나에게 전송하는 단계를 포함하는, 생활 소음 공유 방법이 제공된다.
일 실시예에서, 상기 생활 소음 및 생활 환경 정보를 수신하는 단계는, 상기 생활 소음 및 생활 환경 정보에 관한 입력값이 미리 결정된 임계값보다 큰지 결정하는 단계와, 크다고 결정된 경우, 좌측 및 우측 사운드 카드로 동시에 녹음하는 단계와, 상기 사운드 카드에 녹음된 좌측 및 우측 사운드 중 큰 에너지의 데이터를 분석 대상으로 선택하는 단계와, 분석 대상 데이터의 사운드를 복수의 상이한 크기의 데이터로 분할하는 단계를 포함할 수 있다.
일 실시예에서, 상기 관리 서버에서, 상기 상황 정보에 기초하여 상기 홈 소셜 로봇 및 제2 홈 소셜 로봇 중 적어도 하나에 대해, 로봇의 표정 및 음성 중 적어도 하나를 표시하도록 제어하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 관리 서버에서, 상기 상황 정보에 기초하여 위험 상황이 발생했다고 판단하는 경우, 상기 홈 소셜 로봇의 사용자와 생활 활동 정보를 서로 공유하기로 한 제2 사용자의 단말기 또는 제2 홈 소셜 로봇에게 긴급 알림 메시지를 전송하는 단계를 더 포함할 수 있다.
개시된 일 실시예에 따르면, 프라이버시를 침해하지 않고 사람들의 일상 생활 활동을 인식하여 적절한 조치를 취해주는 생활 활동 공유용 홈 소셜 로봇 관리 시스템을 제공할 수 있다. 또한, 개시된 일 실시예에 따르면, 독거 노인이 혼자 거주하시는 환경에 적용하게 되면 가스 레인지 불을 끄지 않고 외출하는 등의 실수를 방지할 수 있어서 노인 안전을 높여주고 경제적 손실을 최소화할 수 있다. 또한, 개시된 일 실시예에 따르면, 사람과 사회적 교감이 가능한 소셜 로봇과의 상호작용을 통해 사용자와 다른 사용자를 연결하여 1인 가구의 사회적 연결감을 확장함으로써 사회적 고립 문제를 해결할 수 있다.
또한, 개시된 일 실시예에 따르면, 본 개시는 사용자의 상황에 따라서 선택적으로 정보 공유의 정도를 손쉽게 조절할 수 있으므로 프라이버시 밸런스(privacy balancing)가 가능하다.
또한, 개시된 일 실시예에 따르면, 합성센서를 채용함으로써, 디바이스 마다 칩을 설치함으로써 발생하는 비용 상승, 배터리/전원 공급 등의 문제점들을 해결하고 있다.
도 1은 본 개시의 일 실시예에 따른, 홈 소셜 로봇의 관리 서버에 의해 수행되는 홈 소셜 로봇 제어를 위한 시스템 환경을 나타낸 도면이다.
도 2는 본 개시의 일 실시예에 따른 홈 소셜 로봇의 구성 블록도이다.
도 3은 본 개시의 일 실시예에 따른 합성센서부의 내부 구성요소를 나타낸 도면이다.
도 4는 본 개시의 일 실시예에 따른 공간 상관관계를 이용한 잡음 및 블록현상 제거 개념도이다.
도 5는 본 개시의 일 실시예에 따른 입력 신호의 2단계 다운샘플링하는 과정을 나타낸 도면이다.
도 6은 본 개시의 일 실시예에 따른 주파수 영역에서 본 입력신호의 분해 양상을 나타낸 도면이다.
도 7은 본 개시의 일 실시예에 따른, 음향 측정부의 동작 과정에 관한 흐름도이다.
도 8는 본 개시의 일 실시예에 따라 제어부가 로봇의 상황 분석(circumstance analyzing)을 제어하는 절차에 관해 설명하기 위한 흐름도이다.
본 개시의 이점들과 특징들 그리고 이들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해 질 것이다. 그러나 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 본 실시예들은 단지 본 개시의 개시가 완전하도록 하며 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려 주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로 본 개시를 한정하려는 의도에서 사용된 것이 아니다. 예를 들어, 단수로 표현된 구성 요소는 문맥상 명백하게 단수만을 의미하지 않는다면 복수의 구성 요소를 포함하는 개념으로 이해되어야 한다. 또한, 본 개시의 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐이고, 이러한 용어의 사용에 의해 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성이 배제되는 것은 아니다. 또한, 본 명세서에 기재된 실시예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하는 기능적 부분을 의미할 수 있다.
덧붙여, 다르게 정의되지 않는 한 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 개시의 명세서에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면들을 참조하여 본 개시의 실시예들을 보다 상세히 설명한다. 다만, 이하의 설명에서는 본 개시의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다.
도 1은 본 개시의 일 실시예에 따른, 홈 소셜 로봇의 관리 서버에 의해 수행되는 홈 소셜 로봇 제어를 위한 시스템 환경을 나타낸 도면이다.
도 1을 참조하면, 본 개시의 일 실시예에 따른 홈 소셜 로봇 제어를 위한 시스템 환경(100)은 관리 서버(110)를 포함할 수 있다. 관리 서버(110)는 네트워크(140)를 통해 사용자의 홈 소셜 로봇(120) 및 복수의 제2 사용자 단말기(130-1, 130-2 ... 130-n)와 통신 가능하게 연결될 수 있다. 여기서, 네트워크(140)는 인터넷 망, 이동 통신망(예를 들면, WCDMA 망, GSM 망, CDMA 망 등), 무선 인터넷 망(예를 들면, 와이브로(Wibro), 와이맥스(Wimax) 망 등) 등의 유/무선 네트워크를 포함하지만 이에 한정되는 것은 아니다.
일 실시예에서, 홈 소셜 로봇(120)은 허브 역할을 하도록 구성하고, 홈 소셜 로봇(120)과 통신 가능하게 연결되는 하나 이상의 에지 로봇(150-1, 150-2 ... 150-n)을 더 포함할 수 있다. 예를 들어 허브 역할을 하는 홈 소셜 로봇(120)은 주방이나 거실에 설치하고, 에지 로봇(150-1, 150-2 ... 150-n)은 화장실, 침실, 현관 등에 설치함으로써, 사용자가 거주하는 실내의 거의 모든 곳의 모니터링하는 것이 가능하다.
일 실시예에서, 관리 서버(110)는 전용 서버(dedicated server)와 같은 코로케이티드 서버(collocated server), 호스팅 서버 또는 클라우드 서버(cloud server)일 수 있다. 관리 서버(110)는 네트워크(140)를 통해 사용자의 홈 소셜 로봇(120)으로부터 음향을 수신하고, 음향을 관리 서버(110)의 데이터베이스(도시하지 않음)에 저장되어 있는 카테고리(예: 세탁기 소리, 청소기 소리, 전자레인지 소리, 가스레인지 소리, 키보드 소리, 창문여닫기 소리, 물소리, 현관문 소리, 냉장고문 소리, 방문 소리, 발자국 소리 등)의 생활 소음과 매칭시켜, 매칭된 카테고리의 생활 소음을 제2 사용자의 홈 소셜 로봇(도시하지 않음) 또는 단말기(130-1, 130-2 ... 130-n)로 전송할 수 있다. 사용자 및 제2 사용자의 친밀도에 따라 공유하고자 하는 생활 소음의 카테고리를 조정하는 것이 가능하다. 상기 생활 환경 정보는 실내 공간의 온도, 습도, 조도 등의 정보를 포함할 수 있다.
관리 서버(110)는 가정에서 일어날 수 있는 생활 소음에 대해 머신 러닝을 통해 카테고리별로 관리 서버(110) 내의 데이터베이스에 저장하여 둘 수 있다. 관리 서버(110)는 머신 러닝을 통하여 생활 소음의 주파수를 지속적으로 업데이트해 나갈 수 있다. 또한, 관리 서버(110)는 머신 러닝을 이용하여 사용자의 홈 소셜 로봇(120)으로부터의 음향을 특정 카테고리의 생활 소음과 매칭시키는 것이 가능하다.
도시하지는 않았지만, 사용자의 홈 소셜 로봇(120)의 사용자의 단말기(도시하지 않음)와 WiFi, 블루투스, 적외선 통신, WiMax 등을 통해 통신 가능하다. 사용자는 단말기에 앱을 설치하고 사용자 등록(예를 들어, 사용자의 홈 소셜 로봇(120)과 단말기의 연동 등)을 거친 후, 앱을 통해 홈 소셜 로봇(120)을 제어하는 것이 가능하다.
사용자의 단말기 및 복수의 제2 사용자 단말기(130-1, 130-2 ... 130-n)는 노트북, 노트 패드 등의 휴대용 단말기, 스마트 폰 등과 같은 다양한 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와, 네트워크(140)를 통해 다른 장치와 통신 가능한 컴퓨터, 서버 등을 포함할 수 있으나, 사용자의 단말기 및 복수의 제2 사용자 단말기(130-1, 130-2 ... 130-n)의 종류가 이에 제한되는 것은 아니다.
도시하지는 않았지만, 만약 제2 사용자도 홈 소셜 로봇을 설치한 경우에는, 관리 서버(110)가 사용자의 홈 소셜 로봇(120)으로부터의 생활 소음을 제2 사용자 단말기(130-1, 130-2 ... 130-n)로 전송하는 것 대신에, 제2 사용자의 홈 소셜 로봇으로 사용자의 홈 소셜 로봇(120)으로부터의 생활 소음을 전송하는 것이 가능하다. 또한 다른 실시예에서, 제2 사용자 단말기(130-1, 130-2 ... 130-n) 및 제2 사용자의 홈 소셜 로봇 모두에 사용자의 홈 소셜 로봇(120)으로부터의 생활 소음을 전송하는 것도 가능하다.
음향 측정부(244) 또는 관리 서버(110)는 입력 신호에 대해 웨이블릿 변환(Wavelet transform)하고 잡음을 1차적으로 제거하고, 인버스 웨이블릿 변환 후 메디안(Median) 필터를 적용하여 잡음을 2차적으로 제거하도록 구성될 수 있다. 또한, 관리 서버(110)는 잡음이 제거된 입력 신호에 대해 웨이블릿 변환을 적용하여 피처 벡터(feature vector)를 추출하고, 추출된 상기 피처 벡터에 기초하여 음향 종류를 구분하도록 구성될 수 있다.
도 2는 본 개시의 일 실시예에 따른 홈 소셜 로봇의 구성 블록도이다. 홈 소셜 로봇(120)은 음향 등 생활 소음 및 생활 환경 정보를 수신하는 합성센서부(240)와, 수신한 생활 소음 및 생활 환경 정보를 저장하는 저장부(230)와, 생활 소음 및 생활 환경 정보에 관한 청각 정보를 출력하는 스피커(250)와, 생활 소음 및 생활 환경 정보에 관한 시각 정보를 출력하는 디스플레이(260)와, 네트워크(140)를 통해 가입자의 단말기(도시하지 않음) 및 홈 소셜 로봇의 관리 서버(110)와 통신하는 통신부(220)와, 상기 합성센서부(240), 저장부(230), 스피커(250), 디스플레이(260), 및 통신부(220)와 연결되는 제어부(210)를 포함한다.
제어부(210)는 생활 소음 및 생활 환경 정보를 네트워크(140)를 통해 관리 서버(110)로 전송할 수 있다. 일 실시예에서, 제어부(210)가 합성센서부(240)를 통해 수신한 생활 소음 및 생활 환경 정보를 관리 서버(110)로 전송하면, 관리 서버(110)가 생활 소음 및 생활 환경 정보를 데이터베이스에 저장되어 있는 카테고리의 생활 소음과 매칭시킨 후, 매칭된 카테고리의 생활 소음(예: 현관문 여는 소음)을 상기 사용자와 생활 소음을 공유하기로 한 하나 이상의 제2 사용자의 홈 소셜 로봇 또는 단말기로 전송한다. 이러한 생활 소음 및 생활 환경 정보와 특정 카테고리의 생활 소음 및 생활 환경 정보를 매칭시키는 작업은 다량의 데이터 학습을 통해 고도화되는 머신 러닝을 이용하여 수행하는 것이 가능하다.
일 실시예에서, 홈 소셜 로봇(120)의 제어부(210)는 관리 서버(110)로부터 생활 소음을 공유하기로 한 제2 사용자의 음향 정보를 수신하도록 구성될 수 있다. 제어부(210)는 생활 소음을 공유하기로 한 제2 사용자의 음향 정보를 수신하여 상기 제2 사용자의 음향 정보를 그대로 또는 로봇 소리나 사람의 음성으로 변환하여 출력하도록 구성될 수 있다.
합성센서부(240)는 거리 측정부(241), 온습도 측정부(242), 조도 측정부(243), 음향 측정부(244), 그리드-아이부(245), 자이로가속도부(246) 등을 포함한다(도 3 참조).
통신부(220)는 제어부(210)의 제어에 따라 다양한 정보를 송수신할 수 있도록 지원하는 통신 프로토콜을 구현하도록 구성될 수 있다. 이 경우, 통신 프로토콜은 적절한 하드웨어 및/또는 펌웨어로 구현될 수 있다. 몇몇 구현예에서, 통신 프로토콜은 TCP/IP(Transmission Control Protocol/Internet Protocol) 프로토콜 및/또는 UDP(User Datagram Protocol) 프로토콜을 포함할 수 있다. 통신부(220)는 LTE/LTE-A를 비롯한 다양한 RAT들(Radio Access Technologies)을 구현하는 하드웨어 및/또는 펌웨어로 구현될 수 있다. 몇몇 구현예에서, 통신부(220)는 LTE-Ue와 같은 무선통신 인터페이스 규격을 따르도록 구현될 수 있다. 통신부(220)는 제어부(210)의 제어에 따라 관리 서버(110) 및 복수의 제2 사용자 단말기(130-1, 130-2 ... 130-n) 및 홈 소셜 로봇(도시하지 않음)과 통신한다.
저장부(230)는 생활 소음의 주파수를 카테고리 별로 저장할 수 있다. 저장부(230)는 또한 제어부(210)의 동작을 위한 소프트웨어/펌웨어 및/또는 데이터를 저장할 수 있고, 입/출력되는 데이터 등도 저장할 수 있다.
저장부(230)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장 매체를 포함할 수 있다.
도 3은 본 개시의 일 실시예에 따른 합성센서부의 내부 구성요소를 나타낸 도면이다.
합성센서부(240)는 예를 들어, 거리 측정부(241), 온습도 측정부(242), 조도 측정부(243), 음향 측정부(244), 그리드-아이부(245), 자이로가속도부(246) 등의 복수의 센서를 포함할 수 있다.
거리 측정부(241)는 예를 들어, 적외선 센서, 초음파 센서 등을 포함할 수 있다. 거리 측정부(241)는 로봇 앞에 특정 물체의 거리를 주기적으로 측정해서, 측정 값을 저장해 둔다. 이는 로봇이 자신의 앞에 나타나는 물체에 대해서 지각하고 반응하기 위해서 필요하다. 적외선 센서와 초음파 센서는 둘 중 하나만 사용해도 되고, 둘다 사용해도 된다.
거리 측정부(241)의 거리 측정 쓰레드(thread)에서 적외선/초음파 센서에서 거리 측정값을 획득하고, 그 측정값을 관리 서버(110)로 전송하면, 관리 서버(110)는 시간, IP(Internet Protocol), 로봇 UUID(universally unique identifier), 주인의 ID(identification), 거리값을 저장한다.
로봇(120)은 N 크기의 전역변수 배열들에 값을 저장하며, 저장값은 거리이다. N은 버퍼의 크기를 나타내는 자연수로서 예를 들어 100, 200 등으로 정할 수 있다. 따라서, 오래된 저장값은 새로운 저장값이 많아지면 순서대로 제거된다.
거리 측정부(241) 일정 시간(예: 5초)만큼 대기하고, 다시 센서에서 거리 측정값을 획득한다.
온습도 측정부(242)는 로봇이 위치한 환경의 온도와 습도를 주기적으로 측정해서, 이를 저장해 둔다. 이는 로봇이 자신이 위치한 환경의 쾌적함 여부를 지각하고 반응하기 위해서 필요하다.
온습도 측정부(242)의 온습도 쓰레드에서 온도 및 습도를 측정하고, 그 측정값을 관리 서버(110)로 전송하면, 관리 서버(110)는 시간, 로봇 UUID, 주인의 ID, 온도값과, 시간, 로봇 UUID, 주인의 ID, 습도값을 저장한다.
로봇(120)은 N 크기의 전역변수 배열들에 온도 값을 저장하고, 또한, N 크기의 전역변수 배열들에 습도 값을 저장한다. N은 버퍼의 크기를 나타내는 자연수로서 예를 들어 100, 200 등으로 정할 수 있다. 따라서, 오래된 저장값은 새로운 저장값이 많아지면 순서대로 제거된다.
조도 측정부(243)는 로봇이 위치한 환경의 주변 밝기를 주기적으로 측정해서, 이를 저장해 둔다. 이는 로봇(120)이 자신이 위치한 환경의 조명이 온/오프 되어 있는 지를 지각하고 반응하기 위해서 필요하다.
조도 측정부(243)의 조도 쓰레드에서 온도 및 습도를 측정하고, 그 측정값을 관리 서버(110)로 전송하면, 관리 서버(110)는 시간, 로봇 UUID, 주인의 ID, 온도값과, 시간, 로봇 UUID, 주인의 ID, 조도값을 저장한다.
로봇(120)은 N 크기의 전역변수 배열들에 조도 값을 저장한다. N은 버퍼의 크기를 나타내는 자연수로서 예를 들어 100, 200 등으로 정할 수 있다. 따라서, 오래된 저장값은 새로운 저장값이 많아지면 순서대로 제거된다.
음향 측정부(244)는 로봇(120)이 위치한 환경의 주변 소음을 주기적으로 측정해서, 이를 저장해 둔다. 음향 측정부(244)는 사운드 센서(2441) 및 사운드 인식기(2442)을 포함할 수 있다. 사운드 센서(2441)가 사운드 인식에 관하여 사운드 인식기(2442)로 통보하는 경우에만, 사운드 인식기(2442)가 동작할 수 있다. 즉 항상 사운드 인식기가 동작하는 것이 아니라, 사운드 센서에서 소리가 발생함을 먼저 인식하고, 소리의 에너지 크기가 미리 결정된 임계값 이상일 경우에만 그 결과를 통보해 주어야만 사운드 인식기(2442)가 인식을 시도하는 것이 바람직하다. 이는 매우 큰 계산 복잡도를 요구하는 사운드 인식기를 상시 가동하지 않도록 하여 시스템 부하를 줄이기 위한 조치이다.
자이로가속도부(245)는 사람의 움직일 때의 진동을 감지하여, 사람의 이동, 낙상 등을 검출할 수 있다.
그리드-아이부(246)는 적외선 배열 센서들을 이용한 그리드-아이(Grid-eye)를 통해 사람의 존재/이동을 검출할 수 있다. 그리드-아이부(246)는 사람의 존재/이동만을 검출할 뿐, 카메라와 달리 개인을 식별할 수 있는 이미지 촬영을 할 수 없으므로 사람의 사생활 침해의 우려는 일으키지 않는다.
예를 들어, 허브 역할을 하는 홈 소셜 로봇(120)은 합성센서부(240)의 모든 기능을 구비하고 있는 것이 바람직하지만, 에지 로봇(150-1, 150-2 ... 150-n)은 설치되는 장소에 따라 합성센서부(240)의 일부 기능만을 포함하여도 좋다. 예를 들어, 화장실에 설치되는 에지 로봇의 경우에는 음향 측정부(244) 및 자이로가속도부(245) 정도만 포함하여도 좋다. 이 경우, 에지 로봇의 합성센서부(240)의 일부 기능만을 활성화시키도록 구성하여도 좋고, 거리 측정부(241), 음향 측정부(244) 및 자이로가속도부(245) 정도만 포함하여 별도로 합성센서부(240)를 제작하여도 좋다. 이러한 합성센서부(240)의 경우 화장실에서의 사람의 움직임(예를 들어, 사람의 낙상)을 검출해 낼 수 있다.
또 예를 들어, 현관문에 설치되는 에지 로봇의 경우에는 거리 측정부(241), 음향 측정부(244), 그리드-아이부(245), 및 자이로가속도부(245) 정도만 포함하여도 좋다. 이 경우, 합성센서부(240)는 사람의 움직임(예를 들어, 사람의 이동/출입 등)을 검출할 수 있다.
음향 측정부(244)의 기능에 대해 좀 더 구체적으로 설명하기로 한다. 특히, 본 개시의 일 실시예에 채용된, 잡음제거(denoising) 기술과 피처 벡터(feature vector) 추출 방법론에 대해 설명하기로 한다.
잡음제거(denoising) 기술
I. 이미지(Image)(2차원 신호)와 사운드(Sound)(1차원 신호) 모두에서 동작하는 잡음제거(Denoising) 기술
잡음제거의 핵심은 웨이블릿 변환 영역에서 잡음의 경계선 성분들과 신호의 경계선 성분들을 구별하는데 있다. 잡음제거라는 문제의 측면에서 바라보면 본 개시에서 제안하는 알고리즘은 기존의 모든 잡음제거 알고리즘들 보다 그 성능이 뛰어나야 하고 동시에 계산복잡도(Computational Complexity)도 크지 않아야 한다. 특히 본 개시에서 제거하고자 하는 잡음은 가산성 백색 가우시안(Additive White Gaussian)을 1차 목표로 하지만 이에 한정하지 않고, 모든 잡음을 그 대상으로 한다.
따라서 본 개시에서 이론의 전개를 위하여 다루려고 하는 잡음은 그 종류를 가산성(Additive)으로만 한정하려고 하는데, 이는 본 개시의 목표들을 고려할 때 합리적이고 적적한 선택이라고 생각된다.
1.1. 공간 상관관계(Spatial Correlation)에 대한 해석
지금부터의 논의를 위한 기본적인 기호에 대한 정의는 다음과 같다. 그리고, 편의상 1차원 신호에 대하여 이론을 전개하겠다는 것을 미리 밝혀 둔다. 이 장에서 f(x)는 어떠한 잡음도 존재하지 않는 순수한 원래 신호를 의미하고, n(x)는 이 신호에 삽입될 Additive 잡음을 의미한다. 따라서 I(x) = f(x) + n(x)는 본 개시의 잡음제거에 사용될 입력신호이다. 그리고 O(x)는 이 입력신호의 웨이블릿 변환된 결과를 의미한다. 한편 a(x), b(x), a'(x), b'(x)는 각각 (1-1)식과 (1-2)식에 의하여 정의된다.
Figure PCTKR2017013401-appb-I000001
(1-1)
Figure PCTKR2017013401-appb-I000002
(1-2)
그리고 입력신호를 웨이블릿 변환한 다음, 그 결과값들의 크기 분포가 0~255를 만족하도록 다음의 (1-3)식과 (1-4)식을 이용하여 변환한다.
Figure PCTKR2017013401-appb-I000003
(1-3)
Figure PCTKR2017013401-appb-I000004
(1-4)
이제 다음의 [정의 1]과 같이 경계선을 정의한다. 사실 경계선의 수학적인 모델로는 계단 경계선(Step Edge), 지붕 경계선(Roof Edge), 그리고 이랑 경계선(Ridge Edge)등이 존재한다. 그러나 본 개시에서는 음향에 존재하는 경계선을 단순히 계단 경계선(Step Edge)으로 가정하고 [정의 1]을 도입하였다.
[정의 2]
x=x0에서의 국부 계수 최대치(Local Modulus Maximum)
Figure PCTKR2017013401-appb-I000005
이 0이나 양의 립시츠 규칙성(Lipschitz Regularity)를 가지고, 더 큰 스케일(s)에 대해서도 0이나 양의 립시츠 규칙성(Lipschitz Regularity)를 가질 때,
Figure PCTKR2017013401-appb-I000006
를 웨이블릿 변환된 영역에서의 경계선 성분으로 정의한다.
이 [정의 1]을 이용하면 다음의 유용한 [정리 1]을 쉽게 유도할 수 있다.
[정리 1]
Figure PCTKR2017013401-appb-I000007
[증명]
(1-1)과 (1-2)식에 의하면 a(x)와 a'(x)는 잡음이 삽입되지 않은 순수한 원래 신호의 웨이블릿 변환 결과들이다. 그리고 신호의 웨이블릿 변환은 그 신호를 평활화(Smoothing)한 다음 미분한 결과와 동일하다는 것이 알려져 있다. 즉, a(x)와 a'(x)는 주어진 신호를 평활화하고 미분한 결과를 의미한다. 따라서 주어진 신호에 존재하는 경계선 성분들은 모두 이 a(x)와 a'(x)에서 국부 계수 최대치(Local Modulus Maxima)들로 나타난다. 한편 이 경우에 대하여 [정의 1]을 적용해서 경계선 성분에 속하지 않는 x의 집합을 유도하면
Figure PCTKR2017013401-appb-I000008
과 같다. 그리고 모든 x에 대하여
Figure PCTKR2017013401-appb-I000009
가 성립되므로 결국 이 집합을 만족하는 x는
Figure PCTKR2017013401-appb-I000010
을 만족하게 된다.
일반적으로, 주어진 음향 내에서 경계선 성분들이 차지하는 면적은 경계선 성분들에 해당되지 않는 부분들의 면적에 비하여 아주 작다. 따라서, 이러한 경계선 성분들의 영역에 잡음이 삽입될 확률은 경계선 성분들이 아닌 영역에 잡음이 삽입될 확률에 비하여 아주 낮다고 할 수 있다. 그러므로, 다음의 [가정 1]을 자연스럽게 도입할 수 있다. 이 [가정 1]은 웨이블릿 변환된 영역의 경계선 성분들에는 잡음이 존재하지 않는다는 의미이다.
[가정 1]
Figure PCTKR2017013401-appb-I000011
다음으로 본 개시에서는 Spatial Correlation D(x)를 다음과 같이 정의한다.
[정의 2]
Figure PCTKR2017013401-appb-I000012
그리고, 이 공간 상관 관계(Spatial Correlation) D(x)는 [정리 1]과 [가정 1]을 이용하면 쉽게 분석될 수 있다. 그 결과가 [정리 2]에 나타나 있다.
[정리 2]
Figure PCTKR2017013401-appb-I000013
[증명]
먼저
Figure PCTKR2017013401-appb-I000014
인 경우를 가정해 보자. 이 경우에는 [가정 1]에 의하여
Figure PCTKR2017013401-appb-I000015
이 성립된다. 따라서
Figure PCTKR2017013401-appb-I000016
가 성립된다. 다음으로
Figure PCTKR2017013401-appb-I000017
인 경우를 가정해 보자. 이 경우에는 [정리 1]에 의하여
Figure PCTKR2017013401-appb-I000018
이 성립된다. 따라서
Figure PCTKR2017013401-appb-I000019
가 성립된다.
1.2. D(x)에 기반한 잡음제거 및 블록현상제거
앞에서 얻은 결과들 중에서 특히 [정리 1]과 [가정 1]을 이용하면 O1(x)와 O2(x)를 다음의 [정리 3]과 같이 나타낼 수 있다.
[정리 3]
Figure PCTKR2017013401-appb-I000020
[증명]
이 [정리 3]의 증명 방법은 앞에서 제시한 [정리 2]의 증명 방법과 동일하다.
그리고 일반적으로 사람의 시각을 통하여 잡음이 존재하는 음향에서 경계선을 검출할 수 있는 경우를 웨이블릿 변환 영역에서 생각해 보자. 이 경우 잡음에 의한 변환 결과값들의 크기는 경계선에 의한 변환 결과값들의 크기에 비하여 상당히 작을 것이다. 이러한 착상을 정리하여 다음의 타당한 [가정 2]를 얻는다.
[가정 2]
Figure PCTKR2017013401-appb-I000021
한편
Figure PCTKR2017013401-appb-I000022
이
Figure PCTKR2017013401-appb-I000023
(s는 스케일)에 비례하여 감소한다는 것이 알려져 있다. 이와는 반대로 본 개시의 [정의 1]에 의하면 경계선의 국부 계수 최대치(Local Modulus Maxima) 값들은 단계(Scale) s와 상관없이 일정하다는 것을 알 수 있다. 따라서,
Figure PCTKR2017013401-appb-I000024
는
Figure PCTKR2017013401-appb-I000025
를 함의한다는 것을 알 수 있다. 또 다른 유용한 [정리 4]는 바로 이 결과들을 이용하여 유도된다.
[정리 4]
Figure PCTKR2017013401-appb-I000026
[증명]
[가정 2]에 의하면
Figure PCTKR2017013401-appb-I000027
이 성립되고, 또한 이것은
Figure PCTKR2017013401-appb-I000028
을 함의한다는 사실을 앞에서 설명하였다. 따라서 위의 [정리 4]가 자연스럽게 성립된다.
이러한 [정리 4]와 앞에서 설명한 [정리 2]는 웨이블릿 변환 영역에서 경계선 성분들과 잡음 및 블록 경계선 성분들을 구별할 수 있는 유용한 정보를 제공한다. 한편 [정리 3]을 변형하여 웨이블릿 변환 영역에서 잡음 성분들과 블록 경계선 성분들의 제거를 위한 방법을 다음의 [보조정리 1]로 나타낼 수 있다.
[보조정리 1]
Figure PCTKR2017013401-appb-I000029
따라서 O1(x), O2(x)를 그대로 유지한다.
Figure PCTKR2017013401-appb-I000030
따라서 O1(x)와 O2(x)를 0으로 놓는다.
그런데 [보조정리 1]에서 설명한 이러한 잡음 및 블록 성분 제거 과정은 Spatial Correlation D(x)가
Figure PCTKR2017013401-appb-I000031
보다 작거나 같게 되는 x위치의 O1(x)와 O2(x)값들을 0으로 놓는 방식을 통하여 구현 가능하다. 그 이유를 설명하면 다음과 같다. 먼저 [정리 2]에서 살펴보면 D(x)값은 x의 위치가 경계선 성분에 속하는지 아니면 잡음 및 블록 성분에 속하는지에 따라서
Figure PCTKR2017013401-appb-I000032
와
Figure PCTKR2017013401-appb-I000033
로 나누어진다는 것을 알 수 있다. 그리고 [정리 4]를 참조하면
Figure PCTKR2017013401-appb-I000034
는
Figure PCTKR2017013401-appb-I000035
보다 항상 작다는 것을 알 수 있다. 따라서 D(x)값의 크기가
Figure PCTKR2017013401-appb-I000036
보다 작은 x의 영역에는 모든 잡음 및 블록 성분들과 일부의 경계선 성분들이 속해 있을 것이다. 그러므로 앞에서 설명한 것과 마찬가지로 Spatial Correlation D(x)가
Figure PCTKR2017013401-appb-I000037
보다 작거나 같게 되는 x위치의 O1(x)와 O2(x)값들을 0으로 놓는 방식을 이용하면 잡음 성분들과 블록 성분들의 제거가 구현 가능하다는 결론에 도달하게 된다. 도 4는 이러한 방법을 설명하고 있다. 물론 이러한 방법을 사용하면 도 4의 동그라미 부분과 같이 경계선 성분들 가운데 일부분이 제거되고 만다. 이러한 문제점에 대한 논의가 앞으로 제시될 것이다.
이제 이와 같은 방법으로 잡음 성분들과 블록 성분들을 제거하여 얻은 새로운 O1(x), O2(x)를 각각
Figure PCTKR2017013401-appb-I000038
로 명명한다. 이제 이
Figure PCTKR2017013401-appb-I000039
를 역 웨이블릿 변환하면, 잡음 또는 블록이 제거된 새로운 신호를 얻을 수 있다.
그러나 본 개시에서는 다양한 실험을 통하여 위에 제시한 방법이 잡음이 제거된 신호의 경계선 부근에 새로운 종류의 잡음을 남겨놓는다는 것을 확인할 수 있었다. 그 주된 이유는 다름이 아니라 앞에서 제시한 방법을 사용하면 경계선 성분에 해당되는 값들의 일부분도 잡음 및 블록현상 제거와 더불어 같이 제거가 되기 때문이다. 이에 더하여 [가정 1]도 하나의 원인으로 기여한다. 왜냐하면 비록 그 확률이 낮다고 할지라도, 주어진 음향의 경계선 부분에도 잡음이 삽입될 수 있기 때문이다. 그런데 본 개시에서는 이 새롭게 발생된 잡음의 특성을 분석하여 그 종류가 충격성(Impulsive) 잡음과 상당히 유사하다는 것을 알 수 있었다. 그 주된 원인을 추정하여 본 결과 다음과 같은 설명을 도입할 수 있었다. 도 4에 동그라미로 표시된 부분은 실제로는 제거되어서는 안 될 경계선 성분들이지만 앞에서 제시한 잡음 및 블록현상 제거 방법을 도입하면 어쩔 수 없이 제거되고 마는 경계선 성분들을 나타낸다. 즉 도 4의 동그라미 부분은 경계선 성분들이지만 그 값이 0으로 떨어지는 부분을 나타낸다. 그리고 앞에서 여러 번 언급한 바와 같이 수학적인 관점에서 바라보면 O1(x), O2(x)는 주어진 신호의 도함수와 마찬가지이다. 따라서 O1(x), O2(x)에서 0으로 값이 변형된 부분을 원래의 신호에서 보자면 즉 O1(x), O2(x)를 적분하여 보자면 그 부분에서 기울기의 변화량이 없다는 뜻이 된다. 그러므로 도 4의 동그라미로 표시된 부분은 역 웨이블릿을 통하여 원래의 신호로 복원되었을 때, 일종의 불연속점 즉 계단 경계선(Step Edge)과 같은 역할을 하게 된다. 그리고 이러한 불연속점들을 잡음으로 모델링할 때에는 충격성 잡음이 가장 근사한 모델이 될 것이다.
이러한 문제를 해결하기 위하여 비록 경계선 성분들의 가장자리 부분에 있지만,
Figure PCTKR2017013401-appb-I000040
보다 D(x)의 크기가 작은 경계선 성분값들도 일정 부분만큼 복원시켜야만 한다. 바로 도 4에서 동그라미로 표시된 부분을 말한다. 한가지 가능한 방법으로 본 개시에서 구현된 알고리즘은 경계선 성분들이 잘리는 부분에서 시작하여 D(x) Profile의 기울기가 변하지 않는 즉 단조감소하거나 단조증가하는 부분까지 O1(x), O2(x)의 값들을 복원하는 것이다. 그러나 도 4의 오른쪽 동그라미에 해당되는 경계선 성분의 잘려 나간 부분은 이 알고리즘을 적용하면 거의 완전하게 복원되는 반면, 왼쪽 동그라미에 해당되는 경계선 성분의 잘려 나간 부분은 완전하게 복원되지 못한다. 즉 이러한 복원 방법에도 한계가 존재한다는 말이다. 따라서, 본 개시에서는 앞의 방법을 통하여 잡음 및 블록현상을 제거한 일차적인 결과 신호에 다시 메디안(Median) 필터를 적용하였다. 그 이유는 충격성(Impulsive) 잡음의 제거에서 가장 쉽게 구현가능하고 계산복잡도도 크지 않으면서 좋은 성능을 발휘하는 방법이 메디안(Median) 필터이기 때문이다. 특히 메디안 필터를 적용하는 영역은 O1(x), O2(x)의 값을 0으로 수정한 부분들에 한정할 수도 있고 아니면 음향의 전체영역으로 그 범위를 넓힐 수도 있다. 실험을 통하여 확인한 결과는 음향에 삽입된 잡음의 정도나 블록현상의 정도가 작을 때에는 메디안 필터의 적용 영역을 O1(x), O2(x)의 값을 0으로 수정한 부분들에 한정한 경우가, 반대로 음향에 삽입된 잡음의 정도나 블록현상의 정도가 클 때에는 메디안 필터의 적용 영역을 음향 전체로 간주하였을 때 더욱 좋은 결과를 얻을 수 있었다는 것이다.
II. 잡음제거를 위한 새로운 방법
제 1장의 연구 결과를 종합하여 구현한 본 개시의 제시하는 알고리즘은 다음과 같다.
2.1. 잡음제거 및 블록현상제거를 위한 새로운 알고리즘
① 주어진 잡음 삽입 음향을 단계 21(1 단계 변환)과 단계 22(2 단계 변환)에서 x축 방향과 y축 방향으로 각각 웨이블릿 변환하고, 그 결과값들인
Figure PCTKR2017013401-appb-I000041
,
Figure PCTKR2017013401-appb-I000042
,
Figure PCTKR2017013401-appb-I000043
,
Figure PCTKR2017013401-appb-I000044
를 이용하여 Modulus 값들인
Figure PCTKR2017013401-appb-I000045
,
Figure PCTKR2017013401-appb-I000046
를 계산한다. 물론
Figure PCTKR2017013401-appb-I000047
이다. 이 Modulus 값들의 범위를 0~255로 재조정하여
Figure PCTKR2017013401-appb-I000048
를 구한다.
②
Figure PCTKR2017013401-appb-I000049
를 계산한다. 그리고 D(x, y)의 값들 가운데 잡음이나 블록현상에 의한 최대값 즉
Figure PCTKR2017013401-appb-I000050
를 구한다.
③ 전체의 (x, y)정의역 중에서
Figure PCTKR2017013401-appb-I000051
인 (x, y)의 영역에 대하여
Figure PCTKR2017013401-appb-I000052
,
Figure PCTKR2017013401-appb-I000053
,
Figure PCTKR2017013401-appb-I000054
,
Figure PCTKR2017013401-appb-I000055
를 0으로 놓는다. 그리고 이 (x, y)의 영역을 Set(x, y)에 기억하여 둔다.
④ 앞의 1.2절에서 기술한 방법을 적용하여 잘려나간 경계선 성분들의 가장자리 값들을 복원한다. 이렇게 하면
Figure PCTKR2017013401-appb-I000056
,
Figure PCTKR2017013401-appb-I000057
,
Figure PCTKR2017013401-appb-I000058
,
Figure PCTKR2017013401-appb-I000059
를 얻는다.
⑤ 앞 단계에서 구한
Figure PCTKR2017013401-appb-I000060
,
Figure PCTKR2017013401-appb-I000061
,
Figure PCTKR2017013401-appb-I000062
,
Figure PCTKR2017013401-appb-I000063
를 역 웨이블릿 변환하여 잡음이 제거된 1차 목표 음향을 얻는다.
⑥ 앞의 ③에서 얻은 Set(x, y)의 영역에 한하여 메디안(Median) 필터링을 수행하여 잡음 및 블록현상이 제거된 최종적인 목표 음향을 얻는다. 만약 음향에 삽입된 잡음이나 블록현상의 정도가 상당히 클 때에는 이 메디안 필터를 음향의 전체영역에 적용하는 것이 더욱 효과적이다.
III. 추가 문제 및 해결
3.1.
Figure PCTKR2017013401-appb-I000064
를 어떻게 찾을 것인가
결국, 제2장에서 제시한 알고리즘을 이용하려면
Figure PCTKR2017013401-appb-I000065
를 찾아내야만 한다. 그런데 이 값을 찾으려면 D(x, y)의 전체 정의역에서 어떤 부분이 경계선 성분에 해당되는 부분이고 어떤 부분이 경계선이 포함되지 않은 잡음 성분에 해당되는 부분인지를 구별해야만 한다. 어떻게 보면 문제가 하나도 해결되지 않고 다시 제자리로 돌아온 것으로 보인다. 왜냐하면, 다시 경계선 성분들과 잡음 성분들을 구별해야만 하기 때문이다. 그러나, 실상 본 개시의 논의는 앞에서의 긴 이론적인 고찰을 통하여 문제 해결을 위해 한 걸음 진보했다는 것을 깨닫는 것이 중요하다. 왜냐하면, 이제는 잡음제거를 위하여 경계선 성분들의 정확한 위치를 찾을 필요 없이 단지 순수한 잡음 및 블록 성분들만으로 구성되었다고 판별 가능한 임의의 한 지역만을 찾으면 되기 때문이다. 그리고 이 임의의 한 지역에서의 최대값을
Figure PCTKR2017013401-appb-I000066
라고 가정할 수 있기 때문이다.
이에 대한 논의를 위하여 먼저 잡음제거라는 측면에서 살펴보겠다. 본 개시에서 제거하고자 하는 잡음은 가산성 백색 가우시안 잡음이다. 그리고 이러한 가정이 가능한 이유는 가산성 백색 가우시안 잡음의 기본적인 성질에 기인한다. 화이트(White)라는 성질은 바로 모든 x의 정의역을 통하여, 웨이블릿 변환된 잡음 성분 값들의 통계적 분포양상이 잠정적으로 일치한다는 것을 의미하기 때문이다. 즉, 웨이블릿 변환된 음향에서 확실하게 경계선이 포함되지 않은 순수 잡음영역의 일부만을 취하면, 나머지 전체 순수 잡음영역에 있어서의 웨이블릿 변환값들에 대한 분포양상도 이 특정영역에서의 웨이블릿 변환값들과 비슷한 분포양상을 가질 것이기 때문이다. 그런데 또 한 가지 중요한 문제가 발생한다. 직교(Orthogonal) 웨이블릿 필터를 사용한 경우에는 잡음의 분포가 웨이블릿 변환 이후에도 화이트인 성질을 유지하지만, 배직교(Biorthogonal) 웨이블릿 필터를 사용한 경우에는 잡음의 분포가 화이트인 성질을 상실하여 컬러드(Colored) 잡음이 된다는 결과가 알려져 있다. 그러나 다행히도 본 개시에서 사용한 중복 배직교(Redundant Biorthogonal) 웨이블릿 필터의 경우에는 잡음에 대해서 필터링을 수행한 후에도 화이트인 성질을 어느 정도 보존시킨다고 가정해도 무방함을 실험으로 확인할 수 있었다.
본 개시에서는 이 임의의 순수 잡음영역을 찾기 위하여 단계 22의 웨이블릿 변환된 음향에서, 즉 O2(x, y)에서 각 영역들 사이의 분산값 차이를 이용하였다. 경계선 성분과 잡음 성분을 동시에 포함한 영역은 그 분산값이 순수하게 잡음 성분만을 포함한 영역에 비하여 매우 클 것이라는 가정 때문이었다. 아래의 [표 1]은 이러한 가정이 매우 타당함을 보여준다(편의를 위해, 음향 대신 영상에 관한 데이터를 사용하였음).
표 1
Figure PCTKR2017013401-appb-T000001
(영역에 따른 분산값들의 차이)
[표 1]의 실험결과에 의거하여 본 연구에서는 16×16 Pixels 크기만큼의 영역들을 분산값으로 분류하여 그 분산값의 크기가 100 미만인 영역을 순수 잡음영역으로 가정하고, 이 영역에서 D(x, y)의 최대값을 바로 전체영역의
Figure PCTKR2017013401-appb-I000067
값으로 설정하였다.
피처 벡터(feature vector) 추출 방법론
음향 측정부(244)는 잡음이 제거된 신호에 기초하여 이 신호가 어떤 종류의 것인지를 자동으로 인식 및 판단하는 기계학습(Machine Learning)의 기능을 수행한다. 기계학습에 사용되는 방법은 여러 가지가 있지만, 사실상 인공신경망(Neural Network)이라고 할 수 있고, 최근의 분류에 따르면 인공신경망은 SNN(Shallow Neural Network)과 DNN(Deep Neural Network)으로 나누어 진다.
SNN과 DNN의 차이점은 Hidden Layer의 층이 얼마나 많은가에 달려있지만, 실제 이론적인 측면에서 차이를 보자면 SNN의 경우는 Neural Network의 입력 노드(Node)에 삽입할 피처 벡터를 구성하는 부분과 이를 입력으로 받아서 최적화 분류를 실행하는 Neural Network 부분이 분리되어 있는 방식이고, DNN의 경우는 피처 벡터를 구성하는 부분까지도 Neural Network에 포함되어 있는 방식이다.
최근의 연구 결과를 보면 DNN의 성능이 SNN에 비하여 우월한데 이는 어찌 보면 당연하다 할 수 있는 것이, SNN은 피처 벡터 구성부분과 분류기부분을 각각 최적화해야 하는 것에 반하여 DNN은 피처 벡터 구성부분과 분류기부분을 동시에 최적화하기 때문이다. 그런데 일단 괜찮은 피처 벡터를 찾아서 SNN을 이용한 성공적인 기계학습기를 만들게 되면 이를 DNN 방식으로 전환하는 것도 가능하다.
따라서 본 개시의 핵심 부분은 바로 피처 벡터를 구성하는 방법에 있다.
본 개시에서 사용한 피처 벡터를 구성하기 위해서는 입력된 신호를 웨이블릿 변환(Wavelet Transform)한다. 웨이블릿 변환은 주어진 시간(또는 공간) 정보를 주파수(Frequency) 정보로 변환시켜주는 푸리에 변환(Fourier Transform)의 일반화된 버전이라고 생각할 수 있다. 푸리에 변환이 시간 정보를 몽땅 주파수 정보로 변환시킴에 반하여 웨이블릿 변환은 주어진 시간 정보를 시간-주파수 공간에 동시에 변환시켜 매핑(Mapping)해 준다. 따라서 웨이블릿 변환을 사용하면 기존의 푸리에 변환에서는 추출하기 힘든 공간정보도 동시에 얻을 수 있기 때문에, 입력된 신호를 해석하기에 훨씬 풍부한 자료를 손에 얻게 되는 것이다.
본 개시에서 입력받은 신호(예: 음향)에서 피처 벡터(Feature Vector)를 추출하는 방법은 다음과 같다.
1. 입력 신호(input signal)를 다이아딕(dyadic)하게 만든다.
다이아딕이라는 말은 어떤 숫자가 2의 제곱(Power)이 된다는 뜻이다. 예를 들면, 3, 5, 9는 2의 배수가 아니므로 다이아딕이 아니지만, 2, 4, 8, 16, 32는 2의 제곱이 되므로 다이아딕한 것이다. 6과 10의 경우는 비록 2로 나누어지는 짝수이기는 하지만, 2의 제곱이 되지는 않으므로 역시 다이아딕이 아니다.
웨이블릿 변환을 하기 위해서는 FFT(Fast Fourier Transform)의 경우와 마찬가지로 입력 신호가 다이아딕하면 여러 가지로 편리하다.
따라서 어떤 입력 신호가 있으면 먼저 이 신호가 다이아딕한지를 검토하고, 다이아딕하지 않다면 이 신호에 0값을 가지는 데이터를 계속 추가해서 이 신호의 데이터 개수가 다이아딕하도록 만들어 준다.
2. 다이아딕 처리가 된 입력 신호를 MRA방식으로 DWT한다.
웨이블릿 변환에는 여러 가지 형태가 있지만, 본 개시에서는 그 가운데 MRA(Multi Resolution Analysis) 방식으로 DWT(Discrete Wavelet Transform)한다.
이의 기본 방식은 주어진 신호를 저주파(Low Frequency)와 고주파(High Frequency)로 분리하고, 이 들을 각각 다운샘플링(Downsampling)하는 것인데, 일단 여기서 멈추는 것이 아니라 이렇게 다운샘플링된 저주파 영역을 또 다시 저주파와 고주파로 분리하고 이를 각각 다운샘플링하는 방식을 지속해 나가는 것이다. 이 단계는 결국 저주파 영역의 데이터가 단 한 개가 될 때가지 진행된다. 도 5는 이에 대한 설명이다.
도 5는 본 개시의 일 실시예에 따른 입력 신호의 2단계 다운샘플링하는 과정을 나타낸 도면이고, 도 6은 본 개시의 일 실시예에 따른 주파수 영역에서 본 입력신호의 분해 양상을 나타낸 도면이다.
도 5를 참조하여 보면, cj+1이 입력 신호이고 g(-n)이 고주파, h(-n)가 저주파를 나타내고, 아래쪽을 향하는 화살표는 다운샘플링을 나타낸다. cj+ 1는 dj 및 cj로 다운샘플링되고, cj는 다시 dj-1 및 cj-1로 다운샘플링된다.
그리고 이를 주파수 영역의 관점에서 보자면 도 6과 같이 표현된다.
도 5에서의 cj-1이 도 6에서 가장 낮은 주파수 대역인 υ0 대역에 대응하고, 도 5에서의 dj-1은 도 6에서 ω0 대역에 대응하고, 도 5에서의 cj는 도 6에서 ω1 대역에 대응하고, 도 5에서의 dj가 도 6에서 ω2 대역에 대응하게 된다.
3. MRA를 진행하는 도중에 피처 벡터의 후반부를 구성한다.
본 개시의 피처 벡터는 전반부와 후반부로 나누어서 생각할 수 있는데, 전반부는 주파수 영역에서 각 대역폭에 대한 에너지의 크기를 표현해 주고, 후반부는 시간 영역에서 각 위치 구간에 대한 에너지의 크기를 표현해 준다.
피처 벡터의 차원(Dimension) 가운데 전반부를 구성하는 차원(원소들의 개수)은 log2(N)+1 이다. 예를 들어, 입력 신호의 크기(개수)가 8이라면 전반부 원소들의 개수는 4, 16이라면 5, 1024개라면 11이 되는 것이다. 이는 사실상 입력된 신호를 MRA할 때 생성되는 대역폭(Bandwidth)의 개수와 1개 차이로 일치한다.
한편 피처 벡터의 후반부를 구성하는 원소들의 개수는 전반부 원소들의 개수에 가장 가까운 다이아딕한 수가 된다. 예를 들어, 입력 신호의 크기(개수)가 8이라면 후반부 원소들의 개수는 4, 16이라면 4, 1024개라면 8이 되는 것이다.
그리고 벡터의 후반부는 시간 영역에서의 각 에너지 크기를 나타내는데, 이는 MRA를 수행하는 도중에 도출해 낼 수 있다. MRA는 원칙적으로 저주파에 해당되는 원소가 단 한 개가 될 때까지 지속되는데, 이를 지속하는 동안에 저주파 영역의 크기가 후반부 원소들의 개수와 일치하게 되는 시점이 반드시 존재한다. 왜냐하면 입력 신호의 크기와 후반부 원소들의 개수가 모두 다이아딕하기 때문이다.
저주파 영역의 크기가 피처 벡터 후반부 원소들의 개수와 동일하게 되면, 이 때 저주파 데이터들 가운데 가장 작은 값을 구하여 이 값이 만약 0보다 작다면 이 값의 절대값만큼 모든 데이터들을 상향 조정해서 모든 값들이 양수가 되도록 만든다.
그 다음 단계로는 후반부 원소들의 총합을 구하여 이 값으로 각 원소들의 값을 나누어 주는 것인데, 이는 일종의 정규화(Normalize)라고 할 수 있다. 정규화를 수행하지 않으면 통계적인 Bias가 발생할 확률이 높아지기 때문이다.
그리고나서 후반부 첫 번째 원소부터 두 번째, 세 번째, ... 이런 식으로 하나 하나씩 더해가면서 그 합계가 0.5를 돌파하기 바로 직전이 되는 원소의 위치를 파악한다. 그런 다음 그 원소의 위치가 후반부 벡터의 정중앙 바로 직전(예를 들어 후반부 벡터의 크기가 8이라면 4번째)이 되도록 평행이동 시킨다. 이는 입력 신호가 시프트(Shift)되어 있더라도, 이를 극복하기 위한 방편이다.
4. MRA를 마무리한 다음에 피처 벡터의 전반부를 구성한다.
MRA를 마무리하고 나면, 총 대역폭의 개수 + 1과 피처 벡터의 전반부 원소 개수와 일치하게 된다.
각 대역폭마다 절대값을 취한 다음 합산하여, 각 대역폭 별로 에너지를 구한다.
각 대역폭의 에너지들을 모두 합하여, 전체 에너지를 구한다음 이 숫자로 각 대역폭 에너지를 나누어 준다. 즉, 일종의 정규화 과정을 수행하는 것이다
5. 앞에서 구한 피처 벡터의 전반부와 후반부를 연결하여 붙여서 최종 피처 벡터를 구성 완료한다.
얻어진 피처 벡터에 대해 머신 러닝 툴을 적용하면 음향의 종류를 판별하는 것이 가능해진다.
도 7은 본 개시의 일 실시예에 따른, 음향 측정부의 동작 과정에 관한 흐름도이다.
음향 측정부(244)는 사운드 센서(2441) 및 사운드 인식기(2442)을 포함하고, 사운드 센서(2441)가 "온" 되어야만 사운드 인식기가 동작할 수 있다.
사운드 센서(2441)에서 입력값을 측정하고(S710), 입력값이 미리 결정한 임계값 보다 큰지 판단한다(S720). 입력값이 미리 결정한 임계값 이하이면 미리 결정된 시간(예: 3초, 5초, 10초 등)만큼 대기하고(S730), 다시 입력값을 측정한다(S710).
입력값이 미리 결정한 임계값 보다 크면, 좌측/우측 사운드 카드로 동시에 녹음하고(S740), 좌측/우측 사운드 중 큰 에너지의 데이터를 분석 대상으로 선택한다(S750). 이렇게 좌측/우측 사운드 중 큰 에너지의 데이터를 사용함으로써 보다 정확한 음향 처리가 가능하다.
그 후, 필요에 따라 음성 필터링을 수행할 수 있다(S760). 본 개시는 주로 생활 소음에 관한 처리를 대상으로 하지만, 사용자와 친구들간의 소통을 원활하게 하기 위하여 음성 신호의 처리를 병행할 수 있다.
예를 들어, "궁금해", "좋아요", "싫어해", "슬퍼해"와 같은 단어들에 대한 처리를 함으로써, 친구들간의 소통을 도울 수 있다. 만약, "궁금해"라는 음성을 인식하여 친구들 로봇으로 통지하면, 친구들 로봇은 예를 들어 "궁금한 표정"을 미리 결정한 시간(예: 5초) 디스플레이 화면에 표시하면서 "오호 친구가 궁금해해"라는 음성 출력을 할 수 있다.
그 후 입력값을 t1, t2, t3 등의 크기의 데이터로 분할한다(S770). 본 발명자는, 예를 들어, "세탁기" 소리인지 판단하기 위해서는 약 5초의 시간이 필요하지만, "청소기", "전자레인지", "가스레인지", "키보드", "창문여닫기", "물소리" 등의 소리인지 판단하기 위해서는 약 1초의 시간이 필요하고, "현관문", "냉장고문", "방문" 등의 소리인지 판단하기 위해서는 약 0.5초의 시간이 필요하다는 것을 알아냈다.
따라서, 입력값을 t1, t2, t3 등의 크기의 데이터로 분할된 사운드 데이터로 음향의 종류를 판단한다(S780).
도 8는 본 개시의 일 실시예에 따라 제어부가 로봇의 상황 분석(circumstance analyzing)을 제어하는 절차에 관해 설명하기 위한 흐름도이다.
제어부(210)는 주기적으로 돌면서, 현재 로봇(120) 자신이 처한 상황을 분석한다. 이때 사용되는 정보들은 합성센서부(240)의 정보 히스토리와 인식된 사운드의 종류에 대한 히스토리이다. 이에 기초하여 로봇(120) 자신이 수행해야 할 적절한 동작과 표정, 그리고 언어를 선택하고 이를 구동하게 된다.
제어부 쓰레드에서 합성센서부(240)의 각 센서별 전역변수에 저장된 히스토리(History) 배열의 최신값과 과거값을 얻어와서 전역변수인 복수의 입력벡터를 구성한다(S801).
예를 들어, 아래와 같은 38차원 입력벡터를 구성할 수 있다.
성분 1: 조도 변화량: 어둡다, 적절, 밝다의 세 가지 가운데 2개를 택하는 순열의 수 = 9 수준
성분 2: 현재 조도: 어둡다, 적절, 밝다의 3수준
성분 3: (적외선)거리 변화량: 멀다, 적절, 가깝다의 세 가지 가운데 3개를 택하는 순열의 수 = 9수준
성분 4: (적외선)현재 거리: 멀다, 적절, 가깝다의 3수준
성분 5: (초음파)거리 변화량: 멀다, 적절, 가깝다의 세 가지 가운데 3개를 택하는 순열의 수 = 9수준
성분 6: (초음파)현재 거리: 멀다, 적절, 가깝다의 3수준
성분 7: 온도변화량: 춥다, 적절, 덥다의 세 가지 가운데 3개를 택하는 순열의 수 = 9수준
성분 8: 현재 온도: 춥다, 적절, 덥다의 3수준
성분 9: 습도변화량: 습하다, 적절, 건조하다의 세 가지 가운데 3개를 택하는 순열의 수 = 9수준
성분 10: 현재 습도: 습하다, 적절, 건조의 3수준
성분 11: 세탁기 소리 변화: 세탁, 세탁아님의 두 가지 가운데 2개를 택하는 순열의 수 = 4수준
성분 12: 현재 세탁기 소리: 세탁, 세탁아님의 2수준
성분 13: 청소기 소리 변화: 청소, 청소아님의 두 가지 가운데 2개를 택하는 순열의 수 = 4수준
성분 14: 현재 청소기 소리: 청소, 청소아님의 2수준
성분 15: 키보드 소리 변화: 가동, 가동아님의 두 가지 가운데 2개를 택하는 순열의 수 = 4수준
성분 16: 현재 키보드 소리: 가동, 가동아님의 2수준
성분 17: 전자렌지 소리 변화: 가동, 가동아님의 두 가지 가운데 2개를 택하는 순열의 수 = 4수준
성분 18: 현재 전자렌지 소리: 가동, 가동아님의 2수준
성분 19: 가스렌지 소리 변화: 가동, 가동아님의 두 가지 가운데 2개를 택하는 순열의 수 = 4수준
성분 20: 현재 가스렌지 소리: 가동, 가동아님의 2수준
성분 21: 창문 소리 변화: 여닫기, 소리없음의 두 가지 가운데 2개를 택하는 순열의 수 = 4수준
성분 22: 현재 창문 소리: 여닫기, 소리없음의 2수준
성분 23: 현관문 소리 변화: 닫기, 소리없음의 두 가지 가운데 2개를 택하는 순열의 수 = 4수준
성분 24: 현재 현관문 소리: 닫기, 소리없음의 2수준
성분 25: 냉장고문 소리 변화: 닫기, 소리없음의 두 가지 가운데 2개를 택하는 순열의 수 = 4수준
성분 26: 현재 냉장고문 소리: 닫기, 소리없음의 2수준
성분 27: "궁금해" 소리 변화: "궁금해", "궁금해"아님의 두 가지 가운데 2개를 택하는 순열의 수 = 4수준
성분 28: 현재 "궁금해" 소리: "궁금해", "궁금해"아님의 2수준
성분 29: "좋아해" 소리 변화: "좋아해", "좋아해"아님의 두 가지 가운데 2개를 택하는 순열의 수 = 4수준
성분 30: 현재 "좋아해" 소리: "좋아해", "좋아해"아님의 2수준
성분 31: "싫어해" 소리 변화: "싫어해, "싫어해"아님의 두 가지 가운데 2개를 택하는 순열의 수 = 4수준
성분 32: 현재 "싫어해" 소리: "싫어해", "싫어해"아님의 2수준
성분 33: "슬퍼해" 소리 변화: "슬퍼해", "슬퍼해"아님의 두 가지 가운데 2개를 택하는 순열의 수 = 4수준
성분 34: 현재 "슬퍼해" 소리: "슬퍼해", "슬퍼해"아님의 2수준
성분 35: 세탁기 소리라고 음성안내한 최종 시각
성분 36: 청소기 소리라고 음성안내한 최종 시각
성분 37: 키보드 소리라고 음성안내한 최종 시각
성분 38: 전자렌지 소리라고 음성안내한 최종 시각
그 후, 복수의 입력 벡터에 대응하는 출력 행렬을 구성한다(S802). 예를 들어, 38차원의 입력 벡터에 대응하는 17*4 출력행렬을 구성한다. 예를 들어, 행 값으로는 조건 변화에 대한 구체적인 상황 정보 즉, {소리 크기 변화, 조도 변화, 사용자 거리 변화, 온도 변화, 습도 변화, 세탁기 소리 변화, 청소기 소리 변화, 키보드 소리 변화, 전자레인지 소리 변화, 가스레인지 소리 변화, 창문 소리 변화, 현관문 소리 변화, 냉장고문 소리 변화, 궁금해 변화, 좋아해 변화, 싫어해 변화, 슬퍼해 변화}로 설정할 수 있고, 열 값으로는 {우리집 로봇 표정, 우리집 로봇 목소리, 친구집 로봇 표정, 친구집 로봇 목소리}와 같이 설정할 수 있다. 이를 표로 나타내면 다음과 같다.
표 2
Figure PCTKR2017013401-appb-T000002
(17*4 출력행렬의 구성 예)
행렬의 행 번호인 i=0에서 동작을 개시한다(S803).
i번째 행을 선택하고(S804), 시간, IP, 해당 로봇 UUID, 주인 아이디, 에너지 크기, 입력벡터, 출력벡터, 친구 로봇들의 UUID를 관리 서버(110)에 저장한다(S805).
음성 출력 가능 시각인지 판단한다(S806). 만약 사용자가 음성 출력 가능 시각을 오전 8시부터 오후 10까지 정하여 둔 경우, 오후 11시라면, 음성 출력 가능 시각이 아니므로 로봇(120)은 음성 없이 표정만 출력한다(S807). 그러나 오후 8시라면, 로봇(120)은 음성 및 표정을 출력한다(S808).
출력벡터가 설정된 공유활동인지 판단한다(S809). 예를 들어, "현관문" 소리가 인식되었고, 이 소리를 친구 로봇과 공유하기로 한 것이라고 판단하면, 친구 로봇의 UUID 채널로 출력 벡터를 전송한다(S810).
만약, "현관문" 소리가 친구 로봇과 공유하기로 한 것이 아닌 경우라면, i=i+1을 하고(S812), i가 N(N은 자연수로 예를 들어 "17")보다 큰지 판단하여(S812), i가 N보다 작을 경우 i번째 행을 선택한다(S804).
i가 N보다 클 경우, 미리 결정된 시간 만큼 대기(예: 1초, 3초, 5초 등)한 후(S813), 단계 S801부터 다시 작업을 한다.
본 개시의 일 실시예에서, 관리 서버(100)는 상황 정보에 기초하여 위험 상황이 발생했다고 판단하는 경우, 홈 소셜 로봇(120)의 사용자와 생활 활동 정보를 서로 공유하기로 한 제2 사용자의 단말기 또는 제2 홈 소셜 로봇에게 긴급 알림 메시지를 전송하도록 구성될 수 있다. 상황 정보는 현관문 개폐, 창문 개폐, 수돗물 틀기, 가스레인지 켜기, 전자레이지 켜기, 냉장고 문열기, 청소기 작동하기, 집안 내의 전등 키고 끄기, TV 키고 끄기, 및 사람의 움직임 중 적어도 하나를 포함할 수 있다. 즉, 관리 서버(100)가 "가스레인지 켜기", "현관문 개폐" 등의 상황 정보에 기초하여 판단할 때, 1인 가구 노인의 가정에서 현관문 개폐 -> 가스레인지 켜기 -> 현관문 개폐의 변화가 있는 경우, 가정 내에서 가스 레인지를 켜고 외출을 하였다고 판단하여 사용자와 생활 활동 정보를 서로 공유하기로 한 제2 사용자(예를 들어, 가족, 사회복지사 등) 및/또는 사용자 본인의 단말기로 긴급 알림 메시지(예를 들어, 휴대폰 문자 메시지)를 전송할 수 있다. 이 경우, 가스레인지 켜기는 예를 들어, 합성센서부(240)의 음향 측정부(244) 및 온습도 측정부(242)로 검출 가능하고, 현관문 개폐는 합성센서부(240)의 음향 측정부(244), 그리드-아이부(245), 및 자이로가속도부(246)로 검출 가능하다.
본원에 개시된 실시예들에 있어서, 도시된 구성 요소들의 배치는 발명이 구현되는 환경 또는 요구 사항에 따라 달라질 수 있다. 예를 들어, 일부 구성 요소가 생략되거나 몇몇 구성 요소들이 통합되어 하나로 실시될 수 있다. 또한 일부 구성 요소들의 배치 순서 및 연결이 변경될 수 있다.
이상으로 설명한 본 개시의 실시예들의 구성 요소들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어 또는 이들의 조합으로 구현될 수 있으며, 시스템, 서브시스템, 구성 요소들 또는 이들의 서브 구성 요소들로 활용될 수 있음을 이해하여야 한다. 소프트웨어로 구현되는 경우, 본 개시의 요소들은 필요한 작업들을 수행하기 위한 명령어들/코드 세그먼트들이 될 수 있다. 프로그램 또는 코드 세그먼트들은 프로세서 판독가능 매체와 같은 머신 판독가능 매체, 컴퓨터 프로그램 제품 내에 저장될 수 있다. 머신 판독가능 매체 또는 프로세서 판독가능 매체는 머신(예를 들어, 프로세서, 컴퓨터 등)에 의해 판독되고 실행 가능한 형태로 정보를 저장 또는 전송할 수 있는 임의의 매체를 포함할 수 있다.
이상에서는 본 개시의 다양한 실시예들에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시예들에 한정되지 아니하며, 상술한 실시예들은 첨부하는 특허청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양하게 변형 실시될 수 있음은 물론이고, 이러한 변형 실시예들이 본 개시의 기술적 사상이나 범위와 별개로 이해되어져서는 아니 될 것이다. 따라서, 본 개시의 기술적 범위는 오직 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

Claims (17)

  1. 합성 센서 기반의 일상 활동 정보 공유용 홈 소셜 로봇 관리 시스템으로서,
    복수의 홈 소셜 로봇과 상기 홈 소셜 로봇과 통신 가능하게 연결된 관리 서버를 포함하고,
    상기 홈 소셜 로봇은
    생활 소음 및 생활 환경 정보를 수신하는 합성센서부와,
    홈 소셜 로봇의 상태를 사운드로 출력하는 스피커와,
    상기 홈 소셜 로봇의 상태를 이미지로 출력하는 디스플레이와,
    네트워크를 통해 홈 소셜 로봇의 관리 서버와 통신하는 통신부와,
    상기 합성센서부, 상기 스피커, 상기 디스플레이, 및 상기 통신부와 연결되는 제어부를 포함하고,
    상기 제어부는 상기 합성센서부에서 얻은 상기 생활 소음 및 생활 환경 정보를 상기 관리 서버로 전송하고,
    상기 관리 서버는 상기 생활 소음 및 생활 환경 정보에 기초하여 상황 정보를 판별하여 상기 홈 소셜 로봇으로 전송하도록 구성된, 홈 소셜 로봇 관리 시스템.
  2. 제1항에 있어서,
    상기 합성센서부는 거리 측정부, 자이로가속도부, 온습도 측정부, 조도 측정부, 그리드-아이부, 및 음향 측정부 중 둘 이상을 포함하는, 홈 소셜 로봇 관리 시스템.
  3. 제2항에 있어서,
    상기 홈 소셜 로봇은 허브 로봇과 상기 허브 로봇과 통신 가능하게 연결되는 하나 이상의 에지 로봇을 포함하는, 홈 소셜 로봇 관리 시스템.
  4. 제3항에 있어서,
    상기 거리 측정부는 적외선 측정기 및 초음파 측정기 중 적어도 하나를 포함하는, 홈 소셜 로봇 관리 시스템.
  5. 제1항에 있어서,
    상기 음향 측정부는 사운드 센서 및 사운드 인식기를 포함하고,
    상기 사운드 센서는 소리의 에너지 크기가 미리 결정된 임계값 이상일 경우에만 상기 사운드 인식기가 동작하도록 상기 사운드 인식기에게 통보하도록 구성된, 홈 소셜 로봇 관리 시스템.
  6. 제5항에 있어서,
    상기 음향 측정부는 상기 잡음이 제거된 입력 신호에 대해 상이한 시간 크기로 분할하도록 구성된, 홈 소셜 로봇 관리 시스템.
  7. 제6항에 있어서,
    상기 음향 측정부는 상기 생활 소음 및 생활 환경 정보에 관한 입력 신호에 대해 웨이블릿 변환(Wavelet transform)하여 잡음을 1차적으로 제거하고, 인버스 웨이블릿 변환 후 메디안(Median) 필터를 적용하여 잡음을 2차적으로 제거하도록 구성된, 홈 소셜 로봇 관리 시스템.
  8. 제7항에 있어서,
    상기 관리 서버는 입력 신호에 대해 웨이블릿 변환하여 잡음을 1차적으로 제거하고, 인버스 웨이블릿 변환 후 메디안 필터를 적용하여 잡음을 2차적으로 제거하도록 구성된, 홈 소셜 로봇 관리 시스템.
  9. 제7항 또는 제8항에 있어서,
    상기 관리 서버는 잡음이 제거된 입력 신호에 대해 웨이블릿 변환을 적용하여 피처 벡터(feature vector)를 추출하고, 추출된 상기 피처 벡터에 기초하여 음향 종류를 구분하도록 구성된, 홈 소셜 로봇 관리 시스템.
  10. 제9항에 있어서,
    상기 상황 정보는 현관문 개폐, 창문 개폐, 수돗물 틀기, 가스레인지 켜기, 전자레이지 켜기, 냉장고 문열기, 청소기 작동하기, 집안 내의 전등 키고 끄기, TV 키고 끄기, 및 사람의 움직임 중 적어도 하나를 포함하는, 홈 소셜 로봇 관리 시스템.
  11. 제10항에 있어서,
    상기 관리 서버는 상기 상황 정보를 상기 홈 소셜 로봇의 사용자와 생활 활동 정보를 서로 공유하기로 한 제2 사용자의 단말기 또는 제2 홈 소셜 로봇에게 전송하도록 구성된, 홈 소셜 로봇 관리 시스템.
  12. 제11항에 있어서,
    상기 관리 서버는 상기 상황 정보에 기초하여 상기 홈 소셜 로봇 및 제2 홈 소셜 로봇 중 적어도 하나에 대해, 로봇의 표정 및 음성 중 적어도 하나를 표시하도록 명령하는, 홈 소셜 로봇 관리 시스템.
  13. 제12항에 있어서,
    상기 관리 서버는 상기 상황 정보에 기초하여 위험 상황이 발생했다고 판단하는 경우, 상기 홈 소셜 로봇의 사용자와 생활 활동 정보를 서로 공유하기로 한 제2 사용자의 단말기 또는 제2 홈 소셜 로봇에게 긴급 알림 메시지를 전송하도록 구성된, 홈 소셜 로봇 관리 시스템.
  14. 제13항에 있어서,
    상기 생활 소음은, 세탁기 소리, 청소기 소리, 전자레인지 소리, 가스레인지 소리, 키보드 소리, 창문여닫기 소리, 물소리, 현관문 소리, 냉장고문 소리, 방문 소리, 발자국 소리 중 적어도 하나를 포함하는, 홈 소셜 로봇 관리 시스템.
  15. 생활 활동 공유용 홈 소셜 로봇 관리 시스템에서, 음향 종류를 판별하는 방법으로서,
    생활 소음 및 생활 환경 정보를 입력 신호로 수신하는 단계와,
    상기 입력 신호에서 잡음을 제거하는 단계와,
    잡음을 제거한 신호에 대해 웨이블릿 변환을 수행하여 피처 벡터(feature vector)를 구하는 단계와,
    상기 피처 벡터를 머신 러닝 툴에 적용하여 음향의 종류를 판별하는 단계
    를 포함하는, 음향 종류 판별 방법.
  16. 제15항에 있어서,
    상기 잡음을 제거하는 단계는
    상기 입력 신호에 대해 웨이블릿 변환을 수행하여 1차적으로 잡음을 제거하는 단계와,
    1차적으로 잡음을 제거한 신호에 대해, 인버스 웨이블릿 변환하는 단계와,
    상기 인버스 웨이블릿 변환된 신호에 대해 메디안(Median) 필터를 적용하여 잡음을 2차적으로 제거하는 단계
    를 포함하는, 음향 종류 판별 방법.
  17. 제16항에 있어서,
    상기 피처 벡터를 구하는 단계는
    상기 잡음을 제거한 신호를 다이아딕(Dyadic)하게 만드는 단계와,
    다이아딕하게 된 신호를 MRA(Multi Resolution Analysis) 방식으로 DTW(Discrete Wavelet Transform)하는 단계와,
    시간 영역에서 각 위치 구간에 대한 에너지의 크기를 나타내는 상기 피처 벡터의 후반부를 구하는 단계와,
    주파수 영역에서 각 대역폭에 대한 에너지의 크기를 나타내는 상기 피처 벡터의 전반부를 구하는 단계와,
    상기 피처 벡터의 전반부 및 후반부를 연결하여 최종 피처 벡터를 얻는 단계
    를 포함하는, 음향 종류 판별 방법.
PCT/KR2017/013401 2017-01-12 2017-11-23 합성 센서와 상황인식기를 이용하여 생활 소음을 비롯한 각종 센서데이터를 분석하여 일상 활동 정보를 인식하고 공유하는 홈 소셜 로봇 시스템 WO2018131789A1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2017-0005638 2017-01-12
KR20170005638 2017-01-12
KR10-2017-0017709 2017-02-08
KR1020170017709A KR101982260B1 (ko) 2017-01-12 2017-02-08 홈 소셜 로봇
KR1020170112838A KR102064365B1 (ko) 2017-09-04 2017-09-04 생활 소음으로부터의 음향 종류 판별 방법 및 이를 이용한 일상 활동 정보 공유용 홈 소셜 로봇 관리 시스템
KR10-2017-0112838 2017-09-04

Publications (1)

Publication Number Publication Date
WO2018131789A1 true WO2018131789A1 (ko) 2018-07-19

Family

ID=62840219

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/013401 WO2018131789A1 (ko) 2017-01-12 2017-11-23 합성 센서와 상황인식기를 이용하여 생활 소음을 비롯한 각종 센서데이터를 분석하여 일상 활동 정보를 인식하고 공유하는 홈 소셜 로봇 시스템

Country Status (1)

Country Link
WO (1) WO2018131789A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100795475B1 (ko) * 2001-01-18 2008-01-16 엘아이지넥스원 주식회사 잡음제거기 및 웨이블릿 변환 필터 설계 방법
KR20100081587A (ko) * 2009-01-06 2010-07-15 삼성전자주식회사 로봇의 소리 인식 장치 및 그 제어 방법
JP4595436B2 (ja) * 2004-03-25 2010-12-08 日本電気株式会社 ロボット、その制御方法及び制御用プログラム
KR20110026212A (ko) * 2009-09-07 2011-03-15 삼성전자주식회사 로봇 및 그 제어방법
KR101457881B1 (ko) * 2014-06-11 2014-11-04 지투파워 (주) 초음파 신호에 의한 수배전반의 지능형 아크 및 코로나 방전 진단 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100795475B1 (ko) * 2001-01-18 2008-01-16 엘아이지넥스원 주식회사 잡음제거기 및 웨이블릿 변환 필터 설계 방법
JP4595436B2 (ja) * 2004-03-25 2010-12-08 日本電気株式会社 ロボット、その制御方法及び制御用プログラム
KR20100081587A (ko) * 2009-01-06 2010-07-15 삼성전자주식회사 로봇의 소리 인식 장치 및 그 제어 방법
KR20110026212A (ko) * 2009-09-07 2011-03-15 삼성전자주식회사 로봇 및 그 제어방법
KR101457881B1 (ko) * 2014-06-11 2014-11-04 지투파워 (주) 초음파 신호에 의한 수배전반의 지능형 아크 및 코로나 방전 진단 시스템

Similar Documents

Publication Publication Date Title
AU2018246843B2 (en) Data learning server and method for generating and using learning model thereof
WO2019156499A1 (en) Electronic device and method of performing function of electronic device
WO2019164148A1 (ko) 음성 명령을 수행하는 방법 및 시스템
WO2018182357A1 (en) Data learning server and method for generating and using learning model thereof
WO2020246643A1 (ko) 서빙 로봇 및 그를 이용한 고객 접대 방법
WO2018199390A1 (ko) 전자기기
WO2020050595A1 (ko) 음성 인식 서비스를 제공하는 서버
WO2021256652A1 (en) Electronic apparatus and controlling method thereof
WO2020231230A1 (en) Method and apparatus for performing speech recognition with wake on voice
WO2018128362A1 (en) Electronic apparatus and method of operating the same
WO2021025350A1 (en) Electronic device managing plurality of intelligent agents and operation method thereof
WO2019031707A1 (en) MOBILE TERMINAL AND METHOD FOR CONTROLLING A MOBILE TERMINAL USING MACHINE APPRENTICESHIP
WO2020242274A1 (en) Electronic device for controlling skin-care device and method of operating the same
WO2019013510A1 (en) VOICE PROCESSING METHOD AND ELECTRONIC DEVICE SUPPORTING IT
WO2016187964A1 (zh) 智能控制受控设备的方法和装置
EP3545436A1 (en) Electronic apparatus and method of operating the same
WO2018084576A1 (en) Electronic device and controlling method thereof
WO2019182252A1 (en) Electronic device and server for processing data received from electronic device
WO2021006404A1 (ko) 인공지능 서버
WO2019050242A1 (en) ELECTRONIC DEVICE, SERVER, AND RECORDING MEDIUM SUPPORTING THE EXECUTION OF A TASK USING AN EXTERNAL DEVICE
WO2019212213A1 (en) Electronic device and method of executing function of electronic device
WO2022240274A1 (ko) 로봇 장치, 그 제어 방법, 및 프로그램이 기록된 기록매체
WO2019074257A1 (ko) 사용자 발화를 처리하는 전자 장치 및 서버
EP3523709A1 (en) Electronic device and controlling method thereof
EP3930831A1 (en) Electronic device for controlling skin-care device and method of operating the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17891894

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC , EPO FORM 1205A DATED 30.09.19.

122 Ep: pct application non-entry in european phase

Ref document number: 17891894

Country of ref document: EP

Kind code of ref document: A1

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载