KR102010381B1

KR102010381B1 - a portable device, a method for the portable device and the refrigerator system comprising thereof

Info

Publication number: KR102010381B1
Application number: KR1020120106667A
Authority: KR
Inventors: 최종미
Original assignee: 엘지전자 주식회사
Priority date: 2012-09-25
Filing date: 2012-09-25
Publication date: 2019-08-13
Anticipated expiration: 2032-09-25
Also published as: KR20140039877A

Abstract

본 발명의 휴대용기기, 휴대용기기 동작방법 및 그를 포함한 냉장고 시스템은, 휴대용기기가 하나 이상의 문자로 구성된 하나 이상의 상품정보를 포함하는 문서를 촬영하는 카메라; 카메라가 촬영한 영상을 표시하는 디스플레이부; 및 상품정보를 디스플레이부에 표시하고, 하나 이상의 상품정보 중 일부 또는 전부가 선택되었는지 여부와 상기 선택된 상품정보의 상위개념인 상위 카테고리 명칭을 상기 디스플레이부에 표시하는 제어부;를 포함하고, 상기 휴대용 기기와, 상기 휴대용기기와 통신하여 상기 선택된 정보단위의 상위개념인 하나 이상의 상위 카테고리 명칭 중 일부 또는 전부를 수신하는 냉장고;를 포함하는 냉장고 시스템을 구성함으로써, 그 문자가 포함하는 정보를 분석하여 사용자가 일일이 정보를 입력해야 하는 수고를 덜 수 있고, 상품정보를 분석하여 단순화된 상품의 상위 카테고리 명칭을 보관목록에 저장하여 사용자가 확인하기 용이하고, 상품정보 중에 선택된 것만 보관목록에 저장하여, 보관목록을 간결하게 정리할 수 있다.A portable device of the present invention, a method for operating a portable device, and a refrigerator system including the same include: a camera for photographing a document including one or more product information consisting of one or more characters; A display unit displaying an image captured by the camera; And a controller configured to display the product information on the display unit, and to display, on the display unit, whether or not some or all of one or more product information is selected, and an upper category name which is a higher concept of the selected product information. And a refrigerator that communicates with the portable device to receive some or all of one or more upper category names that are higher concepts of the selected information unit. You can save the trouble of having to input the information one by one, and analyze the product information and store the simplified category's upper category name in the archive list for easy checking by users, and save only the selected items in the archive list. Can be concise.

Description

A portable device, a method for the portable device and the refrigerator system comprising

본 발명의 실시예는 휴대용기기, 휴대용기기 동작방법 및 그를 포함한 냉장고 시스템에 관한 것으로서, 문서에 기재된 문자들을 인식하고 그를 저장하는 휴대용기기를 포함하는 냉장고 시스템에 관한 것이다.Embodiments of the present invention relate to a portable device, a method for operating the portable device and a refrigerator system including the same, and a refrigerator system including a portable device for recognizing and storing characters described in a document.

냉장고는 냉매 싸이클을 이용하여 식품 기타 보관물을 냉장 또는 냉동보관할 수 있는 가전제품이다. 이러한 기능을 위하여, 냉장고는 냉동실 및 냉장실을 구비하는 본체, 본체에 배치되는 증발기, 냉매를 압축하는 압축기, 냉매를 응축하는 응축기 및 냉매를 감압 팽창하는 팽창장치를 포함할 수 있다.Refrigerators are home appliances that can be used to cool or freeze food and other storage using refrigerant cycles. For this function, the refrigerator may include a main body having a freezer compartment and a refrigerating compartment, an evaporator disposed in the main body, a compressor for compressing the refrigerant, a condenser for condensing the refrigerant, and an expansion device for depressurizing and expanding the refrigerant.

위와 같은 구성을 갖는 냉장고는 냉장실 및 냉동실의 내부온도가 소정의 온도범위 내에서 유지될 수 있도록 압축기를 주기적으로 온/오프(on/off) 할 수 있다.The refrigerator having the above configuration may periodically turn the compressor on / off so that the internal temperatures of the refrigerating compartment and the freezing compartment are maintained within a predetermined temperature range.

최근에 에너지 절약 및 효율화가 문제가 되고 있어, 전력 사용을 최소화하고 보관물의 관리를 효율적으로 할 수 있는 냉장고의 제어시스템이 개발되고 있다.Recently, energy saving and efficiency have become a problem, and a control system of a refrigerator capable of minimizing power usage and efficiently managing storage has been developed.

냉장고의 크기가 점점 대형화 됨에 따라, 냉장고의 내부에 다양한 종류의 식품들이 보관되어, 냉장고 내부 깊숙이 어떠한 식품이 보관되고 있는지 인지하지 못하고 방치하게 되는 경우가 빈번히 발생한다. 이로 인해 냉장고 내부에서 곰팡이가 발생하여 식품들이 부패될 뿐만 아니라, 이미 보관된 식품을 모르고 다시 구입하게 되는 경제적 손실도 발생할 수 있다.As the size of the refrigerator becomes larger and larger, various types of foods are stored in the refrigerator, and often the food is left unrecognized without knowing what foods are stored deep inside the refrigerator. This can cause mold to grow inside the refrigerator and corrupt foods, as well as economic losses of repurchasing without knowing foods that have already been stored.

이에 따라, 냉장고는 냉장고 내부에 보관된 식품의 정보 또는 사용자가 필요로 하는 정보를 제공할 수 있는 디스플레이 장치를 구비하거나, 이를 알릴 수 있는 일종의 통신 수단 도는 알림 수단을 구비해야 한다는 필요성이 제기되고 있다.Accordingly, the necessity has been raised that the refrigerator should have a display device capable of providing information of food stored in the refrigerator or information required by the user, or have a kind of communication means or notification means capable of informing the refrigerator. .

휴대용기기는 각종 용도로 사용될 수 있다. 휴대용기기는 냉장고와 통신하여 냉장고의 동작상태를 수신하여 출력할 수 있다. 냉장고는 식품의 정보를 저장하고이를 휴대용기기와 통신하여 정보를 주고받을 수 있다.Portable devices can be used for various purposes. The portable device may communicate with the refrigerator to receive and output an operating state of the refrigerator. The refrigerator may store information of the food and communicate the information with a portable device.

본 발명의 일 실시예는 문서에 기재된 문자의 정보를 인식하고 이를 저장하는 휴대용기기 및 상기 휴대용기기와 통신하여 상기 정보를 수신하는 냉장고를 포함한 냉장고 시스템을 제공하고자 한다.One embodiment of the present invention is to provide a refrigerator system including a portable device for recognizing and storing information of a character described in the document and a refrigerator communicating with the portable device to receive the information.

본 발명의 일 실시예에 따른 휴대용기기는 하나 이상의 문자로 구성된 하나 이상의 상품정보를 포함하는 문서를 촬영하는 카메라; 카메라가 촬영한 영상을 표시하는 디스플레이부; 및 상품정보를 디스플레이부에 표시하고, 하나 이상의 상품정보 중 일부 또는 전부가 선택되었는지 여부와 상기 선택된 상품정보의 상위개념인 상위 카테고리 명칭을 상기 디스플레이부에 표시하는 제어부;를 포함한다.A portable device according to an embodiment of the present invention includes a camera for photographing a document including one or more product information consisting of one or more characters; A display unit displaying an image captured by the camera; And a controller configured to display the product information on the display unit, and to display, on the display unit, whether a part or all of one or more product information is selected, and an upper category name which is a higher concept of the selected product information.

본 발명의 일 실시예에 따른 휴대용기기 동작방법은 하나 이상의 문자를 포함하는 문서를 촬영하는 단계; 상기 하나 이상의 문자를 분석하여, 정보를 구성하는 하나 이상의 정보단위로 표시하는 단계; 및 상기 정보단위 중 일부 또는 전부가 선택되었는지 여부를 표시하는 단계;를 포함한다.Method for operating a portable device according to an embodiment of the present invention comprises the steps of photographing a document containing one or more characters; Analyzing the one or more characters and displaying the information in one or more information units constituting information; And displaying whether or not some or all of the information units are selected.

본 발명의 일 실시예에 따른 냉장고 시스템은 제품정보를 구성하는 하나 이상의 문자를 포함하는 문서를 촬영하는 카메라, 상기 카메라가 촬영한 영상을 표시하는 디스플레이부 및 상기 하나 이상의 문자를 제품정보를 구성하는 하나 이상의 정보단위로 상기 디스플레이부에 표시하고, 상기 하나 이상의 정보단위 중 일부 또는 전부가 선택되었는지 여부를 상기 디스플레이부에 표시하는 제어부를 포함하는 휴대용 기기; 및 상기 휴대용 기기와 통신하여 상기 선택된 정보단위의 상위개념인 하나 이상의 상위 카테고리 명칭 중 일부 또는 전부를 수신하는 냉장고;를 포함한다.According to an embodiment of the present invention, a refrigerator system includes a camera for photographing a document including one or more characters constituting product information, a display unit for displaying an image captured by the camera, and product information for the one or more characters. A portable device including a control unit which displays one or more information units on the display unit and displays whether some or all of the one or more information units are selected on the display unit; And a refrigerator which communicates with the portable device to receive some or all of one or more upper category names that are higher concepts of the selected information unit.

본 발명의 일 실시예에 따른 휴대용기기는 문자가 기재된 문서를 카메라로 촬영하고 그 문자가 포함하는 정보를 분석하여 사용자가 일일이 정보를 입력해야 하는 수고를 덜 수 있다.A portable device according to an embodiment of the present invention can take a picture of a document in which a character is written with a camera, and analyze the information included in the character, thereby relieving the user from having to input information.

본 발명의 일 실시예에 따른 휴대용기기는 문서에 기재된 문자 중 정보를 포함하는 상품정보를 음영처리하여 사용자가 쉽게 보관목록을 구성하도록 할 수 있다.A portable device according to an embodiment of the present invention may shade a product information including information among letters described in a document so that a user may easily construct an archive list.

본 발명의 일 실시예에 따른 휴대용기기는 상품정보를 분석하여 단순화된 상품의 상위 카테고리 명칭을 보관목록에 저장하여 사용자가 확인하기 용이할 수 있다.The portable device according to an exemplary embodiment of the present invention may analyze the product information and store the upper category name of the simplified product in a storage list so that the user can easily identify the same.

본 발명의 일 실시예에 따른 휴대용기기는 상품정보 중에 선택된 것만 보관목록에 저장하여, 보관목록을 간결하게 정리할 수 있다.The portable device according to an embodiment of the present invention may store only the selected ones of the product information in the storage list so that the storage list can be concisely organized.

본 발명의 냉장고 시스템은 냉장고와 휴대용기기가 상품정보를 포함하는 보관목록을 동기화하여, 사용자가 냉장고에 일일이 상품정보를 입력하지 않아도 휴대용기기로 영수증을 촬영하여, 간편하게 정보를 입력할 수 있다.The refrigerator system of the present invention synchronizes a storage list including product information between a refrigerator and a portable device, so that a user can easily input information by photographing a receipt with the portable device even if the user does not input the product information into the refrigerator.

도 1 은 본 발명의 일 실시예에 따른 냉장고 시스템을 도시한 도면,
도 2 는 본 발명의 일 실시예의 냉장고 시스템의 냉장고의 전면을 도시한 전면도,
도 3 은 도 2 에 도시된 냉장고의 도어가 개방된 상태를 도시한 전면도,
도 4 는 본 발명의 일 실시예의 냉장고 시스템의 냉장고의 주요 구성을 도시한 블럭도,
도 5 는 본 발명의 일 실시예의 휴대용기기의 전면을 도시한 전면도,
도 6 은 도 5 에 도시된 일 실시예의 휴대용기기의 배면을 도시한 배면도,
도 7 은 본 발명의 일 실시예의 휴대용기기의 주요 구성을 도시한 블럭도,
도 8 내지 도 11 은 본 발명의 일 실시예의 냉장고 시스템의 휴대용기기의 디스플레이부의 출력화면의 변화과정을 도시한 도면,
도 12 는 본 발명의 일 실시예에 따른 냉장고 시스템의 휴대용기기의 동작방법을 도시한 순서도이다.1 is a view showing a refrigerator system according to an embodiment of the present invention;
2 is a front view showing the front of the refrigerator of the refrigerator system in accordance with one embodiment of the present invention;
3 is a front view showing a state in which the door of the refrigerator shown in FIG. 2 is opened;
4 is a block diagram showing a main configuration of a refrigerator of a refrigerator system according to an embodiment of the present invention;
5 is a front view showing the front of a portable device of an embodiment of the present invention;
6 is a rear view showing the back of the portable device of the embodiment shown in FIG. 5;
7 is a block diagram showing the main configuration of a portable device of an embodiment of the present invention;
8 to 11 are views illustrating a process of changing an output screen of a display unit of a portable device of a refrigerator system according to an embodiment of the present invention;
12 is a flowchart illustrating a method of operating a portable device of a refrigerator system according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but can be implemented in various different forms, and only the embodiments make the disclosure of the present invention complete, and the general knowledge in the art to which the present invention belongs. It is provided to fully inform the person having the scope of the invention, which is defined only by the scope of the claims. Like reference numerals refer to like elements throughout.

다양한 요소들을 설명하기 위해 제1, 제2 등의 용어가 이용될 수 있으나, 이러한 요소들은 이러한 용어들에 의해 제한되지 아니한다. 이러한 용어들은 한 요소를 다른 요소로부터 구별하기 위해서만 이용된다. 예를 들어, 본 발명의 범위를 벗어나지 않고서, 제1 접촉이 제2 접촉이라고 칭해질 수 있으며, 마찬가지로, 제2 접촉이 제1 접촉이라고 칭해질 수 있고, 상기 제1 접촉 및 제2 접촉은 둘 모두 접촉이지만, 동일한 접촉은 아닐 수 있다.Terms such as first, second, etc. may be used to describe various elements, but such elements are not limited by these terms. These terms are only used to distinguish one element from another. For example, without departing from the scope of the present invention, the first contact may be referred to as the second contact, and likewise, the second contact may be referred to as the first contact, and the first contact and the second contact may be All are contacts, but may not be the same contact.

발명의 설명에서 이용되는 용어들은 오직 특정 실시예들을 설명하기 위한 것이며, 발명을 제한하도록 의도된 것이 아니다. 발명의 설명 및 첨부된 청구항에서 이용될 때, 단수 형태는 문맥상 명백하게 다르게 나타나지 않는 한은 복수 형태도 물론 포함하도록 의도된 것이다. 표시의 사용은 그 용어의 단수 용법 또는 복수 형태 중 어느 하나 또는 둘 다를 나타낼 수 있으며, 그 반대도 마찬가지이다.The terminology used in the description of the invention is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. As used in the description of the invention and the appended claims, the singular forms are intended to include the plural forms as well, unless the context clearly indicates otherwise. The use of an indication may indicate either or both of the singular or plural forms of the term, and vice versa.

" 및/ 또는" 이라는 용어는 나열된 관련 항목들 중 하나 이상의 임의의 모든 가능한 조합들을 참조하며 그들을 포괄하는 것임을 이해할 것이다. 본 명세서에서 사용될 때의 "포함한다 (comprises)" 및 / 또는 "포함하는(comprising)" 이라는 용어는 명시된 특징들, 정수들, 단계들, 동작들, 요소들 및 또는 컴포넌트들의 존재를 지정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트 들 및 / 또는 그들의 그룹의 존재 또는 추가를 배제하지 않음을 더 이해할 것이다.It will be understood that the term “and / or” refers to and encompasses any and all possible combinations of one or more of the listed related items. As used herein, the terms "comprises" and / or "comprising" designate the presence of specified features, integers, steps, actions, elements and / or components, It will be further understood that it does not exclude the presence or addition of one or more other features, integers, steps, actions, elements, components and / or groups thereof.

"~는 경우(if)"라는 용어는 "~할 때(when)" 또는 "~ 시(upon)", 또는 문맥에 따라 "결정한 것에 응답하여(in response to determining)" 또는 "검출한 것에 응답하여" 를 의미하는 것으로 해석될 수 있다. 마찬가지로, "결정된 경우" 또는 "[명시된 조건 또는 이벤트가] 검출된 경우"라는 구문은 문맥에 따라, "결정시" 또는 "결정한 것에 응답하여" 또는 "[명시된 조건 또는 이벤트의] 검출 시", 또는 "[명시된 조건 또는 이벤트를] 검출한 것에 응답하여"를 의미하는 것으로 해석될 수 있다.The term "if" refers to "when" or "upon", or "in response to determining" or "detected," depending on the context. Can be interpreted to mean. Similarly, the phrase "if determined" or "if [specified condition or event is detected]" means "on decision" or "in response to a decision" or "on detection of [specified condition or event]," depending on the context. Or in response to detecting [specified condition or event].

이하에서는, 컴퓨팅 장치들, 그러한 장치들을 위한 사용자 인터페이스들, 및 그러한 장치들을 이용하기 위한 관련 프로세스 들의 실시예들이 설명될 수 있다.In the following, embodiments of computing devices, user interfaces for such devices, and related processes for using such devices can be described.

이하에서는 도면을 참조하여 본 발명의 실시 예에 대해서 구체적으로 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1 은 본 발명의 일 실시예에 따른 냉장고 및 휴대용기기를 포함하는 냉장고 시스템의 도면이다.1 is a view of a refrigerator system including a refrigerator and a portable device according to an embodiment of the present invention.

도 1 을 참조하면, 본 발명의 일 실시예에 따른 냉장고 시스템은 냉장고 및 냉장고와 통신하는 휴대용기기를 포함할 수 있다. Referring to FIG. 1, a refrigerator system according to an embodiment of the present invention may include a refrigerator and a portable device communicating with the refrigerator.

본 발명의 일 실시예에 따른 냉장고 시스템은 하나 이상의 문자로 구성된 상품정보를 포함하는 문서를 촬영하는 카메라, 상기 카메라가 촬영한 영상을 표시하는 디스플레이부 및 상기 상품정보를 상기 디스플레이부에 표시하고, 상기 하나 이상의 상품정보 중 일부 또는 전부가 선택되었는지 여부를 상기 디스플레이부에 표시하는 제어부를 포함하는 휴대용기기(20) 및 상기 휴대용기기(20)와 통신하여 상기 선택된 상품정보로 구성된 보관목록을 동기화하는 냉장고(10)를 포함할 수 있다.A refrigerator system according to an embodiment of the present invention displays a camera for photographing a document including product information consisting of one or more characters, a display unit displaying an image photographed by the camera, and the product information on the display unit. A portable device 20 including a control unit for displaying whether or not some or all of the one or more product information is selected on the display unit and the portable device 20 to communicate with the storage list consisting of the selected product information It may include a refrigerator 10.

휴대용기기는 카메라가 촬영한 영상의 정보를 분석할 수 있다. 예를 들어, 휴대용기기는 상품정보를 포함하는 영수증을 촬영하고, 그 상품정보의 내용을 분석할 수 있다. 영수증에 포함되는 상품정보는 하나 이상일 수 있다.The portable device may analyze information of an image captured by the camera. For example, the portable device may photograph a receipt including product information and analyze the contents of the product information. Product information included in the receipt may be one or more.

휴대용기기는 촬영한 영상의 정보와 비교하여 그 내용을 분석할 데이터정보를 저장할 수 있다. 예를 들어, 휴대용기기는 촬영한 영상에서 상품정보를 추출하고, 상기 상품정보의 상위개념인 상위 카테고리 명칭을 도출할 수 있는 데이터 정보를 저장할 수 있다.The portable device may store data information for analyzing the contents by comparing the information of the captured image. For example, the portable device may extract product information from the captured image and store data information for deriving a higher category name, which is a higher concept of the product information.

상품정보는 물품의 이름인 상품명 또는 상품명에 대응하는 코드번호를 포함할 수 있다. 코드번호는 상품명을 나타내는 숫자 등의 문자로 형성되어 정보를 코드화할 수 있다. The product information may include a product name or a code number corresponding to the product name as the name of the article. The code number is formed of letters such as numbers representing a trade name to encode information.

휴대용기기는 상품정보를 포함하는 보관목록을 저장할 수 있다. 휴대용기기는 하나 이상의 상품정보 중에서 보관목록에 포함시킬 상품정보를 선택할 수 있다. 휴대용기기는 선택된 상품정보를 보관목록에 저장하고, 이를 냉장고에 송신할 수 있다.The portable device may store a storage list including product information. The portable device may select product information to be included in the storage list from one or more product information. The portable device may store the selected product information in a storage list and transmit it to the refrigerator.

보관목록은 하나 이상의 상품정보를 포함할 수 있다. 보관목록은 상기 상품정보의 상위 개념인 상위 카테고리 명칭을 포함할 수 있다. 예를 들어, 휴대용기기는 상품정보에 대응하는 상품 중, 냉장고에 보관할 물품을 선택하고, 이를 보관목록에 저장할 수 있다.The inventory may contain one or more product information. The inventory may include a higher category name, which is a higher concept of the product information. For example, the portable device may select an item to be stored in the refrigerator among the products corresponding to the product information and store the same in a storage list.

보관목록은 하나 이상의 상품정보 중 선택된 상품정보로 구성될 수 있다. 예를 들어, 사용자는 휴대용기기(20)로 냉장고(10)에 보관할 물품에 대응하는 상품정보를 선택하여 보관목록을 저장할 수 있다. 보관목록은 냉장고(10)에 보관할 물품에 대응하는 상품정보, 상품정보에 대응하는 상위 카테고리 명칭, 물품의 저장위치, 냉장고에 저장된 물품의 개수 등을 포함할 수 있으나, 이에 한정하지 아니한다.The inventory may consist of selected product information from one or more product information. For example, the user may select the product information corresponding to the article to be stored in the refrigerator 10 with the portable device 20 and store the storage list. The storage list may include product information corresponding to an item to be stored in the refrigerator 10, a higher category name corresponding to the product information, a storage location of the item, and the number of items stored in the refrigerator, but are not limited thereto.

휴대용기기(20)는 내부공간의 온도를 유지하는 냉장고와 통신할 수 있다. 휴대용기기는 상품정보에 대한 신호를 냉장고에 송신하는 통신장치(미도시)를 포함할 수 있다. 휴대용기기(20)는 하나 이상의 상품정보 중 선택된 상품정보로 구성된 보관목록을 저장하는 메모리를 포함할 수 있다. 휴대용기기(20)는 냉장고(10)와 보관목록을 동기화할 수 있다. 휴대용기기(20)는 상품정보를 입력받은 경우, 상기 상품정보를 보관목록에 저장하고, 보관목록에 대한 데이터를 냉장고(10)에 송신할 수 있다. The portable device 20 may communicate with a refrigerator that maintains the temperature of the internal space. The portable device may include a communication device (not shown) for transmitting a signal for product information to the refrigerator. The portable device 20 may include a memory for storing an inventory consisting of selected product information among one or more product information. The portable device 20 may synchronize the storage list with the refrigerator 10. When the portable device 20 receives the product information, the portable device 20 may store the product information in a storage list and transmit data on the storage list to the refrigerator 10.

휴대용기기(20)는 상품정보 및 상품정보에 대응하는 상위개념인 상위 카테고리 명칭을 포함하여, 상품정보를 분석하는 기초가 되는 데이터정보를 저장하는 메모리를 더 포함할 수 있다.The portable device 20 may further include a memory for storing data information, which is a basis for analyzing the product information, including the product information and the upper category name, which is a higher concept corresponding to the product information.

냉장고(10)는 각종 물품을 보관할 수 있다. 냉장고(10)는 내부에 어떤 물품을 보관하였는지에 대한 데이터를 저장할 수 있다. 냉장고(10)는 보관한 물품이 저장된 위치를 저장할 수 있다.The refrigerator 10 may store various items. The refrigerator 10 may store data regarding what items are stored therein. The refrigerator 10 may store a location where stored items are stored.

냉장고(10)는 보관한 물품의 상품정보를 저장할 수 있다. 냉장고(10)는 보관한 물품의 상품정보를 포함하는 보관목록을 저장할 수 있다. 냉장고(10)는 상품정보의 상위개념인 상위 카테고리 명칭을 저장할 수 있다.The refrigerator 10 may store product information of the stored article. The refrigerator 10 may store a storage list including product information of stored items. The refrigerator 10 may store the upper category name, which is a higher concept of the product information.

냉장고(10)는 휴대용기기(20)와 통신할 수 있다. 냉장고(10)는 내부에 보관할 물품의 상품정보를 포함한 보관목록을 휴대용기기(20)로부터 수신할 수 있다. 냉장고(10)는 보관목록을 갱신하는 경우, 그를 휴대용기기(20)에 송신할 수 있다. 냉장고(10)는 휴대용기기(20)와 보관목록을 동기화할 수 있다.The refrigerator 10 may communicate with the portable device 20. The refrigerator 10 may receive a storage list including product information of items to be stored therein from the portable device 20. When the refrigerator 10 updates the storage list, the refrigerator 10 may transmit it to the portable device 20. The refrigerator 10 may synchronize the storage list with the portable device 20.

도 2 내지 도 4 는 본 발명의 일 실시예에 따른 냉장고 시스템의 냉장고를 도시하거나, 그 구성을 블록도로 도시하고 있으며, 도 5 내지 도 7 은 본 발명의 일 실시예에 따른 냉장고 시스템의 휴대용기기를 도시하거나, 그 구성을 블록도로 도시하고 있다.2 to 4 illustrate a refrigerator of the refrigerator system according to an embodiment of the present invention, or a block diagram of the configuration thereof, and FIGS. 5 to 7 illustrate portable devices of the refrigerator system according to an embodiment of the present invention. Or a block diagram of the configuration.

도 2 내지 도 3 을 참조하면, 일 실시예에 따른 냉장고(10)는 냉장실(120) 및 냉동실(130)로 구획된 내부공간을 형성하는 케이스(110)와, 냉장실(120)을 개폐하는 냉장실도어(122)와, 냉동실(130)을 개폐하는 냉동실도어(121)를 포함할 수 있다.2 to 3, the refrigerator 10 according to an embodiment includes a case 110 forming an internal space divided into a refrigerating compartment 120 and a freezing compartment 130, and a refrigerating compartment for opening and closing the refrigerating compartment 120. The door 122 and a freezing chamber door 121 for opening and closing the freezing chamber 130 may be included.

냉장실도어(122)는 케이스(110)의 우측에 회전 가능하게 연결된 우측 도어일 수 있고, 냉동실도어(121)는 케이스(110)의 좌측에 회전 가능하게 연결된 좌측 도어일 수 있다.The refrigerating compartment door 122 may be a right door rotatably connected to the right side of the case 110, and the freezing compartment door 121 may be a left door rotatably connected to the left side of the case 110.

도 2 및 도 3 에 도시된 실시예에서, 냉장고(10)는 케이스(110)의 우측에 냉장실(120)을 구비하고, 케이스(110)의 좌측에 냉동실(130)을 구비하여, 2개의 도어로 냉장실(120) 및 냉동실(130)이 개폐되는 2도어형인 것으로 설명하나, 이에 한정되지 않고 다양한 실시가 가능함을 명시한다. 예를 들어, 다른 실시예에서, 냉장고(10)는 슬라이딩 방식의 도어에 의해 개폐되는 냉동실을 하나 더 추가한 3도어형일 수 있으나, 이에 한정하지 아니한다.2 and 3, the refrigerator 10 includes a refrigerating compartment 120 on the right side of the case 110 and a freezing compartment 130 on the left side of the case 110. The refrigerator compartment 120 and the freezing chamber 130 is described as being a two-door type, but not limited to this, it is specified that various implementations are possible. For example, in another embodiment, the refrigerator 10 may be a three door type in which one additional freezer compartment is opened and closed by a sliding door, but is not limited thereto.

냉장실도어(122)는 냉장실도어(122)를 여닫을 수 있도록 냉장실도어 손잡이(124)를 구비할 수 있다. 냉동실도어(121)는 사용자가 냉동실도어(121)를 여닫을 수 있도록 냉동실도어 손잡이(123)를 구비할 수 있다.The refrigerating chamber door 122 may include a refrigerating chamber door handle 124 to open and close the refrigerating chamber door 122. The freezer door 121 may include a freezer door handle 123 so that a user can open and close the freezer door 121.

디스펜서(125)는 냉동실도어(121)의 전면에 배치될 수 있다. 디스펜서(125)는 얼음 또는 식수를 보관 또는 배출할 수 있다.The dispenser 125 may be disposed in front of the freezer door 121. The dispenser 125 may store or discharge ice or drinking water.

컨트롤 패널(140)은 상기 디스펜서(125)의 상측에 배치될 수 있으나, 이에 한정하지 아니하고, 그 위치관계는 다양할 수 있다. 컨트롤 패널(140)은 냉장고(10)의 운전을 제어하고, 냉장고(10)의 상태를 표시부(141)를 통해 화면 및/또는 소리로 출력할 수 있다.The control panel 140 may be disposed above the dispenser 125, but is not limited thereto, and the positional relationship may vary. The control panel 140 may control the operation of the refrigerator 10 and output the state of the refrigerator 10 as a screen and / or sound through the display unit 141.

컨트롤 패널(140)은 LED, LCD, 유기 EL과 같은 형태의 발광체일 수 있다. 컨트롤 패널(140)은 표시부(141), 음향출력수단 및 입력부(142)를 포함할 수 있다.The control panel 140 may be a light emitter in the form of LED, LCD, organic EL. The control panel 140 may include a display unit 141, a sound output means, and an input unit 142.

표시부(141)는 냉장고(10)의 상태정보, 또는 고장정보를 시각화하여 표시할 수 있다. 표시부(141)는 터치 입력을 인식할 수 있도록 터치 스크린일 수 있다. 음향출력수단은 표시부(141), 버저(buzzer) 또는 스피커(speaker) 등의 소리를 출력할 수 있다. 입력부(142)는 사용자로부터 각종 작동 명령을 입력받을 수 있다. 예를 들어, 입력부(142)는 기계식 버튼(button) 또는 정전/정압 방식의 터치 버튼(touch button)을 포함할 수 있으나, 이에 한정하지 아니한다.The display unit 141 may visualize and display state information or failure information of the refrigerator 10. The display unit 141 may be a touch screen to recognize a touch input. The sound output means may output a sound such as a display unit 141, a buzzer or a speaker. The input unit 142 may receive various operation commands from a user. For example, the input unit 142 may include a mechanical button or a touch button of an electrostatic / static pressure type, but is not limited thereto.

표시부(141)는 입력부(142)로 입력된 상품정보를 표시할 수 있다. 표시부(141)는 냉장고(10) 내부에 위치한 물품들을 표시할 수 있다. 예를 들어, 표시부(141)는 냉장고(10)의 형상을 표시하고, 그 위에 냉장고(10) 내부에 위치한 물품들의 위치에 따라서, 물품을 나타내는 아이콘(icon)을 표시할 수 있으나, 그에 한정하지 아니하고, 그 표시하는 방식은 다양할 수 있다.The display unit 141 may display product information input to the input unit 142. The display unit 141 may display items located in the refrigerator 10. For example, the display unit 141 may display a shape of the refrigerator 10, and display an icon representing the item according to the positions of the items located inside the refrigerator 10, but is not limited thereto. However, the manner of presentation may vary.

표시부(141)는 휴대용기기로부터 전송받은 상품정보를 표시할 수 있다. 예를 들어, 표시부(141)는 휴대용기기로부터 수신한 상품정보를 포함하는 보관목록을 표시할 수 있다. 사용자는 카메라가 촬영한 영상으로부터 추출한 상품정보를 기초로 하여, 냉장고(10) 내부에 보관할 물품을 선택할 수 있다. The display unit 141 may display the product information received from the portable device. For example, the display unit 141 may display a storage list including product information received from the portable device. The user may select an item to be stored in the refrigerator 10 based on the product information extracted from the image photographed by the camera.

냉장고(10)는 냉매배관을 따라 냉매가 순환하며 압축, 팽창, 증발 및 응축되는 순환 사이클을 구동할 수 있다. 냉장고(10)는 상기 순환 사이클 과정 중에 이루어지는 냉매의 상변화에 의해 주변 공기와의 열교환을 행하여 냉장 또는 냉동을 수행할 수 있다.The refrigerator 10 may drive a circulation cycle in which the refrigerant circulates along the refrigerant pipe and is compressed, expanded, evaporated, and condensed. The refrigerator 10 may perform refrigeration or freezing by performing heat exchange with the ambient air by the phase change of the refrigerant made during the circulation cycle.

냉장고(10)는 냉매를 압축시키기 위한 압축기(미도시), 냉매를 팽창시키기 위한 팽창밸브(미도시), 냉매를 증발시키는 증발기로 작용하는 열교환기(미도시), 냉매를 응축시키는 응축기로 작용하는 열교환기(미도시)가 구비될 수 있다.The refrigerator 10 functions as a compressor (not shown) for compressing the refrigerant, an expansion valve (not shown) for expanding the refrigerant, a heat exchanger (not shown) serving as an evaporator for evaporating the refrigerant, and a condenser for condensing the refrigerant. A heat exchanger (not shown) may be provided.

냉장고(10)는 냉각된 공기를 냉장실(120)로 송풍하기 위한 냉장실 팬(184), 냉각된 공기를 냉동실(130)로 송풍하기 위한 냉동실 팬(186), 냉장고(10)를 구성하는 각종 구성품의 작동 상태를 감지하는 감지부(미도시)를 더 포함할 수 있다.The refrigerator 10 includes a refrigerator compartment fan 184 for blowing cooled air to the refrigerating compartment 120, a freezer compartment fan 186 for blowing the cooled air to the freezing compartment 130, and various components constituting the refrigerator 10. It may further include a detector (not shown) for detecting the operating state of the.

도 4 를 참조하면, 냉장고(10)는 입력부(142), 표시부(141), 입출력제어부(143), 메모리(172), 감지부(190), 음향출력부(182), 압축기(183), 냉장실 팬(184), 냉동실 팬(186), 제상히터(188), 응축기 팬(189), 그리고 냉장고 동작 전반을 제어하는 제어부(160)를 포함할 수 있다.Referring to FIG. 4, the refrigerator 10 includes an input unit 142, a display unit 141, an input / output controller 143, a memory 172, a detector 190, an audio output unit 182, a compressor 183, The refrigerator compartment fan 184, the freezer compartment fan 186, the defrost heater 188, the condenser fan 189, and a controller 160 that controls the overall operation of the refrigerator.

감지부(190)는 냉장실(120)의 온도를 감지하는 냉장실 온도센서(191)와 냉동실(130)의 온도를 감지하는 냉동실 온도센서(192)를 포함할 수 있다. 감지부(190)는 제상 센서(193), 냉장실 팬 모터 센서 (194), 냉동실 팬 모터 센서(195) 및 응축기 팬 모터 센서(196)를 더 포함할 수 있다.The detection unit 190 may include a refrigerating compartment temperature sensor 191 detecting a temperature of the refrigerating compartment 120 and a freezing compartment temperature sensor 192 detecting a temperature of the freezing compartment 130. The sensing unit 190 may further include a defrost sensor 193, a refrigerating compartment fan motor sensor 194, a freezer compartment motor motor 195, and a condenser fan motor sensor 196.

제상 센서(193)는 제상운전 수행여부를 판단하기 위해 증발기 표면의 온도를 감지할 수 있다. 냉장실 팬 모터 센서(194)는 냉장실 팬(184)의 정상 작동 여부를 감지할 수 있다. 냉동실 팬 모터 센서(195)는 냉동실 팬(186)의 정상 작동 여부를 감지할 수 있다. 응축기 팬 모터 센서(196)는 냉매와의 열교환 시 응축기로부터 발생하는 열을 발열시키기 위한 응축기 팬(189)의 정상 작동 여부를 감지할 수 있다.The defrost sensor 193 may sense the temperature of the surface of the evaporator to determine whether to perform defrost operation. The refrigerator compartment fan motor sensor 194 may detect whether the refrigerator compartment fan 184 is normally operated. The freezer compartment fan motor sensor 195 may detect whether the freezer compartment fan 186 normally operates. The condenser fan motor sensor 196 may detect whether the condenser fan 189 normally operates to generate heat generated from the condenser when heat exchange with the refrigerant.

제어부(160)는 감지부(190)를 구성하는 각종 센서들을 통해 수집된 정보를 근거로 냉장고(10)의 운전상태를 분석할 수 있다. 입출력제어부(143)는 제어부(160)에 의해 분석된 상태 정보가 표시부(141)를 통해 표시되도록 제어할 수 있다.The controller 160 may analyze an operation state of the refrigerator 10 based on information collected through various sensors constituting the detector 190. The input / output controller 143 may control the state information analyzed by the controller 160 to be displayed through the display unit 141.

예를 들어, 입출력제어부(143)는 제어부(160)와 컨트롤 패널(140)에 구비된 입력부(142) 및 표시부(141) 사이를 매개할 수 있다. 입출력제어부(143)는 사용자가 입력부(142)를 통해 입력한 각종 제어 명령을 제어부(160)로 전달할 수 있다.For example, the input / output control unit 143 may mediate between the control unit 160 and the input unit 142 and the display unit 141 provided in the control panel 140. The input / output controller 143 may transmit various control commands input by the user through the input unit 142 to the controller 160.

입출력제어부(143)는 상기 입력된 제어 명령에 대응하여 기호, 문자 및/또는 아이콘 등의 이미지가 표시부(141)를 통해 표시되도록 할 수 있다. 입출력제어부(143)는 감지부(190)에 의해 감지된 정보가 제어부(160)를 통해 전달되면 이를 바탕으로 한 상태 정보가 표시부(141)를 통해 표시되도록 할 수 있다. The input / output controller 143 may display an image such as a symbol, a character, and / or an icon through the display unit 141 in response to the input control command. When the information detected by the sensing unit 190 is transmitted through the control unit 160, the input / output control unit 143 may display the state information based on the display unit 141.

입출력제어부(143)는 적어도 식품 정보와 식품의 관리에 필요한 정보를 인식할 수 있다. 식품 정보는 식품분류(야채, 육류, 과일, 수산물, 유제품, 곡물 등 카테고리) 또는 식품명을 포함할 수 있다. 식품의 관리에 필요한 정보는 보관기간 정보 또는 식품 관리 대상 정보 등을 포함할 수 있다.The input / output control unit 143 may recognize at least food information and information necessary for managing food. The food information may include a food classification (category, meat, fruit, aquatic products, dairy products, grains, etc.) or a food name. Information necessary for the management of food may include storage period information or food management target information.

보관기간 정보는 보관시작일, 보관종료일, 기준보관기간, 보관위치, 식품의 개수, 무게, 보관방법 중 하나 이상을 포함할 수 있다. 식품 관리 대상 정보는 보관위치 관리, 보관기간 관리, 보관량 관리, 보관방법 관리 등 일 수 있다.The storage period information may include one or more of storage start date, storage end date, standard storage period, storage location, number of food, weight, storage method. The food control information may be storage location management, storage period management, storage quantity management, storage method management, and the like.

보관기간 관리 대상은, 보관 시작일부터 현재일까지의 보관 경과기간, 현재일로부터 보관 종료일(유통기한일)까지의 보관 잔여기간, 보관 종료일, 기준보관기관 도달 여부 중 하나 이상을 포함할 수 있다. The storage period management object may include one or more of the storage elapsed period from the storage start date to the present day, the remaining storage period from the current date to the storage end date (the expiration date), the storage end date, whether the reference storage institution is reached.

입출력제어부(143)는 인식된 식품 정보와 식품의 관리에 필요한 정보를 기초로 식품 관리를 수행한다. 기준보관기간 도달 여부는 기준일로부터 기준보관기간 이내에 있는지 여부 또는 기준일로부터 기준보관기간을 초과하였는지 여부일 수 있다.The input / output control unit 143 performs food management based on the recognized food information and information necessary for the management of the food. Whether the baseline storage period is reached may be within the baseline storage period from the baseline date or whether the baseline storage period has been exceeded from the baseline date.

식품 정보 및 식품의 관리에 필요한 정보는 표시부(141) 상에서 선택 또는 입력하거나, 별도의 입력부를 통하여 텍스트 또는 음성으로 입력할 수 있으나, 이에 한정하지 아니한다.Food information and information necessary for the management of food may be selected or input on the display unit 141, or may be input by text or voice through a separate input unit, but is not limited thereto.

입력부(142)는 사용자 조작에 의해 소정의 신호 또는 데이터를 냉장고(10)로 입력하는 입력수단을 적어도 하나 구비할 수 있다. 예를 들어 입력부(142)는 냉장고(10)의 작동에 대한 각종 제어명령을 입력받는 조작부(144)와 냉장고(10)의 진단을 위해 진단모드 진입명령을 입력받는 선택부(145)를 포함할 수 있으나, 입력수단은 각종 실시예에 따라 다를 수 있다.The input unit 142 may include at least one input unit for inputting a predetermined signal or data to the refrigerator 10 by a user operation. For example, the input unit 142 may include an operation unit 144 that receives various control commands for the operation of the refrigerator 10 and a selection unit 145 that receives a diagnosis mode entry command for diagnosing the refrigerator 10. However, the input means may vary according to various embodiments.

선택부(145)는 적어도 하나의 입력수단을 포함할 수 있다. 선택부(145)는 진단실시명령이 입력되면, 음향출력부(182)를 통해 제품정보를 포함하는 신호음이 출력되도록, 신호 출력명령을 제어부(160)로 인가할 수 있다.The selector 145 may include at least one input means. The selector 145 may apply a signal output command to the controller 160 such that a signal sound including product information is output through the sound output unit 182 when a diagnosis execution command is input.

선택부(145)는 조작부(144)와는 별도로, 소정 입력수단으로 구성될 수 있으나, 반드시 이에 한정되지는 아니한다. The selection unit 145 may be configured as a predetermined input means separately from the operation unit 144, but is not necessarily limited thereto.

조작부(144)는 일정시간 이상 계속적으로 눌러지거나, 일정시간 내에 반복적으로 눌러지는 등의 특정한 누름 패턴이 있는 경우, 선택부(145)의 역할을 수행하도록 설정될 수 있으나, 이에 한정하지 아니한다.The operation unit 144 may be set to perform the role of the selection unit 145 when there is a specific pressing pattern such as being continuously pressed for a predetermined time or repeatedly pressed within a predetermined time, but is not limited thereto.

통신부(150)는 휴대용기기와 통신할 수 있다. 통신부(150)는 휴대용기기로부터 상품정보 또는 상품정보를 포함하는 보관목록을 송수신할 수 있다.The communicator 150 may communicate with the portable device. The communication unit 150 may transmit and receive product information or a storage list including the product information from the portable device.

메모리(172)는 제품정보를 저장하는 것으로, 전술한 바와 같이 제품정보는 냉장고(10)의 동작 중 소정 기간 동안 감지부(190)를 통해 감지되어 누적된 운전정보를 포함할 수 있다.The memory 172 stores product information. As described above, the product information may include driving information that is detected and accumulated through the detector 190 for a predetermined period of time during the operation of the refrigerator 10.

예를 들어, 제품정보(product information)는 식별정보(Product ID), 설정정보(configuration), 운전정보(operation information), 오작동정보(error-detecting information) 중 적어도 하나를 포함할 수 있다.For example, the product information may include at least one of identification information (Product ID), configuration information (configuration), operation information (operation information), malfunction information (error-detecting information).

설정정보는 냉장고(10)의 기능설정을 위해 사용자로부터 입력된 정보일 수 있다. 예를 들어, 설정정보는 설정온도, 기능설정여부 또는 각종 구성요소 구비여부 등을 포함할 수 있다. The setting information may be information input from the user for setting the function of the refrigerator 10. For example, the setting information may include setting temperature, function setting or whether various components are provided.

설정온도는 냉동실 설정온도, 냉동실 목표온도, 냉장실 설정온도 또는 냉장실 목표온도 등을 포함할 수 있으나, 이에 한정하지 아니한다. 기능설정여부는 급속냉동, 쾌속냉동, 특급냉동, 테스트모드, 공기정화모드 또는 전시모드 등을 포함할 수 있으나, 이에 한정하지 아니한다.The set temperature may include a freezer compartment set temperature, a freezer compartment target temperature, a refrigerator compartment set temperature, or a refrigerator compartment target temperature, but is not limited thereto. Function setting may include, but is not limited to, rapid freezing, rapid freezing, express freezing, test mode, air purifying mode or display mode.

구성요소 구비여부는 진단 대상이 되는 냉장고에 물이나 얼음을 취출할 수 있도록 디스펜서가 구비되었는지 여부 등일 수 있으나, 이에 한정하지 아니하고 다양한 실시예가 있을 수 있다.Whether or not the component is provided may include whether a dispenser is provided to draw water or ice into the refrigerator to be diagnosed, but the present disclosure is not limited thereto.

운전정보는 냉장고(10)의 운전상태에 대한 정보일 수 있다. 예를 들어 운전정보는 팬 또는 압축기 등의 구동시간, 도어 개방시간, 도어 개방횟수, 각종시간정보, 온도정보 등을 포함할 수 있다.The driving information may be information about an operating state of the refrigerator 10. For example, the operation information may include a driving time of a fan or a compressor, a door opening time, a door opening frequency, various time information, temperature information, and the like.

예를 들어, 팬의 구동시간은 설정 기간 동안 누적된 냉장실 팬 또는 냉장실 팬의 구동시간일 수 있다. 도어 개방 횟수는 설정 기간 동안 누적된 냉동실 또는 냉장실의 도어 개방 횟수일 수 있다. 도어 개방 시간은 설정 기간 동안 누적된 냉동실 도어 또는 냉장실 도어의 개방시간일 수 있다. 팬 또는 압축기 등의 구동시간은 설정 기간 동안 누적된 냉장실 팬 또는 냉동실 팬의 구동시간, 설정 기간 동안의 압축기(compressor)의 누적 구동시간일 수 있다. For example, the driving time of the fan may be the driving time of the refrigerator compartment fan or the refrigerator compartment fan accumulated during the set period. The number of door openings may be the number of door openings of the freezing compartment or the refrigerating compartment accumulated during the set period. The door opening time may be an opening time of the freezer door or the refrigerating compartment door accumulated during the set period. The driving time of the fan or the compressor may be the driving time of the refrigerating compartment fan or the freezing compartment fan accumulated during the set period, and the accumulated driving time of the compressor during the set period.

각종 시간정보는 현재 메모리(172)에 누적된 제품정보가 어느 정도의 기간 동안 누적된 것인지에 대한 시간정보, 진단실시 전 가장 최근에 수행된 냉동실 제상시간 및/또는 냉장실 제상시간 등을 포함할 수 있다. 온도정보는 설정 기간 동안 냉동실 온도센서, 냉장실 온도센서, 외기 온도센서, 냉동실 제상센서 또는 냉장실 제상센서에 의해 감지된 평균온도, 최고온도 및/또는 최저온도를 포함할 수 있다. 운전정보는 진단실시 전 가장 최근의 냉동실 제상주기도 포함할 수 있다. The various time information may include time information on how long the product information accumulated in the current memory 172 is accumulated, the freezer defrosting time and / or the refrigerating room defrosting time most recently performed before the diagnosis is performed. . The temperature information may include an average temperature, a maximum temperature, and / or a minimum temperature detected by the freezer compartment temperature sensor, the refrigerator compartment temperature sensor, the outside temperature sensor, the freezer compartment defrost sensor, or the refrigerator compartment defrost sensor during the set period. The operation information may also include the most recent freezer defrost cycle before the diagnosis is performed.

오작동정보는 냉장고를 이루는 각종 구성 또는 기능들의 정상 작동 여부에 관한 정보일 수 있다. 예를 들어, 오작동정보는 냉동실 온도센서(192), 냉장실 온도센서(191), 외기 온도센서(199), 냉동실 제상센서 또는 냉장실 제상센서 등의 센서들의 정상작동여부, 냉동실 팬 또는 냉장실 팬과 같은 구동장치의 정상 구동여부에 관한 정보 등을 포함할 수 있다. 오작동정보는 아이스메이커(ice maker)에 정상적으로 급수가 이루어지고 있는지 여부, 사용자가 누름 시 물이나 얼음이 취출되도록 디스펜서(125)에 구비된 워터패드(water pad) 또는 아이스패드(ice pad)의 정상작동여부 등의 정보를 포함할 수 있으나, 예시에 불과한 것으로 이에 한정하지 아니한다.The malfunction information may be information regarding whether the various components or functions of the refrigerator operate normally. For example, the malfunction information may be normal operation of sensors such as a freezer compartment temperature sensor 192, a refrigerator compartment temperature sensor 191, an outside air temperature sensor 199, a freezer compartment defrost sensor, or a refrigerator compartment defrost sensor, such as a freezer compartment fan or a refrigerator compartment fan. Information on whether the driving device is normally driven may be included. Malfunction information indicates whether water is supplied to the ice maker (ice maker) normally, the normal of the water pad or ice pad provided in the dispenser 125 so that water or ice is drawn out when the user presses it. It may include information such as operation, but is not limited thereto.

제어부(160)는 냉장고로 입력되거나 출력되는 데이터의 흐름을 제어할 수 있다. 제어부(160)는 감지부(190)로부터 입력된 데이터에 따라 제어명령을 생성할 수 있다. 제어부(160)는 입력부(142)의 입력에 따라 각종 기능을 수행하거나, 결과를 출력하기 위해 제어신호를 출력할 수 있으나, 이에 대해 한정하지 아니한다.The controller 160 may control the flow of data input or output to the refrigerator. The controller 160 may generate a control command according to the data input from the sensor 190. The controller 160 may perform various functions according to the input of the input unit 142 or output a control signal to output a result, but is not limited thereto.

도 5 및 도 6 을 참조하면, 본 발명과 관련된 휴대 단말기를 외형에 따른 구성요소를 확인할 수 있다. 이하에서는 설명의 편의상, 폴더 타입, 바 타입, 스윙타입, 슬라이더 타입 등과 같은 여러 타입의 휴대 단말기들 중에서 전면 터치스크린이 구비되어 있는, 바 타입의 휴대 단말기를 예로 들어 설명한다. 그러나, 본 발명은 바 타입의 휴대 단말기에 한정되는 것은 아니고 전술한 타입을 포함한 모든 타입의 휴대 단말기에 적용될 수 있다. 5 and 6, components of the portable terminal according to the present invention may be identified. Hereinafter, for convenience of description, a bar type portable terminal having a front touch screen among various types of portable terminals such as a folder type, a bar type, a swing type, a slider type, and the like will be described as an example. However, the present invention is not limited to the bar type portable terminal, but can be applied to all types of portable terminals including the aforementioned type.

도 5 를 참조하면, 휴대용기기(20)의 외관을 이루는 케이스는, 프론트 케이스(200-1)와 리어 케이스(200-2)에 의해 형성된다. 프론트 케이스(200-1)와 리어 케이스(200-2)에 의해 형성된 공간에는 각종 전자부품들을 내장할 수 있다. 프론트 케이스(200-1)와 리어 케이스(200-2)는 합성수지를 사출하여 형성되거나, 금속 재질, 예를 들어 스테인레스 스틸(STS) 또는 티타늄(Ti) 등과 같은 금속 재질을 갖도록 형성될 수도 있다.Referring to FIG. 5, the case forming the exterior of the portable device 20 is formed by the front case 200-1 and the rear case 200-2. Various electronic components may be embedded in the space formed by the front case 200-1 and the rear case 200-2. The front case 200-1 and the rear case 200-2 may be formed by injecting a synthetic resin, or may be formed to have a metal material such as stainless steel (STS) or titanium (Ti).

프론트 케이스(200-1)에는 디스플레이부(251), 제1 음향출력모듈(253a), 제1 카메라(221a), 및 제1 내지 제3 사용자 입력부(230a, 230b, 230c)가 배치될 수 있다. 리어 케이스(200-2)의 측면에는 제4 사용자 입력부(230d), 제5 사용자 입력부(230e), 및 마이크(223)가 배치될 수 있다.The front case 200-1 may include a display unit 251, a first sound output module 253a, a first camera 221a, and first to third user input units 230a, 230b, and 230c. . The fourth user input unit 230d, the fifth user input unit 230e, and the microphone 223 may be disposed on the side surface of the rear case 200-2.

디스플레이부(251)는 터치패드가 레이어 구조로 중첩됨으로써, 디스플레이부(251)가 터치스크린으로 동작하여 사용자의 터치에 의한 정보의 입력이 가능하도록 구성할 수도 있다.The display unit 251 may be configured such that the touch pad is superimposed in a layer structure so that the display unit 251 operates as a touch screen to input information by a user's touch.

제1 음향출력 모듈(253a)은 리시버 또는 스피커의 형태로 구현될 수 있다. 제1 카메라(221a)는 사용자 등에 대한 이미지 또는 동영상을 촬영하기에 적절한 형태로 구현될 수 있다. 그리고, 마이크(223)는 사용자의 음성, 기타 소리 등을 입력받기 적절한 형태로 구현될 수 있다. The first sound output module 253a may be implemented in the form of a receiver or a speaker. The first camera 221a may be implemented in a form suitable for capturing an image or a video of a user or the like. The microphone 223 may be implemented in a form suitable for receiving a user's voice, other sounds, and the like.

제1 내지 제5 사용자 입력부(230a, 230b, 230c, 230d, 230e)와 후술하는 제6 및 제7 사용자 입력부(230f, 230g)는 사용자 입력부(230)라 통칭할 수 있으며, 사용자가 촉각적인 느낌을 주면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다. The first to fifth user inputs 230a, 230b, 230c, 230d, and 230e and the sixth and seventh user inputs 230f and 230g to be described below may be collectively referred to as the user input unit 230, and the user may feel tactile. Any manner may be employed as long as it is a tactile manner.

예를 들어, 사용자 입력부(230)는 사용자의 푸시 또는 터치 조작에 의해 명령 또는 정보를 입력받을 수 있는 돔 스위치 또는 터치 패드로 구현되거나, 키를 회전시키는 휠 또는 조그 방식이나 조이스틱과 같이 조작하는 방식 등으로도 구현될 수 있다.For example, the user input unit 230 may be implemented as a dome switch or a touch pad that may receive a command or information by a user's push or touch operation, or may be operated by a wheel or jog method or a joystick that rotates a key. Or the like.

기능적인 면에서, 제1 내지 제3 사용자 입력부(230a, 230b, 230c)는 통화, 마우스 포인트 이동이나 화면 스크롤, 시작, 종료, 등과 같은 명령을 입력하기 위한 것이다. 제4 사용자 입력부(230b)는 동작 모드의 선택 등을 입력하기 위한 것이다. 또한, 제5 사용자 입력부(230c)는 휴대용기기(20) 내의 특수한 기능을 활성화하기 위한 핫 키(hot-key)로서 작동할 수 있다. In functional terms, the first to third user inputs 230a, 230b, and 230c are for inputting a call, a mouse point movement or a screen scroll, start, end, and the like. The fourth user input unit 230b is for inputting a selection of an operation mode and the like. In addition, the fifth user input unit 230c may operate as a hot-key for activating a special function in the portable device 20.

도 6 을 참조하면, 리어 케이스(200-2)의 후면에는 제2 카메라(221b)가 추가로 장착될 수 있으며, 제2 바디(200B)의 측면에는 제6 및 제7 사용자 입력부(230f, 230g)와, 인터페이스부(270)가 배치될 수 있다. Referring to FIG. 6, a second camera 221b may be additionally mounted on the rear of the rear case 200-2, and the sixth and seventh user inputs 230f and 230g may be mounted on the side of the second body 200B. ) And the interface unit 270 may be disposed.

제2 카메라(221b)는 제1 카메라(221a)와 실질적으로 반대되는 촬영 방향을 가지며, 제1 카메라(221a)와 서로 다른 화소를 가질 수 있으나, 이에 한정하지 아니한다. 제2 카메라(221b)에 인접하게는 플래쉬(미도시)와 거울(미도시)이 추가로 배치될 수도 있다. 플래쉬는 제2 카메라(221b)로 피사체를 촬영하는 경우에 상기 피사체를 향해 빛을 비추게 된다. 거울은 사용자가 제2 카메라(221b)를 이용하여 자신을 촬영(셀프 촬영)하고자 하는 경우에, 사용자 자신의 얼굴 등을 비춰볼 수 있게 한다.The second camera 221b may have a photographing direction substantially opposite to that of the first camera 221a, and may have different pixels from the first camera 221a, but is not limited thereto. A flash (not shown) and a mirror (not shown) may be further disposed adjacent to the second camera 221b. The flash shines toward the subject when the subject is photographed by the second camera 221b. The mirror allows the user to see his / her face or the like when photographing (self-photographing) the user using the second camera 221b.

리어 케이스(200-2)에는 제2 음향출력 모듈(미도시)이 추가로 배치될 수도 있다. 제2 음향출력 모듈은 제1 음향출력 모듈(253a)과 함께 스테레오 기능을 구현할 수 있으며, 스피커폰 모드로 통화를 위하여 사용될 수도 있다. A second sound output module (not shown) may be further disposed on the rear case 200-2. The second sound output module may implement a stereo function together with the first sound output module 253a and may be used for a call in the speakerphone mode.

인터페이스부(270)는 외부 기기와 데이터가 교환되는 통로로 사용될 수 있다. 그리고, 프론트 케이스(200-1) 및 리어 케이스(200-2)의 일 영역에는 통화 등을 위한 안테나 외에 방송신호 수신용 안테나(미도시)가 배치될 수 있다. 안테나는 리어 케이스(200-2)에서 인출 가능하게 설치될 수 있다.The interface unit 270 may be used as a passage through which data is exchanged with an external device. In addition, an antenna (not shown) for receiving a broadcast signal may be disposed in one region of the front case 200-1 and the rear case 200-2 in addition to an antenna for a call or the like. The antenna may be installed to be pulled out of the rear case 200-2.

리어 케이스(200-2) 측에는 휴대용기기(20)에 전원을 공급하기 위한 전원공급부(290)가 장착될 수 있다. 전원공급부(290)는, 예를 들어 충전 가능한 배터리로서, 충전 등을 위하여 리어 케이스(200-2)에 착탈 가능하게 결합될 수 있다.The power supply unit 290 for supplying power to the portable device 20 may be mounted on the rear case 200-2 side. The power supply unit 290 is, for example, a rechargeable battery, and may be detachably coupled to the rear case 200-2 for charging.

이상에서는 제2 카메라(221b) 등이 리어 케이스(200-2)에 배치되는 것으로 설명하였으나, 반드시 이에 제한되는 것은 아니다. 또한, 제2 카메라(221b)가 별도로 구비되지 않더라도, 제1 카메라(221a)를 회전 가능하게 형성되어 제2 카메라(221b)의 촬영 방향까지 촬영 가능하도록 구성될 수도 있다.In the above description, the second camera 221b or the like has been described as being disposed in the rear case 200-2, but is not necessarily limited thereto. In addition, even if the second camera 221b is not separately provided, the first camera 221a may be rotatably formed to be able to shoot up to the photographing direction of the second camera 221b.

도 7 은 본 발명의 일 실시예에 따른 휴대 단말기의 블럭 구성도(block diagram)이다. 도 7 을 참조하여 본 발명의 일 실시예에 따른 휴대 단말기를 기능에 따른 구성요소 관점에서 살펴보면 다음과 같다.7 is a block diagram of a portable terminal according to an embodiment of the present invention. Referring to FIG. 7, the portable terminal according to an embodiment of the present invention will be described in terms of components according to functions.

도 7 을 참조하면, 본 휴대용기기(20)는, 통신장치(210), A/V(Audio/Video) 입력부(220), 사용자 입력부(230), 센싱부(240), 출력장치(250), 메모리(260), 인터페이스부(270), 제어부(280), 및 전원공급부(290)를 포함할 수 있다. 이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다.Referring to FIG. 7, the portable device 20 includes a communication device 210, an A / V input unit 220, a user input unit 230, a sensing unit 240, and an output device 250. , A memory 260, an interface unit 270, a controller 280, and a power supply unit 290. Such components may be configured by combining two or more components into one component, or by dividing one or more components into two or more components as necessary when implemented in an actual application.

통신장치(210)는 방송수신 모듈(211), 이동통신 모듈(213), 무선 인터넷 모듈(215), 근거리 통신 모듈(217), 및 GPS 모듈(219) 등을 포함할 수 있다.The communication device 210 may include a broadcast receiving module 211, a mobile communication module 213, a wireless internet module 215, a short range communication module 217, a GPS module 219, and the like.

통신장치(210)는 냉장고(미도시)와 통신할 수 있다. 예를 들어, 통신장치(210)는 냉장고에 보관하고 있거나, 보관할 물품들에 대한 상품정보를 냉장고와 송수신할 수 있다. 통신장치(210)는 상품정보로 구성된 보관목록을 냉장고와 송수신하여, 휴대용기기(20)의 보관목록과, 냉장고(미도시)의 보관목록을 동기화할 수 있다.The communication device 210 may communicate with a refrigerator (not shown). For example, the communication device 210 may be stored in the refrigerator or transmit / receive product information on items to be stored with the refrigerator. The communication device 210 may transmit and receive a storage list composed of product information with the refrigerator to synchronize the storage list of the portable device 20 with the storage list of the refrigerator (not shown).

방송수신 모듈(211)은 방송 채널을 통하여 외부의 방송관리 서버로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신한다. 이때, 방송 채널은 위성 채널, 지상파 채널 등을 포함할 수 있다. 방송관리 서버는, 방송 신호 및 방송 관련 정보 중 적어도 하나를 생성하여 송신하는 서버나, 기 생성된 방송 신호 및 방송관련 정보 중 적어도 하나를 제공받아 단말기에 송신하는 서버를 의미할 수 있다.The broadcast receiving module 211 receives at least one of a broadcast signal and broadcast related information from an external broadcast management server through a broadcast channel. In this case, the broadcast channel may include a satellite channel, a terrestrial channel, and the like. The broadcast management server may mean a server for generating and transmitting at least one of a broadcast signal and broadcast related information, or a server receiving at least one of the pre-generated broadcast signal and broadcast related information and transmitting the same to a terminal.

방송관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다. 방송관련 정보는, 이동통신망을 통하여도 제공될 수 있으며, 이 경우에는 이동통신 모듈(213)에 의해 수신될 수 있다. 방송관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.The broadcast related information may mean information related to a broadcast channel, a broadcast program, or a broadcast service provider. The broadcast signal may include not only a TV broadcast signal, a radio broadcast signal, and a data broadcast signal, but also a broadcast signal having a data broadcast signal combined with a TV broadcast signal or a radio broadcast signal. The broadcast related information may also be provided through a mobile communication network, and in this case, may be received by the mobile communication module 213. Broadcast related information may exist in various forms. For example, it may exist in the form of Electronic Program Guide (EPG) of Digital Multimedia Broadcasting (DMB) or Electronic Service Guide (ESG) of Digital Video Broadcast-Handheld (DVB-H).

방송수신 모듈(211)은, 각종 방송 시스템을 이용하여 방송 신호를 수신할 수 있다. 예를 들어, 방송수신 모듈(211)은 DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다.The broadcast receiving module 211 may receive a broadcast signal using various broadcast systems. For example, the broadcast receiving module 211 may include Digital Multimedia Broadcasting-Terrestrial (DMB-T), Digital Multimedia Broadcasting-Satellite (DMB-S), Media Forward Link Only (MediaFLO), and Digital Video Broadcast-Handheld (DVB-H). ), A digital broadcasting signal may be received using a digital broadcasting system such as ISDB-T (Integrated Services Digital Broadcast-Terrestrial).

방송수신 모듈(211)은, 이와 같은 디지털 방송 시스템뿐만 아니라 방송 신호를 제공하는 모든 방송 시스템에 적합하도록 구성될 수 있다. 방송수신 모듈(211)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(260)에 저장될 수 있다. The broadcast receiving module 211 may be configured to be suitable for all broadcast systems providing broadcast signals as well as such digital broadcast systems. The broadcast signal and / or broadcast related information received through the broadcast receiving module 211 may be stored in the memory 260.

이동통신 모듈(213)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신할 수 있다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. The mobile communication module 213 may transmit / receive a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network. The wireless signal may include a voice call signal, a video call signal, or various types of data according to transmission and reception of a text / multimedia message.

무선 인터넷 모듈(215)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(215)은 휴대용기기(20)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. The wireless internet module 215 refers to a module for wireless internet access. The wireless internet module 215 may be embedded or external to the portable device 20. Wireless Internet technologies may include Wireless LAN (Wi-Fi), Wireless Broadband (Wibro), World Interoperability for Microwave Access (Wimax), High Speed Downlink Packet Access (HSDPA), and the like.

휴대용기기(20)는 통신장치(210)를 통해 네트워크 서버와 통신할 수 있다. 실시예에 따라서, 휴대용기기(20)는 이동 통신 모듈(213) 또는 무선 인터넷 모듈(215)을 이용하여 네트워크 서버와 통신할 수 있다.The portable device 20 may communicate with a network server through the communication device 210. According to an embodiment, the portable device 20 may communicate with a network server using the mobile communication module 213 or the wireless internet module 215.

휴대용기기(20)는 이동 통신 모듈(213) 또는 무선 인터넷 모듈(215)을 이용하여 네트워크 서버에 객체의 객체정보를 요청하고, 네트워크 서버가 송신한 객체정보를 수신할 수 있다. The portable device 20 may request object information of an object from a network server using the mobile communication module 213 or the wireless internet module 215, and receive the object information transmitted from the network server.

근거리 통신 모듈(217)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다. The short range communication module 217 refers to a module for short range communication. As a short range communication technology, Bluetooth, Radio Frequency Identification (RFID), infrared data association (IrDA), Ultra Wideband (UWB), ZigBee, etc. may be used.

GPS(Global Position System) 모듈(219)은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신한다. GPS 모듈(219)은 휴대용기기(20)의 현재위치를 파악할 수 있다.The GPS (Global Position System) module 219 receives position information from a plurality of GPS satellites. The GPS module 219 may grasp the current position of the portable device 20.

A/V(Audio/Video) 입력부(220)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(221)와 마이크(223) 등이 포함될 수 있다. 카메라(221)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고, 처리된 화상 프레임은 디스플레이부(251)에 표시될 수 있다.The A / V input unit 220 is for inputting an audio signal or a video signal, and may include a camera 221 and a microphone 223. The camera 221 processes an image frame such as a still image or a video obtained by an image sensor in a video call mode or a photographing mode. The processed image frame may be displayed on the display unit 251.

카메라(221)에서 처리된 영상인 화상 프레임은 메모리(260)에 저장되거나 통신장치(210)를 통하여 외부로 전송될 수 있다. 카메라(221)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다. 도 5 및 도 6 에서는 제1 카메라와 제2 카메라를 도시하고 있으나, 카메라의 개수에는 한정하지 않으며, 복수의 카메라(221) 각각은 독립적으로 기능을 수행할 수 있다. 카메라(221)는 하나 이상의 문자로 구성된 하나 이상의 상품정보를 포함하는 문서를 촬영할 수 있다. The image frame, which is an image processed by the camera 221, may be stored in the memory 260 or transmitted to the outside through the communication device 210. Two or more cameras 221 may be provided according to the configuration aspect of the terminal. 5 and 6 illustrate a first camera and a second camera, but are not limited to the number of cameras, and each of the plurality of cameras 221 may independently perform a function. The camera 221 may photograph a document including one or more pieces of product information consisting of one or more characters.

마이크(223)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(213)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크 (223)는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 사용될 수 있다.The microphone 223 receives an external sound signal by a microphone in a call mode, a recording mode, a voice recognition mode, etc., and processes the external sound signal into electrical voice data. The processed voice data may be converted into a form transmittable to the mobile communication base station through the mobile communication module 213 and output in the call mode. The microphone 223 may use various noise removing algorithms to remove noise generated in the process of receiving an external sound signal.

사용자 입력부(230)는 사용자가 단말기의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 사용자 입력부(230)는 사용자의 푸시 또는 터치 조작에 의해 명령 또는 정보를 입력 받을 수 있는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전) 등으로 구성될 수 있다.The user input unit 230 generates key input data input by the user for controlling the operation of the terminal. The user input unit 230 may include a key pad, a dome switch, a touch pad (constant voltage / capacitance), etc. that may receive a command or information by a user's push or touch operation.

사용자 입력부(230)는 키를 회전시키는 조그 휠 또는 조그 방식이나 조이스틱과 같이 조작하는 방식이나, 핑거 마우스 등으로 구성될 수 있다. 터치 패드가 후술하는 디스플레이부(251)와 상호 레이어 구조를 이룰 경우, 이를 터치스크린(touch screen)이라 부를 수 있다.The user input unit 230 may include a jog wheel for rotating a key, a jog method, a method of operating like a joystick, a finger mouse, or the like. When the touch pad has a mutual layer structure with the display unit 251 to be described later, this may be referred to as a touch screen.

센싱부(240)는 휴대용기기(20)의 개폐 상태, 휴대용기기(20)의 위치, 사용자 접촉 유무 등과 같이 휴대용기기(20)의 현 상태를 감지하여 휴대용기기(20)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 휴대용기기(20)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 센싱부(240)는 전원공급부(290)의 전원 공급 여부, 인터페이스부(270)의 외부 기기 결합 여부 등과 관련된 센싱 기능을 담당할 수 있다.The sensing unit 240 detects a current state of the portable device 20 such as an open / closed state of the portable device 20, a position of the portable device 20, whether a user is in contact with the user, and controls the operation of the portable device 20. Generate a sensing signal. For example, when the portable device 20 is in the form of a slide phone, whether the slide phone is opened or closed may be sensed. The sensing unit 240 may be responsible for sensing functions related to whether the power supply unit 290 is supplied with power or whether the interface unit 270 is coupled to an external device.

센싱부(240)는 감지센서(241), 압력센서(243), 및 모션 센서(245) 등을 포함할 수 있다. 감지센서(241)는 휴대용기기(20)로 접근하는 물체나, 휴대용기기(20)의 근방에 존재하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있도록 한다. 감지센서(241)는, 교류자계의 변화나 정자계의 변화를 이용하거나, 혹은 정전용량의 변화율 등을 이용하여 근접물체를 검출할 수 있다. 감지센서(241)는 구성 태양에 따라 2개 이상이 구비될 수 있다.The sensing unit 240 may include a detection sensor 241, a pressure sensor 243, a motion sensor 245, and the like. The sensor 241 may detect the presence or absence of an object approaching the portable device 20 or an object present in the vicinity of the portable device 20 without mechanical contact. The detection sensor 241 may detect a proximity object by using a change in an alternating magnetic field or a change in a static magnetic field, or by using a change rate of capacitance. The sensor 241 may be provided with two or more according to the configuration aspect.

압력센서(243)는 휴대용기기(20)에 압력이 가해지는지 여부와, 그 압력의 크기 등을 검출할 수 있다. 압력센서(243)는 사용환경에 따라 휴대용기기(20)에서 압력의 검출이 필요한 부위에 설치될 수 있다.The pressure sensor 243 may detect whether pressure is applied to the portable device 20, the magnitude of the pressure, and the like. The pressure sensor 243 may be installed at a portion requiring the detection of pressure in the portable device 20 according to the use environment.

압력센서(243)가 디스플레이부(251)에 설치되는 경우, 압력센서(243)에서 출력되는 신호에 따라, 디스플레이부(251)를 통한 터치 입력과, 터치 입력보다 더 큰 압력이 가해지는 압력터치 입력을 식별할 수 있다. 또한, 압력센서(243)에서 출력되는 신호에 따라, 압력터치 입력시 디스플레이부(251)에 가해지는 압력의 크기도 알 수 있다. When the pressure sensor 243 is installed in the display unit 251, according to the signal output from the pressure sensor 243, a touch input through the display unit 251 and a pressure touch to which a greater pressure is applied than the touch input. The input can be identified. In addition, according to the signal output from the pressure sensor 243, it is also possible to know the magnitude of the pressure applied to the display unit 251 when the pressure touch input.

모션 센서(245)는 가속도 센서, 자이로 센서 등을 이용하여 휴대용기기(20)의 위치나 움직임 등을 감지한다. 모션 센서(245)에 사용될 수 있는 가속도 센서는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로서, MEMS(micro-electromechanical systems) 기술의 발달과 더불어 널리 사용되고 있다.The motion sensor 245 detects the position or movement of the portable device 20 using an acceleration sensor, a gyro sensor, or the like. An acceleration sensor that can be used for the motion sensor 245 is an element that converts an acceleration signal in one direction into an electrical signal, and is widely used with the development of micro-electromechanical systems (MEMS) technology.

가속도 센서에는, 자동차의 에어백 시스템에 내장되어 충돌을 감지하는데 사용하는 큰 값의 가속도를 측정하는 것부터, 사람 손의 미세한 동작을 인식하여 게임 등의 입력 수단으로 사용하는 미세한 값의 가속도를 측정하는 것까지 다양한 종류가 있다.Accelerometers measure the acceleration of a large value embedded in an airbag system of a car and used to detect a collision, and to measure the acceleration of a minute value used as an input means such as a game by recognizing a minute motion of a human hand. There are many different types.

가속도 센서는 보통 2축이나 3축을 하나의 패키지에 실장하여 구성되며, 사용 환경에 따라서는 Z축 한 축만 필요한 경우도 있다. 따라서, 어떤 이유로 Z축 방향 대신 X축 또는 Y축 방향의 가속도 센서를 써야 할 경우에는 별도의 조각 기판을 사용하여 가속도 센서를 주 기판에 세워서 실장할 수도 있다. 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향을 감지할 수 있다. Accelerometers are usually configured by mounting two or three axes in one package. Depending on the environment, only one axis may be needed. Therefore, if for some reason it is necessary to use the acceleration sensor in the X-axis or Y-axis direction instead of the Z-axis direction, the acceleration sensor may be mounted on the main substrate using a separate engraving substrate. Gyro sensor is a sensor for measuring the angular velocity, it can detect the direction turned relative to the reference direction.

출력장치(250)는 오디오 신호 또는 비디오 신호 또는 알람(alarm) 신호의 출력을 위한 것이다. 출력장치(250)에는 디스플레이부(251), 음향출력 모듈(253), 알람부(255), 및 햅틱 모듈(257) 등이 포함될 수 있다.The output device 250 is for outputting an audio signal or a video signal or an alarm signal. The output device 250 may include a display unit 251, an audio output module 253, an alarm unit 255, and a haptic module 257.

디스플레이부(251)는 휴대용기기(20)에서 처리되는 정보를 표시 출력한다. 예를 들어 휴대용기기(20)가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고 휴대용기기(20)가 화상 통화 모드 또는 촬영 모드인 경우, 촬영되거나 수신된 영상을 각각 혹은 동시에 표시할 수 있으며, UI 또는 GUI를 표시할 수 있다. The display unit 251 displays and outputs information processed by the portable device 20. For example, when the mobile device 20 is in a call mode, the mobile device 20 displays a user interface (UI) or a graphic user interface (GUI) related to the call. When the portable device 20 is in a video call mode or a photographing mode, each of the portable devices 20 may display captured or received images, respectively, or simultaneously, and may display a UI or a GUI.

예를 들어, 디스플레이부(251)와 터치패드가 상호 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이부(251)는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다. For example, when the display unit 251 and the touch pad have a mutual layer structure and constitute a touch screen, the display unit 251 may also be used as an input device capable of inputting information by a user's touch in addition to the output device. have.

디스플레이부(251)가 터치스크린으로 구성되는 경우, 터치스크린 패널, 터치스크린 패널 제어기 등을 포함할 수 있다. 터치스크린 패널은 외부에 부착되는 투명한 패널로서, 휴대용기기(20)의 내부 버스에 연결될 수 있다. 터치스크린 패널은 접촉 결과를 주시하고 있다가, 터치입력이 있는 경우 대응하는 신호들을 터치스크린 패널 제어기로 보낸다.When the display unit 251 is configured as a touch screen, the display unit 251 may include a touch screen panel, a touch screen panel controller, and the like. The touch screen panel is a transparent panel attached to the outside and may be connected to the internal bus of the portable device 20. The touch screen panel keeps an eye on the contact result and sends corresponding signals to the touch screen panel controller when there is a touch input.

디스플레이부(251)는 상품정보를 표시할 수 있다. 디스플레이부(251)는 상품정보에 대응하는 상위개념인 상위 카테고리 명칭을 표시할 수 있다. 디스플레이부(251)는 상품정보 또는 상위 카테고리 명칭이 사용자에 의하여 선택되었음을 표시할 수 있다. 디스플레이부(251)는 상품정보를 음영처리할 수 있다. 디스플레이부(251)는 복수개의 상품정보에 각각 대응하고, 사용자가 선택 또는 선택해제를 할 수 있는 선택란을 표시할 수 있다.The display unit 251 may display product information. The display unit 251 may display the upper category name, which is a higher concept corresponding to the product information. The display unit 251 may display that product information or a higher category name is selected by the user. The display unit 251 may shade the product information. The display unit 251 may correspond to a plurality of pieces of product information, respectively, and display a check box for the user to select or deselect.

터치스크린 패널 제어기는 그 신호들을 처리한 다음 대응하는 데이터를 제어부(280)로 전송하여, 제어부(280)가 터치입력이 있었는지 여부와 터치스크린의 어느 영역이 터치 되었는지 여부를 알 수 있도록 한다. The touch screen panel controller processes the signals and then transmits the corresponding data to the controller 280 so that the controller 280 knows whether there is a touch input and which area of the touch screen is touched.

디스플레이부(251)는 전자종이(e-Paper)로 구성될 수도 있다. 전자종이(e-Paper)는 일종의 반사형 디스플레이로서, 기존의 종이와 잉크처럼 높은 해상도, 넓은 시야각, 밝은 흰색 배경으로 우수한 시각 특성을 가진다. The display unit 251 may be configured of an electronic paper (e-Paper). Electronic paper (e-Paper) is a kind of reflective display that has excellent visual characteristics with high resolution, wide viewing angle and bright white background like conventional paper and ink.

전자종이(e-Paper)는 플라스틱, 금속, 종이 등 어떠한 기판상에도 구현이 가능하고, 전원을 차단한 후에도 화상이 유지되고 백라이트(back light) 전원이 없어 휴대용기기(20)의 배터리 수명이 오래 유지될 수 있다. 전자종이로는 정전화가 충전된 반구형 트위스트 볼을 이용하거나, 전기영동법 및 마이크로 캡슐 등을 이용할 수 있다. E-Paper can be implemented on any substrate such as plastic, metal, paper, etc., and the image is maintained even after the power is cut off, and there is no back light power. Can be maintained. As the electronic paper, hemispherical twist balls filled with electrostatics may be used, or electrophoresis and microcapsules may be used.

예를 들어, 디스플레이부(251)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수도 있다. For example, the display unit 251 may be a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, It may also include at least one of a 3D display.

휴대용기기(20)의 구현 형태에 따라 디스플레이부(251)는 2개 이상 존재할 수도 있다. 예를 들어, 휴대용기기(20)에 외부 디스플레이부(미도시)와 내부 디스플레이부(미도시)가 동시에 구비될 수 있다.According to an embodiment of the portable device 20, two or more display units 251 may exist. For example, the external display unit (not shown) and the internal display unit (not shown) may be simultaneously provided in the portable device 20.

음향출력 모듈(253)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 통신장치(210)로부터 수신되거나 메모리(260)에 저장된 오디오 데이터를 출력한다.The sound output module 253 outputs audio data received from the communication device 210 or stored in the memory 260 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like.

음향출력 모듈(253)은 휴대용기기(20)에서 수행되는 기능, 예를 들어, 호신호 수신음, 메시지 수신음 등과 관련된 음향 신호를 출력한다. 이러한 음향출력 모듈(253)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.The sound output module 253 outputs a sound signal related to a function performed in the portable device 20, for example, a call signal reception sound and a message reception sound. The sound output module 253 may include a speaker, a buzzer, and the like.

알람부(255)는 휴대용기기(20)의 이벤트 발생을 알리기 위한 신호를 출력할 수 있다. 휴대용기기(20)에서 발생하는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력 등이 있다. 알람부(255)는 오디오 신호나 비디오 신호 이외에 다른 형태로 이벤트 발생을 알리기 위한 신호를 출력한다. The alarm unit 255 may output a signal for notifying occurrence of an event of the portable device 20. Examples of events occurring in the portable device 20 include call signal reception, message reception, key signal input, and the like. The alarm unit 255 outputs a signal for notifying occurrence of an event in a form other than an audio signal or a video signal.

예를 들어, 알람부(255)는 진동 형태로 신호를 출력할 수 있다. 알람부(255)는 호 신호가 수신되거나 메시지가 수신된 경우, 이를 알리기 위해 신호를 출력할 수 있다. 알람부(255)는 키 신호가 입력된 경우, 키 신호 입력에 대한 피드백으로 신호를 출력할 수 있다.For example, the alarm unit 255 may output a signal in the form of vibration. The alarm unit 255 may output a signal to notify the call signal when the call signal is received or a message is received. When the key signal is input, the alarm unit 255 may output the signal as a feedback to the key signal input.

알람부(255)가 출력하는 신호를 통해 사용자는 이벤트 발생을 인지할 수 있다. 휴대용기기(20)에서 이벤트 발생 알림을 위한 신호는 디스플레이부(251)나 음향출력 모듈(253)을 통해서도 출력될 수 있다.The user may recognize the occurrence of an event through a signal output from the alarm unit 255. The signal for notifying the event occurrence in the portable device 20 may also be output through the display unit 251 or the sound output module 253.

햅틱 모듈(haptic module)(257)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킬 수 있다. 햅틱 모듈(257)이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다. 햅틱 모듈(257)이 촉각 효과로 진동을 발생시키는 경우, 햅택 모듈(257)이 발생하는 진동의 세기와 패턴 등은 변환가능하며, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다. The haptic module 257 may generate various tactile effects that a user can feel. A representative example of the haptic effect generated by the haptic module 257 is a vibration effect. When the haptic module 257 generates vibration by the tactile effect, the intensity and pattern of the vibration generated by the haptic module 257 may be converted, and may be output by synthesizing different vibrations or sequentially.

햅틱 모듈(257)은 진동 외에도, 접촉 피부 면에 대해 수직 운동하는 핀 배열에 의한 자극에 의한 효과, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력을 통한 자극에 의한 효과, 피부 표면을 스치는 자극에 의한 효과, 전극(eletrode)의 접촉을 통한 자극에 의한 효과, 정전기력을 이용한 자극에 의한 효과, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.In addition to vibration, the haptic module 257 may be operated by a pin array that vertically moves with respect to the contact skin surface, an effect of stimulation through a jetting force or a suction force of air through an injection or inlet, and a stimulus that strikes the skin surface. Various tactile effects can be generated, such as effects of stimulation through contact of electrodes, effects of stimulation using electrostatic force, and effects of reproducing a sense of warmth and heat using an endothermic or heat generating element.

햅틱 모듈(257)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자의 손가락이나 팔 등의 근감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(257)은 휴대용기기(20)의 구성 태양에 따라 2개 이상이 구비될 수 있다.The haptic module 257 may not only deliver the haptic effect through direct contact, but also may realize the haptic effect through the muscle sensation of the user's finger or arm. Two or more haptic modules 257 may be provided according to a configuration aspect of the portable device 20.

메모리(260)는 제어부(280)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. The memory 260 may store a program for processing and controlling the controller 280, and may provide a function for temporarily storing input or output data (eg, a phone book, a message, a still image, a video, etc.). It can also be done.

메모리(260)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 휴대용기기(20)는 인터넷(internet) 상에서 메모리(260)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.The memory 260 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), RAM The storage medium may include at least one type of storage medium. In addition, the portable device 20 may operate a web storage that performs a storage function of the memory 260 on the Internet.

메모리(260)는 영수증에서 식별한 상품정보 중 선택된 상품정보로 구성된 보관목록을 저장할 수 있다. 상기 상품정보는 상품명 또는 상품명에 대응하는 코드 번호를 포함할 수 있다. 메모리(260)는 상품정보 및 상품정보에 대응하는 상위 카테고리 명칭을 포함하여, 상품정보를 분석하는 기초가 되는 데이터정보를 저장할 수 있다. The memory 260 may store a storage list composed of selected product information among the product information identified in the receipt. The product information may include a product name or a code number corresponding to the product name. The memory 260 may store data information, which is a basis for analyzing product information, including product information and higher category names corresponding to the product information.

인터페이스부(270)는 휴대용기기(20)에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 인터페이스부(270)는 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 휴대용기기(20) 내부의 각 구성 요소에 전달할 수 있고, 휴대용기기(20) 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.The interface unit 270 serves as an interface with all external devices connected to the portable device 20. The interface unit 270 may receive data from an external device or receive power and transmit the data to each component inside the portable device 20, and may transmit data within the portable device 20 to an external device.

휴대용기기(20)에 연결되는 외부기기의 예로는, 유/무선 헤드셋, 외부 충전기, 유/무선 데이터 포트, 메모리 카드(Memory card), SIM(Subscriber Identification Module) 카드, UIM(User Identity Module) 카드 등과 같은 카드 소켓, 오디오 I/O(Input/Output) 단자, 비디오 I/O(Input/Output) 단자, 이어폰 등이 있으나, 이에 한정하지 아니한다.Examples of external devices connected to the portable device 20 include wired / wireless headsets, external chargers, wired / wireless data ports, memory cards, subscriber identification module (SIM) cards, and user identity module (UIM) cards. Card sockets, audio input / output (I / O) terminals, video input / output (I / O) terminals, earphones, and the like, but are not limited thereto.

인터페이스부(270)는 휴대용기기(20)가 외부 크래들(cradle)과 연결될 때 연결된 크래들로부터의 전원이 휴대용기기(20)에 공급되는 통로가 되거나, 사용자에 의해 크래들에서 입력되는 각종 명령 신호가 휴대용기기(20)로 전달되는 통로가 될 수 있다.When the portable device 20 is connected to an external cradle, the interface unit 270 is a passage through which power from the connected cradle is supplied to the portable device 20, or various command signals input from the cradle by the user are portable. It may be a passage that is delivered to the device 20.

제어부(280)는 통상적으로 상기 각부의 동작을 제어하여 휴대용기기(20)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다.The controller 280 typically controls the operations of each unit to control the overall operation of the portable device 20. For example, perform related control and processing for voice calls, data communications, video calls, and the like.

제어부(280)는 멀티 미디어 재생을 위한 멀티미디어 재생 모듈(281)을 구비할 수도 있다. 멀티미디어 재생 모듈(281)은 제어부(280) 내에 하드웨어로 구성될 수도 있고, 제어부(280)와 별도로 소프트웨어로 구성될 수도 있다.The controller 280 may include a multimedia playback module 281 for multimedia playback. The multimedia playback module 281 may be configured in hardware in the controller 280 or may be configured in software separately from the controller 280.

제어부(280)는 카메라가 촬영한 영상에서 상품정보를 식별할 수 있다. 제어부(280)는 상품정보를 디스플레이부(251)에 표시할 수 있다. 제어부(280)는 하나 이상의 상품정보 중 일부 또는 전부가 선택되었는지 여부를 디스플레이부(251)에 표시할 수 있다.The controller 280 may identify product information in the image photographed by the camera. The controller 280 may display the product information on the display unit 251. The controller 280 may display on the display unit 251 whether some or all of the one or more product information is selected.

제어부(280)는 디스플레이부(251)에 선택된 상품정보의 상위개념인 상위 카테고리 명칭을 표시할 수 있다. 제어부(280)는 상기 상위 카테고리 명칭 중 일부 또는 전부가 선택되었는지 여부를 디스플레이부(251)에 표시할 수 있다.The controller 280 may display the upper category name, which is a higher concept of the selected product information, on the display unit 251. The controller 280 may display on the display unit 251 whether some or all of the upper category names are selected.

제어부(280)는 상품정보 및 상품정보에 대응하는 상위 카테고리 명칭을 포함하여, 상품정보를 분석하는 기초가 되는 데이터정보를 기반으로 식별된 상품정보에 대응하는 상위 카테고리 명칭을 디스플레이부(251)에 표시할 수 있다.The controller 280 displays the upper category name corresponding to the product information identified based on the data information which is the basis for analyzing the product information, including the product information and the upper category name corresponding to the product information, to the display unit 251. I can display it.

전원공급부(290)는 제어부(280)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.The power supply unit 290 receives an external power source and an internal power source under the control of the controller 280 to supply power for operation of each component.

휴대용기기(20)는 유무선 통신 시스템 및 위성 기반 통신 시스템을 포함하여, 프레임(frame) 또는 패킷(packet)을 통하여 데이터(data)를 전송할 수 있는 통신 시스템에서 동작 가능하도록 구성될 수 있다.
The portable device 20 may be configured to be operable in a communication system capable of transmitting data through a frame or packet, including a wired / wireless communication system and a satellite based communication system.

도 8 내지 도 12 는, 본 발명의 일 실시예의 냉장고 시스템의 휴대용기기의 디스플레이부의 출력화면의 변화과정을 도시한 도면이다. 8 to 12 are views illustrating a process of changing an output screen of a display unit of a portable device of a refrigerator system according to an embodiment of the present invention.

도 8 을 참조하면, 휴대용기기(20)는 하나 이상의 문자로 구성된 하나 이상의 상품정보를 포함하는 문서를 촬영할 수 있다. 휴대용기기(20)는 카메라(미도시)로 입력되는 영상을 디스플레이부로 표시할 수 있다.Referring to FIG. 8, the portable device 20 may photograph a document including one or more product information consisting of one or more characters. The portable device 20 may display an image input to a camera (not shown) on the display unit.

휴대용기기(20)는 카메라로 촬영된 영상에서 상품정보를 식별할 수 있다. 휴대용기기(20)는 식별한 상품정보를 디스플레이부에 표시할 수 있다. 상기 상품정보는 하나 이상일 수 있다. The portable device 20 may identify the product information in the image photographed by the camera. The portable device 20 may display the identified product information on the display unit. The product information may be one or more.

도 9 를 참조하면, 휴대용기기(20)는 촬영한 영상 속에서 상품정보가 존재하는 지 여부를 분석할 수 있다. 예를 들어, 휴대용기기(20)는 카메라가 촬영한 영상 속에서 물품의 이름 또는 물품에 대응하는 코드번호 등의 상품정보를 식별할 수 있다.Referring to FIG. 9, the portable device 20 may analyze whether product information exists in the captured image. For example, the portable device 20 may identify product information, such as the name of the article or a code number corresponding to the article, in the image photographed by the camera.

휴대용기기(20)는 식별한 상품정보를 표시할 수 있다(310). 휴대용기기(20)는 상품정보를 음영처리할 수 있다(320). 예를 들어, 휴대용기기(20)는 촬영한 영수증에서 식별된 상품정보를 음영처리하여 식별된 상품정보임을 표시할 수 있다.The portable device 20 may display the identified product information (310). The portable device 20 may shade the product information (320). For example, the portable device 20 may display the identified product information by shading the product information identified in the photographed receipt.

휴대용기기(20)는 촬영한 영상속에서 상품정보에 해당하는 부분만 편집하여 표시할 수 있다. 예를 들어, 휴대용기기(20)가 물품의 이름 또는 물품에 대응하는 숫자 등을 포함하는 코드번호를 식별해 낸 경우, 상기 물품의 이름 또는 코드번호를 디스플레이부로 표시할 수 있으나, 이에 한정하지 아니하고, 영수증을 촬영한 영상 그대로 표시하고, 각각의 상품정보에 대응하도록 선택란(330)을 표시할 수 있다. The portable device 20 may edit and display only a portion corresponding to the product information in the captured image. For example, when the portable device 20 identifies the code number including the name of the article or the number corresponding to the article, the name or the code number of the article may be displayed on the display unit, but is not limited thereto. The receipt may be displayed as it is, and the selection box 330 may be displayed to correspond to each product information.

휴대용기기(20)는 디스플레이부에 표시한 상기 하나 이상의 상품정보 중 어떤 것이 선택되었는지 표시할 수 있다. 예를 들어, 사용자는 영수증에 표시된 물품들 중 냉장고에 보관할 물품의 상품정보를 선택할 수 있다. 휴대용기기(20)는 선택여부를 표시하는 선택란을 표시할 수 있다. 상품정보가 선택된 경우, 휴대용기기(20)는 선택된 상품정보에 대응하는 선택란에 선택되었다는 표시를 할 수 있다. 휴대용기기(20)는 상품정보를 선택하고, 완료버튼(340)이 터치된 경우, 상품정보의 상위 카테고리 명칭을 표시할 수 있다.The portable device 20 may display which of the one or more product information displayed on the display unit is selected. For example, the user may select product information of an item to be stored in the refrigerator among items displayed on the receipt. The portable device 20 may display a check box indicating whether to select. When the product information is selected, the portable device 20 may display that the selected item is selected in the check box corresponding to the selected product information. The portable device 20 may select product information and display the upper category name of the product information when the completion button 340 is touched.

도 10 을 참조하면, 휴대용기기(20)는 선택된 상품정보의 상위개념인 상위 카테고리 명칭을 표시할 수 있다. 휴대용기기(20)는 하나 이상의 상품정보에 대응하는 상위개념인 상위 카테고리 명칭을 포함하는 데이터 정보를 저장할 수 있다.Referring to FIG. 10, the portable device 20 may display an upper category name, which is a higher concept of the selected product information. The portable device 20 may store data information including an upper category name, which is a higher concept corresponding to one or more pieces of product information.

예를 들어, 상기 데이터 정보는 하나 이상의 상품정보와 대응하는 상위개념의 상위 카테고리 명칭을 포함할 수 있고, 휴대용기기(20)는 상기 데이터 정보와 상기 상품정보를 비교할 수 있다.For example, the data information may include an upper category name of a higher concept corresponding to one or more product information, and the portable device 20 may compare the data information with the product information.

휴대용기기(20)는 데이터 정보와 선택된 상품정보를 비교하여, 선택된 상품정보에 대응하는 상위 카테고리 명칭을 표시할 수 있다. 예를 들어, 상품정보가 도 9 에 도시된 반반 치킨인 경우, 상위 카테고리 명칭은 도 10 에 도시된 닭고기일 수 있다.The portable device 20 may display the upper category name corresponding to the selected product information by comparing the data information with the selected product information. For example, when the product information is the half and half chicken shown in FIG. 9, the upper category name may be the chicken shown in FIG. 10.

휴대용기기(20)는 상위 카테고리 명칭 중 냉장고에 저장할 물품의 상위 카테고리 명칭을 선택할 수 있다. 휴대용기기(20)는 표시 중인 상위 카테고리 명칭에 대응하여 선택되었는지 여부를 표시할 수 있다. 예를 들어, 휴대용기기(20)는 선택여부를 표시하는 선택란(360)을 표시할 수 있다. 상품정보가 선택된 경우, 휴대용기기(20)는 선택된 상위 카테고리 명칭에 대응하는 선택란에 선택되었다는 표시를 할 수 있다.The portable device 20 may select an upper category name of an item to be stored in the refrigerator among the upper category names. The portable device 20 may display whether it is selected corresponding to the upper category name being displayed. For example, the portable device 20 may display a check box 360 indicating whether to select. When the product information is selected, the portable device 20 may display that the selection is made in the check box corresponding to the selected upper category name.

도 11 을 참조하면, 휴대용기기(20)는 상위 카테고리 명칭이 선택된 경우, 선택된 상위 카테고리 명칭을 기초로 하여 보관목록을 갱신할 수 있다. 예를 들어, 상위 카테고리 명칭을 선택한 이후, 확인버튼(370)을 터치하는 경우 휴대용기기(20)는 보관목록을 갱신할 수 있다. 보관목록은 현태 냉장고에 보관하거나, 보관할 물품에 대한 목록일 수 있다. 보관목록은 냉장고의 냉장실에 보관된 물품의 개수 또는 냉동실에 보관된 물품의 개수를 포함할 수 있다.Referring to FIG. 11, when the upper category name is selected, the portable device 20 may update the storage list based on the selected upper category name. For example, after the upper category name is selected, when the confirmation button 370 is touched, the portable device 20 may update the storage list. The storage list may be stored in the current refrigerator or may be a list of items to be stored. The storage list may include the number of items stored in the refrigerator compartment of the refrigerator or the number of items stored in the freezer compartment.

예를 들어, 휴대용기기(20)는 상위 카테고리 명칭이 선택된 경우, 이를 일괄적으로 냉장실에 보관되는 것으로 보관목록을 작성할 수 있으나, 이에 한정하지 아니한다. 휴대용기기(20)는 촬영한 영수증에 기재된 물품 줌 몇 개의 물품이 냉장고에 보관되는지를 표시할 수 있다.
For example, when the upper category name is selected, the portable device 20 may create a storage list by storing them in the refrigerator compartment at once, but the present invention is not limited thereto. The portable device 20 may display how many items of the item zoom described in the photographed receipt are stored in the refrigerator.

도 12 는 본 발명의 일 실시예에 따른 냉장고 시스템의 휴대용기기의 동작방법을 도시한 순서도이다.12 is a flowchart illustrating a method of operating a portable device of a refrigerator system according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 휴대용기기 동작방법은, 하나 이상의 문자로 구성된 상품정보를 포함하는 문서를 촬영하는 단계(S410), 하나 이상의 문자를 분석하여, 하나 이상의 상품정보를 표시하는 단계(S430) 및 하나 이상의 상품정보 중 일부 또는 전부가 선택되었는지 여부를 표시하는 단계(S440)를 포함할 수 있다.In accordance with an embodiment of the present invention, a method of operating a portable device includes photographing a document including product information consisting of one or more characters (S410), analyzing one or more characters, and displaying one or more product information (S430). ) And whether or not some or all of the one or more product information is selected (S440).

휴대용기기는 문서를 촬영할 수 있다(S410). 예를 들어, 휴대용기기는 상품정보가 기재된 영수증을 촬영할 수 있다.The portable device can take a document (S410). For example, the portable device may photograph a receipt in which product information is described.

휴대용기기는 촬영한 영상속에 포함되는 상품정보를 식별할 수 있다(S420). 휴대용기기는 촬영한 영상 속의 문자를 분석할 수 있다. 휴대용기기는 촬영한 영상 속의 물품의 이름 또는 상품과 대응하는 코드번호를 인식할 수 있다.The portable device may identify product information included in the captured image (S420). The portable device may analyze the text in the captured image. The portable device may recognize a name of a product or a code number corresponding to the product in the captured image.

휴대용기기는 문서 속에 기재된 상품정보를 표시할 수 있다(S430). 휴대용기기는 촬영한 영상에 포함된 상품정보를 인식하여 그를 표시할 수 있다. The portable device may display the product information described in the document (S430). The portable device may recognize the product information included in the captured image and display it.

휴대용기기는 표시된 상품정보에 대응하는 물품이 선택되었는지 여부를 표시할 수 있다(S440). 사용자가 휴대용기기가 표시한 물품 중에 냉장고에 보관할 물품을 선택한 경우, 그를 표시할 수 있다. 예를 들어, 휴대용기기는 표시된 상품정보에 대응하여 선택란을 표시할 수 있다. 선택란은 사용자가 냉장고에 보관할 물품을 선택했는지 여부를 아이콘으로 표시할 수 있다.The portable device may display whether an item corresponding to the displayed product information is selected (S440). When the user selects an item to be stored in the refrigerator among the items displayed by the portable device, the user may display the item. For example, the portable device may display a check box in response to the displayed product information. The check box may indicate whether the user has selected an item to be stored in the refrigerator as an icon.

휴대용기기는 선택된 상품정보의 상위개념인 상위 카테고리 명칭을 표시하는 단계를 포함할 수 있다(S450). 휴대용기기 동작방법은 상위 카테고리 명칭 중 일부 또는 전부가 선택되었는지를 표시하는 단계를 더 포함할 수 있다(S460). 휴대용기기는 상위 카테고리 명칭 중 어느 하나가 사용자에 의하여 선택된 경우(S460), 그를 표시할 수 있다.The portable device may include displaying an upper category name, which is a higher concept of the selected product information (S450). The method of operating a portable device may further include displaying whether some or all of the upper category names are selected (S460). If any one of the upper category names is selected by the user (S460), the portable device may display the same.

휴대용기기 동작방법은 사용자가 선택한 상품정보를 포함하는 보관목록을 저장하고 표시하는 단계(S470)를 더 포함할 수 있다. 휴대용기기는 사용자가 선택한 상위 카테고리 명칭으로 구성된 보관목록을 표시할 수 있다(S470). 예를 들어, 휴대용기기는 카메라로 촬영한 영수증에 기재된 상품정보를 기반으로 냉장고에 보관될 물품의 개수, 명칭 또는 물품이 저장된 위치를 표시할 수 있다. 상기 보관목록은 상품정보의 상위개념인 상위 카테고리 명칭을 저장할 수 있다.The method of operating a portable device may further include storing and displaying a storage list including product information selected by the user (S470). The portable device may display a storage list configured with the upper category name selected by the user (S470). For example, the portable device may display the number, name, or location where the article is stored in the refrigerator based on the product information described in the receipt photographed by the camera. The storage list may store the upper category name, which is a higher concept of the product information.

휴대용기기 동작방법은 보관목록을 내부의 온도를 기설정된 온도로 유지하는 냉장고와 동기화하는 단계를 더 포함할 수 있다. 휴대용기기는 보관목록에 대한 정보를 냉장고에 송신하거나, 냉장고로부터 수신할 수 있다. 휴대용기기는 촬영한 영상에 포함된 상품정보로 보관목록을 구성하고, 이를 냉장고와 동기화할 수 있다. The method of operating a portable device may further include synchronizing a storage list with a refrigerator for maintaining an internal temperature at a preset temperature. The portable device may transmit information about the storage list to the refrigerator or receive from the refrigerator. The portable device may configure a storage list with the product information included in the captured image and synchronize it with the refrigerator.

본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 본 발명의 목적 범위 안에서라면, 실시예에 따라서는 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. Although all components constituting the embodiments of the present invention have been described as being combined or operating as one, the present invention is not necessarily limited to these embodiments. Within the scope of the present invention, depending on the embodiment, all the components may operate selectively in combination with one or more.

모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있으나, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. Although all components may each be implemented as one independent hardware, a computer having a program module in which some or all of each component is selectively combined to perform some or all functions combined in one or more hardware. It may be implemented as a program.

컴퓨터 프로그램을 구성하는 복수의 코드 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.The plurality of codes and code segments constituting the computer program may be easily inferred by those skilled in the art. Such a computer program may be stored in a computer readable storage medium and read and executed by a computer, thereby implementing embodiments of the present invention. The storage medium of the computer program may include a magnetic recording medium, an optical recording medium, a carrier wave medium, and the like.

이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.The terms "comprise", "comprise" or "having" described above mean that a corresponding component may be included unless specifically stated otherwise, and thus does not exclude other components. It should be construed that it may further include other components.

기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다.All terms, including technical and scientific terms, have the same meanings as commonly understood by one of ordinary skill in the art unless otherwise defined.

사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms commonly used, such as terms defined in a dictionary, should be interpreted to coincide with the contextual meaning of the related art, and shall not be construed in an ideal or excessively formal sense unless explicitly defined in the present invention.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and changes without departing from the essential characteristics of the present invention.

본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
The embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

10: 냉장고
20 : 휴대용기기10: refrigerator
20: portable device

Claims

A camera for photographing a document including one or more product information consisting of one or more characters;
A memory for storing an inventory consisting of selected product information among the one or more product information;
A display unit which displays an image captured by the camera; And
The product information is displayed on the display unit, whether or not some or all of the one or more product information is selected on the display unit, and the product information selected in response to a user input is displayed on the display unit, and the selected And a controller configured to display an upper category name, which is a higher concept of product information, on the display unit.
The controller may display the storage list including the selected product information on the display unit, and transmit the storage list to a refrigerator to synchronize the storage list.

The method of claim 1,
The upper category name is one or more;
And the display unit displays one or more upper category names in correspondence with the displayed product information, and displays whether one or more of the upper category names are partially or all selected.

The method of claim 1,
A portable device for displaying the number of product information included in the storage list.

The method of claim 3,
The storage list includes the upper category name.

delete

The method of claim 1,
The product information includes a product name or a code number corresponding to the product name.

The method of claim 1,
And a memory configured to store data information, which is a basis for analyzing product information, including the product information and the upper category name corresponding to the product information.

The method of claim 1,
The display unit shades and displays the product information.

The method of claim 1,
The product information may be a plurality,
The display unit corresponds to the plurality of product information, respectively, and a portable device for displaying a selection box that can be selected or deselected in response to a user input.

Photographing a document including product information consisting of one or more characters;
Analyzing one or more characters to display one or more product information;
Displaying whether some or all of the one or more product information is selected;
Displaying the selected product information; And
Displaying an upper category name which is a higher concept of the selected product information;
Storing an inventory containing the selected product information; And
Transmitting the storage list to a refrigerator to synchronize the storage list.

delete

The method of claim 10,
And displaying whether some or all of the upper category names are selected.

The method of claim 10,
And displaying the storage list including the selected product information.

The method of claim 13,
The storage list stores a higher category name, which is a higher concept of the product information.

delete

The method of claim 10,
The product information includes a product name or a code number which is information corresponding to the product name.

A camera for photographing a document including product information consisting of one or more characters, a display unit displaying an image photographed by the camera, and the product information are displayed on the display unit, and some or all of the one or more product information are selected. A portable device including a control unit which displays whether or not the display unit is configured and stores a storage list including selected product information in a memory; And
And a refrigerator that communicates with the portable device to receive the storage list and synchronizes the storage list with the portable device.