+

WO2018174080A1 - 物品管理システム及び物品管理方法 - Google Patents

物品管理システム及び物品管理方法 Download PDF

Info

Publication number
WO2018174080A1
WO2018174080A1 PCT/JP2018/011146 JP2018011146W WO2018174080A1 WO 2018174080 A1 WO2018174080 A1 WO 2018174080A1 JP 2018011146 W JP2018011146 W JP 2018011146W WO 2018174080 A1 WO2018174080 A1 WO 2018174080A1
Authority
WO
WIPO (PCT)
Prior art keywords
article
information
pressure
management system
management
Prior art date
Application number
PCT/JP2018/011146
Other languages
English (en)
French (fr)
Inventor
祐太 森浦
一也 二木
忍 増田
啓二 野稲
唯 沢田
小掠　哲義
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2019507702A priority Critical patent/JP7038328B2/ja
Publication of WO2018174080A1 publication Critical patent/WO2018174080A1/ja

Links

Images

Definitions

  • the present disclosure relates to an article management system and an article management method for managing the arrangement of articles in a storage space for storing articles.
  • Patent Documents 1 and 2 disclose conventional systems that manage articles stored in a storage space.
  • Patent document 1 is disclosing the foodstuff management system provided with the camera and sensor (for example, gravity sensor) in the foodstuff storage.
  • This food material management system for example, acquires image data in the food storage from a camera and displays the image of the date of receipt and the image of today as a freshness information side by side.
  • Patent Document 2 includes a tag input unit (RFID) that reads a non-contact tag that stores food information, a pressure-sensitive detection sensor that detects a position where the food is stored, and a weight detection sensor that detects the weight of the food.
  • RFID tag input unit
  • the tag input unit reads the tag information of all the food items in the food storage, and compares the read information with the stored inventory information to identify the newly added food item. ing.
  • the present disclosure provides an article management system and an article management method for accurately identifying an article stored in a storage space and managing the arrangement of the article.
  • An article management system is an article management system that manages the arrangement of articles in a storage space for storing articles, and detects pressure in a two-dimensional manner and outputs pressure information indicating the detected pressure. And a management device that stores article information that is information about the article.
  • the management apparatus obtains pressure information from the sensor device in time series, a temporal change in the obtained pressure information, and an article.
  • the article arranged in the storage space is specified with reference to the information.
  • the article management system and the article management method of the present disclosure it is possible to accurately identify the articles stored in the storage space and manage the arrangement of the articles.
  • FIG. 1 is a block diagram illustrating a configuration of an article management system according to the first embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating an arrangement example of pressure-sensitive sensors in the first embodiment.
  • FIG. 3A is a diagram illustrating an example of a data structure of an article DB in the first embodiment.
  • FIG. 3B is a diagram illustrating an example of a data structure of a stored item DB in the first embodiment.
  • FIG. 4 is a flowchart illustrating the article management method according to the first embodiment.
  • FIG. 5A is a diagram illustrating an example of an arrangement in a hangar according to the first embodiment.
  • FIG. 5B is a diagram showing an example in which an article is added from the state shown in FIG. 5A.
  • FIG. 6 is a diagram schematically showing sensor outputs corresponding to the arrangements of FIGS. 5A and 5B and their differences.
  • FIG. 7A is a diagram illustrating another example of the arrangement in the hangar according to the first embodiment.
  • FIG. 7B is a diagram showing an example in which the position of the article is changed from the state shown in FIG. 7A.
  • FIG. 8 is a diagram schematically showing sensor outputs corresponding to the arrangements of FIGS. 7A and 7B and their differences.
  • FIG. 9 is a diagram illustrating an example of display by the display device.
  • FIG. 10 is a block diagram illustrating a configuration of an article management system according to the second embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating an example of a data structure of the article DB in the second embodiment.
  • FIG. 12 is a flowchart illustrating an article management method according to the second embodiment.
  • FIG. 13 is a diagram showing another example of changing the arrangement of articles in the hangar.
  • FIG. 14 is a block diagram illustrating a configuration of an article management system according to another embodiment.
  • FIG. 15 is a diagram illustrating an example of a hangar according to another embodiment.
  • the present disclosure provides an article management system that accurately identifies an arbitrary article including an article that does not include an RFID tag stored in a storage space, and manages the arrangement of the article.
  • the article management system according to the present disclosure uses a pressure-sensitive sensor arranged in a matrix in the storage space in order to identify and manage an arbitrary article, and based on the pressing force against the pressure sensor, the storage space Identify the items that are placed inside.
  • article includes not only individual items but also a container containing a plurality of items.
  • the “stored item” means an item stored in the storage space.
  • the “storage space” is a hangar for storing articles will be described as an example.
  • the hangar is, for example, a warehouse or a warehouse for logistics.
  • FIG. 1 illustrates a configuration of an article management system according to the first embodiment of the present disclosure.
  • the article management system 1 includes a matrix sensor device 100 and a communication device 150 arranged in the storage 10 and a management server 200 that manages articles stored in the storage 10.
  • the matrix sensor device 100 includes a plurality of pressure-sensitive sensors 110 (1) to 110 (N) arranged in a matrix and a signal indicating the pressing force output from each of the pressure-sensitive sensors 110 (1) to 110 (N). And a signal processing unit 120 for processing.
  • the matrix sensor device 100 is an example of a sensor device that detects pressure two-dimensionally and outputs pressure information indicating the detected pressure.
  • the pressure-sensitive sensors 110 (1) to 110 (N) include, for example, an elastic first conductive member, a second conductive member disposed in proximity to the first conductive member, and the first or second conductive member. And a dielectric that at least partially covers the surface of the member.
  • the pressure-sensitive sensors 110 (1) to 110 (N) further include, for example, an integrated circuit electrically connected to a wiring drawn from the first conductive member and a wiring drawn from the second conductive member, or It has a control circuit. Each of the pressure sensitive sensors 110 (1) to 110 (N) is based on a change in electrostatic capacitance between the first conductive member and the second conductive member. N) detects the pressing force applied, and outputs a signal indicating the detected pressing force.
  • the signal processing unit 120 corresponds the detected pressing force to the positions of the pressure sensors 110 (1) to 110 (N) based on the signals output from the pressure sensors 110 (1) to 110 (N). And output as pressure data (pressure information).
  • the pressure data corresponds to, for example, the position (coordinates) of each of the pressure sensors 110 (1) to 110 (N) and the pressing force detected from each of the pressure sensors 110 (1) to 110 (N). And numeric values.
  • the signal processing unit 120 is, for example, an integrated circuit.
  • FIG. 1 shows an example in which the matrix sensor device 100 includes one signal processing unit 120 for the plurality of pressure sensors 110 (1) to 110 (N). The number is arbitrary.
  • the matrix sensor device 100 may include a plurality of signal processing units 120.
  • one signal processing unit 120 may be provided for a predetermined number of units (100 units or the like) of pressure sensitive sensors.
  • the pressure sensors 110 (1) to 110 (N) may be directly connected to the communication device 150 without providing the signal processing unit 120.
  • the communication device 150 is connected to the management server 200 via a network 400 such as the Internet.
  • the communication device 150 outputs pressure data output from the signal processing unit 120 to the management server 200.
  • the communication device 150 includes a wireless communication interface that complies with communication standards such as IEEE 802.11, 3G, LTE, and WiFi.
  • the management server 200 includes a communication unit 210, a control unit 220, a storage unit 230, and an input unit 240.
  • the management server 200 is an example of a management device that identifies an article in the hangar 10 and manages the arrangement of the article.
  • the communication unit 210 includes a wireless communication interface that conforms to a communication standard such as IEEE802.11, 3G, LTE, and WiFi.
  • the control unit 220 receives pressure data transmitted from the communication device 150 in the hangar 10 via the communication unit 210.
  • the control unit 220 updates the stored product database (stored product DB, management information) 232 using the received pressure data and the product database (article DB, product information) 231 stored in the storage unit 230.
  • the control unit 220 stores the received pressure data as sensor output information 233 in the storage unit 230.
  • the controller 220 can be realized by a semiconductor element or the like.
  • the control unit 220 can be configured by, for example, a microcomputer, CPU, MPU, DSP, FPGA, and ASIC.
  • the function of the control unit 220 may be configured only by hardware, or may be realized by combining hardware and software.
  • the storage unit 230 stores an article database (article DB) 231, a stored product database (stored product DB) 232, and sensor output information 233.
  • the article DB 231 includes information related to articles that can be stored in the hangar 10 (see FIG. 3A).
  • the stored item DB 232 includes information on articles actually stored in the hangar 10 (see FIG. 3B). Note that the stored item DB 232 may include information on articles actually stored in the hangar 10.
  • the storage unit 230 can be realized by, for example, a hard disk (HDD), SSD, RAM, DRAM, ferroelectric memory, flash memory, magnetic disk, ROM, or a combination thereof.
  • the input unit 240 includes a keyboard, a touch panel, buttons, or the like.
  • the article management system 1 further includes a display device 300 connected to the network 400.
  • the display device 300 is an example of an output device that outputs information related to articles stored in the storage 10.
  • the display device 300 is a device including a liquid crystal display or an organic EL display, and is, for example, a smartphone, a tablet terminal, or a personal computer.
  • the display device 300 displays information related to articles in the storage 10 based on the stored item DB 232 of the management server 200.
  • FIG. 2 shows an arrangement example of the pressure sensitive sensors 110 (1) to 110 (N).
  • N m rows ⁇ n columns
  • pressure-sensitive sensors 110 (1) to 110 (N) are arranged in a matrix on the floor of the hangar 10 as shown in FIG.
  • the size of each of the pressure sensitive sensors 110 (1) to 110 (N) is, for example, 1 cm ⁇ 1 cm.
  • the size of the pressure sensitive sensors 110 (1) to 110 (N) may be determined according to the size of the article stored in the storage 10 or the size of the bottom surface of the storage 10.
  • FIG. 3A shows an example of the data structure of the article DB 231.
  • the article DB 231 includes, for example, an article name, an article shape, an article weight, and a weight distribution on the article bottom surface.
  • the article DB 231 may include an article identification number (ID) instead of or in addition to the article name.
  • the shape of the article includes the size of the article (for example, length and width, diameter, height) in addition to the bottom shape of the article.
  • FIG. 3B shows an example of the data structure of the stored item DB 232.
  • the stored item DB 232 includes, for example, an article name or an identification number (ID) corresponding to the article name, an entry date and time of the article into the storage case 10, an exit date and time from the storage case 10, an expiration date (for example, one week from the entry date and time), an article
  • ID identification number
  • the position (x, y, z coordinate) of the article is, for example, the position of the center of gravity of the article.
  • the shape of the article includes the size of the article (for example, length and width, diameter, height) in addition to the bottom shape of the article.
  • FIG. 4 shows a flowchart of the update process of the stored item DB 232 by the control unit 220 of the management server 200 in the first embodiment.
  • the control unit 220 of the management server 200 starts updating the stored item DB 232 at a predetermined timing.
  • the control unit 220 of the management server 200 may start the update process of the stored item DB 232 periodically (for example, every predetermined time).
  • update processing of the stored item DB 232 is started. May be.
  • the control unit 220 repeatedly performs all the steps S101 to S106 shown in FIG.
  • control unit 220 may end the update process of the stored item DB 232 when a predetermined time has elapsed from the start of the update process.
  • a sensor for detecting opening / closing of the door of the hangar 10 may be provided in the hangar 10, and the update process may be terminated when information indicating that the door of the hangar 10 has been closed is acquired from the sensor.
  • FIGS. 5A and 5B are examples of the state in the storage 10 and FIG. 5B shows a state in which the article 50 is newly added to the storage 10 from the storage state of the article shown in FIG. 5A.
  • FIGS. 6A and 6B schematically show outputs of the matrix sensor device 100 corresponding to FIGS. 5A and 5B, respectively.
  • FIG. 6C schematically shows the difference between FIG. 6A and FIG. 6B.
  • portions where the sensor output value or the difference value is not 0 are indicated by hatching.
  • FIGS. 7A and 7B show another example of the state in the storage 10, and FIG. 7B shows a state in which the article 55 is moved onto the article 53 from the article storage state shown in FIG. 7A.
  • FIGS. 8A and 8B schematically show outputs of the matrix sensor device 100 corresponding to FIGS. 7A and 7B, respectively.
  • FIG. 8C schematically shows the difference between FIG. 8A and FIG. 8B.
  • portions where the sensor output value or the difference value is not 0 are indicated by hatching.
  • the control unit 220 of the management server 200 acquires pressure data indicating the pressing force output from the matrix sensor device 100 in the storage 10 via the communication unit 210 (S101).
  • the control unit 220 includes, for example, a CPU and a RAM, and stores the pressure data acquired in step S101 in the RAM. And when the update process of stored goods DB232 is complete
  • the control unit 220 calculates the difference between the pressure data acquired last time and the pressure data acquired this time (S102). For example, when the storage state of the article changes from the state shown in FIG. 5A to the state shown in FIG. 5B, the control unit 220 acquires pressure data as shown in FIG. 6A in the previous step S101, In this step S101, pressure data as shown in FIG. 6B is acquired. In this case, a difference (numerical value) as shown in (c) of FIG. 6 is calculated. Similarly, for example, when the storage state of the article changes from the state shown in FIG. 7A to the state shown in FIG. 7B, the control unit 220 generates pressure data as shown in FIG. 8A in the previous step S101. In step S101, pressure data as shown in FIG. 8B is acquired. In this case, a difference (numerical value) as shown in FIG. 8C is calculated.
  • the control unit 220 determines whether or not there is a difference between the pressure data acquired last time and the pressure data acquired this time (S103), and if there is a difference, the article DB 231 is referred to and the difference is dealt with.
  • the stored item is specified (S104). Specifically, for example, the control unit 220 identifies the shape of the stored item from a position (coordinates) having a difference, and determines whether or not the identified shape is included in the article DB 231. For example, the control unit 220 specifies the average value of the entire difference (numerical value) as the weight of the stored item, and determines whether the specified weight is included in the article DB 231.
  • control unit 220 specifies the weight distribution of the stored item from the position having the difference and the value of each difference, and determines whether or not the specified weight distribution is included in the article DB 231. Thereby, for example, if there is an article in the article DB 231 that matches all of the specified shape, weight, and weight distribution, the control unit 220 stores data corresponding to the difference calculated by the matching article. Identified as a product. Note that “matching” of the shape, weight, and weight distribution in the present disclosure includes not only the case where they are completely the same, but also the case where each difference is within a predetermined range.
  • the article 50 is specified as a stored item corresponding to the difference. Specifically, since the article 50 is not detected at the time of FIG. 5A and FIG. 6A, the control unit 220 newly adds the article 50 at the time of FIG. 5B and FIG. 6B. Judge that it was done. In FIG. 7B and FIG. 8C, the control unit 220 identifies the article 55 as a stored item corresponding to the negative difference corresponding to the region 55a, and a stored item corresponding to the positive difference corresponding to the region 55b.
  • the article 55 is specified as follows. Furthermore, since the area 55a and the area 55b have the same size and shape, and the sign of the difference value is opposite, the control unit 220 determines that the identified article 55 has moved from the area 55a to the area 55b.
  • the control unit 220 determines the position (x, y, z) of the stored item (S105). Specifically, the control unit 220 determines the position (x, y) on the plane of the stored item corresponding to the difference from the position (coordinates) having the difference. Further, the control unit 220 obtains the previously acquired pressure data (FIG. 6A, FIG. 8A) and the currently acquired pressure data (FIG. 6B, FIG. 8B). Then, the position (z) in the height direction of the specified stored item is determined with reference to the difference between them ((c) in FIG. 6 and (c) in FIG. 8). For example, comparing (b) of FIG. 6 and (c) of FIG.
  • the size (shape) of the region 50 a and the region 50 b is the same, so the article 50 is arranged on the bottom surface of the hangar 10.
  • the control unit 220 compares the region 53b in FIG. 8B with the region 55b in FIG. 8C, and the sizes (shapes) of the region 53b and the region 55b do not match. Therefore, it is determined that the article 55 is not arranged on the bottom surface of the hangar 10. Further, since it is known that the article 53 is arranged on the bottom surface by the region 53a of FIG. 8A, the control unit 220 causes the article 55 to be placed on the article 53 in the state of FIG. Judge that it was placed.
  • the control unit 220 updates the stored item DB 232 based on the specified stored item (S106). For example, in the case of FIG. 5B and FIG. 6, information regarding the newly added article 50 is added to the stored item DB 232. Moreover, in the case of FIG. 7B and FIG. 8, the position of the article
  • control unit 220 determines that there is no difference between the pressure data acquired last time and the pressure data acquired this time (No in S103), the control unit 220 does not execute steps S104 to S106. While continuing the update process of the stored item DB 232, the control unit 220 returns to step S101 and repeats the update process of the stored item DB 232.
  • the stored item DB 232 updated in this way can be output at a predetermined timing.
  • the display device 300 may request the management server 200 to read the stored item DB 232 when an instruction to output the stored item DB 232 is input by the user, or based on a preset condition.
  • FIG. 9 shows a display output example of the stored item DB 232 by the display device 300.
  • the display device 300 based on the stored item DB 232 that has been read, includes a part of the information included in the stored item DB 232 (for example, the article name, the date of receipt, and the position), May be displayed.
  • the article management system 1 of the present disclosure includes a plurality of pressure sensitive sensors 110 (1) to 110 (N) arranged in a matrix in the hangar 10. Therefore, pressure data indicating the pressing force associated with the positions (coordinates) of the pressure sensitive sensors 110 (1) to 110 (N) is obtained in time series. Therefore, the article management system 1 according to the present disclosure can specify the articles stored in the storage 10 by comparing the pressure data acquired in time series with the article DB 231. Thereby, it is possible to accurately identify and manage any article including an article that does not include an RFID tag.
  • the position (x, y, z) of the article in the hangar 10 can be specified based on the pressure data acquired in time series.
  • the orientation of the article is specified by comparing the weight distribution obtained from the pressure data with the weight distribution in the article DB 231. It is also possible to do.
  • the user is arranged in the hangar 10 at an arbitrary timing and at an arbitrary place by using the display device 300 without actually observing the inside of the hangar 10. You can grasp the goods.
  • the article management system 1 specifies a stored item using an image of a camera when the stored item cannot be specified only by the output of the matrix sensor device 100.
  • FIG. 10 illustrates a configuration of an article management system according to the second embodiment of the present disclosure.
  • the article management system 1 of this embodiment includes at least one camera 180 in the hangar 10 in addition to the configuration shown in FIG.
  • the camera 180 is an example of an imaging device that can capture still images and moving images, and is, for example, a CCD image sensor or a CMOS image sensor.
  • One camera 180 may be arranged at a position where the entire inside of the hangar 10 can be imaged.
  • a plurality of cameras 180 may be arranged at a plurality of locations in the hangar 10 so that the entire inside of the hangar 10 is imaged by the plurality of cameras 180.
  • the camera 180 outputs imaging data (imaging information) obtained by imaging the storage 10.
  • FIG. 11 shows an example of the data structure of the article DB 231 in the present embodiment.
  • the article DB 231 of the present embodiment further includes image data of articles in the article DB 231 shown in FIG. 3A.
  • the image data of an article is image data of an article taken from various angles.
  • the product DB 231 may include data indicating a feature amount for specifying the product that can be extracted from the image captured by the camera 180.
  • FIG. 12 shows a flowchart of the update process of the stored item DB 232 by the control unit 220 of the management server 200 in the second embodiment.
  • steps S205 to S207 are newly added as compared with the flowchart of FIG. 4 of the first embodiment.
  • Steps S201 to S204, S208, and S209 in FIG. 12 are the same as steps S101 to S106 in FIG.
  • step S204 the control unit 220 of the management server 200 determines whether or not a stored item corresponding to the difference between the previously acquired pressure data and the currently acquired pressure data has been identified (S205).
  • the control unit 220 acquires the imaging data generated by the camera 180 in the storage 10 via the communication unit 210 (S206). .
  • the control unit 220 refers to the article DB 231 and specifies a stored item based on the acquired imaging data (S207). Specifically, the control unit 220 compares the acquired imaging data with the image data in the article DB 231 to identify the best matching article. The comparison of the images is performed based on the feature amount of the object included in the images. The control unit 220 may extract a feature amount from an image captured by the camera 180 and specify an article having a similar feature amount from the article DB 231 based on the extracted feature amount.
  • the control unit 220 determines the position (x, y, z) of the specified stored item (S208).
  • the position of the stored product is determined based on the pressure data of the matrix sensor device 100.
  • the position of the stored item is determined based on at least one of the imaging data of the camera 180 and the pressure data of the matrix sensor device 100. decide.
  • the first and second embodiments have been described as examples of the technology disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can also be applied to embodiments in which changes, replacements, additions, omissions, and the like have been made as appropriate.
  • FIG. 5B shows an example in which the article 50 is newly added to the hangar 10
  • FIG. 7B describes an example in which the article 55 is moved in the hangar 10.
  • the article management system 1 of the present disclosure it is also possible to specify the three-dimensional position of an article accompanying a state change in the hangar 10 as illustrated in FIG. 13 based on pressure data acquired in time series.
  • the example of FIG. 13 illustrates an example in which the article “B” is removed from the state where the articles “C”, “B”, and “A” are stacked in that order from the bottom.
  • the three-dimensional position of the article “A” can be specified by a change in pressure data acquired in time series.
  • the article is specified based on all of the shape of the article, the weight of the article, and the weight distribution on the bottom surface of the article.
  • the article may be specified by at least one of the shape of the article, the weight of the article, and the weight distribution on the bottom surface of the article.
  • the information for specifying the article is not limited to the shape of the article, the weight of the article, and the weight distribution on the bottom surface of the article.
  • the information for identifying the article may be other information as long as the article can be identified from the pressure data obtained by the pressure-sensitive sensors 110 (1) to 110 (N).
  • the case where there are a plurality of types of articles that can be stored in the hangar 10 and the article management system 1 identifies the articles stored in the hangar 10 has been described as an example.
  • the article management system 1 of the present disclosure can also be applied to a case where one kind of article that can be stored in the storage 10 is determined in advance. In this case, the article management system 1 does not need to specify the articles stored in the hangar 10.
  • the control unit 220 of the management server 200 determines the position of the predetermined article on the plane and the position in the height direction. And specify.
  • the management server 200 may store weight information including at least one of the weight and weight distribution of a predetermined article stored in the storage 10 in the storage unit 230 instead of the article DB 231. Then, the position in the height direction may be determined by comparing the obtained pressure data with the weight information. For example, if the weight indicated by the pressure data is twice the weight of the predetermined article, the position in the height direction can be determined by determining that the two predetermined articles are stacked.
  • the management server 200 is connected to the communication device 150 in the hangar 10 via the network 400.
  • the management server 200 may be provided in the hangar 10.
  • the display device 300 is connected to the management server 200 via the network 400.
  • the function of the display device 300 and the function of the management server 200 may be integrated and realized by a single device.
  • the communication device 150 may be omitted.
  • the matrix sensor device 100, the management server 200, and the display device 300 may be connected without going through the network 400.
  • the article management system 1 may not include the communication device 150 and the communication unit 210. All the functions of the matrix sensor device 100, the management server 200, and the display device 300 may be integrated into a single device.
  • the “storage space” is a storage 10 such as a warehouse or a storage, and a plurality of pressure-sensitive sensors 110 (1) to 110 (N) are connected to the storage 10 (the storage space).
  • the plurality of pressure-sensitive sensors 110 (1) to 110 (N) can be arranged at arbitrary locations.
  • the load storage unit 510 of the delivery truck 500 may be a storage space corresponding to the storage 10.
  • the storage space may be a truck bed, a display shelf such as a store, or a refrigerator. The following various effects are obtained depending on the location of the pressure sensitive sensors 110 (1) to 110 (N).
  • a plurality of pressure-sensitive sensors 110 (1) to 110 (N) are arranged in a warehouse such as physical distribution, according to the article management system 1 of the present disclosure, identification of the article and the location of the article in the warehouse is performed. Is possible. Therefore, it helps to prevent forgetting to ship the article.
  • a plurality of pressure-sensitive sensors 110 (1) to 110 (N) are arranged on a display shelf such as a store, it is possible to grasp the sales of an article (product) by using the article management system 1 of the present disclosure. become. Therefore, it is useful for sales management of products in the store.
  • control unit 220 of the management server 200 may have an automatic ordering function for automatically ordering articles. For example, the control unit 220 identifies an insufficient or missing item based on the stored item DB 232, and sends an instruction to order the missing or missing item via the network 400 to an external device (for example, You may send to the personal computer of the manufacturing factory of goods.
  • an external device for example, You may send to the personal computer of the manufacturing factory of goods.
  • the matrix sensor device 100 including the pressure sensitive sensors 110 (1) to 110 (N) arranged in a matrix as shown in FIG. 2 is used.
  • the sensor device included in the article management system 1 is not limited to the matrix sensor device 100. That is, the arrangement of the pressure sensitive sensors 110 (1) to 110 (N) may not be a matrix.
  • the sensor device included in the article management system 1 uses one or more pressure-sensitive sensors to detect pressure applied to the bottom surface of the hangar 10, and pressure information indicating the detected pressure in association with the detected pressure position. Can be used as long as it can output.
  • the display device 300 is used as an example of the output device.
  • the output device included in the article management system 1 may be any apparatus that outputs information about articles in the storage 10 based on the stored item DB 232 of the management server 200.
  • an audio output device such as a speaker may be used as the output device.
  • An article management system is an article management system that manages the arrangement of articles in a storage space that stores articles, and detects pressure in a two-dimensional manner and indicates the detected pressure
  • a sensor device 100 that outputs information
  • a management device 200
  • article information 231 that is information related to the article.
  • the management device acquires pressure information from the sensor device in time series.
  • the article arranged in the storage space is specified with reference to the temporal change of the acquired pressure information and the article information.
  • the three-dimensional position of the identified article may be specified based on the temporal change of the pressure information.
  • the management apparatus further includes management information for managing the arrangement of individual articles stored in the storage space, and the management information is based on the specified articles. May be updated.
  • the sensor device may include a plurality of pressure sensors arranged in a matrix in the storage space.
  • the article information includes at least one of the shape, weight, and weight distribution of the article
  • the management device converts the difference from the difference due to the temporal change of the pressure information.
  • the article management system further includes an imaging device that outputs imaging information obtained by imaging the inside of the storage space, and the management device stores articles placed in the storage space based on pressure information. If it cannot be specified, an article placed in the storage space may be specified based on the imaging information.
  • the article management system of (3) may further include an output device that outputs management information.
  • the user who owns the output device can grasp the articles in the storage space (hangar) at an arbitrary place.
  • An article management system is an article management system that manages the arrangement of articles in a storage space in which a predetermined article is stored, and two-dimensionally detects pressure and indicates the detected pressure.
  • a sensor device that outputs pressure information; and a management device that has article information that is information including at least one of a weight and a weight distribution of the predetermined article. And referring to the temporal change of the acquired pressure information and the article information, the position on the plane of the predetermined article arranged in the storage space and the position in the height direction are specified.
  • the shape, weight, and weight distribution of the article can be specified based on the pressure detected two-dimensionally. Therefore, based on the pressure information acquired in time series, for example, the position on the plane and the position in the height direction can be specified by comparing numerical values corresponding to the previous and current pressures.
  • the article management method of the present disclosure is an article management method for managing the arrangement of articles in a storage space for storing articles, and detects the pressure two-dimensionally by a sensor device and indicates the detected pressure.
  • the article management system of the present disclosure is useful, for example, as a system for managing articles stored in a warehouse, a truck bed, or a refrigerator.

Abstract

収納空間内に配置された物品を精度良く特定して、その物品の配置を管理する物品管理システム及び物品管理方法を提供する。物品管理システム（１）は、物品を収納する収納空間（１０）における物品の配置を管理するものであって、二次元的に圧力を検出して、検出した圧力を示す圧力情報を出力するセンサ装置（１００）と、物品に関する情報である物品情報（２３１）を格納する管理装置（２００）と、を備え、管理装置は、センサ装置から圧力情報を時系列に取得して、取得した圧力情報の時間的変化と物品情報とを参照して、収納空間内に配置されている物品を特定する。

Description

物品管理システム及び物品管理方法
　本開示は、物品を収納する収納空間における物品の配置を管理する物品管理システム及び物品管理方法に関する。
　収納空間内に収納された物品を管理する従来のシステムが、例えば、特許文献１、２に開示されている。特許文献１は、食材庫にカメラとセンサ（例えば、重力センサ）を備えた食材管理システムを開示している。この食材管理システムは、例えば、カメラから食材庫内の画像データを取得して、鮮度情報として、入庫日の画像と本日の画像とを並べて表示している。特許文献２は、食品の情報を記憶した非接触タグを読み取るタグ入力部（ＲＦＩＤ）と、食品が収納された位置を検出する感圧検出センサと、食品の重量を検出する重量検出センサとを備えた食物貯蔵庫を開示している。特許文献２では、タグ入力部が食物貯蔵庫内の全ての食品のタグの情報を読み取って、読み取った情報と記憶している在庫情報とを比較することによって、新たに追加された食品を特定している。
特開２０１６－５７０２２号公報 特許第３８８１８８４号公報
　本開示は、収納空間内に収納された物品を精度良く特定して、その物品の配置を管理する物品管理システム及び物品管理方法を提供する。
　本開示の一態様の物品管理システムは、物品を収納する収納空間における物品の配置を管理する物品管理システムであって、二次元的に圧力を検出して、検出した圧力を示す圧力情報を出力するセンサ装置と、物品に関する情報である物品情報を格納する管理装置と、を備え、管理装置は、センサ装置から圧力情報を時系列に取得して、取得した圧力情報の時間的変化と、物品情報とを参照して、収納空間内に配置されている物品を特定する。
　これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
　本開示の物品管理システム及び物品管理方法によれば、収納空間内に収納された物品を精度良く特定して、その物品の配置を管理することができる。
図１は、本開示の第１実施形態の物品管理システムの構成を示すブロック図である。 図２は、第１実施形態における感圧センサの配置例を示す図である。 図３Ａは、第１実施形態における物品ＤＢのデータ構造の一例を示す図である。 図３Ｂは、第１実施形態における格納品ＤＢのデータ構造の一例を示す図である。 図４は、第１実施形態における物品管理方法を示すフローチャートである。 図５Ａは、第１実施形態における格納庫内の配置の一例を示す図である。 図５Ｂは、図５Ａに示す状態から物品が追加された例を示す図である。 図６は、図５Ａ及び図５Ｂの配置に対応するセンサ出力とその差分を模式的に示す図である。 図７Ａは、第１実施形態における格納庫内の配置の他の例を示す図である。 図７Ｂは、図７Ａに示す状態から物品の位置が変更された例を示す図である。 図８は、図７Ａ及び図７Ｂの配置に対応するセンサ出力とその差分を模式的に示す図である。 図９は、表示装置による表示の一例を示す図である。 図１０は、本開示の第２実施形態の物品管理システムの構成を示すブロック図である。 図１１は、第２実施形態における物品ＤＢのデータ構造の一例を示す図である。 図１２は、第２実施形態における物品管理方法を示すフローチャートである。 図１３は、格納庫内の物品の配置変更の別の例を示す図である。 図１４は、他の実施形態における物品管理システムの構成を示すブロック図である。 図１５は、他の実施形態における格納庫の一例を示す図である。
（本開示の基礎となった知見）
　特許文献１の食材管理システムにおいて、カメラの画像データから庫内の物品を特定しようとした場合、物品が他の物品に隠れて撮像できない状況が生じたときに、その隠れた物品を特定することができない。特許文献２の食物貯蔵庫では、ＲＦＩＤタグを備えた物品しか特定できないため、ＲＦＩＤタグを備えていない物品を特定することはできない。このように、特許文献１、２に記載の従来のシステムでは、格納庫に収納された物品を特定できない場合があった。
　本開示は、収納空間内に収納されたＲＦＩＤタグを備えていない物品を含む任意の物品を精度良く特定して、その物品の配置を管理する物品管理システムを提供する。本開示の物品管理システムは、任意の物品を特定して管理するために、収納空間内にマトリクス状に配置された感圧センサを使用して、感圧センサに対する押圧力に基づいて、収納空間内に配置されている物品を特定する。
　本明細書において、「物品」は、個々の品物だけでなく、複数の品物を収容した入れ物も含む。「格納品」は、収納空間内に収納されている物品を意味する。以下、「収納空間」が物品を収納する格納庫である場合を例にして説明する。格納庫は、例えば、倉庫、又は物流のための保管庫である。
（第１実施形態）
　以下、第１実施形態について、図面を参照しながら説明する。
１．１　物品管理システムの構成
　図１は、本開示の第１実施形態の物品管理システムの構成を示している。物品管理システム１は、格納庫１０内に配置されたマトリクスセンサ装置１００及び通信装置１５０と、格納庫１０内に格納されている物品を管理する管理サーバ２００とを備える。
　マトリクスセンサ装置１００は、マトリクス状に配置された複数の感圧センサ１１０（１）～１１０（Ｎ）と、各感圧センサ１１０（１）～１１０（Ｎ）から出力される押圧力を示す信号を処理する信号処理部１２０とを含む。マトリクスセンサ装置１００は、二次元的に圧力を検出して、検出した圧力を示す圧力情報を出力するセンサ装置の一例である。感圧センサ１１０（１）～１１０（Ｎ）は、例えば、弾性を有する第１の導電部材と、第１の導電部材に近接配置された第２の導電部材と、第１または第２の導電部材の表面を少なくとも部分的に覆う誘電体とを有する。感圧センサ１１０（１）～１１０（Ｎ）は、さらに、例えば、第１の導電部材から引き出された配線および第２の導電部材から引き出された配線に電気的に接続されている集積回路又は制御回路を有する。各感圧センサ１１０（１）～１１０（Ｎ）は、第１の導電部材と第２の導電部材との間の静電容量の変化に基づいて、各感圧センサ１１０（１）～１１０（Ｎ）に付与される押圧力を検出し、検出した押圧力を示す信号を出力する。信号処理部１２０は、各感圧センサ１１０（１）～１１０（Ｎ）から出力される信号に基づいて、検出された押圧力を感圧センサ１１０（１）～１１０（Ｎ）の位置に対応付けて圧力データ（圧力情報）として出力する。圧力データは、例えば、感圧センサ１１０（１）～１１０（Ｎ）の各々の位置（座標）と、感圧センサ１１０（１）～１１０（Ｎ）のそれぞれから検出される押圧力に応じた数値と、を含む。信号処理部１２０は、例えば、集積回路である。なお、図１においては、マトリクスセンサ装置１００が、複数の感圧センサ１１０（１）～１１０（Ｎ）に対して１つの信号処理部１２０を備える例を示しているが、信号処理部１２０の数は任意である。マトリクスセンサ装置１００は、複数の信号処理部１２０を備えても良い。例えば、所定数単位（１００個単位など）の感圧センサに対して１つの信号処理部１２０を設けてもよい。また、例えば、信号処理部１２０を設けずに、各感圧センサ１１０（１）～１１０（Ｎ）が、直接、通信装置１５０に接続されてもよい。
　通信装置１５０は、インターネットなどのネットワーク４００を介して、管理サーバ２００に接続される。通信装置１５０は、信号処理部１２０から出力される圧力データを管理サーバ２００に出力する。通信装置１５０は、ＩＥＥＥ８０２．１１、３Ｇ、ＬＴＥ、ＷｉＦｉ等の通信規格に準拠した無線通信インタフェースで構成される。
　管理サーバ２００は、通信部２１０、制御部２２０、記憶部２３０、及び入力部２４０を備える。管理サーバ２００は、格納庫１０内の物品を特定して、その物品の配置を管理する管理装置の一例である。
　通信部２１０は、ＩＥＥＥ８０２．１１、３Ｇ、ＬＴＥ、ＷｉＦｉ等の通信規格に準拠した無線通信インタフェースで構成される。
　制御部２２０は、通信部２１０を介して、格納庫１０内の通信装置１５０から送信される圧力データを受信する。制御部２２０は、受信した圧力データと記憶部２３０に格納されている物品データベース（物品ＤＢ、物品情報）２３１とを使用して、格納品データベース（格納品ＤＢ、管理情報）２３２を更新する。また、制御部２２０は、受信した圧力データをセンサ出力情報２３３として記憶部２３０に格納する。制御部２２０は、半導体素子などで実現可能である。制御部２２０は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。制御部２２０の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。
　記憶部２３０は、物品データベース（物品ＤＢ）２３１と、格納品データベース（格納品ＤＢ）２３２と、センサ出力情報２３３とを格納する。物品ＤＢ２３１は、格納庫１０に格納されうる物品に関する情報を含む（図３Ａ参照）。格納品ＤＢ２３２は、格納庫１０に実際に格納されている物品の情報を含む（図３Ｂ参照）。なお、格納品ＤＢ２３２は、格納庫１０に実際に格納されていた物品の情報を含んでもよい。記憶部２３０は、例えば、ハードディスク（ＨＤＤ）、ＳＳＤ、ＲＡＭ、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はＲＯＭ、又はこれらの組み合わせによって実現できる。
　入力部２４０は、キーボード、タッチパネル、又はボタン等で構成される。
　物品管理システム１は、さらに、ネットワーク４００に接続された表示装置３００を備える。表示装置３００は、格納庫１０に格納されている物品に関する情報を出力する出力装置の一例である。表示装置３００は、液晶ディスプレイ又は有機ＥＬディスプレイなどを含む機器であって、例えば、スマートフォン、タブレット端末、又はパソコンである。表示装置３００は、管理サーバ２００の格納品ＤＢ２３２に基づいて、格納庫１０内の物品に関する情報を表示する。
　図２は、感圧センサ１１０（１）～１１０（Ｎ）の配置例を示している。Ｎ個（ｍ行×ｎ列）の感圧センサ１１０（１）～１１０（Ｎ）は、図２に示すように、格納庫１０の床にマトリクス状に配置される。感圧センサ１１０（１）～１１０（Ｎ）のそれぞれのサイズは、例えば、１ｃｍ×１ｃｍである。なお、感圧センサ１１０（１）～１１０（Ｎ）のサイズは、格納庫１０に格納される物品のサイズ又は格納庫１０の底面のサイズに応じて決定されてもよい。
　図３Ａは、物品ＤＢ２３１のデータ構造の一例を示している。物品ＤＢ２３１は、例えば、物品名、物品の形状、物品の重量、及び物品の底面における重量分布を含む。なお、物品ＤＢ２３１は、物品名の代わりに又は物品名に加えて、物品の識別番号（ＩＤ）を含んでもよい。物品の形状は、物品の底面形状に加えて、物品のサイズ（例えば、縦横、直径、高さ）を含む。
　図３Ｂは、格納品ＤＢ２３２のデータ構造の一例を示している。格納品ＤＢ２３２は、例えば、物品名又は物品名に対応する識別番号（ＩＤ）、物品の格納庫１０への入庫日時、格納庫１０からの出庫日時、有効期限（例えば、入庫日時から１週間）、物品の庫内移動日、物品の位置（ｘ，ｙ，ｚ座標）、物品の形状、物品の重量、及び物品の底面における重量分布を含む。物品の位置（ｘ，ｙ，ｚ座標）は、例えば、物品の重心の位置である。物品の形状は、物品の底面形状に加えて、物品のサイズ（例えば、縦横、直径、高さ）を含む。
１．２　物品管理システムの動作
　図４～図８を用いて、物品管理システム１による格納品ＤＢ２３２の更新処理について説明する。
　図４は、第１実施形態における管理サーバ２００の制御部２２０による格納品ＤＢ２３２の更新処理のフローチャートを示している。管理サーバ２００の制御部２２０は、所定のタイミングで、格納品ＤＢ２３２の更新処理を開始する。例えば、管理サーバ２００の制御部２２０は、定期的（例えば、所定時間毎）に、格納品ＤＢ２３２の更新処理を開始してもよい。また、例えば、格納庫１０の扉の開閉を検知するためのセンサを格納庫１０に設け、そのセンサから格納庫１０の扉が開けられたという情報を取得したときに、格納品ＤＢ２３２の更新処理を開始してもよい。制御部２２０は、格納品ＤＢ２３２の更新処理を行っている間、図４に示す全ステップＳ１０１～Ｓ１０６を所定時間毎（例えば、数ミリ秒毎）に繰り返し行う。これにより、格納品ＤＢ２３２が更新される。そして、制御部２２０は、所定のタイミングで、格納品ＤＢ２３２の更新処理を終了する。例えば、制御部２２０は、更新処理の開始から所定時間が達したときに、格納品ＤＢ２３２の更新処理を終了してもよい。また、例えば、格納庫１０の扉の開閉を検知するためのセンサを格納庫１０に設け、そのセンサから格納庫１０の扉が閉められたという情報を取得したときに、更新処理を終了してもよい。
　図５Ａ及び図５Ｂは格納庫１０内の状態の一例であって、図５Ａに示す物品の格納状態から物品５０が新たに格納庫１０に追加された状態を図５Ｂに示している。図６の（ａ）及び（ｂ）は、それぞれ、図５Ａ及び図５Ｂに対応する、マトリクスセンサ装置１００の出力を模式的に示している。図６の（ｃ）は、図６の（ａ）と（ｂ）との差分を模式的に示している。図６の（ａ）～（ｃ）において、センサ出力値または差分の値が０でない部分をハッチングで示している。
　図７Ａ及び図７Ｂは、格納庫１０内の状態の別の一例であって、図７Ａに示す物品の格納状態から物品５５が物品５３の上に移動された状態を図７Ｂに示している。図８の（ａ）及び（ｂ）は、それぞれ、図７Ａ及び図７Ｂに対応する、マトリクスセンサ装置１００の出力を模式的に示している。図８の（ｃ）は、図８の（ａ）と（ｂ）との差分を模式的に示している。図８の（ａ）～（ｃ）において、センサ出力値または差分の値が０でない部分をハッチングで示している。
　図４のフローチャートを参照し、管理サーバ２００の制御部２２０による格納品ＤＢ２３２の更新処理を説明する。
　まず、管理サーバ２００の制御部２２０は、格納庫１０内のマトリクスセンサ装置１００から出力される押圧力を示す圧力データを、通信部２１０を介して、取得する（Ｓ１０１）。制御部２２０は、例えば、ＣＰＵとＲＡＭとを含み、ステップＳ１０１で取得した圧力データをＲＡＭに記憶させる。そして、格納品ＤＢ２３２の更新処理を終了するときに、ＲＡＭに記憶していた圧力データをセンサ出力情報２３３として記憶部２３０に格納する。なお、制御部２２０は、ステップＳ１０１で圧力データを取得するたびに、取得した圧力データをセンサ出力情報２３３として記憶部２３０に格納してもよい。
　制御部２２０は、前回取得した圧力データと今回取得した圧力データの差分を算出する（Ｓ１０２）。例えば、図５Ａに示す状態から図５Ｂに示す状態に物品の格納状態が変化した場合、制御部２２０は、前回のステップＳ１０１において図６の（ａ）に示されるような圧力データを取得し、今回のステップＳ１０１において図６の（ｂ）に示されるような圧力データを取得する。この場合、図６の（ｃ）に示されるような差分（数値）が算出される。同様に、例えば、図７Ａに示す状態から図７Ｂに示す状態に物品の格納状態が変化した場合、制御部２２０は、前回のステップＳ１０１において図８の（ａ）に示されるような圧力データを取得し、今回のステップＳ１０１において図８の（ｂ）に示されるような圧力データを取得する。この場合は、図８の（ｃ）に示されるような差分（数値）が算出される。
　その後、制御部２２０は、前回取得した圧力データと今回取得した圧力データとに差分があるか否かを判断し（Ｓ１０３）、差分があれば、物品ＤＢ２３１を参照して、その差分に対応する格納品を特定する（Ｓ１０４）。具体的には、例えば、制御部２２０は、差分のある位置（座標）から格納品の形状を特定し、特定した形状が物品ＤＢ２３１に含まれるか否かを判断する。また、例えば、制御部２２０は、差分（数値）全体の平均値を格納品の重量として特定し、特定した重量が物品ＤＢ２３１に含まれか否かを判断する。さらに、例えば、制御部２２０は、差分のある位置及びそれぞれの差分の値から格納品の重量分布を特定し、特定した重量分布が物品ＤＢ２３１に含まれるか否かを判断する。これにより、例えば、特定した形状、重量、及び重量分布の全てが一致している物品が物品ＤＢ２３１の中にあれば、制御部２２０は、その一致している物品が算出した差分に対応する格納品であるとして特定する。なお、本開示における形状、重量、及び重量分布の「一致」とは、完全に同一である場合だけでなく、それぞれの差異が所定の範囲内である場合を含む。
　上記判断によって、例えば、図５Ｂ及び図６の（ｃ）においては、差分に対応する格納品として物品５０が特定される。具体的には、図５Ａ及び図６の（ａ）の時点では物品５０が検出されていないことから、制御部２２０は、図５Ｂ及び図６の（ｂ）の時点において物品５０が新たに追加されたと判断する。図７Ｂ及び図８の（ｃ）においては、制御部２２０は、領域５５ａに対応する負の差分に対応する格納品として物品５５を特定し、領域５５ｂに対応する正の差分に対応する格納品として物品５５を特定する。さらに、領域５５ａと領域５５ｂとは大きさ及び形状が同一で且つ差分の数値の正負が逆であることから、制御部２２０は特定した物品５５が領域５５ａから領域５５ｂに移動したと判断する。
　制御部２２０は、差分に対応する格納品を特定すると、その格納品の位置（ｘ，ｙ，ｚ）を決定する（Ｓ１０５）。具体的には、制御部２２０は、差分のある位置（座標）から、差分に対応する格納品の平面上の位置（ｘ，ｙ）を決定する。さらに、制御部２２０は、前回取得した圧力データ（図６の（ａ）、図８の（ａ））と、今回取得した圧力データ（図６の（ｂ）、図８の（ｂ））と、それらの差分（図６の（ｃ）、図８の（ｃ））とを参照して、特定した格納品の高さ方向の位置（ｚ）を決定する。例えば、図６の（ｂ）と図６の（ｃ）とを比較して、領域５０ａと領域５０ｂの大きさ（形状）が一致していることから、物品５０が格納庫１０の底面に配置されていると判断する。また、例えば、制御部２２０は、図８の（ｂ）の領域５３ｂと図８の（ｃ）の領域５５ｂとを比較して、領域５３ｂと領域５５ｂの大きさ（形状）が一致していないことから、物品５５が格納庫１０の底面に配置されていないと判断する。さらに、図８の（ａ）の領域５３ａにより物品５３が底面に配置されていることがわかっているため、制御部２２０は図８の（ｂ）の状態においては物品５５が物品５３の上に配置されたと判断する。
　制御部２２０は、特定した格納品に基づいて、格納品ＤＢ２３２を更新する（Ｓ１０６）。例えば、図５Ｂ及び図６の場合、新たに追加された物品５０に関する情報を格納品ＤＢ２３２に追加する。また、図７Ｂ及び図８の場合、物品５５の位置及び庫内移動日を更新する。
　制御部２２０は、前回取得した圧力データと今回取得した圧力データに差分がないと判断すれば（Ｓ１０３でＮｏ）、ステップＳ１０４～Ｓ１０６を実行しない。制御部２２０は、格納品ＤＢ２３２の更新処理を継続している間、ステップＳ１０１に戻り、格納品ＤＢ２３２の更新処理を繰り返す。
　このようにして更新された格納品ＤＢ２３２は、所定のタイミングで出力可能である。例えば、表示装置３００が、ユーザによる格納品ＤＢ２３２の出力指示を入力されたときに、又は予め設定された条件に基づいて、管理サーバ２００に対して格納品ＤＢ２３２の読み出しを要求してもよい。図９に、表示装置３００による格納品ＤＢ２３２の表示出力例を示している。図９に示すように、表示装置３００は、読み出した格納品ＤＢ２３２に基づいて、格納品ＤＢ２３２に含まれる情報の一部（例えば、物品名、入庫日、及び位置）と、庫内配置図とを表示してもよい。
１．３　効果及び補足
　本開示の物品管理システム１は、格納庫１０内にマトリクス状に配置された複数の感圧センサ１１０（１）～１１０（Ｎ）を備える。そのため、感圧センサ１１０（１）～１１０（Ｎ）の位置（座標）に対応させた押圧力を示す圧力データが時系列に得られる。よって、本開示の物品管理システム１は、時系列に取得した圧力データと物品ＤＢ２３１とを比較することによって、格納庫１０に格納されている物品を特定することができる。これにより、ＲＦＩＤタグを備えていない物品を含む任意の物品を精度良く特定して管理することができる。
　さらに、本開示の物品管理システム１によれば、時系列に取得した圧力データに基づいて、格納庫１０内の物品の位置（ｘ，ｙ，ｚ）を特定することもできる。
　重量分布が固定している物品の場合、例えば、電池が内蔵されている物品などの場合、圧力データから得られる重量分布と物品ＤＢ２３１の重量分布とを比較することによって、その物品の向きを特定することも可能である。
　本開示の物品管理システム１によれば、ユーザは格納庫１０内を実際に視認することなく、表示装置３００を使用することによって、任意のタイミング及び任意の場所で、格納庫１０内に配置されている物品を把握することができる。
（第２実施形態）
　本実施形態の物品管理システム１は、マトリクスセンサ装置１００の出力のみで格納品を特定できない場合に、カメラの画像を使用して格納品を特定する。
２．１　物品管理システムの構成
　図１０は、本開示の第２実施形態の物品管理システムの構成を示している。本実施形態の物品管理システム１は、図１に示す構成に加えて、格納庫１０内に少なくとも１台のカメラ１８０を備える。カメラ１８０は、静止画や動画を撮像可能な撮像装置の一例であって、例えば、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサである。１台のカメラ１８０が格納庫１０内の全体を撮像可能な位置に配置されてもよい。又は、複数台のカメラ１８０が格納庫１０内の複数箇所に配置されて、複数台のカメラ１８０によって格納庫１０内の全体が撮像されるようにしてもよい。カメラ１８０は、格納庫１０内を撮像して得られた撮像データ（撮像情報）を出力する。
　図１１は、本実施形態における物品ＤＢ２３１のデータ構造の一例を示している。本実施形態の物品ＤＢ２３１は、図３Ａに示す物品ＤＢ２３１において、さらに物品の画像データを含む。例えば、物品の画像データは、種々の角度から撮像された物品の画像のデータである。また、画像の代わりに又は画像に加えて、カメラ１８０によって撮像される画像から抽出可能な物品を特定するための特徴量を示すデータを物品ＤＢ２３１に含んでもよい。
２．２　物品管理システムの動作
　図１２は、第２実施形態における管理サーバ２００の制御部２２０による格納品ＤＢ２３２の更新処理のフローチャートを示している。図１２は、第１実施形態の図４のフローチャートと比較して、ステップＳ２０５～Ｓ２０７が新たに追加されたものである。図１２のステップＳ２０１～Ｓ２０４、Ｓ２０８、及びＳ２０９は、図４のステップＳ１０１～Ｓ１０６と同一である。
　管理サーバ２００の制御部２２０は、ステップＳ２０４の後、前回取得した圧力データと今回取得した圧力データの差分に対応する格納品を特定できたか否かを判断する（Ｓ２０５）。差分に対応する格納品を特定できなかった場合は（ステップＳ２０５でＮｏ）、制御部２２０は、格納庫１０内のカメラ１８０により生成された撮像データを、通信部２１０を介して取得する（Ｓ２０６）。
　制御部２２０は、物品ＤＢ２３１を参照して、取得した撮像データに基づいて格納品を特定する（Ｓ２０７）。具体的には、制御部２２０は、取得した撮像データと物品ＤＢ２３１内の画像データとを比較して、最も一致する物品を特定する。画像の比較は、画像に含まれるオブジェクトの特徴量に基づいて行われる。制御部２２０は、カメラ１８０で撮像された画像から特徴量を抽出して、抽出した特徴量に基づき同様の特徴量を持つ物品を物品ＤＢ２３１から特定してもよい。
　その後、制御部２２０は、特定した格納品の位置（ｘ，ｙ，ｚ）を決定する（Ｓ２０８）。このとき、マトリクスセンサ装置１００の圧力データに基づいて、格納品を特定できたときは（ステップＳ２０５でＹｅｓ）、マトリクスセンサ装置１００の圧力データに基づいて、格納品の位置を決定する。カメラ１８０の撮像データに基づいて、格納品を特定したときは（ステップＳ２０５でＮｏ）、カメラ１８０の撮像データとマトリクスセンサ装置１００の圧力データのうちの少なくとも１つに基づいて格納品の位置を決定する。
２．３　効果及び補足
　このように、マトリクスセンサ装置１００の出力だけでは格納品が特定できない場合に、カメラ１８０を使用して格納品を特定することによって、より精度良く、格納品を管理することができる。
（他の実施形態）
　以上のように、本出願において開示する技術の例示として、第１及び第２実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記第１及び第２実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。そこで、以下、他の実施形態を例示する。
　図５Ｂでは物品５０が格納庫１０に新たに追加された例を示し、図７Ｂでは物品５５が格納庫１０内で移動された例について説明した。本開示の物品管理システム１によれば、時系列に取得した圧力データに基づいて、図１３に示すような格納庫１０内の状態変化に伴う物品の三次元位置を特定することもできる。図１３の例では、下から物品「Ｃ」、「Ｂ」、「Ａ」の順に積まれた状態から、物品「Ｂ」が取り除かれる例を示している。図１３に示すような、物品「Ａ」が一時的に持ち上げられて、物品「Ｂ」が格納庫１０から出庫された後に、物品「Ａ」が物品「Ｃ」の上に戻されたときの、物品「Ａ」の三次元位置は、時系列に取得する圧力データの変化によって特定できる。
　上記第１及び第２実施形態においては、物品の形状、物品の重量、及び物品の底面における重量分布の全てに基づいて、物品を特定した。しかし、物品の形状、物品の重量、及び物品の底面における重量分布のうちの少なくとも１つで物品を特定してもよい。また、物品を特定するための情報は、物品の形状、物品の重量、及び物品の底面における重量分布に限定されない。物品を特定するための情報は、感圧センサ１１０（１）～１１０（Ｎ）によって得られる圧力データから物品を特定できるものであれば、別の情報であってもよい。
　上記第１及び第２実施形態においては、格納庫１０に格納されうる物品が複数種類あって、物品管理システム１が格納庫１０に格納されている物品を特定する場合を例にして説明した。しかし、本開示の物品管理システム１は、格納庫１０に格納されうる物品が予め１種類に決まっている場合についても適用できる。この場合、物品管理システム１は、格納庫１０に格納されている物品を特定する必要はない。管理サーバ２００の制御部２２０は、複数の感圧センサ１１０（１）～１１０（Ｎ）から得られた圧力データに基づいて、所定物品の格納庫１０内の平面上の位置と高さ方向の位置とを特定する。管理サーバ２００は、物品ＤＢ２３１の代わりに、格納庫１０に格納される所定物品の重量及び重量分布のうちの少なくとも１つを含む重量情報を記憶部２３０に格納しておいてもよい。そして、得られた圧力データとその重量情報とを比較して、高さ方向の位置を決定してもよい。例えば、圧力データが示す重量が所定物品の重量の２倍であれば、２つの所定物品が重ねて配置されていると判断して、高さ方向の位置を決定することができる。
　上記第１及び第２実施形態においては、管理サーバ２００は、ネットワーク４００を介して、格納庫１０内の通信装置１５０に接続された。しかし、管理サーバ２００を格納庫１０内に設けてもよい。また、上記第１及び第２実施形態においては、表示装置３００は、ネットワーク４００を介して、管理サーバ２００に接続された。しかし、表示装置３００の機能と管理サーバ２００の機能を一体化させて一つの装置で実現してもよい。また、表示装置３００を格納庫１０（例えば、格納庫１０の扉）に設けてもよい。管理サーバ２００及び表示装置３００を格納庫１０に設ける場合は、通信装置１５０を省略してもよい。図１４に示すように、マトリクスセンサ装置１００、管理サーバ２００、及び表示装置３００は、ネットワーク４００を介さずに接続される構成であってもよい。この場合、図１４に示すように、物品管理システム１は、通信装置１５０及び通信部２１０を備えなくてもよい。マトリクスセンサ装置１００、管理サーバ２００、及び表示装置３００の全ての機能を一体化させて一つの装置で実現してもよい。
　上記第１及び第２実施形態においては、「収納空間」が、倉庫又は保管庫などの格納庫１０であって、複数の感圧センサ１１０（１）～１１０（Ｎ）が格納庫１０（収納空間の一例）に配置されている場合を例にして説明した。しかし、複数の感圧センサ１１０（１）～１１０（Ｎ）は任意の場所に配置することができる。例えば、図１５に示すように、配送トラック５００の積荷収容部５１０が格納庫１０に相当する収納空間であってもよい。また、収納空間は、トラックの荷台、店舗などの陳列棚、又は冷蔵庫であってもよい。感圧センサ１１０（１）～１１０（Ｎ）の配置場所に応じて、次のような様々な効果が得られる。例えば、複数の感圧センサ１１０（１）～１１０（Ｎ）を物流などの保管庫に配置した場合、本開示の物品管理システム１によれば、保管庫内での物品及び物品の場所の特定が可能になる。よって、物品の発送忘れなどの防止に役立つ。複数の感圧センサ１１０（１）～１１０（Ｎ）を店舗などの陳列棚に配置した場合、本開示の物品管理システム１を利用することによって、物品（商品）の売れ行きを把握することが可能になる。よって、店舗内の商品の販売管理に役立つ。複数の感圧センサ１１０（１）～１１０（Ｎ）を冷蔵庫に配置した場合、本開示の物品管理システム１を利用すれば、物品（食品）の在庫を管理することが可能になる。よって、ユーザの買い物にも役立ち、さらに在庫に応じて献立を提供するようなシステムにも役立つ。
　上記第１及び第２実施形態において、管理サーバ２００の制御部２２０は、物品を自動で発注する自動発注機能を有してもよい。例えば、制御部２２０は、格納品ＤＢ２３２に基づいて不足又は欠品している物品を特定し、不足又は欠品している物品を発注する指示を、ネットワーク４００を介して、外部装置（例えば、物品の製造工場のパソコン）に送信してもよい。
　上記第１及び第２実施形態においては、センサ装置の一例として、図２に示すようにマトリクス状に配置された感圧センサ１１０（１）～１１０（Ｎ）を含むマトリクスセンサ装置１００を用いた。しかし、物品管理システム１に含まれるセンサ装置は、マトリクスセンサ装置１００に限らない。すなわち、感圧センサ１１０（１）～１１０（Ｎ）の配置はマトリクス状でなくてもよい。物品管理システム１に含まれるセンサ装置は、１つ以上の感圧センサを使用して、格納庫１０の底面にかかる圧力を検出し、検出した圧力の位置に対応付けて検出した圧力を示す圧力情報を出力できるものであればよい。
　上記第１及び第２実施形態においては、出力装置の一例として、表示装置３００を用いた。しかし、物品管理システム１に含まれる出力装置は、管理サーバ２００の格納品ＤＢ２３２に基づいて、格納庫１０内の物品に関する情報を出力するものであればよい。例えば、出力装置として、スピーカーなどの音声出力装置を用いてもよい。
（実施形態の概要）
　（１）本開示の一態様の物品管理システムは、物品を収納する収納空間における物品の配置を管理する物品管理システムであって、二次元的に圧力を検出して、検出した圧力を示す圧力情報を出力するセンサ装置（１００）と、物品に関する情報である物品情報（２３１）を格納する管理装置（２００）と、を備え、管理装置は、センサ装置から圧力情報を時系列に取得して、取得した圧力情報の時間的変化と、物品情報とを参照して、収納空間内に配置されている物品を特定する。
　これにより、ＲＦＩＤタグを備えていない物品を含む任意の物品を精度良く特定して管理することができる。
　（２）（１）の物品管理システムにおいて、圧力情報の時間的変化に基づいて、特定した物品の三次元の位置を特定してもよい。
　これにより、物品の位置を把握することが可能になる。
　（３）（２）の物品管理システムにおいて、管理装置は、さらに、収納空間内に収納されている個々の物品の配置を管理するための管理情報を有し、特定した物品に基づいて管理情報を更新してもよい。
　これにより、管理情報を任意のタイミングで読み出すことが可能になる。
　（４）（１）の物品管理システムにおいて、センサ装置は、収納空間内にマトリクス状に配置された複数の感圧センサを有してもよい。
　これにより、収納空間に収納された物品によって感圧センサに付与される圧力を二次元的に検出することができる。
　（５）（１）の物品管理システムにおいて、物品情報は、物品の形状、重量、及び重量分布のうちの少なくとも１つを含み、管理装置は、圧力情報の時間的変化による差分から、差分に対応する形状、重量、及び重量分布のうちの少なくとも１つを特定して、特定した形状、重量、及び重量分布のうちの少なくとも１つを、物品情報に含まれる形状、重量、及び重量分布のうちの少なくとも１つと比較して、差分に対応する物品を特定してもよい。
　これにより、変動（追加、削除、移動）した物品の形状、重量、及び重量分布のうちの少なくとも１つを特定できるため、物品を精度良く特定して管理することができる。
　（６）（１）の物品管理システムは、収納空間内を撮像して得られた撮像情報を出力する撮像装置をさらに備え、管理装置は、圧力情報によって収納空間内に配置されている物品を特定できない場合、撮像情報に基づいて収納空間内に配置されている物品を特定してもよい。
　これにより、より精度よく、物品を特定して管理することができる。
　（７）（３）の物品管理システムは、管理情報を出力する出力装置をさらに備えてもよい。
　これにより、出力装置を所有するユーザは、任意の場所で、収納空間（格納庫）内の物品を把握することが可能になる。
　（８）本開示の別態様の物品管理システムは、所定物品を収納する収納空間における物品の配置を管理する物品管理システムであって、二次元的に圧力を検出して、検出した圧力を示す圧力情報を出力するセンサ装置と、所定物品の重量及び重量分布のうちの少なくとも１つを含む情報である物品情報を有する管理装置と、を備え、管理装置は、センサ装置から圧力情報を時系列に取得して、取得した圧力情報の時間的変化と、物品情報とを参照して、収納空間内に配置されている所定物品の平面上の位置と高さ方向の位置とを特定する。
　二次元的に検出される圧力に基づいて、物品の形状、重量、重量分布を特定することができる。そのため、時系列に取得した圧力情報に基づいて、例えば、前回と今回の圧力に対応した数値を比較することによって、平面上の位置と高さ方向の位置とを特定することができる。
　（９）本開示の物品管理方法は、物品を収納する収納空間における物品の配置を管理する物品管理方法であって、センサ装置によって、二次元的に圧力を検出して、検出した圧力を示す圧力情報を出力するステップと、物品に関する情報である物品情報を格納する管理装置によって、圧力情報を時系列に取得するステップと、管理装置によって、取得した圧力情報の時間的変化と、物品情報とを参照して、収納空間内に配置されている物品を特定するステップと、を含む。
　これにより、ＲＦＩＤタグを備えていない物品を含む任意の物品を精度良く特定して管理することができる。
　本開示の全請求項に記載の物品管理システム及び物品管理方法は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。
　本開示の物品管理システムは、例えば、倉庫、トラックの荷台、又は冷蔵庫に収納される物品を管理するシステムとして、有用である。
　　１　　　物品管理システム
　　１０　　格納庫
　　１００　マトリクスセンサ装置
　　１１０（１）～１１０（Ｎ）　　感圧センサ
　　１２０　信号処理部
　　１５０　通信装置
　　１８０　カメラ
　　２００　管理サーバ
　　２１０　通信部
　　２２０　制御部
　　２３０　記憶部
　　２３１　物品ＤＢ
　　２３２　格納品ＤＢ
　　２３３　センサ出力情報
　　２４０　入力部
　　３００　表示装置
　　４００　ネットワーク

Claims (9)

  1. 　物品を収納する収納空間における物品の配置を管理する物品管理システムであって、
    　二次元的に圧力を検出して、検出した圧力を示す圧力情報を出力するセンサ装置と、
    　物品に関する情報である物品情報を格納する管理装置と、
    　を備え、
    　前記管理装置は、前記センサ装置から前記圧力情報を時系列に取得して、取得した圧力情報の時間的変化と、前記物品情報とを参照して、前記収納空間内に配置されている物品を特定する、
    　物品管理システム。
  2. 　前記管理装置は、前記圧力情報の時間的変化に基づいて、特定した前記物品の三次元の位置を特定する、請求項１に記載の物品管理システム。
  3. 　前記管理装置は、さらに、前記収納空間内に収納されている個々の物品の配置を管理するための管理情報を有し、特定した前記物品に基づいて前記管理情報を更新する、請求項２に記載の物品管理システム。
  4. 　前記センサ装置は、前記収納空間内にマトリクス状に配置された複数の感圧センサを有する、請求項１に記載の物品管理システム。
  5. 　前記物品情報は、物品の形状、重量、及び重量分布のうちの少なくとも１つを含み、
    　前記管理装置は、前記圧力情報の時間的変化による差分から、前記差分に対応する形状、重量、及び重量分布のうちの少なくとも１つを特定して、特定した前記形状、重量、及び重量分布のうちの少なくとも１つを、前記物品情報に含まれる形状、重量、及び重量分布のうちの少なくとも１つと比較して、前記差分に対応する物品を特定する、
    　請求項１に記載の物品管理システム。
  6. 　前記収納空間内を撮像して得られた撮像情報を出力する撮像装置をさらに備え、
    　前記管理装置は、前記圧力情報によって前記収納空間内に配置されている物品を特定できない場合、前記撮像情報に基づいて前記収納空間内に配置されている物品を特定する、請求項１に記載の物品管理システム。
  7. 　前記管理情報を出力する出力装置をさらに備える、請求項３に記載の物品管理システム。
  8. 　所定物品を収納する収納空間における物品の配置を管理する物品管理システムであって、
    　二次元的に圧力を検出して、検出した圧力を示す圧力情報を出力するセンサ装置と、
    　前記所定物品の重量及び重量分布のうちの少なくとも１つを含む情報である物品情報を有する管理装置と、
    　を備え、
    　前記管理装置は、前記センサ装置から前記圧力情報を時系列に取得して、取得した圧力情報の時間的変化と、前記物品情報とを参照して、前記収納空間内に配置されている前記所定物品の平面上の位置と高さ方向の位置とを特定する、
    　物品管理システム。
  9. 　物品を収納する収納空間における物品の配置を管理する物品管理方法であって、
    　センサ装置によって、二次元的に圧力を検出して、検出した圧力を示す圧力情報を出力するステップと、
    　物品に関する情報である物品情報を格納する管理装置によって、前記圧力情報を時系列に取得するステップと、
    　前記管理装置によって、取得した圧力情報の時間的変化と、前記物品情報とを参照して、前記収納空間内に配置されている物品を特定するステップと、
    　を含む、物品管理方法。
PCT/JP2018/011146 2017-03-24 2018-03-20 物品管理システム及び物品管理方法 WO2018174080A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019507702A JP7038328B2 (ja) 2017-03-24 2018-03-20 物品管理システム及び物品管理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017059565 2017-03-24
JP2017-059565 2017-03-24

Publications (1)

Publication Number Publication Date
WO2018174080A1 true WO2018174080A1 (ja) 2018-09-27

Family

ID=63585515

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/011146 WO2018174080A1 (ja) 2017-03-24 2018-03-20 物品管理システム及び物品管理方法

Country Status (2)

Country Link
JP (1) JP7038328B2 (ja)
WO (1) WO2018174080A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020085393A (ja) * 2018-11-29 2020-06-04 株式会社日立製作所 冷蔵庫、収納物保管方法及びセンサシステム
CN112346678A (zh) * 2019-08-06 2021-02-09 汉朔科技股份有限公司 物品信息展示方法、装置、设备及存储介质
JP2021062958A (ja) * 2019-10-15 2021-04-22 パナソニックＩｐマネジメント株式会社 検知システム、検知方法及びプログラム
JP7620918B2 (ja) 2021-03-03 2025-01-24 パナソニックＩｐマネジメント株式会社 物品管理システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006204473A (ja) * 2005-01-27 2006-08-10 Tosho Inc 医療品検出装置
US20070069867A1 (en) * 2004-03-11 2007-03-29 Elgar Fleisch Stocking system and method for managing stocking
JP2017071469A (ja) * 2015-10-06 2017-04-13 国立研究開発法人産業技術総合研究所 物品識別装置、物品識別方法、物品識別プログラム、及び記録媒体
JP2017071470A (ja) * 2015-10-06 2017-04-13 大日本印刷株式会社 棚管理システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070069867A1 (en) * 2004-03-11 2007-03-29 Elgar Fleisch Stocking system and method for managing stocking
JP2006204473A (ja) * 2005-01-27 2006-08-10 Tosho Inc 医療品検出装置
JP2017071469A (ja) * 2015-10-06 2017-04-13 国立研究開発法人産業技術総合研究所 物品識別装置、物品識別方法、物品識別プログラム、及び記録媒体
JP2017071470A (ja) * 2015-10-06 2017-04-13 大日本印刷株式会社 棚管理システム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020085393A (ja) * 2018-11-29 2020-06-04 株式会社日立製作所 冷蔵庫、収納物保管方法及びセンサシステム
WO2020110430A1 (ja) * 2018-11-29 2020-06-04 株式会社日立製作所 冷蔵庫、収納物保管方法及びセンサシステム
JP7228373B2 (ja) 2018-11-29 2023-02-24 株式会社日立製作所 冷蔵庫、収納物保管方法及びセンサシステム
CN112346678A (zh) * 2019-08-06 2021-02-09 汉朔科技股份有限公司 物品信息展示方法、装置、设备及存储介质
CN112346678B (zh) * 2019-08-06 2023-05-26 汉朔科技股份有限公司 物品信息展示方法、装置、设备及存储介质
JP2021062958A (ja) * 2019-10-15 2021-04-22 パナソニックＩｐマネジメント株式会社 検知システム、検知方法及びプログラム
JP7457936B2 (ja) 2019-10-15 2024-03-29 パナソニックＩｐマネジメント株式会社 検知システム、検知方法及びプログラム
JP7620918B2 (ja) 2021-03-03 2025-01-24 パナソニックＩｐマネジメント株式会社 物品管理システム

Also Published As

Publication number Publication date
JP7038328B2 (ja) 2022-03-18
JPWO2018174080A1 (ja) 2020-01-23

Similar Documents

Publication Publication Date Title
US11568632B1 (en) Item identification among a variant of items
US12299697B2 (en) Object type identifying apparatus, object type identifying method, and recording medium
WO2018174080A1 (ja) 物品管理システム及び物品管理方法
US12020304B1 (en) Item and action determination
US12229716B1 (en) Event determination and presentation
JP6463804B2 (ja) 物品の相互作用及び移動検出方法
US10163149B1 (en) Providing item pick and place information to a user
US20180211208A1 (en) Systems and methods for monitoring home inventory
JP5590049B2 (ja) 物品陳列棚、人物行動調査方法および人物行動調査用プログラム
CN113574337B (zh) 收纳库
US12131288B1 (en) Generating tidiness data associated with items at an inventory location
KR101969262B1 (ko) 사물인터넷 기반의 창고 관리 방법 및 시스템
WO2022115789A1 (en) Analyzing sensor data to identify events
CN110914619B (zh) 食品管理系统
US11117744B1 (en) Determination of untidy item return to an inventory location
US11232509B1 (en) Expression and gesture based assistance
US11851279B1 (en) Determining trends from materials handling facility information
US11392889B1 (en) Analysis of events for state detection
US10943465B1 (en) Device notification and aggregation
JP2022008316A5 (ja)
CN108629386B (zh) 一种自动识别商品购买行为的货架
JP2020063104A (ja) 収納管理システム、収納管理方法及びプログラム
JP2020064327A (ja) 収納管理システム、収納管理方法及びプログラム
JP2020063103A (ja) 収納管理システム、収納管理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18770772

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019507702

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18770772

Country of ref document: EP

Kind code of ref document: A1

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载