WO2018167893A1 - 形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体 - Google Patents
形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体 Download PDFInfo
- Publication number
- WO2018167893A1 WO2018167893A1 PCT/JP2017/010515 JP2017010515W WO2018167893A1 WO 2018167893 A1 WO2018167893 A1 WO 2018167893A1 JP 2017010515 W JP2017010515 W JP 2017010515W WO 2018167893 A1 WO2018167893 A1 WO 2018167893A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- imaging
- imaging device
- information
- positions
- selecting
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 84
- 238000003384 imaging method Methods 0.000 claims abstract description 715
- 238000012545 processing Methods 0.000 claims description 73
- 238000004891 communication Methods 0.000 claims description 28
- 230000033001 locomotion Effects 0.000 claims description 25
- 230000010365 information processing Effects 0.000 claims description 23
- 238000005286 illumination Methods 0.000 claims description 10
- 230000000903 blocking effect Effects 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 15
- 101100099988 Arabidopsis thaliana TPD1 gene Proteins 0.000 description 8
- 101100352918 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) PTC1 gene Proteins 0.000 description 8
- 238000007796 conventional method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000003981 vehicle Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Definitions
- the present disclosure relates to a shape generation method, an image acquisition method, a mobile platform, a flying object, a program, and a recording medium that generate a shape of a subject based on an image captured by the flying object.
- a platform for example, an unmanned air vehicle that includes an imaging device such as a camera and performs imaging while flying on a preset fixed path is known (for example, see Patent Document 1).
- This platform receives a command such as a flight route and a shooting instruction from the ground base, flies in accordance with the command, performs shooting, and sends an acquired image to the ground base.
- the platform inclines the imaging device of the platform based on the positional relationship between the platform and the imaging target while flying along the fixed path that has been set.
- a ground shape in a fixed imaging range based on a captured image such as an aerial photograph taken by an unmanned air vehicle flying in the air (for example, UAV: Unmanned Aero Vehicle).
- UAV Unmanned Aero Vehicle
- a technique for generating a flight path of the unmanned air vehicle in advance is used.
- the unmanned aerial vehicle is made to fly according to a previously generated flight path, and the unmanned aerial vehicle is photographed at different imaging positions in the flight path. It is necessary to acquire a plurality of captured images.
- an imaging device mounted on an unmanned aerial vehicle has a limit in the range of light intensity that can be captured with a single exposure (hereinafter referred to as “dynamic range”), and if the brightness of the subject exceeds the upper limit of the dynamic range.
- High dynamic range synthesis is known as a means of avoiding overexposure and underexposure due to dynamic range limitations.
- HDR high dynamic range synthesis
- a plurality of images with different exposure settings are photographed and synthesized to generate an image having a wide dynamic range (high dynamic range image) with little overexposure and underexposure.
- HDR needs to acquire a plurality of images from the same imaging position, and is not suitable for shooting while moving like imaging by a flying object.
- a shape generation method includes a step of acquiring information related to a plurality of imaging positions of a flying object having a plurality of imaging devices, and an imaging device used for imaging each of a plurality of imaging positions from the plurality of imaging devices. , A step of imaging by the imaging device selected at each imaging position, a step of restoring the shape of the subject based on the captured image for each imaging device, and a shape restored for each imaging device.
- the step of selecting an imaging device includes at least a plurality of imaging devices based on the proportion of each imaging position occupied by a portion of a predetermined light amount or less in the imaging region at each imaging position. Selecting one imaging device.
- the step of selecting at least one imaging device selects the first imaging device when the ratio is equal to or less than the first threshold value, and selects the first imaging device when the ratio exceeds the second threshold value that is greater than the first threshold value.
- a second imaging device in which an exposure parameter higher than that of the first imaging device is set is selected and the ratio exceeds the first threshold and is equal to or less than the second threshold, the first imaging device and the second imaging device are selected.
- a step of selecting both of the devices may be included.
- a shape generation method in a mobile platform includes a step of acquiring information related to a plurality of imaging positions of a flying object having a plurality of imaging devices, and imaging for each of a plurality of imaging positions from the plurality of imaging devices.
- the step of selecting at least one imaging device selects the first imaging device when the ratio is equal to or less than the first threshold value, and selects the first imaging device when the ratio exceeds the second threshold value that is greater than the first threshold value.
- a second imaging device in which an exposure parameter higher than that of the first imaging device is set is selected and the ratio exceeds the first threshold and is equal to or less than the second threshold, the first imaging device and the second imaging device are selected.
- a step of selecting both of the devices may be included.
- the step of selecting the imaging device may select a plurality of imaging devices at at least one imaging position among the plurality of imaging positions.
- the step of selecting the imaging device includes a step of acquiring information on an irradiation angle of the light source, a step of acquiring information on an obstruction of the light source at each imaging position, an information on the irradiation angle of the light source, and a light source at each imaging position. And a step of estimating a ratio occupied by a portion of a predetermined light amount or less in the imaging region at the imaging position based on the information regarding the obstruction.
- the step of acquiring information related to the illumination angle of the light source includes the step of acquiring time information and geographic information of the imaging position, and the step of estimating information related to the illumination angle of the light source using the time information and geographic information. Good.
- an image acquisition method in a flying object for shape generation includes a step of acquiring information relating to a plurality of imaging positions of a flying object having a plurality of imaging devices, and a plurality selected from the plurality of imaging devices. Acquiring information relating to the imaging device used for imaging for each of the imaging positions, and imaging using each imaging device corresponding to the acquired information relating to the imaging device used for imaging for each of the plurality of imaging positions; The information relating to the imaging device used for imaging is based on the proportion of the portion of the imaging area that is equal to or less than the predetermined light quantity at each imaging position according to the selection of at least one imaging device from the plurality of imaging devices. It is the generated information.
- the step of acquiring information related to the imaging device used for imaging may include a step of receiving information related to the imaging device used for imaging from the mobile platform for each of a plurality of imaging positions.
- the step of acquiring information related to the imaging device used for imaging includes measuring the light amount of the imaging area at the imaging position at the time of imaging for each imaging position, and a predetermined light amount in the imaging area at the imaging position based on the light amount.
- the method may include a step of estimating a ratio occupied by the following portion, and a step of selecting at least one imaging apparatus from a plurality of imaging apparatuses based on the ratio and generating information related to the imaging apparatus used for imaging.
- the step of acquiring information related to the imaging device used for imaging includes the step of acquiring information regarding the irradiation angle of the light source for each imaging position, the step of acquiring information regarding the obstruction of the light source at the imaging position, and the irradiation angle of the light source. And a step of estimating a ratio of a portion below a predetermined light amount in the imaging region at the imaging position based on the information on the information on the obstruction of the light source at the imaging position, and at least one of the plurality of imaging devices based on the ratio Selecting one imaging device and generating information relating to the imaging device used for imaging.
- the step of acquiring information related to the illumination angle of the light source includes the step of acquiring time information and geographic information of the imaging position, and the step of estimating information related to the illumination angle of the light source using the time information and geographic information. Good.
- the information regarding the imaging device used for imaging is selected when the ratio of the portion of the imaging area equal to or smaller than the predetermined light amount in each imaging position is equal to or less than the first threshold, and the first imaging device is selected.
- the second threshold value greater than the second threshold value is exceeded, the second image pickup device in which the exposure parameter higher than that of the first image pickup device is set is selected, and the ratio exceeds the first threshold value and is equal to or less than the second threshold value.
- both the first imaging device and the second imaging device may be selected and generated.
- the information regarding the imaging device used for imaging may be generated by selecting a plurality of imaging devices at at least one of the plurality of imaging positions.
- the step of imaging using the imaging device includes the step of imaging using the imaging device specified by the acquired information regarding the imaging device used for imaging for each of a plurality of imaging positions during movement of the flying object. Good.
- the method may further include a step of transmitting images captured at a plurality of imaging positions to an information processing apparatus that performs shape generation.
- the mobile platform includes a storage unit, a communication unit that communicates with the flying object, and a processing unit, and the processing unit includes information on a plurality of imaging positions of the flying object including a plurality of imaging devices. And selecting an imaging device to be used for imaging for each of a plurality of imaging positions, and information about the plurality of imaging positions and information about the imaging device selected for each imaging position. Transmission to the flying body by the communication unit and selection of the imaging device is performed by selecting at least one of the plurality of imaging devices for each imaging position based on a ratio occupied by a portion of the imaging region at a predetermined light amount or less in the imaging position. This is realized by selecting one imaging device.
- the processing unit selects the first imaging device when the ratio is equal to or less than the first threshold, and when the ratio exceeds the second threshold that is larger than the first threshold, the exposure is higher than that of the first imaging device.
- the second imaging device with the parameter set is selected and the ratio exceeds the first threshold and is equal to or lower than the second threshold, both the first imaging device and the second imaging device are selected. Good.
- the processing unit further obtains an image captured by the imaging device selected at each imaging position from the flying object, restores the shape of the subject based on the captured image for each imaging device, and for each imaging device.
- the restored shape may be synthesized.
- the processing unit may select a plurality of imaging devices at at least one of the plurality of imaging positions.
- the processing unit acquires information about the irradiation angle of the light source, acquires information about the blocking object of the light source at each imaging position, and based on the information about the irradiation angle of the light source and information about the blocking object of the light source at each imaging position Thus, the ratio of the portion of the image pickup area that is less than or equal to the predetermined light amount may be estimated.
- the processing unit may acquire the time information and the geographical information of the imaging position, and use the time information and the geographical information to estimate information on the irradiation angle of the light source.
- the flying object includes a storage unit, a communication unit that communicates with the mobile platform, a processing unit, and a plurality of imaging devices.
- the processing unit is information related to a plurality of imaging positions of the flying object. And acquiring information related to the imaging device used for imaging for each of the plurality of imaging positions selected from the plurality of imaging devices, and relating to the imaging device used for the acquired imaging for each of the plurality of imaging positions.
- the information regarding the imaging device used for imaging is captured from at least one of the plurality of imaging devices based on the ratio of the portion of the imaging area at or below the predetermined light quantity in each imaging position. This is information generated according to the selection of the imaging device.
- the processing unit may receive information regarding the imaging device used for imaging from the mobile platform for each of the plurality of imaging positions.
- the image sensor further includes an optical sensor, and the processing unit measures, for each imaging position, the amount of light in the imaging region at the imaging position at the time of imaging.
- the occupation ratio may be estimated, and based on the ratio, at least one imaging apparatus may be selected from a plurality of imaging apparatuses, and information regarding the imaging apparatus used for imaging may be generated.
- the processing unit acquires information about the irradiation angle of the light source for each imaging position, acquires information about the blocking object of the light source at the imaging position, information about the irradiation angle of the light source and information about the blocking object of the light source at the imaging position, and Based on the information, the ratio of the portion of the imaging area below the predetermined light quantity in the imaging position is estimated, and based on the ratio, information on the imaging apparatus used for imaging by selecting at least one imaging apparatus from a plurality of imaging apparatuses is selected. May be generated.
- the processing unit may acquire the time information and the geographical information of the imaging position, and use the time information and the geographical information to estimate information on the irradiation angle of the light source.
- the information regarding the imaging device used for imaging is selected when the ratio of the portion of the imaging area equal to or smaller than the predetermined light amount in each imaging position is equal to or less than the first threshold, and the first imaging device is selected.
- the second threshold value greater than the second threshold value is exceeded, the second image pickup device in which the exposure parameter higher than that of the first image pickup device is set is selected, and the ratio exceeds the first threshold value and is equal to or less than the second threshold value.
- both the first imaging device and the second imaging device may be selected and generated.
- the information regarding the imaging device used for imaging may be generated by selecting a plurality of imaging devices at at least one of the plurality of imaging positions.
- the processing unit may capture an image of each of a plurality of imaging positions using the imaging device specified by the acquired information regarding the imaging device used for imaging while the flying object is moving.
- the processing unit may transmit images captured at a plurality of imaging positions to an information processing apparatus that performs shape generation.
- a step of acquiring information relating to a plurality of imaging positions of a flying object in a flying object having a plurality of imaging apparatuses that are computers, and a plurality of imaging positions selected from the plurality of imaging apparatuses The steps of acquiring information relating to the imaging device used for imaging, and imaging using the imaging device corresponding to the acquired information relating to the imaging device used for imaging for each of a plurality of imaging positions are executed.
- Information relating to the imaging device to be used is a program that is information generated according to the selection of at least one imaging device from a plurality of imaging devices, based on the proportion of the portion of the imaging area that is less than or equal to the predetermined light quantity at each imaging position It is.
- a step of acquiring information relating to a plurality of imaging positions of a flying object in a flying object having a plurality of imaging apparatuses that are computers, and a plurality of imaging positions selected from the plurality of imaging apparatuses The steps of acquiring information relating to the imaging device used for imaging, and imaging using the imaging device corresponding to the acquired information relating to the imaging device used for imaging for each of a plurality of imaging positions are executed.
- Information relating to the imaging device to be used is a program that is information generated according to the selection of at least one imaging device from a plurality of imaging devices, based on the proportion of the portion of the imaging area that is less than or equal to the predetermined light quantity at each imaging position Is a storage medium for storing.
- the shape generation method includes an unmanned aerial vehicle (UAV) as an example of a moving object, a mobile platform for remotely controlling the operation or processing of the unmanned aerial vehicle, and composite and composition of images.
- UAV unmanned aerial vehicle
- a mobile platform for remotely controlling the operation or processing of the unmanned aerial vehicle
- composite and composition of images Various types of processing (steps) in a shape generation system including a computer (PC) that performs processing are defined.
- PC computer
- the aircraft image acquisition method for shape generation according to the present disclosure is a method in which various processes (steps) in an unmanned air vehicle are defined in the shape generation method according to the present disclosure.
- the shape generation method in the mobile platform according to the present disclosure is a method in which various processes (steps) in the transmitter are defined in the shape generation method according to the present disclosure.
- the aircraft according to the present disclosure includes an aircraft (for example, a drone or a helicopter) that moves in the air.
- the flying object may be an unmanned flying object having a plurality of imaging devices, and is set in advance to image a subject in an imaging range (for example, a ground shape such as a building, a road, or a park within a certain range).
- the aircraft flies along the flight path and images are taken at a plurality of imaging positions (waypoints described later) set on the flight path.
- a mobile platform is a computer, for example, a transmitter for instructing remote control of various processes including movement of an unmanned air vehicle, and a terminal connected to the transmitter so as to be able to input and output information and data
- a terminal connected to the transmitter so as to be able to input and output information and data
- an information processing apparatus such as a PC or a tablet that is connected to an apparatus or an unmanned air vehicle so that information and data can be input and output.
- the unmanned air vehicle itself may be included as a mobile platform.
- the program according to the present disclosure is a program for causing an unmanned air vehicle or a mobile platform to execute various processes (steps).
- the recording medium records a program (that is, a program for causing an unmanned air vehicle or a mobile platform to execute various processes (steps)).
- the unmanned air vehicle 100 flies along a flight path set in advance within the imaging range.
- the flight path may be set by any conventional method, for example, a path that flies within the range set by an existing algorithm in the shortest distance, a path that flies in the shortest time, or a path that can save the most power.
- the flight path includes information on a plurality of imaging positions (that is, waypoints).
- the unmanned aerial vehicle 100 sequentially moves along the set route and images at the waypoint.
- each waypoint is set with the space
- FIG. 1 is a diagram illustrating a configuration example of a shape generation system according to each embodiment.
- the shape generation system 10 illustrated in FIG. 1 includes at least an unmanned air vehicle 100 and a transmitter 50.
- an information processing device for example, a PC, a tablet, etc.
- the unmanned air vehicle 100 and the transmitter 50 can communicate information and data with each other by using wired communication or wireless communication (for example, wireless LAN (Local Area Network) or Bluetooth (registered trademark)).
- wired communication or wireless communication for example, wireless LAN (Local Area Network) or Bluetooth (registered trademark)
- FIG. 1 illustration of a state in which the terminal device is attached to the casing of the transmitter 50 is omitted.
- the transmitter 50 as an example of the operation terminal is used in a state of being held by both hands of a person using the transmitter 50 (hereinafter referred to as “user”).
- FIG. 2 is a diagram showing an example of the appearance of the unmanned air vehicle 100.
- FIG. 3 is a diagram illustrating an example of a specific external appearance of the unmanned air vehicle 100.
- a side view when the unmanned air vehicle 100 flies in the moving direction STV0 is shown in FIG. 2, and a perspective view when the unmanned air vehicle 100 flies in the moving direction STV0 is shown in FIG.
- the unmanned aerial vehicle 100 is an example of a moving body that includes two imaging devices 220-1 and 220-2 and moves.
- the moving body is a concept including, in addition to the unmanned air vehicle 100, other aircraft that moves in the air, vehicles that move on the ground, ships that move on the water, and the like.
- the roll axis (see the x-axis in FIGS. 2 and 3) is defined in a direction parallel to the ground and along the movement direction STV0.
- a pitch axis (see the y-axis in FIGS. 2 and 3) is defined in a direction parallel to the ground and perpendicular to the roll axis, and further, a direction perpendicular to the ground and perpendicular to the roll axis and the pitch axis.
- the yaw axis (the z axis in FIGS. 2 and 3) is defined.
- the unmanned aerial vehicle 100 includes a UAV main body 102, a gimbal 200, a plurality of imaging devices 220-1 and 220-2, and a plurality of obstacle sensors 230.
- the unmanned air vehicle 100 can move based on a remote control instruction transmitted from a transmitter 50 as an example of a mobile platform according to the present disclosure.
- the movement of the unmanned air vehicle 100 means a flight, and includes at least ascending, descending, left turning, right turning, left horizontal movement, and right horizontal movement.
- the UAV main body 102 includes a plurality of rotor blades.
- the UAV main body 102 moves the unmanned air vehicle 100 by controlling the rotation of a plurality of rotor blades.
- the UAV main body 102 moves the unmanned aerial vehicle 100 using, for example, four rotary wings.
- the number of rotor blades is not limited to four.
- the unmanned air vehicle 100 may be a fixed wing aircraft that does not have rotating wings.
- the imaging device 220-1 and the imaging device 220-2 are cameras that image subjects (for example, the above-described ground shapes such as buildings, roads, and parks) included in a desired imaging range.
- image subjects for example, the above-described ground shapes such as buildings, roads, and parks
- an example is shown in which two imaging devices 220-1 and 220-2 are attached to one gimbal 200, but in actuality, each may be attached to a different gimbal 200 and controlled separately.
- the number of imaging devices is not limited to two, and more imaging devices may be provided.
- the plurality of obstacle sensors 230 can detect obstacles around the unmanned air vehicle.
- FIG. 4 is a block diagram showing an example of the hardware configuration of the unmanned air vehicle 100 constituting the shape generation system 10 of FIG.
- the unmanned air vehicle 100 includes a UAV processing unit 110, a communication interface 150, a memory 160, a gimbal 200, a rotary wing mechanism 210, an imaging device 220-1, an imaging device 220-2, an obstacle sensor 230,
- This configuration includes a GPS receiver 240, a battery 250, an optical sensor 260, and a timer 270.
- the UAV processing unit 110 is configured using, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a DSP (Digital Signal Processor).
- the UAV processing unit 110 performs signal processing for overall control of operations of each unit of the unmanned air vehicle 100, data input / output processing with other units, data calculation processing, and data storage processing.
- the UAV processing unit 110 controls the flight of the unmanned air vehicle 100 in accordance with a program stored in the memory 160.
- the UAV processing unit 110 controls the movement (that is, flight) of the unmanned air vehicle 100 according to a command received from the remote transmitter 50 via the communication interface 150.
- the memory 160 may be removable from the unmanned air vehicle 100.
- the communication interface 150 communicates with the transmitter 50 (see FIG. 4).
- the communication interface 150 receives various commands for the UAV processing unit 110 from the remote transmitter 50.
- the UAV processing unit 110 controls the gimbal 200, the rotating blade mechanism 210, the imaging device 220-1, the imaging device 220-2, the obstacle sensor 230, the GPS receiver 240, the battery 250, the optical sensor 260, and the timer 270. Stores programs and the like necessary for execution.
- the memory 160 may be a computer-readable recording medium, such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), and It may include at least one flash memory such as a USB memory.
- the memory 160 may be provided inside the UAV main body 102. It may be provided so as to be removable from the UAV main body 102.
- the gimbal 200 supports the imaging device 220-1 and the imaging device 220-2 so as to be rotatable about at least one axis.
- the gimbal 200 may support the imaging device 220 rotatably about the yaw axis, pitch axis, and roll axis.
- the gimbal 200 may change the imaging direction of the imaging device 220 by rotating the imaging device 220-1 and the imaging device 220-2 around at least one of the yaw axis, the pitch axis, and the roll axis. Further, as described above, a configuration may be adopted in which one gimbal is provided for each of the imaging device 220-1 and the imaging device 220-2.
- the rotary blade mechanism 210 includes a plurality of rotary blades and a plurality of drive motors that rotate the plurality of rotary blades.
- the imaging device 220-1 and the imaging device 220-2 capture a subject within a desired imaging range and generate captured image data.
- the two imaging devices 220-1 and 220-2 preferably have the same angle of view and are set with different exposure parameters.
- Image data obtained by imaging by the imaging device 220-1 and the imaging device 220-2 is stored in a memory or a memory 160 respectively included in the imaging device 220-1 and the imaging device 220-2.
- the image data is stored for each imaging device.
- the obstacle sensor 230 is, for example, an infrared sensor, an imaging device, an ultrasonic sensor, and the like, detects an obstacle around the unmanned air vehicle 100, and outputs the information to the UAV processing unit 110.
- the GPS receiver 240 receives a plurality of signals indicating times and positions (coordinates) of each GPS satellite transmitted from a plurality of navigation satellites (that is, GPS satellites).
- the GPS receiver 240 calculates the position of the GPS receiver 240 (that is, the position of the unmanned air vehicle 100) based on the received signals.
- the GPS receiver 240 outputs the position information of the unmanned air vehicle 100 to the UAV processing unit 110.
- the location information of the GPS receiver 240 may be calculated by the UAV processing unit 110 instead of the GPS receiver 240.
- the UAV processing unit 110 receives information indicating the time and the position of each GPS satellite included in a plurality of signals received by the GPS receiver 240.
- the battery 250 has a function as a drive source of each part of the unmanned air vehicle 100 and supplies necessary power to each part of the unmanned air vehicle 100.
- the optical sensor 260 detects the amount of light in the imaging area and outputs the detection result to the UAV processing unit 110.
- the timer 270 manages time information and outputs it to the UAV processing unit 110.
- FIG. 5 is a perspective view showing an example of the appearance of the transmitter 50.
- the up / down / front / rear / left / right directions with respect to the transmitter 50 are assumed to follow the directions of arrows shown in FIG.
- the transmitter 50 is used in a state of being held by both hands of a user who uses the transmitter 50, for example.
- the transmitter 50 includes, for example, a resin casing 50B having a substantially rectangular parallelepiped shape (in other words, a substantially box shape) having a substantially square bottom surface and a height shorter than one side of the bottom surface.
- a specific configuration of the transmitter 50 will be described later with reference to FIG.
- a left control rod 53L and a right control rod 53R are provided in a projecting manner at approximately the center of the housing surface of the transmitter 50.
- the left control rod 53L and the right control rod 53R are used in operations for remotely controlling the movement of the unmanned air vehicle 100 by the user (for example, moving the unmanned air vehicle 100 back and forth, moving left and right, moving up and down, and changing the direction). Is done.
- the left control rod 53L and the right control rod 53R indicate positions in an initial state where no external force is applied from both hands of the user.
- the left control rod 53L and the right control rod 53R automatically return to a predetermined position (for example, the initial position shown in FIG. 5) after the external force applied by the user is released.
- the power button B1 of the transmitter 50 is disposed on the front side (in other words, the user side) of the left control rod 53L.
- the power button B1 is pressed once by the user, for example, the remaining capacity of the battery (not shown) built in the transmitter 50 is displayed in the remaining battery capacity display portion L2.
- the power button B1 is pressed again by the user, for example, the power of the transmitter 50 is turned on, and power is supplied to each part (see FIG. 6) of the transmitter 50 so that it can be used.
- RTH (Return To Home) button B2 is disposed on the front side (in other words, the user side) of the right control rod 53R.
- the transmitter 50 transmits a signal for automatically returning the unmanned air vehicle 100 to a predetermined position.
- the transmitter 50 can automatically return the unmanned air vehicle 100 to a predetermined position (for example, a take-off position stored in the unmanned air vehicle 100).
- the RTH button B2 is used when, for example, the user loses sight of the airframe of the unmanned aerial vehicle 100 during aerial shooting with the unmanned air vehicle 100 outdoors, or when it becomes impossible to operate due to radio interference or unexpected troubles. Is available.
- a remote status display unit L1 and a battery remaining amount display unit L2 are arranged on the front side (in other words, the user side) of the power button B1 and the RTH button B2.
- the remote status display unit L1 is configured by using, for example, an LED (Light Emission Diode), and displays a wireless connection state between the transmitter 50 and the unmanned air vehicle 100.
- the battery remaining amount display unit L2 is configured using, for example, an LED, and displays the remaining amount of the capacity of a battery (not shown) built in the transmitter 50.
- Two antennas AN1 and AN2 project from the rear side of the housing 50B of the transmitter 50 and rearward from the left control rod 53L and the right control rod 53R.
- the antennas AN1 and AN2 unmanned signals generated by the transmitter processing unit 61 (that is, signals for controlling the movement of the unmanned air vehicle 100) based on the user's operation of the left control rod 53L and the right control rod 53R. Transmit to the flying object 100.
- the antennas AN1 and AN2 can cover a transmission / reception range of 2 km, for example.
- the antennas AN1 and AN2 are used for unmanned flight of images taken by the imaging devices 220-1 and 220-2 of the unmanned air vehicle 100 wirelessly connected to the transmitter 50 or various data acquired by the unmanned air vehicle 100. When transmitted from the body 100, these images or various data can be received.
- the touch panel display TPD1 is configured using, for example, an LCD (Crystal Liquid Display) or an organic EL (Electroluminescence).
- LCD Crystal Liquid Display
- organic EL Electrode
- the shape, size, and arrangement position of the touch panel display TPD1 are arbitrary and are not limited to the example shown in FIG.
- FIG. 6 is a block diagram illustrating an example of a hardware configuration of the transmitter 50 configuring the shape generation system 10 of FIG.
- the transmitter 50 includes a left control rod 53L, a right control rod 53R, a transmitter processing unit 61, a wireless communication unit 63, a memory 64, a power button B1, an RTH button B2, an operation unit set OPS,
- the configuration includes a remote status display unit L1, a remaining battery level display unit L2, and a touch panel display TPD1.
- the transmitter 50 is an example of an operation terminal for remotely controlling the unmanned air vehicle 100.
- the left control rod 53L is used for an operation for remotely controlling the movement of the unmanned air vehicle 100 by, for example, the user's left hand.
- the right control rod 53R is used for an operation for remotely controlling the movement of the unmanned air vehicle 100 by, for example, the user's right hand.
- the movement of the unmanned aerial vehicle 100 includes, for example, a forward movement, a backward movement, a leftward movement, a rightward movement, a rising movement, a downward movement, and a leftward movement. Or a combination thereof, and so on.
- the transmitter processing unit 61 displays the remaining capacity of the battery (not shown) built in the transmitter 50 on the battery remaining amount display unit L2. Thereby, the user can easily check the remaining capacity of the battery capacity built in the transmitter 50.
- the power button B1 is pressed twice, a signal indicating that the power button B1 has been pressed twice is passed to the transmitter processing unit 61.
- the transmitter processing unit 61 instructs a battery (not shown) built in the transmitter 50 to supply power to each unit in the transmitter 50. As a result, the user can turn on the transmitter 50 and easily start using the transmitter 50.
- a signal indicating that the RTH button B2 has been pressed is input to the transmitter processing unit 61.
- the transmitter processing unit 61 generates a signal for automatically returning the unmanned air vehicle 100 to a predetermined position (for example, the take-off position of the unmanned air vehicle 100), and the wireless communication unit 63 and the antennas AN1 and AN2 are connected.
- the unmanned aerial vehicle 100 can automatically return (return) the unmanned air vehicle 100 to a predetermined position by a simple operation on the transmitter 50.
- the operation unit set OPS is configured using a plurality of operation units (for example, operation units OP1,..., Operation unit OPn) (n: an integer of 2 or more).
- the operation unit set OPS supports other operation units (for example, remote control of the unmanned air vehicle 100 by the transmitter 50) except for the left control rod 53L, the right control rod 53R, the power button B1, and the RTH button B2 shown in FIG. Various operation units).
- the various operation units referred to here include, for example, a button for instructing to capture a still image using the imaging device 220 of the unmanned air vehicle 100, and start and end of video recording using the imaging device 220 of the unmanned air vehicle 100.
- Button for adjusting the tilt direction of the gimbal 200 (see FIG. 4) of the unmanned air vehicle 100, a button for switching the flight mode of the unmanned air vehicle 100, and the imaging device 220 of the unmanned air vehicle 100 are set. Dial is applicable.
- the operation unit set OPS has a parameter operation unit OPA for inputting information on input parameters for generating waypoints of the unmanned air vehicle 100.
- the parameter operation unit OPA may be formed by a stick, a button, a key, a touch panel, or the like.
- the parameter operation unit OPA may be formed by the left control rod 53L and the right control rod 53R.
- the timing for inputting each parameter included in the input parameters by the parameter operation unit OPA may be the same or different.
- the remote status display unit L1 and the remaining battery level display unit L2 have been described with reference to FIG.
- the transmitter processing unit 61 is configured using a processor (for example, a CPU, MPU, or DSP).
- the transmitter processing unit 61 performs signal processing for overall control of operations of each unit of the transmitter 50, data input / output processing with other units, data calculation processing, and data storage processing.
- the wireless communication unit 63 is connected to two antennas AN1 and AN2.
- the wireless communication unit 63 transmits / receives information and data to / from the unmanned air vehicle 100 via the two antennas AN1 and AN2 using a predetermined wireless communication method (for example, WiFi (registered trademark)).
- the wireless communication unit 63 transmits the input parameter information from the transmitter processing unit 61 to the unmanned air vehicle 100.
- the memory 64 stores, for example, a ROM (Read Only Memory) that stores a program that defines the operation of the transmitter processing unit 61 and data of setting values, and various types of information and data that are used during the processing of the transmitter processing unit 61.
- RAM Random Access Memory
- the program and setting value data stored in the ROM of the memory 64 may be copied to a predetermined recording medium (for example, CD-ROM, DVD-ROM).
- a predetermined recording medium for example, CD-ROM, DVD-ROM.
- aerial image data captured by the imaging device 220 of the unmanned air vehicle 100 is stored in the RAM of the memory 64.
- the touch panel display TPD1 may display various data processed by the transmitter processing unit 61.
- the touch panel display TPD1 displays information on input parameters that have been input. Therefore, the user of the transmitter 50 can confirm the contents of the input parameter by referring to the touch panel display TPD1.
- the transmitter 50 may be connected to the terminal device by wire or wireless instead of including the touch panel display TPD1.
- Information on input parameters may be displayed on the terminal device, similar to the touch panel display TPD1.
- the terminal device may be a smartphone, a tablet terminal, a PC (Personal Computer), or the like. Further, the terminal device inputs at least one of the input parameters, sends the input parameter to the transmitter 50 by wired communication or wireless communication, and the wireless communication unit 63 of the transmitter 50 transmits the input parameter to the unmanned air vehicle 100. Good.
- the operation of the unmanned air vehicle 100 may be one that flies along a preset flight path and images, as will be described later, other than based on the operation by the transmitter 50.
- FIG. 7 is a diagram illustrating an example of the imaging range of each embodiment.
- imaging range A rectangular ground shape
- the case where a circular shade formed by blocking sunlight by a mountain or the like exists on the left side from the center of the imaging range A is taken as an example, but is not limited to this.
- the present disclosure can be applied to any other situation such as a case where lighting is blocked by furniture, a figurine, or the like in imaging of an indoor environment.
- the imaging range may be an irregular and complex range other than a rectangle, and the number of shades included in the imaging range and the shape of each shade may be varied.
- FIG. 8 is a sequence diagram illustrating processing in the shape generation system according to the first embodiment.
- the shape generation system according to the present embodiment includes a transmitter 50, an unmanned air vehicle 100 including an imaging device 220-1 (imaging device 1) and an imaging device 220-2 (imaging device 2), and an information processing device (for example, a PC, Tablet).
- an imaging device 220-1 imaging device 1
- an imaging device 220-2 imaging device 220-2
- an information processing device for example, a PC, Tablet
- the transmitter 50 acquires information regarding the imaging device 1 and the imaging position (waypoint) (step S11).
- the information on the waypoint is coordinate information on the map on which the unmanned air vehicle 100 determined based on the flight path set in advance within the imaging range A performs the imaging operation.
- the flight path is set by the transmitter 50, a terminal device (smartphone, tablet, etc.) connected to the transmitter 50, or another terminal device by a conventional method.
- the flight path flies within the imaging range A at the shortest distance.
- Information on waypoints may include, for example, longitude, latitude, and altitude information.
- the transmitter 50 may acquire information on the waypoint recorded in the built-in memory, or may acquire information on the waypoint from the outside via the wireless communication unit 63.
- FIG. 9 is a diagram schematically showing a flight path and a plurality of imaging positions in the imaging range A.
- 24 waypoints are provided on the flight path. That is, the unmanned air vehicle 100 takes the first image at the waypoint 1 in the imaging process (step S13) described later, then flies in the direction of the arrow and passes the waypoint 2 for the second time. After that, when the aircraft flies again in the direction of the arrow and passes through the waypoint 3, the third imaging is performed. As described above, the flight and the imaging are repeated, and the 24th imaging is performed at the waypoint 24, and then the aerial imaging is terminated.
- the waypoints are preferably set at intervals at which the captured images at adjacent waypoints overlap.
- the unmanned aerial vehicle 100 includes two imaging devices (imaging device 1 and imaging device 2) having different exposure parameters, and performs imaging using only the imaging device 1 for each waypoint, or One of imaging using only the imaging device 2 or imaging using the imaging device 1 and the imaging device 2 at the same time is selected.
- FIG. 10 is a flowchart showing an example of a step (step S12) of selecting an imaging device.
- step S12 the ratio of the shadow portion in the imaging region at the waypoint is acquired (step S121).
- the imaging range A includes a bright part that is exposed to direct sunlight and a dark part that is a shadow formed by blocking sunlight from a building or the like, and has an environment with a large difference in brightness. Therefore, a portion with a predetermined light amount or less is defined as a “shadow portion”.
- the transmitter 50 can estimate the ratio of the shadow portion based on the information regarding the irradiation angle of the light source and the obstruction of the light source.
- the irradiation angle of the light source refers to the irradiation angle of the sun.
- the transmitter 50 can estimate the irradiation angle of the sun based on, for example, time information and position information of the waypoint.
- the transmitter 50 may acquire time information from a built-in timer, for example, or may be acquired from the outside through GPS, the Internet, or the like.
- the waypoint position information may be longitude, latitude, and altitude information included in the information about the waypoint acquired in step S11.
- occlusion of a light source may acquire the schematic shape (for example, the existing elevation map etc.) of the imaging region with reference to the three-dimensional map database on the internet, for example.
- the transmitter 50 acquires the ratio of the shadow portion in the waypoint, and then selects an imaging device to be used based on the ratio.
- the transmitter 50 captures an image having an exposure parameter with a relatively low exposure amount.
- the device 1 is selected (step S123). Thereby, it can be expected to obtain an image in which the sunny portion of the imaging region has a proper exposure.
- the transmitter 50 selects the imaging device 2 having an exposure parameter with a relatively high exposure amount. (Step S125). Thereby, it can be expected to obtain an image in which the shaded portion of the imaging region is properly exposed.
- the transmitter 50 is the imaging device. 1 and the image pickup apparatus 2 are both selected (step S126). As a result, it can be expected to acquire both an image in which the shaded part is properly exposed and an image in which the sunny part is properly exposed.
- the above 30% and 70% are merely examples of the first threshold value and the second threshold value, respectively, and other numerical values may be set as required.
- At least one waypoint, the first threshold value and the second threshold value are set so that the transmitter 50 selects both the imaging device 1 and the imaging device 2.
- the shape restored by the feature points of the image captured by the imaging device 1 (to be described later) and at least a part of the shape restored by the feature points of the image captured by the imaging device 2 overlap each other and are captured.
- FIG. 11 is a diagram schematically showing a state in which an imaging device is selected at each waypoint.
- “ ⁇ ” is shown when the imaging device 1 is selected
- “ ⁇ ” is shown when the imaging device 2 is selected.
- the waypoints 1 to 7, 11 to 14, and 18 to 24 are portions of the sun, and the ratio occupied by the shaded portion is 30% or less, select. Since the waypoints 8, 10, 15, and 17 are on the boundary line between the shade and the sun, and the shaded portion exceeds 30% and is 70% or less, both the imaging device 1 and the imaging device 2 are selected. Since the waypoints 9 and 16 are in the shade and the ratio of the shaded portion exceeds 70%, the imaging device 2 is selected.
- step S12 After the imaging device to be used for each waypoint is selected (step S12), the process returns to FIG. 8, and the transmitter 50 generates information related to the imaging device for each waypoint based on the selected result. And information on the imaging device used in each waypoint are transmitted to the unmanned air vehicle 100.
- Information on waypoints and information on imaging devices used in each waypoint may be transmitted to the unmanned air vehicle 100 by the transmitter 50 by a wireless or wired communication method.
- the transmitter 50 may record the information on a storage medium such as a memory card and transmit the information by any other method such as inserting the storage medium into an unmanned air vehicle.
- the unmanned air vehicle 100 receives information on the waypoints and information on the imaging devices used at each waypoint, then flies along the flight path, and performs imaging using the imaging device selected at each waypoint. (Step S13).
- the unmanned air vehicle 100 performs imaging during its movement (that is, without stopping when it reaches the waypoint).
- the unmanned aerial vehicle 100 can not only shorten the aerial shooting time, but can also save power for stopping and restarting the unmanned aerial vehicle 100.
- the unmanned air vehicle 100 preferably stores the image captured in step S13 in a memory built in the imaging device or a memory built in the unmanned air vehicle for each imaging device.
- the unmanned air vehicle 100 transmits the captured image to the information processing apparatus when the aerial photography is finished.
- These images may be transmitted to the information processing apparatus by the unmanned air vehicle 100 by a wireless or wired communication method, or the unmanned air vehicle 100 is recorded on a storage medium such as a memory card, and the storage medium is stored in the information processing apparatus. It may be transmitted by any other method such as insertion into the network.
- the information processing apparatus that has received the image restores the shape of the subject for each imaging apparatus by a conventional technique such as SFM (Structure from Motion) (step S14).
- SFM Structure from Motion
- FIG. 12 is a diagram schematically showing that the shape is restored and formed for each imaging device.
- the sunshine portion and the vicinity of the boundary between the shade and the sunshine are restored normally, and information on the deep shade portion is missing (on the left side) (See Shape B).
- This is because when the ratio of shadow portions such as waypoints 9 and 16 exceeds 70%, the image capturing apparatus 1 does not capture an image, and thus information is insufficient.
- feature points are efficiently detected in portions other than B and can be restored normally.
- the information processing apparatus synthesizes the two restored shapes (step S15). As a result, the portions B lacking in information are supplemented with each other, and the shape of the entire imaging range A is generated.
- the shape restored based on the image captured by the imaging device 1 and the image captured by the imaging device 2 are used.
- the shape is restored and overlaps near the boundary between the shade and the sun.
- the synthesized shape can prevent the occurrence of a missing portion such as B in FIG. 12 without causing information shortage, and a highly accurate shape is guaranteed.
- the unmanned air vehicle 100 may transmit the captured image to the transmitter 50 as indicated by a broken line in FIG.
- the transmitter 50 restores the shape of the subject for each imaging device (step S14 ′), and synthesizes the restored shape (step S15 ′).
- the specific description regarding the restoration / combination at this time is the same as the respective processing (steps S14 and S15) when the above-described image is transmitted to the information processing apparatus, and is therefore omitted.
- the transmitter 50 selects an imaging device used for imaging for each waypoint.
- the second embodiment differs from the first embodiment in that the unmanned air vehicle 100 selects the imaging device. For convenience, the description overlapping with that of the first embodiment is omitted.
- FIG. 13 is a sequence diagram showing processing in the shape generation system according to the second embodiment.
- the transmitter 50 acquires information regarding the imaging device 1 and the imaging position (waypoint) (step S21).
- the transmitter 50 transmits information on the waypoint to the unmanned air vehicle 100.
- the information on the waypoints may be transmitted directly to the unmanned air vehicle 100 by the transmitter 50 by a wireless or wired communication method, or recorded in a storage medium such as a memory card by the transmitter 50, and the storage medium is unmanned.
- the transmission may be performed by any other method such as insertion into an air vehicle.
- the unmanned air vehicle 100 After receiving the information on the waypoint, the unmanned air vehicle 100 acquires the ratio of the shadow portion in the waypoint and selects the imaging device to be used based on the ratio (step S22).
- the unmanned air vehicle determines the ratio of the shadow portion in the waypoint as information on the irradiation angle of the light source and the blocker of the light source. Can be estimated.
- the irradiation angle of the light source refers to the irradiation angle of the sun.
- the unmanned air vehicle 100 can be estimated from the time information and the position information of the waypoint.
- the unmanned air vehicle 100 may obtain time information from the timer 270, or may obtain it from the outside through GPS, the Internet, or the like.
- the waypoint position information may be longitude, latitude, and altitude information included in the information about the waypoint acquired in step S21.
- the unmanned air vehicle 100 may acquire a rough shape of the imaging region (for example, an existing elevation map) by referring to a three-dimensional map database on the Internet.
- the unmanned air vehicle 100 flies along the flight path and the imaging region at the waypoint at the time of imaging by the optical sensor 260 such as an exposure meter is used. Measure the light intensity.
- the unmanned air vehicle 100 may continuously measure the amount of light in the imaging area during flight and estimate the ratio of the shadow portion in the waypoint before imaging.
- the light quantity may be measured at the timing of arrival at each waypoint (which may be the timing just before arrival).
- the unmanned air vehicle 100 selects an imaging device to be used based on the ratio of the shadow portion in the waypoint (step S22), and then captures an image with the imaging device selected at each waypoint (step S23).
- the image picked up in step S23 is stored for each image pickup device in a memory built in the image pickup device or a memory 160 built in the unmanned air vehicle 100.
- the unmanned air vehicle 100 transmits the image stored in the imaging device to the information processing device.
- These images may be transmitted to the information processing apparatus by the unmanned air vehicle 100 by a wireless or wired communication method, or recorded on a storage medium such as a memory card by the unmanned air vehicle 100, and the storage medium is stored in the information processing apparatus. It may be transmitted by any other method such as insertion into the network.
- the information processing apparatus that has received the image restores the shape of the subject by a conventional method such as SFM (Structure from Motion) for each imaging device (step S24), and combines the two restored shapes at the end (step S24). S25).
- SFM Structure from Motion
- the portions B lacking in information are supplemented with each other, and the shape of the entire imaging range A is generated.
- the shape generation system including the transmitter 50, the unmanned air vehicle 100, and the information processing apparatus has been described.
- the number of imaging devices provided in the unmanned air vehicle 100 is not limited to two, and may be more provided.
- the process executed by the transmitter 50 may be executed by any other type of mobile platform or information processing apparatus. These processes may be executed by the unmanned air vehicle 100 itself.
- the processing executed by the unmanned air vehicle 100 in each of the above embodiments may be executed by a mobile body having any other imaging function.
- the process executed by the information processing apparatus may be executed by another information processing apparatus such as a smartphone or a tablet, or may be executed by the unmanned air vehicle 100 itself.
- the processing in the shape generation system according to each embodiment constitutes the shape generation method of the present disclosure as a whole
- the processing executed by the transmitter 50 constitutes the shape generation method of the mobile platform according to the present disclosure
- the unmanned air vehicle 100 is
- the processing to be executed constitutes an image acquisition method in the flying object for shape generation according to the present disclosure.
- the process (steps) executed by the propo is executed by the transmitter processing unit 61 of the transmitter 50
- the process (steps) executed by the drone is the UAV of the unmanned air vehicle 100. You may perform in the process part 110.
- FIG. 1 A block diagram illustrating an exemplary computing environment in accordance with the present disclosure.
- the transmitter processing unit 61 may cause the transmitter 50 which is a computer to execute a process (step) executed by the propo among the shape generation methods.
- This program may be stored in the memory 64 or other storage medium.
- the UAV processing unit 110 may cause the UAV processing unit 110 to execute a program that causes the unmanned air vehicle 100, which is a computer, to execute a process (step) executed by the drone in the shape generation method.
- This program may be stored in the memory 160 or other storage medium.
- the shape generation method the image acquisition method, the mobile platform, the flying object, the program, and the recording medium according to the present disclosure, it is possible to generate a highly accurate shape even in an environment where there is a large contrast between light and dark regardless of the dynamic range of the imaging device. Become.
- the flying object can be captured while moving without stopping on the flight path, and the sky It is possible to shorten the shooting time and save power.
- the shape generation method the image acquisition method, the mobile platform, the flying object, the program, and the recording medium according to the present disclosure, the shape can be formed with high efficiency even when the number of waypoints is large.
- the restoration operation twice, it is sufficient to perform the synthesis operation once, which is the same for all waypoints as in the conventional HDR. There is no need to synthesize images one by one.
- shape generation system 50 transmitter 61 transmitter processing unit 63 wireless communication unit 64 memory 100 unmanned air vehicle 102 UAV main body 110 UAV processing unit 150 communication interface 160 memory 220-1 imaging device 220-2 imaging device
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
Abstract
複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得し、複数の撮像装置の中から、複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択し、各撮像位置において選択された撮像装置により撮像し、撮像装置ごとに撮像画像に基づいて被写体の形状を復元し、これらの形状を合成する。撮像装置を選択するとき、それぞれの撮像位置について、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択する。これにより、飛行体を停止することなく明暗差の激しい被写体の形状取得を高精度化することができる。
Description
本開示は、飛行体により撮像された画像に基づき被写体の形状を生成する形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体に関する。
カメラ等の撮像装置を搭載し、予め設定された固定経路を飛行しながら撮像を行うプラットフォーム(例えば無人飛行体)が知られている(例えば特許文献1参照)。このプラットフォームは、地上基地から飛行経路や撮影指示等の命令を受け、その命令に従って飛行し、撮影を行って取得画像を地上基地に送る。プラットフォームは、撮影対象を撮影する場合、設定された固定経路を飛行しながら、プラットフォームと撮影対象との位置関係に基づいて、プラットフォームの撮像機器を傾斜して撮像する。
また従来、空中を飛行する無人飛行体(例えばUAV:Unmanned Aerial Vehicle)により撮影された空中写真等の撮像画像に基づいて、一定の撮像範囲における地面形状を形成することも知られている。無人飛行体による撮影(例えば空撮)を自動化するために、予め無人飛行体の飛行経路を生成する技術が用いられる。無人飛行体を用いて一定の撮像範囲の地上の三次元形状を形成するためには、予め生成した飛行経路に従って無人飛行体を飛行させ、無人飛行体が飛行経路中の異なる撮像位置において撮影した撮像画像を複数取得する必要がある。
地上の三次元形状を形成する際には、無人飛行体により異なる撮像位置において撮像した後、これらの撮像画像をベースにSFM(Structure from Motion)などの技術により撮像範囲における地面形状を復元することが一般的である。SFMにおいては、撮像画像から特徴点を検出しなければならない。それには撮像画像が適正露出であることが好ましく、撮像環境の光量を測定して自動的に露出設定を行う自動露出モード(AE)が使用されることが多い。しかしながら、無人飛行体に搭載されている撮像装置は、一回の露光で撮影できる光量の範囲(以下、「ダイナミックレンジ」という)に限界があり、被写体の明るさがダイナミックレンジの上限を超えると白飛びが発生し、下限を下回ると黒つぶれが発生するため、明暗差が大きい場合に暗部と明部にある形状を同時に取得することは困難である。そのため、明暗差の強い建物や直射日光の環境における建物の陰の部分、強い逆光環境のシーンなどを撮像する場合は、撮像画像の一部に白飛びもしくは黒つぶれが発生してしまい、その結果、その部分の特徴点を検出することが困難となり、取得できる情報が不足して、形状を正常に復元できなくなる問題が存在していた。
ダイナミックレンジの限界による白飛びや黒つぶれを回避する手段として、ハイダイナミックレンジ合成(HDR)が知られている。HDRでは、露出設定の異なる複数の画像を撮影し、これらを合成することで白飛びや黒つぶれの少ない幅広いダイナミックレンジを持つ画像(ハイダイナミックレンジイメージ)を生成する。しかしながら、HDRは同一の撮像位置からの複数の画像を取得する必要があり、飛行体による撮像のように移動しながら撮影する場合には不向きである。また、同一のカメラで撮像する場合は、HDRの素材となる画像を取得する際の露出設定にも限界がある。
一態様において、形状生成方法は、複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、複数の撮像装置の中から、複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと、各撮像位置において選択された撮像装置により撮像するステップと、撮像装置ごとに、撮像された画像に基づいて被写体の形状を復元するステップと、撮像装置ごとに復元された形状を合成するステップと、を有し、撮像装置を選択するステップは、それぞれの撮像位置について、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択するステップと、を含む。
少なくとも一つの撮像装置を選択するステップは、割合が第1の閾値以下である場合は、第1の撮像装置を選択し、割合が第1の閾値より大きい第2の閾値を超える場合は、第1の撮像装置より高い露光パラメータが設定された第2の撮像装置を選択し、割合が第1の閾値を超えかつ第2の閾値以下である場合は、第1の撮像装置及び第2の撮像装置の双方を選択するステップを含んでよい。
一態様において、モバイルプラットフォームにおける形状生成方法は、複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、複数の撮像装置の中から、複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと、複数の撮像位置に関する情報と、それぞれの撮像位置について選択された撮像装置に関する情報とを飛行体に送信するステップと、を有し、撮像装置を選択するステップは、それぞれの撮像位置について、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択するステップと、を含む。
少なくとも一つの撮像装置を選択するステップは、割合が第1の閾値以下である場合は、第1の撮像装置を選択し、割合が第1の閾値より大きい第2の閾値を超える場合は、第1の撮像装置より高い露光パラメータが設定された第2の撮像装置を選択し、割合が第1の閾値を超えかつ第2の閾値以下である場合は、第1の撮像装置及び第2の撮像装置の双方を選択するステップを含んでよい。
各撮像位置において選択された撮像装置により撮像された画像を飛行体から取得するステップと、撮像装置ごとに、撮像された画像に基づいて被写体の形状を復元するステップと、撮像装置ごとに復元された形状を合成するステップと、をさらに含んでよい。
撮像装置を選択するステップは、複数の撮像位置のうち少なくとも一つの撮像位置において、複数の撮像装置を選択してよい。
撮像装置を選択するステップは、光源の照射角度に関する情報を取得するステップと、それぞれの撮像位置における光源の遮断物に関する情報を取得するステップと、光源の照射角度に関する情報とそれぞれの撮像位置における光源の遮断物に関する情報とに基づいて、撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定するステップと、を含んでよい。
光源の照射角度に関する情報を取得するステップは、時刻情報及び撮像位置の地理情報を取得するステップと、時刻情報及び地理情報を用いて、光源の照射角度に関する情報を推定するステップと、を含んでよい。
一態様において、形状生成のための飛行体における画像取得方法は、複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、複数の撮像装置の中から選択された、複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得するステップと、複数の撮像位置のそれぞれについて、取得された撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像するステップと、を有する、において、撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報である。
撮像に用いる撮像装置に関する情報を取得するステップは、複数の撮像位置のそれぞれについて、撮像に用いる撮像装置に関する情報をモバイルプラットフォームから受信するステップを含んでよい。
撮像に用いる撮像装置に関する情報を取得するステップは、それぞれの撮像位置について、撮像時の当該撮像位置における撮像領域の光量を測定するステップと、光量に基づき、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定するステップと、割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択して、撮像に用いる撮像装置に関する情報を生成するステップと、を含んでよい。
撮像に用いる撮像装置に関する情報を取得するステップは、それぞれの撮像位置について、光源の照射角度に関する情報を取得するステップと、撮像位置における光源の遮断物に関する情報を取得するステップと、光源の照射角度に関する情報と撮像位置における光源の遮断物に関する情報とに基づいて、撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定するステップと、割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択して撮像に用いる撮像装置に関する情報を生成するステップと、を含んでよい。
光源の照射角度に関する情報を取得するステップは、時刻情報及び撮像位置の地理情報を取得するステップと、時刻情報及び地理情報を用いて、光源の照射角度に関する情報を推定するステップと、を含んでよい。
撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合が第1の閾値以下である場合は、第1の撮像装置が選択され、割合が第1の閾値より大きい第2の閾値を超える場合は、第1の撮像装置より高い露光パラメータが設定された第2の撮像装置が選択され、割合が第1の閾値を超えかつ第2の閾値以下である場合は、第1の撮像装置及び第2の撮像装置の双方が選択されて生成されてよい。
撮像に用いる撮像装置に関する情報は、複数の撮像位置のうち少なくとも一つの撮像位置において、複数の撮像装置を選択されて生成されてよい。
撮像装置を用いて撮像するステップは、飛行体の移動中に、複数の撮像位置のそれぞれについて、取得された撮像に用いる撮像装置に関する情報により特定された撮像装置を用いて撮像するステップを含んでよい。
複数の撮像位置において撮像された画像を、形状生成を行う情報処理装置に送信するステップをさらに含んでよい。
一態様において、モバイルプラットフォームは、記憶部と、飛行体との通信を行う通信部と、処理部と、を有し、処理部は、複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得し、複数の撮像装置の中から、複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択し、複数の撮像位置に関する情報と、それぞれの撮像位置について選択された撮像装置に関する情報とを通信部により飛行体に送信し、撮像装置を選択することを、それぞれの撮像位置について、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択することにより実現する。
処理部は、割合が第1の閾値以下である場合は、第1の撮像装置を選択し、割合が第1の閾値より大きい第2の閾値を超える場合は、第1の撮像装置より高い露光パラメータが設定された第2の撮像装置を選択し、割合が第1の閾値を超えかつ第2の閾値以下である場合は、第1の撮像装置及び第2の撮像装置の双方を選択してよい。
処理部は、さらに、各撮像位置において選択された撮像装置により撮像された画像を飛行体から取得し、撮像装置ごとに、撮像された画像に基づいて被写体の形状を復元し、撮像装置ごとに復元された形状を合成してよい。
処理部は、複数の撮像位置のうち少なくとも一つの撮像位置において、複数の撮像装置を選択してよい。
処理部は、光源の照射角度に関する情報を取得し、それぞれの撮像位置における光源の遮断物に関する情報を取得し、光源の照射角度に関する情報とそれぞれの撮像位置における光源の遮断物に関する情報とに基づいて、撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定してよい。
処理部は、時刻情報及び撮像位置の地理情報を取得し、時刻情報及び地理情報を用いて、光源の照射角度に関する情報を推定してよい。
一態様において、飛行体は、記憶部と、モバイルプラットフォームとの通信を行う通信部と、処理部と、複数の撮像装置と、を有し、処理部は、飛行体の複数の撮像位置に関する情報を取得し、複数の撮像装置の中から選択された、複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得し、複数の撮像位置のそれぞれについて、取得された撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像し、撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報である。
処理部は、複数の撮像位置のそれぞれについて、撮像に用いる撮像装置に関する情報をモバイルプラットフォームから受信してよい。
光学センサをさらに有し、処理部は、それぞれの撮像位置について、撮像時の当該撮像位置における撮像領域の光量を測定し、光量に基づき、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定し、割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択して、撮像に用いる撮像装置に関する情報を生成してよい。
処理部は、それぞれの撮像位置について、光源の照射角度に関する情報を取得し、撮像位置における光源の遮断物に関する情報を取得し、光源の照射角度に関する情報と撮像位置における光源の遮断物に関する情報とに基づいて、撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定し、割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択して撮像に用いる撮像装置に関する情報を生成してよい。
処理部は、時刻情報及び撮像位置の地理情報を取得し、時刻情報及び地理情報を用いて、光源の照射角度に関する情報を推定してよい。
撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合が第1の閾値以下である場合は、第1の撮像装置が選択され、割合が第1の閾値より大きい第2の閾値を超える場合は、第1の撮像装置より高い露光パラメータが設定された第2の撮像装置が選択され、割合が第1の閾値を超えかつ第2の閾値以下である場合は、第1の撮像装置及び第2の撮像装置の双方が選択されて生成されてよい。
撮像に用いる撮像装置に関する情報は、複数の撮像位置のうち少なくとも一つの撮像位置において、複数の撮像装置を選択されて生成されてよい。
処理部は、飛行体の移動中に、複数の撮像位置のそれぞれについて、取得された撮像に用いる撮像装置に関する情報により特定された撮像装置を用いて撮像してよい。
処理部は、複数の撮像位置において撮像された画像を、形状生成を行う情報処理装置に送信してよい。
一態様において、コンピュータであるモバイルプラットフォームに、複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、複数の撮像装置の中から、複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと複数の撮像位置に関する情報と、それぞれの撮像位置について選択された撮像装置に関する情報とを飛行体に送信するステップと、を実行させ、撮像装置を選択するステップは、それぞれの撮像位置について、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択するステップと、を含むプログラムである。
一態様において、コンピュータであるモバイルプラットフォームに、複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、複数の撮像装置の中から、複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと、複数の撮像位置に関する情報と、それぞれの撮像位置について選択された撮像装置に関する情報とを飛行体に送信するステップと、を実行させ、撮像装置を選択するステップは、それぞれの撮像位置について、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択するステップと、を含む、プログラムを格納する記憶媒体である。
一態様において、コンピュータである複数の撮像装置を有する飛行体に、飛行体の複数の撮像位置に関する情報を取得するステップと、複数の撮像装置の中から選択された、複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得するステップと、複数の撮像位置のそれぞれについて、取得された撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像するステップと、を実行させ、撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報であるプログラムである。
一態様において、コンピュータである複数の撮像装置を有する飛行体に、飛行体の複数の撮像位置に関する情報を取得するステップと、複数の撮像装置の中から選択された、複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得するステップと、複数の撮像位置のそれぞれについて、取得された撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像するステップと、を実行させ、撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報であるプログラムを格納する記憶媒体である。
なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
以下、発明の実施の形態を通じて本開示を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。但し、それ以外の場合、一切の著作権を留保する。
本開示に係る形状生成方法は、移動体の一例としての無人飛行体(UAV:Unmanned Aerial Vehicle)と、無人飛行体の動作又は処理を遠隔で制御するためのモバイルプラットフォームと、画像の複合や合成処理を行う計算機(PC)とを含む形状生成システムにおける各種の処理(ステップ)が規定されたものである。
本開示に係る形状生成のための飛行体の画像取得方法は、本開示に係る形状生成方法のうち、無人飛行体における各種の処理(ステップ)が規定されたものである。
本開示に係るモバイルプラットフォームにおける形状生成方法は、本開示に係る形状生成方法のうち、送信機における各種の処理(ステップ)が規定されたものである。
本開示に係る飛行体は、空中を移動する航空機(例えばドローン、ヘリコプター)を含む。飛行体は、複数の撮像装置を有する無人飛行体であってもよく、撮像範囲における被写体(例えば一定の範囲内の建物、道路、公園等の地面形状)を撮像するために、あらかじめ設定された飛行経路に沿って飛行し、飛行経路上に設定されている複数の撮像位置(後述するウェイポイント)において撮像する。
本開示に係るモバイルプラットフォームは、コンピュータであって、例えば無人飛行体の移動を含む各種処理の遠隔制御を指示するための送信機、送信機と情報やデータの入出力が可能に接続された端末装置、又は無人飛行体と情報やデータの入出力が可能に接続されたPC、タブレット等の情報処理装置である。なお、無人飛行体自体がモバイルプラットフォームとして含まれてよい。
本開示に係るプログラムは、無人飛行体又はモバイルプラットフォームに各種の処理(ステップ)を実行させるためのプログラムである。
本開示に係る記録媒体は、プログラム(つまり、無人飛行体又はモバイルプラットフォームに各種の処理(ステップ)を実行させるためのプログラム)が記録されたものである。
本開示に係る各実施形態において、無人飛行体100は、撮像範囲内にあらかじめ設定された飛行経路に沿って飛行する。
飛行経路は、従来のいかなる方法によって設定してもよく、例えば既存のアルゴリズムにより設定された当該範囲内を最短距離で飛行する経路、最短時間で飛行する経路又はもっとも節電できる経路であってよい。
飛行経路は、複数の撮像位置(つまり、ウェイポイント)の情報を含む。無人飛行体100は、設定された経路に沿って順次移動し、ウェイポイントにおいて撮像をする。
なお、それぞれのウェイポイントは、隣接するウェイポイントにおける撮像領域がオーバーラップする間隔で設定されていることが好ましい。これにより、撮像範囲全体の特徴点を検出することができ、撮像画像からSFM技術などにより形状復元するときに、撮像範囲における完全な形状を形成するための情報が不足することを回避することができる。
図1は、各実施形態の形状生成システムの構成例を示す図である。図1に示す形状生成システム10は、無人飛行体100と送信機50とを少なくとも含む。好ましくは、さらに、撮像された画像を複合、合成するための図示しない情報処理装置(例えばPC、タブレットなど)を含む。無人飛行体100と送信機50とは、有線通信又は無線通信(例えば無線LAN(Local Area Network)、又はBluetooth(登録商標))を用いて、情報やデータを互いに通信することが可能である。なお、図1では、送信機50の筐体に端末装置が取り付けられた様子の図示が省略されている。操作端末の一例としての送信機50は、例えば送信機50を使用する人物(以下、「ユーザ」という)の両手で把持された状態で使用される。
図2は、無人飛行体100の外観の一例を示す図である。図3は、無人飛行体100の具体的な外観の一例を示す図である。無人飛行体100が移動方向STV0に飛行する時の側面図が図2に示され、無人飛行体100が移動方向STV0に飛行する時の斜視図が図3に示されている。無人飛行体100は、例えば二つの撮像装置220-1,220-2を備えて移動する移動体の一例である。移動体とは、無人飛行体100の他、空中を移動する他の航空機、地上を移動する車両、水上を移動する船舶等を含む概念である。ここで、図2及び図3に示すように、地面と平行であって移動方向STV0に沿う方向にロール軸(図2及び図3のx軸参照)が定義されたとする。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸(図2及び図3のy軸参照)が定められ、更に、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸(図2及び図3のz軸)が定められる。
無人飛行体100は、UAV本体102と、ジンバル200と、複数の撮像装置220-1、220-2と、複数の障害物センサ230とを含む構成である。無人飛行体100は、本開示に係るモバイルプラットフォームの一例としての送信機50から送信される遠隔制御の指示を基に移動することができる。無人飛行体100の移動は、飛行を意味し、少なくとも上昇、降下、左旋回、右旋回、左水平移動、右水平移動の飛行が含まれる。
UAV本体102は、複数の回転翼を備える。UAV本体102は、複数の回転翼の回転を制御することにより無人飛行体100を移動させる。UAV本体102は、例えば4つの回転翼を用いて無人飛行体100を移動させる。回転翼の数は、4つに限定されない。また、無人飛行体100は、回転翼を有さない固定翼機でよい。
撮像装置220-1、撮像装置220-2は、所望の撮像範囲に含まれる被写体(例えば上述した建物、道路、公園等の地面形状)を撮像するカメラである。以下において、二つの撮像装置220-1、撮像装置220-2が一つのジンバル200に取り付けられている例を示すが、実際はそれぞれ異なるジンバル200に取り付けられ、別々に制御できるようになっていてよい。また、撮像装置の数量は2つに限らず、より多く備えていてよい。
複数の障害物センサ230は、無人飛行体の周囲の障害物を検出することができる。
次に、無人飛行体100の構成例について説明する。
図4は、図1の形状生成システム10を構成する無人飛行体100のハードウェア構成の一例を示すブロック図である。無人飛行体100は、UAV処理部110と、通信インタフェース150と、メモリ160と、ジンバル200と、回転翼機構210と、撮像装置220-1、撮像装置220-2と、障害物センサ230と、GPS受信機240と、バッテリ250と、光学センサ260と、タイマ270とを含む構成である。
UAV処理部110は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成される。UAV処理部110は、無人飛行体100の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
UAV処理部110は、メモリ160に格納されたプログラムに従って無人飛行体100の飛行を制御する。UAV処理部110は、通信インタフェース150を介して遠隔の送信機50から受信した命令に従って、無人飛行体100の移動(つまり、飛行)を制御する。メモリ160は、無人飛行体100から取り外し可能であってよい。
通信インタフェース150は、送信機50と通信する(図4参照)。通信インタフェース150は、遠隔の送信機50からUAV処理部110に対する各種の命令を受信する。
メモリ160は、UAV処理部110がジンバル200、回転翼機構210、撮像装置220-1、撮像装置220-2、障害物センサ230、GPS受信機240、バッテリ250、光学センサ260及びタイマ270を制御するのに必要なプログラム等を格納する。メモリ160は、コンピュータ読み取り可能な記録媒体でよく、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、及びUSBメモリ等のフラッシュメモリの少なくとも1つを含んでよい。メモリ160は、UAV本体102の内部に設けられてよい。UAV本体102から取り外し可能に設けられてよい。
ジンバル200は、少なくとも1つの軸を中心に撮像装置220-1、撮像装置220-2を回転可能に支持する。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像装置220を回転可能に支持してよい。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置220-1、撮像装置220-2を回転させることで、撮像装置220の撮像方向を変更してよい。また、上述したように、撮像装置220-1、撮像装置220-2それぞれに一つずつジンバルが設けられる構成であってよい。
回転翼機構210は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。
撮像装置220-1、撮像装置220-2は、所望の撮像範囲の被写体を撮像して撮像画像のデータを生成する。二つの撮像装置220-1、撮像装置220-2は同一の画角でありかつ異なる露光パラメータが設定されていることが好ましい。撮像装置220-1、撮像装置220-2の撮像により得られた画像データは、撮像装置220-1、撮像装置220-2がそれぞれ有するメモリ、又はメモリ160に格納される。好ましくは、画像データは撮像装置ごとに格納される。
障害物センサ230は、例えば赤外線センサ、撮像装置、超音波センサなどであり、無人飛行体100の周囲の障害物を検出し、その情報をUAV処理部110に出力する。
GPS受信機240は、複数の航法衛星(つまり、GPS衛星)から発信された時刻及び各GPS衛星の位置(座標)を示す複数の信号を受信する。GPS受信機240は、受信された複数の信号に基づいて、GPS受信機240の位置(つまり、無人飛行体100の位置)を算出する。GPS受信機240は、無人飛行体100の位置情報をUAV処理部110に出力する。なお、GPS受信機240の位置情報の算出は、GPS受信機240の代わりにUAV処理部110により行われてよい。この場合、UAV処理部110には、GPS受信機240が受信した複数の信号に含まれる時刻及び各GPS衛星の位置を示す情報が入力される。
バッテリ250は、無人飛行体100の各部の駆動源としての機能を有し、無人飛行体100の各部に必要な電源を供給する。
光学センサ260は、撮像領域における光量を検出し、検出結果をUAV処理部110に出力する。
タイマ270は、時刻情報を管理し、UAV処理部110に出力する。
次に、送信機50の構成例について説明する。
図5は、送信機50の外観の一例を示す斜視図である。送信機50に対する上下前後左右の方向は、図5に示す矢印の方向にそれぞれ従うとする。送信機50は、例えば送信機50を使用するユーザの両手で把持された状態で使用される。
送信機50は、例えば略正方形状の底面を有し、かつ高さが底面の一辺より短い略直方体(言い換えると、略箱形)の形状をした樹脂製の筐体50Bを有する。送信機50の具体的な構成は図6を参照して後述する。送信機50の筐体表面の略中央には、左制御棒53Lと右制御棒53Rとが突設して配置される。
左制御棒53L、右制御棒53Rは、それぞれユーザによる無人飛行体100の移動を遠隔で制御(例えば、無人飛行体100の前後移動、左右移動、上下移動、向き変更)するための操作において使用される。図5では、左制御棒53L及び右制御棒53Rは、ユーザの両手からそれぞれ外力が印加されていない初期状態の位置が示されている。左制御棒53L及び右制御棒53Rは、ユーザにより印加された外力が解放された後、自動的に所定位置(例えば図5に示す初期位置)に復帰する。
左制御棒53Lの手前側(言い換えると、ユーザ側)には、送信機50の電源ボタンB1が配置される。電源ボタンB1がユーザにより一度押下されると、例えば送信機50に内蔵されるバッテリ(不図示)の容量の残量がバッテリ残量表示部L2において表示される。電源ボタンB1がユーザによりもう一度押下されると、例えば送信機50の電源がオンとなり、送信機50の各部(図6参照)に電源が供給されて使用可能となる。
右制御棒53Rの手前側(言い換えると、ユーザ側)には、RTH(Return To Home)ボタンB2が配置される。RTHボタンB2がユーザにより押下されると、送信機50は、無人飛行体100に所定の位置に自動復帰させるための信号を送信する。これにより、送信機50は、無人飛行体100を所定の位置(例えば無人飛行体100が記憶している離陸位置)に自動的に帰還させることができる。RTHボタンB2は、例えば屋外での無人飛行体100による空撮中にユーザが無人飛行体100の機体を見失った場合、又は電波干渉や予期せぬトラブルに遭遇して操作不能になった場合等に利用可能である。
電源ボタンB1及びRTHボタンB2の手前側(言い換えると、ユーザ側)には、リモートステータス表示部L1及びバッテリ残量表示部L2が配置される。リモートステータス表示部L1は、例えばLED(Light Emission Diode)を用いて構成され、送信機50と無人飛行体100との無線の接続状態を表示する。バッテリ残量表示部L2は、例えばLEDを用いて構成され、送信機50に内蔵されたバッテリ(不図示)の容量の残量を表示する。
左制御棒53L及び右制御棒53Rより後側であって、かつ送信機50の筐体50Bの後方側面から、2つのアンテナAN1,AN2が突設して配置される。アンテナAN1,AN2は、ユーザの左制御棒53L及び右制御棒53Rの操作に基づき、送信機処理部61により生成された信号(つまり、無人飛行体100の移動を制御するための信号)を無人飛行体100に送信する。アンテナAN1,AN2は、例えば2kmの送受信範囲をカバーできる。また、アンテナAN1,AN2は、送信機50と無線接続中の無人飛行体100が有する撮像装置220-1,220-2により撮像された画像、又は無人飛行体100が取得した各種データが無人飛行体100から送信された場合に、これらの画像又は各種データを受信できる。
タッチパネルディスプレイTPD1は、例えばLCD(Crystal Liquid Display)又は有機EL(Electroluminescence)を用いて構成される。タッチパネルディスプレイTPD1の形状、サイズ、及び配置位置は任意であり、図6の図示例に限られない。
図6は、図1の形状生成システム10を構成する送信機50のハードウェア構成の一例を示すブロック図である。送信機50は、左制御棒53Lと、右制御棒53Rと、送信機処理部61と、無線通信部63と、メモリ64と、電源ボタンB1と、RTHボタンB2と、操作部セットOPSと、リモートステータス表示部L1と、バッテリ残量表示部L2と、タッチパネルディスプレイTPD1とを含む構成である。送信機50は、無人飛行体100を遠隔制御するための操作端末の一例である。
左制御棒53Lは、例えばユーザの左手により、無人飛行体100の移動を遠隔で制御するための操作に使用される。右制御棒53Rは、例えばユーザの右手により、無人飛行体100の移動を遠隔で制御するための操作に使用される。無人飛行体100の移動は、例えば前進する方向の移動、後進する方向の移動、左方向の移動、右方向の移動、上昇する方向の移動、下降する方向の移動、左方向に無人飛行体100を回転する移動、右方向に無人飛行体100を回転する移動のうちいずれか又はこれらの組み合わせであり、以下同様である。
電源ボタンB1は一度押下されると、一度押下された旨の信号が送信機処理部61に入力される。送信機処理部61は、この信号に従い、送信機50に内蔵されるバッテリ(不図示)の容量の残量をバッテリ残量表示部L2に表示する。これにより、ユーザは、送信機50に内蔵されるバッテリの容量の残量を簡単に確認できる。また、電源ボタンB1は二度押下されると、二度押下された旨の信号が送信機処理部61に渡される。送信機処理部61は、この信号に従い、送信機50に内蔵されるバッテリ(不図示)に対し、送信機50内の各部への電源供給を指示する。これにより、ユーザは、送信機50の電源がオンとなり、送信機50の使用を簡単に開始できる。
RTHボタンB2は押下されると、押下された旨の信号が送信機処理部61に入力される。送信機処理部61は、この信号に従い、無人飛行体100に所定の位置(例えば無人飛行体100の離陸位置)に自動復帰させるための信号を生成し、無線通信部63及びアンテナAN1,AN2を介して無人飛行体100に送信する。これにより、ユーザは、送信機50に対する簡単な操作により、無人飛行体100を所定の位置に自動で復帰(帰還)させることができる。
操作部セットOPSは、複数の操作部(例えば操作部OP1,…,操作部OPn)(n:2以上の整数)を用いて構成される。操作部セットOPSは、図5に示す左制御棒53L、右制御棒53R、電源ボタンB1及びRTHボタンB2を除く他の操作部(例えば、送信機50による無人飛行体100の遠隔制御を支援するための各種の操作部)により構成される。ここでいう各種の操作部とは、例えば、無人飛行体100の撮像装置220を用いた静止画の撮像を指示するボタン、無人飛行体100の撮像装置220を用いた動画の録画の開始及び終了を指示するボタン、無人飛行体100のジンバル200(図4参照)のチルト方向の傾きを調整するダイヤル、無人飛行体100のフライトモードを切り替えるボタン、無人飛行体100の撮像装置220の設定を行うダイヤルが該当する。
また、操作部セットOPSは、無人飛行体100のウェイポイントを生成するための入力パラメータの情報を入力するパラメータ操作部OPAを有する。パラメータ操作部OPAは、スティック、ボタン、キー、タッチパネル、等により形成されてよい。パラメータ操作部OPAは、左制御棒53L、右制御棒53Rにより形成されてよい。パラメータ操作部OPAにより入力パラメータに含まれる各パラメータを入力するタイミングは、全て同じでも異なってよい。
リモートステータス表示部L1及びバッテリ残量表示部L2は、図5を参照して説明したので、ここでは説明を省略する。
送信機処理部61は、プロセッサ(例えばCPU、MPU又はDSP)を用いて構成される。送信機処理部61は、送信機50の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
無線通信部63は、2つのアンテナAN1,AN2と接続される。無線通信部63は、2つのアンテナAN1,AN2を介して、無人飛行体100との間で所定の無線通信方式(例えばWifi(登録商標))を用いた情報やデータの送受信を行う。無線通信部63は、送信機処理部61からの入力パラメータの情報を、無人飛行体100へ送信する。
メモリ64は、例えば送信機処理部61の動作を規定するプログラムや設定値のデータが格納されたROM(Read Only Memory)と、送信機処理部61の処理時に使用される各種の情報やデータを一時的に保存するRAM(Random Access Memory)とを有する。メモリ64のROMに格納されたプログラムや設定値のデータは、所定の記録媒体(例えばCD-ROM、DVD-ROM)にコピーされてよい。メモリ64のRAMには、例えば無人飛行体100の撮像装置220により撮像された空撮画像のデータが保存される。
タッチパネルディスプレイTPD1は、送信機処理部61により処理された各種データを表示してよい。タッチパネルディスプレイTPD1は、入力された入力パラメータの情報を表示する。従って、送信機50のユーザは、タッチパネルディスプレイTPD1を参照することで、入力パラメータの内容を確認できる。
なお、送信機50は、タッチパネルディスプレイTPD1を備える代わりに、端末装置と有線又は無線により接続されてよい。端末装置には、タッチパネルディスプレイTPD1と同様に、入力パラメータの情報が表示されてよい。端末装置は、スマートフォン、タブレット端末、PC(Personal Computer)等でよい。また、端末装置が入力パラメータの少なくとも1つを入力し、入力パラメータを有線通信又は無線通信で送信機50へ送り、送信機50の無線通信部63が無人飛行体100へ入力パラメータを送信してよい。
また、無人飛行体100の動作は、送信機50による操作に基づく場合以外に、後述するように、あらかじめ設定された飛行経路に沿って飛行し、撮像するものであってよい。
以下において、本開示に係る形状生成システムにおける処理の各実施形態を図面と共に説明する。図7は、各実施形態の撮像範囲の一例を示す図である。本開示に係る形状生成システムの特徴を分かり易く説明するために、以下の各実施形態において、無人飛行体が図7に示すような長方形の地上形状(撮像範囲A)を空中撮像する際、建物、山などによって太陽光が遮断され形成された円形の陰が撮像範囲Aの中央から左寄りに存在する場合を例にとるが、実際はこれに限られない。本開示は、例えば室内環境の撮像において、家具や置物などにより照明が遮断される場合など、他のいかなるシチュエーションにも適用することができる。無論、撮像範囲は長方形以外の不規則かつ複雑な範囲であってよく、撮像範囲に含まれる陰の数量及びそれぞれの陰の形状も多様であってもよい。
(第1の実施形態)
図8は、第1の実施形態にかかる形状生成システムにおける処理を示すシーケンス図である。本実施形態における形状生成システムは、送信機50と、撮像装置220-1(撮像装置1)及び撮像装置220-2(撮像装置2)を備える無人飛行体100と、情報処理装置(例えばPC、タブレットなど)とが含まれている。
図8は、第1の実施形態にかかる形状生成システムにおける処理を示すシーケンス図である。本実施形態における形状生成システムは、送信機50と、撮像装置220-1(撮像装置1)及び撮像装置220-2(撮像装置2)を備える無人飛行体100と、情報処理装置(例えばPC、タブレットなど)とが含まれている。
まず、送信機50が撮像装置1及び撮像位置(ウェイポイント)に関する情報を取得する(ステップS11)。ウェイポイントに関する情報は、撮像範囲A内にあらかじめ設定された飛行経路に基づいて確定した無人飛行体100が撮像動作を行う地図上の座標情報である。
飛行経路は、送信機50や送信機50に接続された端末装置(スマートフォン、タブレット等)、あるいは他の端末装置が従来の手法により設定したものであり、例えば撮像範囲A内を最短距離で飛行する経路、最短時間で飛行する経路又はもっとも節電できる経路であってよい。
ウェイポイントに関する情報には、例えば経度、緯度、高度の情報が含まれてよい。このとき、送信機50はその内蔵するメモリに記録されているウェイポイントに関する情報を取得してよいし、無線通信部63を介して、外部からウェイポイントに関する情報を取得してよい。
図9は、撮像範囲Aにおける飛行経路及び複数の撮像位置を模式的に示す図である。図9に示すように、撮像範囲Aには24個のウェイポイントが飛行経路上に設けられている。すなわち、無人飛行体100は、後述する撮像処理(ステップS13)において、ウェイポイント1で1回目の撮像を行った後、矢印の方向に飛行し、ウェイポイント2を通過するときに2回目の撮像を行い、その後再び矢印の方向に飛行しウェイポイント3を通過するときに3回目の撮像を行う。このように、飛行と撮像を繰り返して、ウェイポイント24において24回目の撮像を行った後、空撮を終了する。
なお、ウェイポイントは、隣接するウェイポイントにおける撮像画像がオーバーラップする間隔で設定されていることが好ましい。これにより、情報処理装置が取得された複数の画像から確実に撮像範囲Aの形状を復元するときに、撮像範囲Aにおける完全な形状を形成するための情報が不足することを回避することができる。
次に、各ウェイポイントで使用する撮像装置を選択する(ステップS12)。本実施形態において、無人飛行体100は、露光パラメータが異なる二つの撮像装置(撮像装置1、撮像装置2)を備えており、ウェイポイントごとに撮像装置1のみを使用して撮像すること、又は撮像装置2のみを使用して撮像すること、又は撮像装置1と撮像装置2を同時に使用して撮像することのいずれか一つを選択する。
図10は、撮像装置を選択するステップ(ステップS12)の一例を示すフロー図である。図10に示すように、まずは当該ウェイポイントにおける撮像領域内の陰の部分が占める割合を取得する(ステップS121)。本実施形態において、撮像範囲Aには直射日光が当たる明部と建物などにより太陽の光が遮断されて形成される陰である暗部が含まれ、明暗差が大きい環境となっている。そこで、所定光量以下の部分を「陰の部分」と定義する。
送信機50は、陰の部分が占める割合を光源の照射角度及び光源の遮断物に関する情報に基づいて推定することができる。
本実施形態において、光源の照射角度とは太陽の照射角度を指す。送信機50は、例えば時刻情報と当該ウェイポイントの位置情報により太陽の照射角度を推定することができる。
この場合、送信機50は、時刻情報を例えば内蔵されているタイマから取得してよいし、GPS、インターネットなどを通じて外部から取得してよい。ウェイポイントの位置情報は、ステップS11において取得したウェイポイントに関する情報に含まれている経度、緯度、高度の情報であってよい。
なお、光源の遮断物に関する情報は、例えば送信機50がインターネット上の3次元地図データベースを参照して、撮像領域の概略形状(例えば既存の標高地図など)を取得してよい。
送信機50は、当該ウェイポイントにおいて陰の部分が占める割合を取得した後、当該割合に基づいて使用する撮像装置を選択する。
具体的には、送信機50は、陰の部分が占める割合が30%(第1の閾値)以下である場合(ステップS122における「YES」)は、露光量が比較的低い露光パラメータを有する撮像装置1を選択する(ステップS123)。これにより、撮像領域のうち日向の部分が適正露出となる画像を取得することが期待できる。
一方、送信機50は、陰の部分が占める割合が70%(第2の閾値)を超える場合(ステップS124における「NO」)は、露光量が比較的高い露光パラメータを有する撮像装置2を選択する(ステップS125)。これにより、撮像領域のうち日陰の部分が適正露出となる画像を取得することが期待できる。
さらに、送信機50は、陰の部分が占める割合が30%(第1の閾値)を超え、かつ70%(第2の閾値)以下である場合(ステップS124における「NO」)は、撮像装置1と撮像装置2の双方を選択する(ステップS126)。これにより、日陰の部分が適正露出となる画像と日向の部分が適正露出となる画像の双方を取得することが期待できる。
なお、上記の30%及び70%はそれぞれ第1の閾値、第2の閾値の一例にすぎず、実際は必要に応じて他の数値を設定してよい。
好ましくは、少なくとも一つのウェイポイントにおいて、送信機50が撮像装置1と撮像装置2の双方を選択するように第1の閾値及び第2の閾値が設定される。これにより、後述する撮像装置1が撮像した画像の特徴点により復元された形状と、撮像装置2が撮像した画像の特徴点により復元された形状の少なくとも一部がオーバーラップし、撮像された複数の画像間の位置関係を正確に識別することができるだけでなく、情報処理装置による復元に必要な情報が不足しないことが保証される。
図11は、各ウェイポイントにおいて撮像装置が選択された状態を模式的に示す図である。図11において、撮像装置1が選択された場合は「○」と示しており、撮像装置2が選択された場合は「□」と示している。
図11に示すように、送信機50は、ウェイポイント1~7,11~14,18~24は日向の部分であり、陰の部分が占める割合が30%以下であるため、撮像装置1を選択する。ウェイポイント8,10,15,17は日陰と日向の境界線上にあり、日陰の部分が30%を超え、かつ70%以下であるため、撮像装置1と撮像装置2の双方を選択する。ウェイポイント9,16は日陰に入っており、陰の部分が占める割合が70%を超えるため、撮像装置2を選択する。
各ウェイポイントについて使用する撮像装置が選択された(ステップS12)後、図8に戻り、送信機50は、選択された結果に基づいて、ウェイポイントごとの撮像装置に関する情報を生成し、ウェイポイントに関する情報と各ウェイポイントにおいて使用する撮像装置に関する情報を無人飛行体100に送信する。
ウェイポイントに関する情報と各ウェイポイントにおいて使用する撮像装置に関する情報は、送信機50が無線または有線の通信方式により無人飛行体100に送信してよい。また、送信機50がこれらの情報をメモリーカードなどの記憶媒体に記録して、その記憶媒体を無人飛行体に挿入するなどの他のいかなる方法により伝送してよい。
無人飛行体100は、ウェイポイントに関する情報と各ウェイポイントにおいて使用する撮像装置に関する情報をそれぞれ受信した後、飛行経路に沿って飛行し、各ウェイポイントにおいて選択された撮像装置を用いて撮像を行う(ステップS13)。
好ましくは、無人飛行体100はその移動中に(すなわち、ウェイポイントに到達した時点で停止せずに)撮像を行う。これにより、無人飛行体100は、空撮時間を短縮することができるだけでなく、無人飛行体100を停止、再起動させるための電力を節約することもできる。
無人飛行体100はステップS13において撮像された画像を、撮像装置ごとに、撮像装置に内蔵されたメモリまたは無人飛行体に内蔵されているメモリに記憶することが好ましい。
無人飛行体100は、空撮が終わると、撮像した画像を情報処理装置に送信する。
これらの画像は、無人飛行体100が無線または有線の通信方式により情報処理装置に送信されてよいし、無人飛行体100がメモリーカードなどの記憶媒体に記録して、その記憶媒体を情報処理装置に挿入するなどの他のいかなる方法により伝送してよい。
画像を受信した情報処理装置は、撮像装置ごとに、SFM(Structure from Motion)などの従来の手法により被写体の形状を復元する(ステップS14)。
図12は、撮像装置ごとに形状を復元し、形成することを模式的に示す図である。図12に示すように、撮像装置1により撮像した画像を形状復元すると、日向の部分及び日陰と日向の境界線付近が正常に復元され、日陰の深い部分の情報が欠如している(左側の形状のBを参照)。これは、ウェイポイント9、16のような陰の部分が占める割合が70%を超える場合には、撮像装置1で撮像してないため、情報が不足しているからである。その反面、B以外の部分では特徴点が効率よく検出され、正常に復元できる。
一方、撮像装置2により撮像した画像を形状復元すると、日陰の部分及び日陰と日向の境界線付近が正常に復元され、日向の部分の情報が欠如している(右側の形状のB参照)。これは、撮像装置2がウェイポイント8~10及びウェイポイント15~17のような日陰の部分が30%を超える場合のみにおいて選択されているからである。その反面、B以外の部分では、特徴点が効率よく検出され、正常に復元できる。
最後に、情報処理装置は、復元された二つの形状を合成する(ステップS15)。これにより、情報が不足する部分Bが互いに補われ、撮像範囲A全体の形状が生成される。
このとき、撮像装置1と撮像装置2の双方が選択されるウェイポイントが存在するため、撮像装置1によって撮像された画像に基づいて復元された形状と、撮像装置2によって撮像された画像に基づいて復元された形状とで、日陰と日向の境界線付近ではオーバーラップしている。これにより、合成された形状は、情報不足が発生することなく、図12におけるBのような欠如部分の発生を防止することができ、高精度な形状が保証される。
なお、無人飛行体100は、図8の破線で示すように、撮像された画像を送信機50に送信してもよい。この場合、送信機50が撮像装置ごとに被写体の形状を復元し(ステップS14´)、復元された形状を合成する(ステップS15´)。このときの復元・合成に関する具体的な説明は、先述した画像を情報処理装置に送信した場合のそれぞれの処理(ステップS14,S15)と同一であるため、割愛する。
(第2の実施形態)
第1の実施形態では、送信機50が各ウェイポイントについて撮像に用いる撮像装置を選択するものであった。第2の実施形態は、無人飛行体100が上記撮像装置を選択する点で第1の実施形態と異なる。便宜上、第1の実施形態と重複する部分は、説明を割愛する。
第1の実施形態では、送信機50が各ウェイポイントについて撮像に用いる撮像装置を選択するものであった。第2の実施形態は、無人飛行体100が上記撮像装置を選択する点で第1の実施形態と異なる。便宜上、第1の実施形態と重複する部分は、説明を割愛する。
図13は、第2の実施形態にかかる形状生成システムにおける処理を示すシーケンス図である。
まず、送信機50は、撮像装置1及び撮像位置(ウェイポイント)に関する情報を取得する(ステップS21)。
その後、送信機50はウェイポイントに関する情報を無人飛行体100に送信する。ウェイポイントに関する情報は、送信機50が無線または有線の通信方式により直接無人飛行体100に送信してもよいし、送信機50においてメモリーカードなどの記憶媒体に記録して、その記憶媒体を無人飛行体に挿入するなどの他のいかなる方法により伝送してよい。
無人飛行体100は、ウェイポイントに関する情報を受信した後に、当該ウェイポイントにおいて陰の部分が占める割合を取得し、当該割合に基づいて使用する撮像装置を選択する(ステップS22)。
このとき、当該ウェイポイントにおいて陰の部分が占める割合の一つ目の取得方法として、無人飛行体は、当該ウェイポイントにおいて陰の部分が占める割合を、光源の照射角度及び光源の遮断物に関する情報に基づいて推定することができる。
本実施形態において、光源の照射角度とは太陽の照射角度を指すが、例えば無人飛行体100は、時刻情報と当該ウェイポイントの位置情報により推定することができる。
この場合、無人飛行体100は時刻情報をそのタイマ270から取得してよいし、GPS、インターネットなどを通じて外部から取得してよい。ウェイポイントの位置情報は、ステップS21において取得したウェイポイントに関する情報に含まれている経度、緯度、高度の情報であってよい。
光源の遮断物に関する情報は、例えば無人飛行体100がインターネット上の3次元地図データベースを参照して、撮像領域の概略形状(例えば既存の標高地図など)を取得してよい。
当該ウェイポイントにおいて陰の部分が占める割合の二つ目の取得方法として、無人飛行体100は、飛行経路に沿って飛行し、露光計などの光学センサ260により撮像時のウェイポイントにおける撮像領域の光量を測定する。
このとき、無人飛行体100は、飛行時に継続的に撮像領域の光量を測定し、撮像時までにウェイポイントにおける陰の部分が占める割合を推定してよい。また、各ウェイポイントに到着するタイミング(到着する寸前のタイミングでよい)に光量を測定してよい。
無人飛行体100は、ウェイポイントにおける陰の部分が占める割合に基づいて使用する撮像装置を選択した後、(ステップS22)、各ウェイポイントにおいて選択された撮像装置により撮像する(ステップS23)。
ステップS23において撮像された画像は、撮像装置ごとに、撮像装置に内蔵されたメモリまたは無人飛行体100に内蔵されているメモリ160に記憶される。
無人飛行体100は、空撮が終わると、撮像装置に記憶された画像を情報処理装置に送信する。
これらの画像は、無人飛行体100が無線または有線の通信方式により情報処理装置に送信してよいし、無人飛行体100でメモリーカードなどの記憶媒体に記録して、その記憶媒体を情報処理装置に挿入するなどの他のいかなる方法により伝送してよい。
画像を受信した情報処理装置は、撮像装置ごとに、SFM(Structure from Motion)などの従来の手法により被写体の形状を復元し(ステップS24)、最後に復元された二つの形状を合成する(ステップS25)。これにより、情報が不足する部分Bが互いに補われ、撮像範囲A全体の形状が生成される。
以上において、送信機50、無人飛行体100、情報処理装置が含まれる形状生成システムを説明したが、実際はこれらの構成に限らない。無人飛行体100に備えられている撮像装置の個数も2つに限らず、より多く備えていてよい。
上記の各実施形態において、送信機50で実行される処理は、他のいかなる形式のモバイルプラットフォーム、情報処理装置で実行してよい。また、これらの処理は無人飛行体100自身が実行してよい。
上記の各実施形態において無人飛行体100で実行される処理は、他のいかなる撮像機能を備えた移動体で実行してよい。
上記の各実施形態において、情報処理装置で実行される処理は、スマートフォン、タブレット等の他の情報処理装置で実行されてもよく、無人飛行体100自身が実行してよい。
各実施形態に係る形状生成システムにおける処理は全体として本開示の形状生成方法を構成し、送信機50が実行する処理は本開示に係るモバイルプラットフォームにおける形状生成方法を構成し、無人飛行体100が実行する処理は、本開示に係る形状生成のための飛行体における画像取得方法を構成する。
形状生成システムにおける処理(ステップ)のうち、プロポが実行する処理(ステップ)は、送信機50の送信機処理部61において実行し、ドローンが実行する処理(ステップ)は、無人飛行体100のUAV処理部110において実行してよい。
このとき、コンピュータである送信機50に、形状生成方法のうちプロポが実行する処理(ステップ)を実行させるプログラムを送信機処理部61により実行させてよい。このプログラムは、メモリ64又は他の記憶媒体に格納されてよい。
同じく、コンピュータである無人飛行体100に、形状生成方法のうちドローンが実行する処理(ステップ)を実行させるプログラムをUAV処理部110に実行させてよい。このプログラムは、メモリ160又は他の記憶媒体に格納されてよい。
本開示に係る形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体によれば、撮像装置のダイナミックレンジにとらわれず、明暗差が大きい環境においても高精度な形状生成が可能となる。
また、本開示に係る形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体によれば、飛行体が飛行経路上で停止することなく、移動しながら撮像することができ、空撮時間の短縮及び省電力を図ることができる。
さらに、本開示に係る形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体によれば、ウェイポイントの数量が多い場合でであっても高い効率で形状形成することができる。例えば、上記の各実施形態のように、撮像装置が2つある場合は、復元動作を2回行ったあと、合成動作を1回行えばよく、従来のHDRのようにすべてのウェイポイントにおいて一回ずつ画像を合成する必要がない。
以上、本開示について実施の形態を用いて説明したが、本開示に係る発明の技術的範囲は上述した実施の形態に記載の範囲には限定されない。上述した実施の形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10 形状生成システム
50 送信機
61 送信機処理部
63 無線通信部
64 メモリ
100 無人飛行体
102 UAV本体
110 UAV処理部
150 通信インタフェース
160 メモリ
220-1 撮像装置
220-2 撮像装置
50 送信機
61 送信機処理部
63 無線通信部
64 メモリ
100 無人飛行体
102 UAV本体
110 UAV処理部
150 通信インタフェース
160 メモリ
220-1 撮像装置
220-2 撮像装置
Claims (36)
- 複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、
前記複数の撮像装置の中から、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと、
各撮像位置において前記選択された撮像装置により撮像するステップと、
前記撮像装置ごとに、撮像された画像に基づいて被写体の形状を復元するステップと、
前記撮像装置ごとに復元された前記形状を合成するステップと、を有し、
前記撮像装置を選択するステップは、
当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択するステップを含む、
形状生成方法。 - 前記少なくとも一つの撮像装置を選択するステップは、
前記割合が第1の閾値以下である場合は、第1の撮像装置を選択するステップと、
前記割合が第1の閾値より大きい第2の閾値を超える場合は、前記第1の撮像装置より高い露光パラメータが設定された第2の撮像装置を選択するステップと、
前記割合が前記第1の閾値を超えかつ前記第2の閾値以下である場合は、前記第1の撮像装置及び前記第2の撮像装置の双方を選択するステップと、を含む、
請求項1に記載の形状生成方法。 - 複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、
前記複数の撮像装置の中から、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと
前記複数の撮像位置に関する情報と、それぞれの撮像位置について前記選択された撮像装置に関する情報とを前記飛行体に送信するステップと、
を有するモバイルプラットフォームにおける形状生成方法において、
前記撮像装置を選択するステップは、
当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択するステップを含む、
形状生成方法。 - 前記少なくとも一つの撮像装置を選択するステップは、
前記割合が第1の閾値以下である場合は、第1の撮像装置を選択するステップと、
前記割合が第1の閾値より大きい第2の閾値を超える場合は、前記第1の撮像装置より高い露光パラメータが設定された第2の撮像装置を選択するステップと、
前記割合が前記第1の閾値を超えかつ前記第2の閾値以下である場合は、前記第1の撮像装置及び前記第2の撮像装置の双方を選択するステップと、を含む、
請求項3に記載の形状生成方法。 - 各撮像位置において前記選択された撮像装置により撮像された画像を前記飛行体から取得するステップと、
前記撮像装置ごとに、撮像された画像に基づいて被写体の形状を復元するステップと、
前記撮像装置ごとに復元された前記形状を合成するステップと、をさらに含む、
請求項3又は4に記載の形状生成方法。 - 前記撮像装置を選択するステップは、
前記複数の撮像位置のうち少なくとも一つの撮像位置において、複数の撮像装置を選択する、
請求項3~5のうちいずれか一項に記載の形状生成方法。 - 前記撮像装置を選択するステップは、
光源の照射角度に関する情報を取得するステップと、
それぞれの前記撮像位置における前記光源の遮断物に関する情報を取得するステップと、
前記光源の照射角度に関する情報とそれぞれの前記撮像位置における前記光源の遮断物に関する情報とに基づいて、前記撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定するステップと、を含む、
請求項3~6のうちいずれか一項に記載の形状生成方法。 - 前記光源の照射角度に関する情報を取得するステップは、
時刻情報及び前記撮像位置の地理情報を取得するステップと、
前記時刻情報及び前記地理情報を用いて、前記光源の照射角度に関する情報を推定するステップと、を含む、
請求項7に記載の形状生成方法。 - 複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、
前記複数の撮像装置の中から選択された、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得するステップと、
前記複数の撮像位置のそれぞれについて、取得された前記撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像するステップと、
を有する、形状生成のための飛行体における画像取得方法において、
前記撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報である、
画像取得方法。 - 前記撮像に用いる撮像装置に関する情報を取得するステップは、
前記複数の撮像位置のそれぞれについて、前記撮像に用いる撮像装置に関する情報をモバイルプラットフォームから受信するステップを含む、
請求項9に記載の画像取得方法。 - 前記撮像に用いる撮像装置に関する情報を取得するステップは、
前記それぞれの撮像位置について、
撮像時の当該撮像位置における撮像領域の光量を測定するステップと、
前記光量に基づき、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定するステップと、
前記割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択して、前記撮像に用いる撮像装置に関する情報を生成するステップと、を含む、
請求項9に記載の画像取得方法。 - 前記撮像に用いる撮像装置に関する情報を取得するステップは、
前記それぞれの撮像位置について、
光源の照射角度に関する情報を取得するステップと、
前記撮像位置における前記光源の遮断物に関する情報を取得するステップと、
前記光源の照射角度に関する情報と前記撮像位置における前記光源の遮断物に関する情報とに基づいて、前記撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定するステップと、
前記割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択して前記撮像に用いる撮像装置に関する情報を生成するステップと、を含む、
請求項9に記載の画像取得方法。 - 前記光源の照射角度に関する情報を取得するステップは、
時刻情報及び前記撮像位置の地理情報を取得するステップと、
前記時刻情報及び前記地理情報を用いて、前記光源の照射角度に関する情報を推定するステップと、を含む、
請求項12に記載の画像取得方法。 - 前記撮像に用いる撮像装置に関する情報は、
それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合が第1の閾値以下である場合は、第1の撮像装置が選択され、前記割合が第1の閾値より大きい第2の閾値を超える場合は、前記第1の撮像装置より高い露光パラメータが設定された第2の撮像装置が選択され、前記割合が前記第1の閾値を超えかつ前記第2の閾値以下である場合は、前記第1の撮像装置及び前記第2の撮像装置の双方が選択されて生成される、
請求項9~13のうちいずれか一項に記載の画像取得方法。 - 前記撮像に用いる撮像装置に関する情報は、
前記複数の撮像位置のうち少なくとも一つの撮像位置において、複数の撮像装置を選択されて生成される、
請求項9~14のうちいずれか一項に記載の画像取得方法。 - 前記撮像装置を用いて撮像するステップは、
前記飛行体の移動中に、前記複数の撮像位置のそれぞれについて、前記取得された撮像に用いる撮像装置に関する情報により特定された撮像装置を用いて撮像するステップを含む、
請求項9~15のうちいずれか一項に記載の画像取得方法。 - 前記複数の撮像位置において撮像された画像を、前記形状生成を行う情報処理装置に送信するステップをさらに含む、
請求項9~16のうちいずれか一項に記載の画像取得方法。 - 飛行体との通信を行う通信部と、処理部と、を有するモバイルプラットフォームにおいて、
前記処理部は、
複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得し、
前記複数の撮像装置の中から、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択し、
前記複数の撮像位置に関する情報と、それぞれの撮像位置について前記選択された撮像装置に関する情報とを前記通信部により前記飛行体に送信し、
前記撮像装置を選択することを、
それぞれの撮像位置について、
当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択することにより実現する、
モバイルプラットフォーム。 - 前記処理部は、
前記割合が第1の閾値以下である場合は、第1の撮像装置を選択し、前記割合が第1の閾値より大きい第2の閾値を超える場合は、前記第1の撮像装置より高い露光パラメータが設定された第2の撮像装置を選択し、前記割合が前記第1の閾値を超えかつ前記第2の閾値以下である場合は、前記第1の撮像装置及び前記第2の撮像装置の双方を選択する、
請求項18に記載のモバイルプラットフォーム。 - 前記処理部は、さらに、
各撮像位置において前記選択された撮像装置により撮像された画像を前記飛行体から取得し、
前記撮像装置ごとに、撮像された画像に基づいて被写体の形状を復元し、
前記撮像装置ごとに復元された前記形状を合成する、
請求項18又は19に記載のモバイルプラットフォーム。 - 前記処理部は、
前記複数の撮像位置のうち少なくとも一つの撮像位置において、複数の撮像装置を選択する、
請求項18~20のうちいずれか一項に記載のモバイルプラットフォーム。 - 前記処理部は、
光源の照射角度に関する情報を取得し、
それぞれの前記撮像位置における前記光源の遮断物に関する情報を取得し、
前記光源の照射角度に関する情報とそれぞれの前記撮像位置における前記光源の遮断物に関する情報とに基づいて、前記撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定する、
請求項18~21のうちいずれか一項に記載のモバイルプラットフォーム。 - 前記処理部は、
時刻情報及び前記撮像位置の地理情報を取得し、
前記時刻情報及び前記地理情報を用いて、前記光源の照射角度に関する情報を推定する、
請求項22に記載のモバイルプラットフォーム。 - 記憶部と、モバイルプラットフォームとの通信を行う通信部と、処理部と、複数の撮像装置と、を有する飛行体において、
前記処理部は、
前記飛行体の複数の撮像位置に関する情報を取得し、
前記複数の撮像装置の中から選択された、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得し、
前記複数の撮像位置のそれぞれについて、取得された前記撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像し、
前記撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報である、
飛行体。 - 前記処理部は、
前記複数の撮像位置のそれぞれについて、前記撮像に用いる撮像装置に関する情報をモバイルプラットフォームから受信する、
請求項24に記載の飛行体。 - 光学センサをさらに有し、
前記処理部は、
前記それぞれの撮像位置について、
撮像時の当該撮像位置における撮像領域の光量を測定し、
前記光量に基づき、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定し、
前記割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択して、前記撮像に用いる撮像装置に関する情報を生成する、
請求項24に記載の飛行体。 - 前記処理部は、
前記それぞれの撮像位置について、
光源の照射角度に関する情報を取得し、
前記撮像位置における前記光源の遮断物に関する情報を取得し、
前記光源の照射角度に関する情報と前記撮像位置における前記光源の遮断物に関する情報とに基づいて、前記撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定し、
前記割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択して前記撮像に用いる撮像装置に関する情報を生成する、
請求項24に記載の飛行体。 - 前記処理部は、
時刻情報及び前記撮像位置の地理情報を取得し、
前記時刻情報及び前記地理情報を用いて、前記光源の照射角度に関する情報を推定する、
請求項27に記載の飛行体。 - 前記撮像に用いる撮像装置に関する情報は、
それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合が第1の閾値以下である場合は、第1の撮像装置が選択され、前記割合が第1の閾値より大きい第2の閾値を超える場合は、前記第1の撮像装置より高い露光パラメータが設定された第2の撮像装置が選択され、前記割合が前記第1の閾値を超えかつ前記第2の閾値以下である場合は、前記第1の撮像装置及び前記第2の撮像装置の双方が選択されて生成される、
請求項24~28うちのいずれか一項に記載の飛行体。 - 前記撮像に用いる撮像装置に関する情報は、
前記複数の撮像位置のうち少なくとも一つの撮像位置において、複数の撮像装置を選択されて生成される、
請求項24~29のうちいずれか一項に記載の飛行体。 - 前記処理部は、
前記飛行体の移動中に、前記複数の撮像位置のそれぞれについて、前記取得された撮像に用いる撮像装置に関する情報により特定された撮像装置を用いて撮像する、
請求項24~30のうちいずれか一項に記載の飛行体。 - 前記処理部は、
前記複数の撮像位置において撮像された画像を、情報処理装置に送信する、
請求項24~31のうちいずれか一項に記載の飛行体。 - コンピュータであるモバイルプラットフォームに、
複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、
前記複数の撮像装置の中から、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと
前記複数の撮像位置に関する情報と、それぞれの撮像位置について前記選択された撮像装置に関する情報とを前記飛行体に送信するステップと、を実行させ、
前記撮像装置を選択するステップは、
それぞれの撮像位置について、
当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択するステップを含む、
プログラム。 - コンピュータであるモバイルプラットフォームに、
複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、
前記複数の撮像装置の中から、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと、
前記複数の撮像位置に関する情報と、それぞれの撮像位置について前記選択された撮像装置に関する情報とを前記飛行体に送信するステップと、を実行させ、
前記撮像装置を選択するステップは、
それぞれの撮像位置について、
当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択するステップを含む、プログラムを格納する、
記憶媒体。 - コンピュータである、複数の撮像装置を有する飛行体に、
前記飛行体の複数の撮像位置に関する情報を取得するステップと、
前記複数の撮像装置の中から選択された、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得するステップと、
前記複数の撮像位置のそれぞれについて、取得された前記撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像するステップと、を実行させ、
前記撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報である、
プログラム。 - コンピュータである複数の撮像装置を有する飛行体に、
前記飛行体の複数の撮像位置に関する情報を取得するステップと、
前記複数の撮像装置の中から選択された、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得するステップと、
前記複数の撮像位置のそれぞれについて、取得された前記撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像するステップと、を実行させ、
前記撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報である、プログラムを格納する、
記憶媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/010515 WO2018167893A1 (ja) | 2017-03-15 | 2017-03-15 | 形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体 |
CN201780088336.XA CN110402453A (zh) | 2017-03-15 | 2017-03-15 | 形状生成方法、图像获取方法、移动平台、飞行体、程序以及记录介质 |
JP2019505602A JP6997170B2 (ja) | 2017-03-15 | 2017-03-15 | 形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体 |
JP2021139432A JP2022002391A (ja) | 2017-03-15 | 2021-08-27 | 形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/010515 WO2018167893A1 (ja) | 2017-03-15 | 2017-03-15 | 形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018167893A1 true WO2018167893A1 (ja) | 2018-09-20 |
Family
ID=63522886
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/010515 WO2018167893A1 (ja) | 2017-03-15 | 2017-03-15 | 形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体 |
Country Status (3)
Country | Link |
---|---|
JP (2) | JP6997170B2 (ja) |
CN (1) | CN110402453A (ja) |
WO (1) | WO2018167893A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016119693A (ja) * | 2016-02-02 | 2016-06-30 | 株式会社ソニー・インタラクティブエンタテインメント | 画像撮像装置および画像撮像方法 |
WO2016106715A1 (en) * | 2014-12-31 | 2016-07-07 | SZ DJI Technology Co., Ltd. | Selective processing of sensor data |
-
2017
- 2017-03-15 JP JP2019505602A patent/JP6997170B2/ja active Active
- 2017-03-15 CN CN201780088336.XA patent/CN110402453A/zh not_active Withdrawn
- 2017-03-15 WO PCT/JP2017/010515 patent/WO2018167893A1/ja active Application Filing
-
2021
- 2021-08-27 JP JP2021139432A patent/JP2022002391A/ja not_active Withdrawn
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016106715A1 (en) * | 2014-12-31 | 2016-07-07 | SZ DJI Technology Co., Ltd. | Selective processing of sensor data |
JP2016119693A (ja) * | 2016-02-02 | 2016-06-30 | 株式会社ソニー・インタラクティブエンタテインメント | 画像撮像装置および画像撮像方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110402453A (zh) | 2019-11-01 |
JPWO2018167893A1 (ja) | 2020-01-16 |
JP6997170B2 (ja) | 2022-01-17 |
JP2022002391A (ja) | 2022-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11377211B2 (en) | Flight path generation method, flight path generation system, flight vehicle, program, and storage medium | |
JP6878567B2 (ja) | 3次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体 | |
US20190318636A1 (en) | Flight route display method, mobile platform, flight system, recording medium and program | |
JP6765512B2 (ja) | 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体 | |
JP7251474B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム | |
JP6688901B2 (ja) | 3次元形状推定方法、3次元形状推定システム、飛行体、プログラム、及び記録媒体 | |
JP6862477B2 (ja) | 位置処理装置、飛行体、位置処理システム、飛行システム、位置処理方法、飛行制御方法、プログラム、及び記録媒体 | |
WO2018150492A1 (ja) | 画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体 | |
WO2019183809A1 (zh) | 控制方法与装置、云台系统、无人机和计算机可读存储介质 | |
WO2022188151A1 (zh) | 影像拍摄方法、控制装置、可移动平台和计算机存储介质 | |
JP6949930B2 (ja) | 制御装置、移動体および制御方法 | |
WO2018167893A1 (ja) | 形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体 | |
JP6878375B2 (ja) | 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体 | |
JP6329219B2 (ja) | 操作端末、及び移動体 | |
JP7081198B2 (ja) | 撮影システム及び撮影制御装置 | |
CN110785724B (zh) | 发送器、飞行体、飞行控制指示方法、飞行控制方法、程序及存储介质 | |
JP6856670B2 (ja) | 飛行体、動作制御方法、動作制御システム、プログラム及び記録媒体 | |
JP2024021143A (ja) | 3次元データ生成システム、及び3次元データ生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17900388 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019505602 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17900388 Country of ref document: EP Kind code of ref document: A1 |