+

WO2018150492A1 - 画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体 - Google Patents

画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体 Download PDF

Info

Publication number
WO2018150492A1
WO2018150492A1 PCT/JP2017/005561 JP2017005561W WO2018150492A1 WO 2018150492 A1 WO2018150492 A1 WO 2018150492A1 JP 2017005561 W JP2017005561 W JP 2017005561W WO 2018150492 A1 WO2018150492 A1 WO 2018150492A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
aerial
imaging
unmanned aircraft
Prior art date
Application number
PCT/JP2017/005561
Other languages
English (en)
French (fr)
Inventor
川口 貴義
Original Assignee
エスゼット ディージェイアイ テクノロジー カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エスゼット ディージェイアイ テクノロジー カンパニー リミテッド filed Critical エスゼット ディージェイアイ テクノロジー カンパニー リミテッド
Priority to JP2019500091A priority Critical patent/JP6788094B2/ja
Priority to CN201780085769.XA priority patent/CN110249625A/zh
Priority to PCT/JP2017/005561 priority patent/WO2018150492A1/ja
Publication of WO2018150492A1 publication Critical patent/WO2018150492A1/ja
Priority to US16/539,324 priority patent/US11082639B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/14Flying platforms with four distinct rotor axes, e.g. quadcopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls

Definitions

  • the present disclosure relates to an image display method and an image display system for displaying an image based on an aerial image captured by a flying object.
  • the present disclosure relates to an aircraft that processes aerial images.
  • the present disclosure relates to a program and a recording medium that process an aerial image captured by a flying object.
  • a system for displaying a position where a person, vehicle, drone, etc. are located on a map image prepared in advance is known.
  • this display system there is known an aerial image distribution system that displays an aerial image and an image in which the position of the drone and the position of the ground station are superimposed on a map image (see Patent Document 1). .
  • This aerial video distribution system can also display the position coordinates of the drone superimposed on the map image.
  • the operator of the operating device may display an aerial image on the display and perform a flight operation while confirming the aerial image displayed on the display.
  • the position of the drone is not superimposed on the aerial image. Therefore, it is difficult to recognize which position the drone is flying from the aerial image. Therefore, it is difficult for the operator of the operating device to fly the drone to a desired position while confirming the aerial image through the operating device.
  • a map image needs to be prepared in advance.
  • an aerial image captured by the drone in real time does not display which position the drone is flying. Therefore, when the map image prepared in advance is not confirmed, it is difficult to recognize which position the drone is flying.
  • the image display method is an image display method in an image display system that displays an image based on an aerial image captured by a flying object, and is captured during the flight of the flying object to obtain an aerial image.
  • a step of acquiring a first image based on an aerial image, a step of acquiring information on an image position of a flying object corresponding to a horizontal position of the flying object in the first image, and a first image And a step of superimposing information on the flying object on the image position to generate a second image, and a step of displaying the second image.
  • the information regarding the flying object may include information indicating the flying object.
  • the image display method may further include a step of acquiring information on the orientation of the flying object.
  • the information regarding the flying object may include information on the orientation of the flying object.
  • the image display method may further include a step of acquiring information on an imaging direction of an imaging unit included in the flying object.
  • the information regarding the flying object may include information on the imaging direction.
  • the image display method may further include a step of acquiring information on the flight direction of the flying object.
  • the information related to the flying object may include flight direction information.
  • the image display method may further include a step of acquiring information on the inclination of the imaging unit included in the flying object with respect to the direction of gravity.
  • the step of acquiring image position information may include the step of acquiring the image position based on the tilt of the imaging unit.
  • the image display method may further include a step of acquiring information on the angle of view of the imaging unit.
  • the step of acquiring image position information may include the step of acquiring image position information based on the tilt of the imaging unit and the angle of view of the imaging unit.
  • the image display method includes a step of adding information on an imaging position at the time of imaging an aerial image and information on an inclination of an imaging unit included in an aircraft at the time of imaging an aerial image to the aerial image, Storing a plurality of added aerial images in the storage unit.
  • the image display method may further include a step of acquiring position information of the flying object.
  • the step of acquiring the first image includes a step of acquiring a plurality of aerial images stored in the storage unit based on the position information of the flying object, and a step of acquiring the first image based on the plurality of aerial images. Generating.
  • the image display method may further include a step of acquiring information on the inclination of the imaging unit included in the flying object with respect to the direction of gravity.
  • the step of acquiring the first image may include a step of generating a first image in which the direction of gravity is a normal direction based on at least one aerial image and information on the tilt of the imaging unit.
  • the image display system may include a plurality of flying objects.
  • the step of acquiring image position information may include the step of acquiring image position information of each of the plurality of flying objects in the first image.
  • the step of generating the second image may include the step of superimposing information relating to each of the plurality of flying objects on the image position of each of the plurality of flying objects in the first image to generate the second image. .
  • the step of acquiring an aerial image may include a step of acquiring an aerial image captured by an imaging unit included in at least one flying object.
  • Obtaining image position information may include obtaining image position information of each of the plurality of flying objects in the first image based on relative position information of the plurality of flying objects.
  • the step of acquiring the aerial image may include the step of acquiring a plurality of aerial images captured by each of the plurality of flying objects.
  • the step of acquiring the first image may include a step of generating a composite image by combining a plurality of aerial images and a step of generating a first image based on the composite image.
  • the image display method may further include a step of acquiring position information of each of the plurality of flying objects.
  • Obtaining image position information may include obtaining image position information of each of the plurality of flying objects in the first image based on position information of each of the plurality of flying objects.
  • the image display method includes an imaging unit provided in an aerial image captured by each of a plurality of flying objects, information on an imaging position at the time of imaging the aerial image, and an aircraft that images the image at the time of imaging the aerial image And a step of accumulating a plurality of aerial images to which the information is added in an accumulating unit included in the display device that displays the second image.
  • the image display method includes an aerial image captured by each of a plurality of flying objects, information on an imaging position at the time of capturing the aerial image, and a flying object that captures the aerial image at the time of capturing the aerial image. There may be further included a step of adding information on the inclination of the imaging unit, and a step of accumulating a plurality of aerial images to which the information is added in a storage unit provided in the image server.
  • the image display system is an image display system that displays an image based on an aerial image captured by the flying object, the imaging unit capturing an image during flight of the flying object and obtaining an aerial image, A first acquisition unit that acquires a first image based on an aerial image; a second acquisition unit that acquires information on the image position of the flying object corresponding to the horizontal position of the flying object in the first image; And a generation unit that superimposes information on the flying object at the image position in the first image and generates a second image, and a display unit that displays the second image.
  • the information regarding the flying object may include information indicating the presence of the flying object.
  • the image display system may further include a third acquisition unit that acquires information on the orientation of the flying object.
  • the information regarding the flying object may include information on the orientation of the flying object.
  • the image display system may further include a fourth acquisition unit that acquires information on the imaging direction of the imaging unit.
  • the information regarding the flying object may include information on the imaging direction.
  • the image display system may further include a fifth acquisition unit that acquires information on the flight direction of the flying object.
  • the information related to the flying object may include flight direction information.
  • the image display system may further include a sixth acquisition unit that acquires information on the inclination of the imaging unit with respect to the direction of gravity.
  • the second acquisition unit may acquire the image position based on the inclination of the imaging unit.
  • the image display system may further include a seventh acquisition unit that acquires information on the angle of view of the imaging unit.
  • the second acquisition unit may acquire image position information based on the tilt of the imaging unit and the angle of view of the imaging unit.
  • an information is added to an aerial image
  • an addition unit that adds information on an imaging position at the time of imaging the aerial image and information on an inclination of the imaging unit at the time of imaging the aerial image.
  • a storage unit that stores a plurality of aerial images.
  • the image display system may further include an eighth acquisition unit that acquires position information of the flying object.
  • the first acquisition unit may acquire a plurality of aerial images stored in the storage unit based on the position information of the flying object, and generate a first image based on the plurality of aerial images.
  • the image display system may further include a sixth acquisition unit that acquires information on the inclination of the imaging unit with respect to the direction of gravity.
  • the first acquisition unit may generate a first image in which the direction of gravity is a normal direction based on at least one aerial image and information on the tilt of the imaging unit.
  • the imaging unit may be installed in the casing of the flying object.
  • the imaging unit may be installed on a support member that rotatably supports the imaging unit of the flying object.
  • the image display system may include a plurality of flying objects.
  • the second acquisition unit may acquire information on the image positions of each of the plurality of flying objects in the first image.
  • the generation unit may generate the second image by superimposing information on each of the plurality of flying objects at each image position of the plurality of flying objects in the first image.
  • the image display system may further include a ninth acquisition unit that acquires relative position information of the plurality of flying objects.
  • At least one flying object included in the plurality of flying objects may include an imaging unit.
  • the second acquisition unit may acquire information on the image positions of each of the plurality of flying objects in the first image based on the relative position information of the plurality of flying objects.
  • Each of the plurality of flying bodies may include an imaging unit.
  • Each of the imaging units may acquire each of a plurality of aerial images.
  • the first acquisition unit may generate a composite image by combining a plurality of aerial images and generate a first image based on the composite image.
  • Each of the plurality of flying objects may include an eighth acquisition unit that acquires position information of each of the flying objects.
  • the 2nd acquisition part may acquire the information on the image position of each of a plurality of flying objects in the 1st image based on the position information on each of a plurality of flying objects.
  • the image display system may further include a display device including a display unit.
  • Each of the plurality of flying objects includes an imaging unit, an aerial image captured by the imaging unit, information on an imaging position at the time of imaging the aerial image, and information on an inclination of the imaging unit at the time of imaging the aerial image.
  • the display device may include an accumulation unit that accumulates a plurality of aerial images to which information is added.
  • the image display system may further include an image server.
  • Each of the plurality of flying objects includes an imaging unit, an aerial image captured by the imaging unit, information on an imaging position at the time of imaging the aerial image, and information on an inclination of the imaging unit at the time of imaging the aerial image.
  • an adding unit for adding The image server may include an accumulation unit that accumulates a plurality of aerial images to which the description information is added.
  • the flying object is a flying object that processes an aerial image, and captures an image during flight of the flying object to obtain an aerial image, and obtains a first image based on the aerial image.
  • a generation unit that superimposes information and generates a second image, and an output unit that outputs the second image are provided.
  • a program captures an aerial image to a flying object that processes an aerial image, obtains an aerial image, obtains a first image based on the aerial image, Obtaining information on the image position of the flying object corresponding to the horizontal position of the flying object in one image, and superimposing information on the flying object on the image position in the first image to generate a second image;
  • the recording medium captures a flying object for processing an aerial image during the flight of the flying object to obtain an aerial image, and obtains a first image based on the aerial image; Obtaining information on the image position of the flying object corresponding to the horizontal position of the flying object in the first image, and superimposing information on the flying object on the image position in the first image to generate a second image And a step of outputting a second image.
  • a computer-readable recording medium having recorded thereon a program for executing the program.
  • a figure showing an example of the appearance of an unmanned aerial vehicle The figure which shows an example of the concrete appearance of an unmanned aerial vehicle
  • the block diagram which shows an example of the hardware constitutions of the unmanned aircraft in 1st Embodiment The block diagram which shows an example of a function structure of the unmanned aerial vehicle in 1st Embodiment
  • the perspective view which shows an example of the external appearance of a transmitter and a portable terminal The block diagram which shows an example of the hardware constitutions of the transmitter in 1st Embodiment.
  • the block diagram which shows an example of the hardware constitutions of the portable terminal in 1st Embodiment The block diagram which shows an example of a function structure of the portable terminal in 1st Embodiment
  • the perspective view which shows the 1st installation example of the imaging device as an operation camera The perspective view which shows the 2nd example of installation of the imaging device as an operation camera
  • the figure for demonstrating the 1st example of the image position of an unmanned aerial vehicle The figure for demonstrating the 2nd example of the image position of an unmanned aerial vehicle
  • the block diagram which shows the function structure of the modification of a portable terminal The schematic diagram which shows the structural example of the flight
  • the block diagram which shows an example of the hardware constitutions of the unmanned aircraft in 2nd Embodiment The block diagram which shows an example of a function structure of the unmanned aerial vehicle in 2nd Embodiment
  • the block diagram which shows an example of a function structure of the portable terminal in 2nd Embodiment Schematic diagram showing an example of a superimposed image in which information on a plurality of unmanned aircraft is superimposed
  • the block diagram which shows an example of the hardware constitutions of the portable terminal in 3rd Embodiment The block diagram which shows an example of a function structure of the portable terminal in 3rd Embodiment
  • the block diagram which shows an example of the hardware constitutions of the image server in 4th Embodiment The block diagram which shows an example of a function structure of the image server in 4th Embodiment
  • an unmanned aerial vehicle (UAV: Unmanned Aerial Vehicle) is exemplified as a flying object.
  • the flying object includes an aircraft moving in the air.
  • the unmanned aerial vehicle is represented as “UAV”.
  • a flight system is illustrated as an image display system.
  • the image display method defines an operation in the image display system.
  • the recording medium records a program (for example, a program that causes the flight system to execute various processes).
  • FIG. 1 is a schematic diagram illustrating a configuration example of a flight system 10 according to the first embodiment.
  • the flight system 10 includes an unmanned aircraft 100, a transmitter 50, and a portable terminal 80.
  • the unmanned aircraft 100, the transmitter 50, and the portable terminal 80 can communicate with each other by wired communication or wireless communication (for example, a wireless local area network (LAN)).
  • LAN wireless local area network
  • FIG. 2 is a diagram illustrating an example of the appearance of the unmanned aerial vehicle 100.
  • FIG. 3 is a diagram illustrating an example of a specific appearance of the unmanned aerial vehicle 100. A side view when the unmanned aircraft 100 flies in the moving direction STV0 is shown in FIG. 2, and a perspective view when the unmanned aircraft 100 flies in the moving direction STV0 is shown in FIG.
  • a roll axis (see x-axis) is defined in a direction parallel to the ground and along the moving direction STV0.
  • a pitch axis (see y-axis) is defined in a direction parallel to the ground and perpendicular to the roll axis, and further, a yaw axis (z-axis) in a direction perpendicular to the ground and perpendicular to the roll axis and the pitch axis. See).
  • the unmanned aerial vehicle 100 includes a UAV main body 102, a gimbal 200, an imaging device 220, and a plurality of imaging devices 230.
  • the unmanned aerial vehicle 100 may further include an imaging device 235 (see FIGS. 10A and 10B).
  • the UAV main body 102 is an example of a housing of the unmanned aircraft 100.
  • the imaging devices 220, 230, and 235 are examples of an imaging unit.
  • the gimbal 200 is an example of a support member.
  • the UAV main body 102 includes a plurality of rotor blades (propellers).
  • the UAV main body 102 causes the unmanned aircraft 100 to fly by controlling the rotation of a plurality of rotor blades.
  • the UAV main body 102 causes the unmanned aircraft 100 to fly using, for example, four rotary wings.
  • the number of rotor blades is not limited to four.
  • Unmanned aerial vehicle 100 may also be a fixed wing aircraft that does not have rotating wings.
  • the imaging device 220 is an imaging camera that captures a subject included in a desired imaging range (for example, an aerial subject, a landscape such as a mountain or a river, a building on the ground).
  • a desired imaging range for example, an aerial subject, a landscape such as a mountain or a river, a building on the ground.
  • the plurality of imaging devices 230 are sensing cameras that image the surroundings of the unmanned aircraft 100 in order to control the flight of the unmanned aircraft 100.
  • the two imaging devices 230 may be provided on the front surface that is the nose of the unmanned aircraft 100.
  • the other two imaging devices 230 may be provided on the bottom surface of the unmanned aircraft 100.
  • the two imaging devices 230 on the front side may be paired and function as a so-called stereo camera.
  • the two imaging devices 230 on the bottom side may also be paired and function as a stereo camera.
  • Three-dimensional spatial data around the unmanned aerial vehicle 100 may be generated based on images captured by the plurality of imaging devices 230. Note that the number of imaging devices 230 included in the unmanned aerial vehicle 100 is not limited to four.
  • the unmanned aircraft 100 only needs to include at least one imaging device 230.
  • the unmanned aerial vehicle 100 may include at least one imaging device 230 on each of the nose, tail, side, bottom, and ceiling of the unmanned aircraft 100.
  • the angle of view that can be set by the imaging device 230 may be wider than the angle of view that can be set by the imaging device 220.
  • the imaging device 230 may have a single focus lens or a fisheye lens.
  • FIG. 4 is a block diagram showing an example of the hardware configuration of the unmanned aerial vehicle 100.
  • the unmanned aerial vehicle 100 includes a UAV control unit 110, a communication interface 150, a memory 160, a storage 170, a gimbal 200, a rotary wing mechanism 210, an imaging device 220, an imaging device 230, a GPS receiver 240, An inertial measurement device (IMU: Inertial Measurement Unit) 250, a magnetic compass 260, a barometric altimeter 270, an ultrasonic sensor 280, and a laser measuring instrument 290 are included.
  • the communication interface 150 is an example of an output unit.
  • the UAV control unit 110 is configured using, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a DSP (Digital Signal Processor).
  • the UAV control unit 110 performs signal processing for overall control of operations of each unit of the unmanned aircraft 100, data input / output processing with respect to other units, data calculation processing, and data storage processing.
  • the UAV control unit 110 controls the flight of the unmanned aircraft 100 according to a program stored in the memory 160.
  • UAV control unit 110 controls the flight of unmanned aerial vehicle 100 in accordance with instructions received from remote transmitter 50 via communication interface 150.
  • Memory 160 may be removable from unmanned aerial vehicle 100.
  • the UAV control unit 110 may specify the environment around the unmanned aircraft 100 by analyzing a plurality of images captured by the plurality of imaging devices 230.
  • the UAV control unit 110 controls the flight based on the environment around the unmanned aircraft 100 while avoiding obstacles, for example.
  • the UAV control unit 110 acquires date / time information indicating the current date / time.
  • the UAV control unit 110 may acquire date / time information indicating the current date / time from the GPS receiver 240.
  • the UAV control unit 110 may acquire date / time information indicating the current date / time from a timer (not shown) mounted on the unmanned aircraft 100.
  • the UAV control unit 110 acquires position information indicating the position of the unmanned aircraft 100.
  • the UAV control unit 110 may acquire position information indicating the latitude, longitude, and altitude at which the unmanned aircraft 100 exists from the GPS receiver 240.
  • the UAV control unit 110 acquires, from the GPS receiver 240, latitude / longitude information indicating the latitude and longitude where the unmanned aircraft 100 exists, and altitude information indicating the altitude where the unmanned aircraft 100 exists from the barometric altimeter 270, as position information.
  • the UAV control unit 110 may acquire the distance between the ultrasonic emission point and the ultrasonic reflection point by the ultrasonic sensor 280 as altitude information.
  • the UAV control unit 110 acquires orientation information indicating the orientation of the unmanned aircraft 100 from the magnetic compass 260.
  • direction information for example, a direction corresponding to the nose direction of the unmanned aircraft 100 is indicated.
  • the UAV control unit 110 may acquire position information indicating a position where the unmanned aircraft 100 should be present when the imaging device 220 captures an imaging range to be imaged.
  • the UAV control unit 110 may acquire position information indicating the position where the unmanned aircraft 100 should be present from the memory 160.
  • the UAV control unit 110 may acquire position information indicating the position where the unmanned aircraft 100 should exist from another device such as the transmitter 50 via the communication interface 150.
  • the UAV control unit 110 refers to the 3D map database, specifies a position where the unmanned aircraft 100 can exist in order to capture an imaging range to be imaged, and sets the position where the unmanned aircraft 100 should exist. May be acquired as position information indicating.
  • the UAV control unit 110 acquires imaging information indicating the imaging ranges of the imaging device 220 and the imaging device 230.
  • the UAV control unit 110 acquires angle-of-view information indicating the angle of view of the imaging device 220 and the imaging device 230 from the imaging device 220 and the imaging device 230 as parameters for specifying the imaging range.
  • the UAV control unit 110 acquires information indicating the imaging direction of the imaging device 220 and the imaging device 230 as a parameter for specifying the imaging range.
  • the UAV control unit 110 acquires posture information indicating the posture state of the imaging device 220 from the gimbal 200 as information indicating the imaging direction of the imaging device 220, for example.
  • the UAV control unit 110 acquires information indicating the direction of the unmanned aircraft 100.
  • Information indicating the posture state of the imaging device 220 indicates a rotation angle from the reference rotation angle of the pitch axis and yaw axis of the gimbal 200.
  • the UAV control unit 110 acquires position information indicating a position where the unmanned aircraft 100 exists as a parameter for specifying the imaging range.
  • the UAV control unit 110 defines an imaging range indicating a geographical range captured by the imaging device 220 based on the angle of view and the imaging direction of the imaging device 220 and the imaging device 230, and the position where the unmanned aircraft 100 exists.
  • the imaging information may be acquired by generating imaging information indicating the imaging range.
  • the UAV control unit 110 may acquire imaging information indicating an imaging range to be imaged by the imaging device 220.
  • the UAV control unit 110 may acquire imaging information to be imaged by the imaging device 220 from the memory 160.
  • the UAV control unit 110 may acquire imaging information to be imaged by the imaging device 220 from another device such as the transmitter 50 via the communication interface 150.
  • the UAV control unit 110 may acquire three-dimensional information (three-dimensional information) indicating the three-dimensional shape (three-dimensional shape) of an object existing around the unmanned aircraft 100.
  • the object is a part of a landscape such as a building, a road, a car, and a tree.
  • the three-dimensional information is, for example, three-dimensional space data.
  • the UAV control unit 110 may acquire the three-dimensional information by generating the three-dimensional information indicating the three-dimensional shape of the object existing around the unmanned aircraft 100 from each image obtained from the plurality of imaging devices 230.
  • the UAV control unit 110 may acquire the three-dimensional information indicating the three-dimensional shape of the object existing around the unmanned aircraft 100 by referring to the three-dimensional map database stored in the memory 160.
  • the UAV control unit 110 may acquire three-dimensional information related to the three-dimensional shape of an object existing around the unmanned aircraft 100 by referring to a three-dimensional map database managed by a server existing on the network.
  • the UAV control unit 110 acquires image data captured by the imaging device 220 and the imaging device 230.
  • the UAV control unit 110 controls the gimbal 200, the rotary blade mechanism 210, the imaging device 220, and the imaging device 230.
  • the UAV control unit 110 controls the imaging range of the imaging device 220 by changing the imaging direction or angle of view of the imaging device 220.
  • the UAV control unit 110 controls the imaging range of the imaging device 220 supported by the gimbal 200 by controlling the rotation mechanism of the gimbal 200.
  • the imaging range refers to a geographical range captured by the imaging device 220 or the imaging device 230.
  • the imaging range is defined by latitude, longitude, and altitude.
  • the imaging range may be a range in three-dimensional spatial data defined by latitude, longitude, and altitude.
  • the imaging range is specified based on the angle of view and imaging direction of the imaging device 220 or the imaging device 230, and the position where the unmanned aircraft 100 is present.
  • the imaging directions of the imaging device 220 and the imaging device 230 are defined from the azimuth and the depression angle in which the front surface where the imaging lenses of the imaging device 220 and the imaging device 230 are provided is directed.
  • the imaging direction of the imaging device 220 is a direction specified from the heading direction of the unmanned aerial vehicle 100 and the posture state of the imaging device 220 with respect to the gimbal 200.
  • the imaging direction of the imaging device 230 is a direction specified from the heading of the unmanned aerial vehicle 100 and the position where the imaging device 230 is provided.
  • the UAV control unit 110 controls the flight of the unmanned aircraft 100 by controlling the rotary wing mechanism 210. That is, the UAV control unit 110 controls the position including the latitude, longitude, and altitude of the unmanned aircraft 100 by controlling the rotary wing mechanism 210.
  • the UAV control unit 110 may control the imaging ranges of the imaging device 220 and the imaging device 230 by controlling the flight of the unmanned aircraft 100.
  • the UAV control unit 110 may control the angle of view of the imaging device 220 by controlling a zoom lens included in the imaging device 220.
  • the UAV control unit 110 may control the angle of view of the imaging device 220 by digital zoom using the digital zoom function of the imaging device 220.
  • the UAV control unit 110 moves the unmanned aircraft 100 to a specific position at a specific date and time to perform desired imaging under a desired environment.
  • the range can be imaged by the imaging device 220.
  • the UAV control unit 110 moves the unmanned aircraft 100 to a specific position at the specified date and time to In this environment, the imaging device 220 can capture a desired imaging range.
  • the communication interface 150 communicates with the transmitter 50.
  • the communication interface 150 receives various commands and information for the UAV control unit 110 from the remote transmitter 50.
  • the memory 160 includes a gimbal 200, a rotating blade mechanism 210, an imaging device 220, an imaging device 230, a GPS receiver 240, an inertial measurement device 250, a magnetic compass 260, a barometric altimeter 270, an ultrasonic sensor 280, and a laser. A program and the like necessary for controlling the measuring device 290 are stored.
  • the memory 160 may be a computer-readable recording medium, such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), and It may include at least one flash memory such as a USB memory.
  • the memory 160 may be provided inside the UAV main body 102. It may be provided so as to be removable from the UAV main body 102.
  • the storage 170 accumulates and holds various data and information.
  • the storage 170 may include an image DB (DataBase) 171.
  • the storage 170 may be an HDD (Hard Disk Drive), an SSD (Solid State Drive), an SD card, a USB memory, or the like.
  • the storage 170 may be provided inside the UAV main body 102.
  • the storage 170 may be provided so as to be removable from the UAV main body 102.
  • the image DB 171 may accumulate and hold aerial images captured by the imaging devices 220 and 235 (220 or 235).
  • the image DB 171 may send at least a part of the accumulated aerial images to the UAV control unit 110 in response to a request from the UAV control unit 110.
  • the image DB 171 may store and hold a processed image obtained by processing an aerial image.
  • the image DB 171 may store and hold information relating to the aerial image or the processed image added to the aerial image or the processed image.
  • the image DB 171 is an example of a storage unit.
  • the gimbal 200 supports the imaging device 220 to be rotatable about at least one axis.
  • the gimbal 200 may support the imaging device 220 rotatably about the yaw axis, pitch axis, and roll axis.
  • the gimbal 200 may change the imaging direction of the imaging device 220 by rotating the imaging device 220 about at least one of the yaw axis, the pitch axis, and the roll axis.
  • the rotary blade mechanism 210 includes a plurality of rotary blades 211, a plurality of drive motors 212 that rotate the plurality of rotary blades 211, and a current sensor that measures a current value (actual value) of a drive current for driving the drive motor 212. 213.
  • the drive current is supplied to the drive motor 212.
  • the imaging device 220 captures a subject within a desired imaging range and generates captured image data.
  • Image data obtained by imaging by the imaging device 220 is stored in a memory included in the imaging device 220 or the memory 160.
  • the imaging device 230 captures the surroundings of the unmanned aircraft 100 and generates captured image data. Image data of the imaging device 230 is stored in the memory 160.
  • the imaging device 235 captures the surroundings of the unmanned aircraft 100 (for example, the ground direction) and generates captured image data. Image data of the imaging device 235 is stored in the memory 160.
  • the GPS receiver 240 receives a plurality of signals indicating times and positions (coordinates) of each GPS satellite transmitted from a plurality of navigation satellites (that is, GPS satellites).
  • the GPS receiver 240 calculates the position of the GPS receiver 240 (that is, the position of the unmanned aircraft 100) based on the plurality of received signals.
  • the GPS receiver 240 outputs the position information of the unmanned aircraft 100 to the UAV control unit 110.
  • the calculation of the position information of the GPS receiver 240 may be performed by the UAV control unit 110 instead of the GPS receiver 240. In this case, the UAV control unit 110 receives information indicating the time and the position of each GPS satellite included in a plurality of signals received by the GPS receiver 240.
  • the inertial measurement device 250 detects the attitude of the unmanned aircraft 100 and outputs the detection result to the UAV control unit 110.
  • the inertial measurement device IMU 250 detects the acceleration of the unmanned aircraft 100 in the three axial directions of the front, rear, left and right, and the angular velocity in the three axial directions of the pitch axis, the roll axis, and the yaw axis. .
  • the magnetic compass 260 detects the heading of the unmanned aircraft 100 and outputs the detection result to the UAV control unit 110.
  • the barometric altimeter 270 detects the altitude at which the unmanned aircraft 100 flies and outputs the detection result to the UAV control unit 110.
  • Ultrasonic sensor 280 emits ultrasonic waves, detects ultrasonic waves reflected by the ground and objects, and outputs detection results to UAV control unit 110.
  • the detection result may indicate a distance from the unmanned aircraft 100 to the ground, that is, an altitude.
  • the detection result may indicate the distance from the unmanned aerial vehicle 100 to the object.
  • Laser measuring device 290 irradiates an object with laser light, receives reflected light reflected by the object, and measures the distance between unmanned aircraft 100 and the object using the reflected light.
  • the distance measurement method using laser light may be a time-of-flight method.
  • FIG. 5 is a block diagram showing an example of the functional configuration of the unmanned aerial vehicle 100.
  • the UAV control unit 110 includes a flight information acquisition unit 111, an imaging information acquisition unit 112, a first image acquisition unit 113, and an information addition unit 114.
  • the flight information acquisition unit 111 is an example of a third acquisition unit, a fifth acquisition unit, and an eighth acquisition unit.
  • the imaging information acquisition unit 112 is an example of a fourth acquisition unit, a sixth acquisition unit, and a seventh acquisition unit.
  • the first image acquisition unit 113 is an example of a first acquisition unit.
  • the information adding unit 114 is an example of an adding unit.
  • the flight information acquisition unit 111 acquires information related to the flight of the unmanned aircraft 100.
  • the information related to the flight of the unmanned aircraft 100 may include position information on the flight of the unmanned aircraft 100, information on the orientation of the unmanned aircraft 100, and information on the flight direction of the unmanned aircraft 100.
  • the flight information acquisition unit 111 may acquire position information of the unmanned aircraft 100, that is, flight position information.
  • the flight information acquisition unit 111 may acquire position information (for example, latitude / longitude information, latitude / longitude / altitude information) from the GPS receiver 240.
  • the flight information acquisition unit 111 may acquire position information obtained by a device other than the GPS receiver 240.
  • the flight information acquisition unit 111 may acquire position information of the unmanned aircraft 100 by calculation or the like based on position information of an arbitrary reference position and position information relative to the reference position.
  • Flight information acquisition unit 111 may acquire information on the orientation of unmanned aerial vehicle 100.
  • the direction of the unmanned aerial vehicle 100 may coincide with the flight direction when the unmanned aircraft 100 moves forward.
  • the direction of the unmanned aerial vehicle 100 may be defined by a direction based on the arrangement position of a reference member in the unmanned aerial vehicle 100.
  • the orientation of the unmanned aerial vehicle 100 may be obtained via the magnetic compass 260.
  • Flight information acquisition unit 111 may acquire information on the flight direction of unmanned aerial vehicle 100.
  • the flight information acquisition unit 111 may acquire information on the flight direction of the unmanned aerial vehicle 100 based on a temporal change (for example, time differentiation) of position information of the unmanned aircraft 100. Specifically, the flight information acquisition unit 111 may set the direction in which the speed indicated by the time change is 0 or more as the flight direction.
  • the flight information acquisition unit 111 may acquire information on the flight direction of the unmanned aircraft 100 based on the speed information of the unmanned aircraft 100.
  • the flight information acquisition unit 111 may acquire information on the flight direction of the unmanned aircraft 100 based on the time integration of acceleration of the unmanned aircraft 100.
  • At least part of the information related to the flight of the unmanned aircraft 100 may be transmitted to the mobile terminal 80 via the communication interface 150.
  • the imaging information acquisition unit 112 acquires information related to imaging of the imaging devices 220 and 235.
  • the information regarding the imaging of the imaging devices 220 and 235 may include information on the imaging direction by the imaging devices 220 and 235, information on the inclination of the imaging devices 220 and 235, and information on the angle of view of the imaging devices 220 and 235.
  • the imaging information acquisition unit 112 may acquire information on the imaging direction of the imaging devices 220 and 235.
  • the imaging information acquisition unit 112 includes information on the imaging direction of the imaging device 220, information on the orientation of the unmanned aircraft 100, and orientation information indicating the state of the orientation of the imaging device 220 with respect to the unmanned aircraft 100 acquired from the gimbal 200. You may calculate and acquire based on.
  • the imaging information acquisition unit 112 calculates and acquires the information of the imaging direction by the imaging device 235 based on the orientation information of the unmanned aircraft 100 and the posture information indicating the posture state of the imaging device 235 with respect to the unmanned aircraft 100. You can do it.
  • the orientation information of the imaging device 235 relative to the unmanned aircraft 100 is known information when the imaging device 235 is fixedly installed on the UAV main body 102 and may be held in the memory in the imaging device 235 or the memory 160. .
  • Information on the attitude of the imaging device 235 relative to the unmanned aircraft 100 may be acquired from the gimbal 200 when the imaging device 235 is installed on the gimbal 200.
  • the imaging information acquisition unit 112 may acquire information on the inclination of the imaging devices 220 and 235 with respect to the direction of gravity.
  • the inclination of the imaging device 220 with respect to the direction of gravity is the inclination of the unmanned aircraft 100 with respect to the direction of gravity, that is, the attitude information of the unmanned aircraft 100 from the inertial measurement device 250 and the inclination of the imaging device 220 with respect to the unmanned aircraft 100, ie, from the gimbal 200. It may be obtained by calculation or the like based on the posture information of the imaging device 220.
  • the inclination of the imaging device 235 with respect to the direction of gravity may be obtained by calculation or the like based on the inclination of the unmanned aircraft 100 with respect to the direction of gravity and the inclination of the imaging device 235 with respect to the unmanned aircraft 100 (known as fixed installation).
  • the inclination of the imaging device 235 with respect to the direction of gravity may be obtained by calculation or the like based on the inclination of the unmanned aircraft 100 with respect to the direction of gravity and the inclination of the imaging device 235 with respect to the unmanned aircraft 100.
  • the tilt information of the imaging device 235 relative to the unmanned aircraft 100 is known information when the imaging device 235 is fixedly installed on the UAV main body 102 and may be held in the memory in the imaging device 235 or the memory 160. . Information on the tilt of the imaging device 235 relative to the unmanned aircraft 100 may be acquired from the gimbal 200 when the imaging device 235 is installed in the gimbal 200.
  • the imaging information acquisition unit 112 may acquire the angle of view information of the imaging devices 220 and 235 from the imaging devices 220 and 235.
  • At least a part of information related to imaging of the imaging devices 220 and 235 may be transmitted to the mobile terminal 80 via the communication interface 150.
  • the first image acquisition unit 113 acquires an aerial image captured by the imaging devices 220 and 235.
  • the first image acquisition unit 113 may generate a downward image based on the aerial image.
  • the downward image is an example of a first image. This downward image includes an image position corresponding to the horizontal position of the unmanned aerial vehicle 100 when the aerial image is captured.
  • the downward image may be an aerial image.
  • the first image acquisition unit 113 When the image range of the aerial image does not include an image position corresponding to the horizontal position of the unmanned aircraft 100 at the time of capturing the aerial image, the first image acquisition unit 113 generates a downward image based on the aerial image. May be generated.
  • the first image acquisition unit 113 may generate a downward image by performing projective transformation on the aerial image captured by the imaging devices 220 and 235 based on the inclination of the imaging devices 220 and 235. For example, when the normal direction with respect to the aerial image as the imaging direction of the imaging devices 220 and 235 at the time of aerial photography is inclined with respect to the gravity direction, the first image acquisition unit 113 determines that the normal direction is gravity. Projection transformation that approaches the direction may be performed to generate a downward image.
  • the downward image may be an image in which the direction of gravity is the normal direction. Projection transformation is an example of linear transformation, and other linear transformations may be performed.
  • the first image acquisition unit 113 may acquire any one of the aerial images stored in the image DB 171.
  • the first image acquisition unit 113 may generate a downward image by performing projective transformation on the acquired aerial image based on the inclination of the imaging devices 220 and 235 when the aerial image is aerial.
  • the first image acquisition unit 113 may acquire a specific aerial image among aerial images stored in the image DB 171 based on the current position information of the unmanned aircraft 100.
  • the first image acquisition unit 113 may acquire, from the image DB 171, an aerial image to which position information that matches position information indicating the position of the unmanned aircraft 100 at the time of aerial shooting is added. Even if the first image acquisition unit 113 does not coincide with the position information indicating the position of the unmanned aircraft 100 at the time of aerial photography, the first image acquisition unit 113 displays the aerial image to which the position information related to the position closest to this position is added to the image DB 171. You may get from.
  • the first image acquisition unit 113 is a real space corresponding to the image range of the aerial image captured by the imaging devices 220 and 235 based on the information on the tilt of the imaging devices 220 and 235 and the angle of view of the imaging devices 220 and 235.
  • Information for example, latitude and longitude ranges
  • the first image acquisition unit 113 may acquire information on the range of the real space by calculation or the like in consideration of altitude information of the unmanned aircraft 100 at the time of aerial shooting of the aerial image.
  • the first image acquisition unit 113 may acquire an aerial image in which the flight position indicated by the position information of the unmanned aircraft 100 is included in the image range from the image DB 171.
  • the first image acquisition unit 113 may acquire a plurality of specific aerial images among the aerial images stored in the image DB 171 based on the current position information of the unmanned aircraft 100.
  • the first image acquisition unit 113 may acquire, from the image DB 171, a plurality of aerial images to which position information that matches the position information indicating the position of the unmanned aircraft 100 during aerial shooting is added. Even if the first image acquisition unit 113 does not match the position information indicating the position of the unmanned aircraft 100 at the time of aerial photography, the position information (that is, the position information of the surroundings) whose distance from the position is within a predetermined distance.
  • a plurality of added aerial images may be acquired from the image DB 171.
  • the first image acquisition unit 113 may acquire a plurality of aerial images in which the flight position indicated by the position information of the unmanned aircraft 100 is included in the image range from the image DB 171.
  • the first image acquisition unit 113 may acquire all aerial images stored in the image DB 171.
  • the first image acquisition unit 113 is an aerial image with a small inclination of the imaging devices 220 and 235 when the aerial image is aerial. Images may be extracted and acquired with priority.
  • the unmanned aircraft 100 and the flight system 10 preferentially extract an aerial image whose normal direction is close to the direction of gravity, so the possibility that the position of the unmanned aircraft 100 is included in the image range increases.
  • An aerial image that expresses the direction well can be acquired.
  • the first image acquisition unit 113 prioritizes an aerial image to which position information ahead of the unmanned aircraft 100 in the flight direction is added among a plurality of aerial images to which peripheral position information accumulated in the image DB 171 is added. May be extracted and acquired. Thereby, since the unmanned aircraft 100 and the flight system 10 can obtain an aerial image including a direction in which the unmanned aircraft 100 is located in the future, it becomes easier for the operator to operate the unmanned aircraft 100 in the future.
  • the first image acquisition unit 113 may determine the number of aerial images extracted from the image DB 171 based on the speed information of the unmanned aircraft 100. For example, when the unmanned aerial vehicle 100 moves at high speed, the first image acquisition unit 113 can reduce the processing load and processing time for generating a composite image by reducing the number of extracted aerial images. Thus, the generation efficiency of the composite image can be improved, and the followability to high-speed movement can be improved. In addition, when the unmanned aerial vehicle 100 moves at a low speed, the first image acquisition unit 113 can improve the image quality of a composite image in a narrow range by increasing the number of extracted aerial images.
  • the first image acquisition unit 113 may acquire a plurality of aerial images included in the aerial images stored in the image DB 171 and combine the acquired aerial images to generate a combined image. For example, the first image acquisition unit 113 may generate a wide range of composite images by joining aerial images captured in the past. The first image acquisition unit 113 may generate a downward image by performing projective transformation on the composite image. The composite image may be acquired by adding a plurality of aerial images. The composite image may be obtained by averaging a plurality of aerial images. The composite image may be acquired by other methods based on a plurality of aerial images.
  • the first image acquisition unit 113 sets the image range of the aerial image to the same range with respect to the plurality of aerial images acquired from the image DB 171, and based on the plurality of aerial images having a unified image range.
  • a composite image may be generated. That is, the first image acquisition unit 113 may generate the composite image after setting the sizes of the plurality of aerial images acquired from the image DB 171 to the same size.
  • the first image acquisition unit 113 may generate a composite image by connecting a part of each of the plurality of aerial images acquired from the image DB 171.
  • the first image acquisition unit 113 may perform projective transformation on the generated composite image to generate a downward image.
  • the first image acquisition unit 113 may generate a composite image as one downward image based on the plurality of generated downward images.
  • At least a part of the aerial image and the downward image may be transmitted to the mobile terminal 80 via the communication interface 150.
  • the information adding unit 114 adds information about the aerial image as additional information (an example of metadata) to the aerial image captured by the imaging devices 220 and 235.
  • the information adding unit 114 sends the aerial image to which the additional information is added to the image DB 171 for accumulation.
  • the additional information may include information (for example, flight information) regarding the unmanned aircraft 100 at the time of aerial imaging of the aerial image and information (for example, imaging information) regarding the imaging devices 220 and 235.
  • the information adding unit 114 may add information on the imaging position at the time of capturing the aerial image and information on the tilt of the imaging devices 220 and 235 at the time of capturing the aerial image as additional information to the aerial image.
  • the information on the imaging position may be the position information of the unmanned aircraft 100 at the time of imaging the aerial image.
  • the information adding unit 114 adds real space range information (for example, latitude / longitude range information) corresponding to the image range of the aerial image to the aerial image as one of the additional information, and accumulates it in the image DB 171. You can do it.
  • the unmanned aerial vehicle 100 uses the position information of the unmanned aircraft 100 as the image of the aerial image even when the unmanned aircraft 100 that captured the aerial image is not located in the range of the real space corresponding to the image range of the aerial image.
  • An aerial image included in the real space range corresponding to the range can be acquired from the image DB 171.
  • the unmanned aircraft 100 preliminarily flies within the flight range scheduled for flight and accumulates aerial images to which position information within the flight range is added. Also good. Thereby, the probability that the aerial image associated with the flight position of the unmanned aircraft 100 is accumulated in the image DB 171 can be increased.
  • FIG. 6 is a perspective view showing an example of the appearance of the portable terminal 80 to which the transmitter 50 is attached.
  • a smartphone 80 ⁇ / b> S is illustrated as an example of the mobile terminal 80.
  • the up / down / front / rear and left / right directions with respect to the transmitter 50 are assumed to follow the directions of the arrows shown in FIG.
  • the transmitter 50 is used in a state of being held by both hands of a person using the transmitter 50 (hereinafter referred to as “operator”), for example.
  • the transmitter 50 includes, for example, a resin casing 50B having a substantially rectangular parallelepiped shape (in other words, a substantially box shape) having a substantially square bottom surface and a height shorter than one side of the bottom surface.
  • a left control rod 53L and a right control rod 53R are provided in a projecting manner at approximately the center of the housing surface of the transmitter 50.
  • the left control rod 53L and the right control rod 53R are operations (movement control) for remotely controlling the movement of the unmanned aircraft 100 by the operator (for example, forward / backward movement, left / right movement, up / down movement, direction change). Operation).
  • the left control rod 53L and the right control rod 53R show positions in an initial state where no external force is applied from both hands of the operator.
  • the left control rod 53L and the right control rod 53R automatically return to a predetermined position (for example, the initial position shown in FIG. 6) after the external force applied by the operator is released.
  • the power button B1 of the transmitter 50 is disposed on the front side (in other words, the operator side) of the left control rod 53L.
  • the power button B1 is pressed once by the operator, for example, the remaining capacity of the battery (not shown) built in the transmitter 50 is displayed in the remaining battery capacity display portion L2.
  • the power button B1 is pressed again by the operator, for example, the power of the transmitter 50 is turned on, and power is supplied to each part (see FIG. 7) of the transmitter 50 so that it can be used.
  • RTH (Return To Home) button B2 is arranged on the front side (in other words, the operator side) of the right control rod 53R.
  • the transmitter 50 transmits a signal for automatically returning the unmanned aircraft 100 to a predetermined position.
  • the transmitter 50 can automatically return the unmanned aircraft 100 to a predetermined position (for example, a take-off position stored in the unmanned aircraft 100).
  • the RTH button B2 is used when, for example, the operator loses sight of the fuselage of the unmanned aircraft 100 during aerial shooting with the unmanned aircraft 100 outdoors, or when it becomes impossible to operate due to radio interference or unexpected troubles. Is available.
  • the remote status display part L1 and the remaining battery capacity display part L2 are arranged on the front side (in other words, the operator side) of the power button B1 and the RTH button B2.
  • the remote status display unit L1 is configured using, for example, an LED (Light Emission Diode), and displays a wireless connection state between the transmitter 50 and the unmanned aircraft 100.
  • the battery remaining amount display unit L2 is configured using, for example, an LED, and displays the remaining amount of the capacity of a battery (not shown) built in the transmitter 50.
  • Two antennas AN1 and AN2 project from the rear side of the housing 50B of the transmitter 50 and rearward from the left control rod 53L and the right control rod 53R.
  • the antennas AN1 and AN2 are unmanned signals generated by the transmitter control unit 61 (that is, signals for controlling the movement of the unmanned aircraft 100) based on the operations of the left control rod 53L and the right control rod 53R by the operator. Transmit to aircraft 100. This signal is one of the operation input signals input by the transmitter 50.
  • the antennas AN1 and AN2 can cover a transmission / reception range of 2 km, for example.
  • the antennas AN ⁇ b> 1 and AN ⁇ b> 2 are used when images taken by the imaging devices 220 and 235 included in the unmanned aircraft 100 wirelessly connected to the transmitter 50 or various data acquired by the unmanned aircraft 100 are transmitted from the unmanned aircraft 100. In addition, these images or various data can be received.
  • the transmitter 50 does not include a display unit, but may include a display unit.
  • the portable terminal 80 may be mounted on the holder HLD.
  • the holder HLD may be bonded and attached to the transmitter 50. Thereby, the portable terminal 80 is attached to the transmitter 50 via the holder HLD.
  • the portable terminal 80 and the transmitter 50 may be connected via a wired cable (for example, a USB cable).
  • the portable terminal 80 may not be attached to the transmitter 50, and the portable terminal 80 and the transmitter 50 may be provided independently.
  • FIG. 7 is a block diagram illustrating an example of a hardware configuration of the transmitter 50.
  • the transmitter 50 includes a left control rod 53L, a right control rod 53R, a transmitter control unit 61, a wireless communication unit 63, an interface unit 65, a power button B1, an RTH button B2, and an operation unit set OPS.
  • the remote status display unit L1 the remaining battery level display unit L2, and the display unit DP.
  • the transmitter 50 is an example of an operating device that instructs control of the unmanned aircraft 100.
  • the left control rod 53L is used for an operation for remotely controlling the movement of the unmanned aircraft 100 by, for example, the left hand of the operator.
  • the right control rod 53R is used for an operation for remotely controlling the movement of the unmanned aircraft 100 by, for example, the operator's right hand.
  • the unmanned aircraft 100 may move forward, move backward, move left, move right, move up, move down, rotate the unmanned aircraft 100 left. Or a combination thereof, and so on.
  • the transmitter control unit 61 displays the remaining capacity of the battery (not shown) built in the transmitter 50 on the remaining battery amount display unit L2. Thus, the operator can easily check the remaining capacity of the battery capacity built in the transmitter 50.
  • the power button B1 is pressed twice, a signal indicating that the power button B1 has been pressed twice is passed to the transmitter control unit 61.
  • the transmitter control unit 61 instructs a battery (not shown) built in the transmitter 50 to supply power to each unit in the transmitter 50. As a result, the operator turns on the power of the transmitter 50 and can easily start using the transmitter 50.
  • a signal indicating that the RTH button B2 has been pressed is input to the transmitter control unit 61.
  • the transmitter control unit 61 generates a signal for automatically returning the unmanned aircraft 100 to a predetermined position (for example, the takeoff position of the unmanned aircraft 100), via the wireless communication unit 63 and the antennas AN1 and AN2. Transmit to unmanned aerial vehicle 100.
  • the operator can automatically return (return) the unmanned aircraft 100 to a predetermined position by a simple operation on the transmitter 50.
  • the operation unit set OPS is configured using a plurality of operation units OP (for example, operation units OP1,..., Operation unit OPn) (n: an integer of 2 or more).
  • the operation unit set OPS supports other operation units (for example, the remote control of the unmanned aircraft 100 by the transmitter 50) except for the left control rod 53L, the right control rod 53R, the power button B1, and the RTH button B2 shown in FIG. Various operation units).
  • the various operation units referred to here are, for example, a button for instructing imaging of a still image using the imaging device 220 of the unmanned aerial vehicle 100, and an instruction for starting and ending video recording using the imaging device 220 of the unmanned aircraft 100.
  • the remote status display unit L1 and the remaining battery level display unit L2 have been described with reference to FIG.
  • the transmitter controller 61 is configured using a processor (for example, CPU, MPU or DSP).
  • the transmitter control unit 61 performs signal processing for overall control of operations of the respective units of the transmitter 50, data input / output processing with other units, data calculation processing, and data storage processing.
  • the transmitter control unit 61 acquires data of a captured image captured by the imaging device 220 of the unmanned aircraft 100 via the wireless communication unit 63 and stores it in a memory (not shown). 80 may be output. In other words, the transmitter control unit 61 may cause the portable terminal 80 to display aerial image data captured by the imaging devices 220 and 235 of the unmanned aerial vehicle 100. Thereby, the aerial image captured by the imaging devices 220 and 235 of the unmanned aircraft 100 can be displayed on the portable terminal 80.
  • the transmitter control unit 61 may generate an instruction signal for controlling the flight of the unmanned aerial vehicle 100 specified by the operation of the left control rod 53L and the right control rod 53R of the operator.
  • the transmitter control unit 61 may remotely control the unmanned aircraft 100 by transmitting this instruction signal to the unmanned aircraft 100 via the wireless communication unit 63 and the antennas AN1 and AN2. Thereby, the transmitter 50 can control the movement of the unmanned aircraft 100 remotely.
  • the wireless communication unit 63 is connected to two antennas AN1 and AN2.
  • the wireless communication unit 63 transmits / receives information and data to / from the unmanned aircraft 100 via the two antennas AN1 and AN2 using a predetermined wireless communication method (for example, WiFi (registered trademark)).
  • a predetermined wireless communication method for example, WiFi (registered trademark)
  • the interface unit 65 inputs and outputs information and data between the transmitter 50 and the portable terminal 80.
  • the interface unit 65 may be a USB port (not shown) provided in the transmitter 50, for example.
  • the interface unit 65 may be an interface other than the USB port.
  • FIG. 8 is a block diagram illustrating an example of a hardware configuration of the mobile terminal 80.
  • the portable terminal 80 may include a terminal control unit 81, an interface unit 82, an operation unit 83, a wireless communication unit 85, a memory 87, and a display unit 88.
  • the portable terminal 80 is an example of a display device.
  • the terminal control unit 81 is configured using, for example, a CPU, MPU, or DSP.
  • the terminal control unit 81 performs signal processing for overall control of operations of each unit of the mobile terminal 80, data input / output processing with other units, data calculation processing, and data storage processing.
  • the terminal control unit 81 may acquire data and information from the unmanned aircraft 100 via the wireless communication unit 85.
  • the terminal control unit 81 may acquire data and information from the transmitter 50 via the interface unit 82.
  • the terminal control unit 81 may acquire data and information input via the operation unit 83.
  • the terminal control unit 81 may acquire data and information held in the memory 87.
  • the terminal control unit 81 may send data and information to the display unit 88 and cause the display unit 88 to display display information based on the data and information.
  • the terminal control unit 81 may execute an application for instructing control of the unmanned aircraft 100.
  • the terminal control unit 81 may generate various data used in the application.
  • the interface unit 82 inputs and outputs information and data between the transmitter 50 and the portable terminal 80.
  • the interface unit 82 may be a USB connector (not shown) provided in the mobile terminal 80, for example.
  • the interface unit 65 may be an interface other than the USB connector.
  • the operation unit 83 receives data and information input by the operator of the mobile terminal 80.
  • the operation unit 83 may include buttons, keys, a touch panel, a microphone, and the like.
  • the operation unit 83 and the display unit 88 are mainly configured by a touch panel.
  • the operation unit 83 can accept a touch operation, a tap operation, a drag operation, and the like.
  • the wireless communication unit 85 communicates with the unmanned aircraft 100 by various wireless communication methods.
  • the wireless communication unit 85 is via a wireless LAN, Bluetooth (registered trademark), short-range wireless communication, or a public wireless line. Communication may be included.
  • the memory 87 includes, for example, a ROM that stores a program that defines the operation of the mobile terminal 80 and set value data, and a RAM that temporarily stores various information and data used during processing by the terminal control unit 81. You can do it.
  • the memory 87 may include memories other than ROM and RAM.
  • the memory 87 may be provided inside the mobile terminal 80.
  • the memory 87 may be provided so as to be removable from the portable terminal 80.
  • the program may include an application program.
  • the display unit 88 is configured using, for example, an LCD (Liquid Crystal Display), and displays various information and data output from the terminal control unit 81.
  • the display unit 88 may display aerial image data captured by the imaging device 220 of the unmanned aircraft 100.
  • FIG. 9 is a block diagram illustrating an example of a functional configuration of the mobile terminal 80.
  • the terminal control unit 81 includes a first image acquisition unit 811, an information acquisition unit 812, an image position acquisition unit 813, a second image acquisition unit 814, and a display control unit 815.
  • the image position acquisition unit 813 is an example of a second acquisition unit.
  • the second image acquisition unit 814 is an example of a generation unit.
  • the first image acquisition unit 811 acquires an aerial image or a downward image from the unmanned aerial vehicle 100 via the interface unit 82 or the wireless communication unit 85.
  • the information acquisition unit 812 acquires at least one of information regarding flight from the unmanned aircraft 100 and information regarding imaging of the imaging devices 220 and 235 via the interface unit 82 or the wireless communication unit 85.
  • the image position acquisition unit 813 acquires information on a position (also referred to as an image position or a UAV position) corresponding to the position of the unmanned aircraft 100 in the downward image.
  • the image position acquisition unit 813 may calculate and acquire information on the image position based on the inclination of the imaging devices 220 and 235 with respect to the direction of gravity.
  • the image position acquisition unit 813 may calculate and acquire image position information based on the inclination of the imaging devices 220 and 235 with respect to the direction of gravity and the angle of view of the imaging devices 220 and 235.
  • the second image acquisition unit 814 superimposes information related to the unmanned aircraft 100 on an image position corresponding to the position of the unmanned aircraft 100 in the downward image, and generates a superimposed image.
  • the superimposed image is an example of a second image.
  • the information regarding the unmanned aircraft 100 may include information indicating that the unmanned aircraft 100 exists at a position in the real space corresponding to the image position in the downward image. Information indicating that the unmanned aircraft 100 exists may be indicated by an image indicating the presence of the unmanned aircraft 100.
  • Information regarding unmanned aerial vehicle 100 may include information on the orientation of unmanned aerial vehicle 100. Information on the orientation of the unmanned aircraft 100 may be indicated by an image indicating the orientation of the unmanned aircraft 100.
  • Information regarding the unmanned aerial vehicle 100 may include information on the imaging direction of the imaging devices 220 and 235.
  • Information on the imaging direction of the imaging devices 220 and 235 may be indicated by an image indicating the imaging direction of the imaging devices 220 and 235.
  • the information regarding the unmanned aircraft 100 may include information on the flight direction of the unmanned aircraft 100.
  • the information on the flight direction of the unmanned aircraft 100 may be indicated by an image indicating the flight direction of the unmanned aircraft 100.
  • the image indicating the presence of the unmanned aircraft 100 may be an aerial image obtained by aerial imaging of the unmanned aircraft 100 from above.
  • the image indicating the presence of the unmanned aerial vehicle 100 may be an image that schematically illustrates a state in which the unmanned aircraft 100 is aerial shot from above.
  • the image indicating the presence of the unmanned aircraft 100 may be another image or symbol (for example, simple circle, triangle, square, and x).
  • An image indicating the presence of the unmanned aircraft 100 may be stored in the memory 87.
  • the image indicating the direction of the unmanned aerial vehicle 100 may be indicated by an arrow image in which the direction of the unmanned aircraft 100 is the tip of the arrow. Therefore, the second image acquisition unit 814 may adjust the direction of the arrow image based on the direction of the unmanned aircraft 100.
  • the image indicating the direction of the unmanned aircraft 100 may be indicated by rotation of the image indicating the unmanned aircraft 100.
  • the direction opposite to the battery (not shown) with respect to the UAV main body 102 may be the traveling direction when the unmanned aircraft 100 moves forward, and may be the direction of the unmanned aircraft 100.
  • An image indicating the direction of the unmanned aircraft 100 may be held in the memory 87.
  • the image indicating the imaging direction of the imaging devices 220 and 235 may be indicated by an arrow image with the imaging direction of the imaging devices 220 and 235 as the tip of the arrow. Therefore, the second image acquisition unit 814 may adjust the direction of the arrow image based on the imaging direction of the imaging devices 220 and 235. Further, the image indicating the imaging direction of the imaging devices 220 and 235 may be indicated by the rotation of the image indicating the unmanned aircraft 100.
  • the imaging device 220 may be disposed on the side opposite to the battery with respect to the UAV main body 102. In this case, the imaging direction may be indicated by a direction opposite to the battery with respect to the UAV main body 102. Images indicating the imaging directions of the imaging devices 220 and 235 may be held in the memory 87.
  • the image indicating the flight direction of the unmanned aircraft 100 may be indicated by an arrow image in which the flight direction of the unmanned aircraft 100 is the tip of the arrow. Therefore, the second image acquisition unit 814 may adjust the direction of the arrow image based on the flight direction of the unmanned aircraft 100.
  • An image indicating the flight direction of the unmanned aerial vehicle 100 may be held in the memory 87.
  • the display control unit 815 displays an aerial image and a superimposed image via the display unit 88.
  • the display control unit 815 may set the vertical direction and the horizontal direction of the image displayed on the screen by an arbitrary setting by the operator via the operation unit 83.
  • the display control unit 815 may display an aerial image or a superimposed image with the forward direction of the unmanned aircraft 100 in the flight direction as the top of the screen.
  • the display control unit 815 may display an aerial image or a superimposed image with the north side as the upper side of the screen.
  • the display control unit 815 includes an aerial image captured by an operation camera (sub camera) provided for operation of the unmanned aircraft 100 and an imaging camera (main camera) for capturing an image desired by the operator.
  • the aerial image captured in step) may be switched and displayed.
  • the display control unit 815 may be in a PinP (Picture in Picture) display mode in which an aerial image captured by the imaging camera is superimposed on an aerial image captured by the operation camera.
  • the display control unit 815 may use a PinP display mode in which an aerial image captured by the operation camera is superimposed on an aerial image captured by the imaging camera.
  • the display control unit 815 may switch between these display modes.
  • the imaging device 235 may function as an operation camera (sub camera) provided for operation of the unmanned aircraft 100.
  • the imaging device 220 may function as an imaging camera (main camera) for capturing an image desired by the operator.
  • FIG. 10A is a perspective view illustrating a first installation example of the imaging device 235.
  • the imaging device 235 may be fixedly installed on the UAV main body 102.
  • the imaging device 235 may be installed downward on the UAV main body 102, that is, may be installed so that the imaging direction of the imaging device 235 is along the direction of gravity. In this case, the horizontal position of the imaging device 235 is included in the image range of the aerial image captured by the imaging device 235.
  • the imaging device 235 may not be installed downward on the UAV main body 102.
  • the first image acquisition unit 113 of the unmanned aircraft 100 may generate a downward image based on the aerial image captured by the imaging device 235.
  • the posture of the imaging device 235 with respect to the UAV main body 102 becomes constant. Since the posture of the UAV main body 102 corresponds to the posture of the unmanned aircraft 100, the tilt of the imaging device 235 with respect to the tilt of the unmanned aircraft 100 is constant. Therefore, one parameter of the tilt of the unmanned aircraft 100 and the tilt of the imaging device 235 can be substituted by the other parameter of the tilt of the unmanned aircraft 100 and the tilt of the imaging device 235, and the parameter can be reduced by one. Therefore, the flight system 10 can reduce the processing load of various calculations (for example, calculation of the image position).
  • FIG. 10B is a perspective view showing a second installation example of the imaging device 235.
  • the imaging device 235 may be fixedly installed on the gimbal 200.
  • the imaging device 235 may be installed downward on the gimbal 200, that is, may be installed so that the imaging direction of the imaging device 235 is along the direction of gravity. In this case, the horizontal position of the imaging device 235 is included in the image range of the aerial image captured by the imaging device 235.
  • the imaging device 235 may not be installed downward on the gimbal 200.
  • the first image acquisition unit 113 of the unmanned aircraft 100 may generate a downward image based on the aerial image captured by the imaging device 235.
  • the gimbal 200 changes the attitude of the imaging devices 220 and 235 supported by the gimbal 200 with respect to the unmanned aircraft 100. Adjust so that the posture of 235 does not change. Therefore, the imaging device 235 fixedly installed on the gimbal 200 can maintain a constant attitude with respect to the outside (for example, the ground) of the unmanned aircraft 100. Therefore, the aerial image captured by the imaging device 235 is stable, and an image with less blur can be obtained.
  • the imaging device 230 may have a function similar to that of the imaging device 235 without the imaging device 235 being separately provided in the unmanned aircraft 100.
  • FIG. 11 is a diagram for explaining a first example of the image position of the unmanned aerial vehicle 100.
  • the inclination of the unmanned aerial vehicle 100 with respect to the direction of gravity is 0 degree, that is, the attitude of the unmanned aerial vehicle 100 is stable along the horizontal direction.
  • the inclination of the imaging device 220 with respect to the unmanned aircraft 100 is 0 degree, that is, the imaging direction of the imaging devices 220 and 235 is the vertical direction with respect to the UAV main body 102.
  • the imaging direction by the imaging devices 220 and 235 coincides with the direction of gravity, the imaging devices 220 and 235 capture the image directly below in the real space of the unmanned aircraft 100. Therefore, the center position of the aerial image G11 captured by the imaging devices 220 and 235 is the image position GP1 of the unmanned aircraft 100 in the aerial image G11.
  • the mobile terminal 80 and the flight system 10 may acquire the image position of the unmanned aircraft 100 in the aerial image G11 based on the inclination of the imaging devices 220 and 235.
  • the portable terminal 80 and the flight system 10 can acquire the image position by using the inclination of the imaging devices 220 and 235 that are relatively easily obtained by the sensing function of the unmanned aircraft 100.
  • the gravitational direction is a normal direction to the aerial image, and the imaging range is symmetric with respect to the normal line. Therefore, the image position of the flying object is the center position of the aerial image.
  • FIG. 12 is a diagram for explaining a second example of the image position of the unmanned aerial vehicle 100.
  • the horizontal direction along the ground is defined by the X direction and the Y direction.
  • the X direction component of the inclination of the unmanned aircraft 100 with respect to the direction of gravity is ⁇
  • the X direction component of the angle of view of the imaging devices 220 and 235 is ⁇
  • the image position in the X direction in the aerial image G12 captured by the imaging devices 220 and 235 may be indicated by the ratio shown in the following (Equation 1).
  • L1 indicates the distance from the left end (end on the negative side in the X direction) of the aerial image to the image position.
  • L2 indicates the distance from the image position to the right end (positive end in the X direction) of the aerial image.
  • L1: L2 tan ( ⁇ / 2 ⁇ ): tan ( ⁇ / 2 + ⁇ ) (Formula 1)
  • the mobile terminal 80 and the flight system 10 may acquire the image position of the unmanned aircraft 100 in the aerial image based on the inclination and the angle of view of the imaging devices 220 and 235. Thereby, even when the imaging direction of the imaging devices 220 and 235 is tilted to some extent with respect to the direction of gravity, the mobile terminal 80 and the flight system 10 consider the angle of view of the imaging devices 220 and 235 and The image position can be acquired with high accuracy.
  • the mobile terminal 80 can determine the image position of the unmanned aircraft 100 as long as it can determine the position of the unmanned aircraft 100 relative to the image. Can be calculated.
  • FIG. 12 illustrates the calculation of the image position in the X direction
  • the image position in the Y direction can be similarly calculated.
  • FIG. 13 is a schematic diagram illustrating an example of an aerial image G13 captured by the imaging device 235.
  • FIG. 14 is a schematic diagram illustrating an example of an aerial image G14 captured by the imaging device 220.
  • the imaging device 235 captures an aerial image G13 for superimposing information on the unmanned aircraft 100 as its own aircraft, and the imaging device 220 captures an aerial image G14 desired by the operator of the transmitter 50.
  • an image is to be captured. That is, it is assumed that the imaging camera and the operation camera are separate.
  • the image shown in FIG. 13 is a superimposed image in which information about the unmanned aircraft 100 is superimposed on the aerial image G13.
  • an image ga indicating the presence of the unmanned aircraft 100 may be superimposed on an image position corresponding to the position of the unmanned aircraft 100 in the real space.
  • the operator who confirms the display of the superimposed image on which the image ga is superimposed can easily grasp the position (flight position) where the unmanned aircraft 100 exists on the superimposed image. Therefore, the operator can easily recognize which position the unmanned aircraft 100 is flying from the superimposed image. Therefore, the operator can easily make the unmanned aircraft 100 fly to a desired position while confirming the aerial image via the transmitter 50.
  • the arrow image gb indicating the direction of the unmanned aircraft 100 may be superimposed on the aerial image G13.
  • the direction of the unmanned aircraft 100 may be indicated by the display direction of the image ga indicating the unmanned aircraft 100.
  • the display direction of the image ga indicating the unmanned aircraft 100 may also be rotated according to the direction of the unmanned aircraft 100.
  • the portable terminal 80 and the flight system 10 can provide the operator with information on the direction of the unmanned aircraft 100, that is, the flight direction when moving forward. Therefore, the operator of the transmitter 50 can easily confirm which direction the forward direction of the unmanned aircraft 100 is, can recognize the front-rear direction and the left-right direction based on this direction, and can easily perform various movement control operations. Become.
  • the image gc indicating the imaging direction of the imaging device 235 may be superimposed on the aerial image G13.
  • the imaging direction matches the direction of the unmanned aircraft 100, but the imaging direction may be different from the direction of the unmanned aircraft 100.
  • the portable terminal 80 and the flight system 10 can provide information on the imaging direction of the imaging device 235 to the operator. Therefore, the operator of the transmitter 50 can perform the movement control operation of the unmanned aircraft 100 while taking into account the current imaging direction of the unmanned aircraft 100, and can easily acquire a desired aerial image.
  • the image gd indicating the flight direction of the unmanned aircraft 100 may be superimposed on the aerial image G13.
  • the flight direction matches the direction of the unmanned aircraft 100, but the flight direction may be different from the direction of the unmanned aircraft 100.
  • the mobile terminal 80 and the flight system 10 can provide information on the flight direction of the unmanned aircraft 100 to the operator. Accordingly, the operator of the transmitter 50 can perform the movement control operation of the unmanned aircraft 100 while taking into account which direction the unmanned aircraft 100 will travel in the future.
  • FIG. 15 is a sequence diagram illustrating a first operation example of the flight system 10.
  • the flight system 10 assumes that an aerial image includes an image position corresponding to the position of the unmanned aircraft 100 in real space.
  • the first operation example may be performed periodically and repeatedly during the flight of the unmanned aerial vehicle 100.
  • the first image acquisition unit 113 acquires an aerial image captured by the imaging devices 220 and 235 (S101).
  • the imaging information acquisition unit 112 acquires information on the tilt of the imaging devices 220 and 235 (also referred to as cameras) (S102).
  • the communication interface 150 transmits the aerial image acquired in S101 and the tilt information of the imaging devices 220 and 235 acquired in S102 to the portable terminal 80 (S103).
  • the first image acquisition unit 811 acquires an aerial image from the unmanned aircraft 100 via the interface unit 82 or the wireless communication unit 85 (S111).
  • the information acquisition unit 812 acquires the tilt information of the imaging devices 220 and 235 via the interface unit 82 or the wireless communication unit 85 (S111).
  • the image position acquisition unit 813 calculates an image position corresponding to the position of the unmanned aerial vehicle 100 in the aerial image (S112).
  • the second image acquisition unit 814 superimposes information (for example, at least one of the images ga, gb, bc, and bd) related to the unmanned aircraft 100 on the image position of the aerial image, and generates a superimposed image (S113).
  • the display control unit 815 displays the superimposed image via the display unit 88 (S114).
  • the mobile terminal 80 and the flight system 10 can display a superimposed image including information related to the unmanned aircraft 100 at an image position corresponding to the position of the unmanned aircraft 100 in the aerial image. Therefore, the operator can recognize that the unmanned aircraft 100 is in flight at a position in the real space corresponding to the image position in the aerial image by confirming the displayed superimposed image. Therefore, the operator of the transmitter 50 and the portable terminal 80 can easily fly the unmanned aircraft 100 to a desired position via the transmitter 50 while confirming the aerial image. Further, even when no map image is prepared in advance, it is possible to easily grasp which position the unmanned aircraft 100 is flying.
  • FIG. 16 is a flowchart showing a second operation example of the flight system 10.
  • the flight system 10 accumulates aerial images.
  • the aerial image may be accumulated every time an aerial image is captured, or a predetermined number may be accumulated when a predetermined number of images are captured, or may be accumulated every predetermined period.
  • the imaging time interval of the aerial image may be arbitrary.
  • the first image acquisition unit 113 acquires an aerial image captured by the imaging devices 220 and 235 (S121).
  • the flight information acquisition unit 111 acquires position information of the unmanned aircraft 100 (S122). This position information is the position information of the unmanned aircraft 100 when the aerial image is captured in S121.
  • the imaging information acquisition unit 112 acquires information about the tilt of the imaging devices 220 and 235 (S122). This inclination information is the inclination information of the imaging devices 220 and 235 when the aerial image is captured in S121.
  • the information adding unit 114 adds the position information of the unmanned aircraft 100 and the tilt information of the imaging devices 220 and 235 obtained in S122 as additional information related to the aerial image to the aerial image acquired in S121 ( S123).
  • the information adding unit 114 accumulates the aerial image with the additional information added in the image DB 171 (S124).
  • the unmanned aerial vehicle 100 can store the captured aerial image in association with additional information related to the aerial image. Therefore, the unmanned aerial vehicle 100 can extract an aerial image associated with the additional information using at least one of the additional information as a key without processing the aerial image immediately after capturing the aerial image. Therefore, the unmanned aerial vehicle 100 can extract an aerial image that matches the flight position of the unmanned aircraft 100, for example, and use it as an original image for generating a downward image.
  • FIG. 17 is a sequence diagram showing a third operation example of the flight system 10.
  • the flight system 10 assumes that an aerial image does not include an image position corresponding to the position of the unmanned aircraft 100 in real space.
  • the flight system 10 may implement the third operation example even when the aerial image includes an image position corresponding to the position of the unmanned aircraft 100 in real space.
  • the third operation example may be performed periodically and repeatedly during the flight of the unmanned aerial vehicle 100.
  • the first image acquisition unit 113 acquires an aerial image captured by the imaging devices 220 and 235 (S131).
  • the flight information acquisition unit 111 acquires position information of the unmanned aircraft 100 (S132). This position information is the position information of the unmanned aircraft 100 when the aerial image is captured in S131.
  • the imaging information acquisition unit 112 acquires information on the tilt of the imaging devices 220 and 235 (S132). The tilt information is tilt information of the imaging devices 220 and 235 when an aerial image is captured in S131.
  • the first image acquisition unit 113 may acquire one or more aerial images from the image DB 171 based on the position information of the unmanned aircraft 100 obtained in S132 (S133).
  • the first image acquisition unit 113 performs projective transformation on each of the one or more aerial images based on the inclination information added to each of the acquired one or more aerial images.
  • a downward image may be generated (S134).
  • the first image acquisition unit 113 may generate a single downward image by combining the generated downward images.
  • the communication interface 150 transmits the one downward image generated in S134, the position information of the unmanned aircraft 100 obtained in S132, and the tilt information of the imaging devices 220 and 235 to the portable terminal 80 (S135).
  • the first image acquisition unit 113 may not acquire one or more aerial images from the image DB 171. In this case, in S134, even if one aerial image obtained in S131 is projectively transformed based on the tilt information of the imaging devices 220 and 235 obtained in S132, one downward image is generated. Good. In S134, the first image acquisition unit 113 captures one aerial image obtained in S131, one or more aerial images acquired from the image DB 171 and each of these aerial images. A downward image may be generated based on the tilt information of the devices 220 and 235.
  • the first image acquisition unit 811 receives the downward image from the portable terminal 80 via the interface unit 82 or the wireless communication unit 85 (S141).
  • the information acquisition unit 812 receives the position information of the unmanned aircraft 100 and the tilt information of the imaging devices 220 and 235 from the portable terminal 80 via the interface unit 82 or the wireless communication unit 85 (S141).
  • the image position acquisition unit 813 calculates an image position corresponding to the position of the unmanned aircraft 100 in the downward image (S142).
  • the second image acquisition unit 814 superimposes information (for example, at least one of the images ga, gb, bc, and bd) related to the unmanned aircraft 100 on the image position of the downward image, and generates a superimposed image (S143).
  • the display control unit 815 displays the superimposed image via the display unit 88 (S144).
  • the mobile terminal 80 and the flight system 10 can display a superimposed image including information related to the unmanned aircraft 100 at an image position corresponding to the position of the unmanned aircraft 100 in the downward image. Therefore, the operator can recognize that the unmanned aerial vehicle 100 is in flight at the position in the real space corresponding to the image position in the downward image by confirming the displayed superimposed image. Therefore, the operator of the transmitter 50 and the portable terminal 80 can easily fly the unmanned aircraft 100 to a desired position via the transmitter 50 while confirming the downward image. Further, even when no map image is prepared in advance, it is possible to easily grasp which position the unmanned aircraft 100 is flying.
  • the imaging directions of the imaging devices 220 and 235 are inclined to some extent with respect to the direction of gravity, and the unmanned aircraft 100 (self Even if the image position corresponding to the flight position of the aircraft is not included, the downward image including the image position corresponding to the flight position of the unmanned aerial vehicle 100 (own aircraft) in consideration of the angle of view of the imaging devices 220 and 235 Can be generated.
  • the unmanned aerial vehicle 100 and the flight system 10 may be the unmanned aerial vehicle 100 (the own aircraft) based on the captured aerial image, even if the imaging devices 220 and 235 other than the imaging device 235 fixedly installed facing the ground direction. ) Information corresponding to the position of () can be superimposed. Therefore, the operator can easily grasp the flight position of the unmanned aircraft 100 in real time.
  • aerial images captured in the past by the unmanned aircraft 100 are accumulated in the image DB 171, and the unmanned aircraft 100 and the flight system 10 can generate a downward image using the aerial images.
  • the unmanned aerial vehicle 100 and the flight system 10 do not include the image position of the unmanned aircraft 100 in the aerial image during the current flight, but from the aerial image at the same position as the current flight position or a peripheral position, A downward image as an image including the image position of the unmanned aircraft 100 can be generated.
  • a plurality of aerial images are acquired from the image DB 171, even if the quality of one aerial image is insufficient, the quality of the combined image can be improved. Therefore, the operator can more easily perform the movement control operation on the unmanned aircraft 100 while confirming the superimposed image based on the combined image.
  • the first image acquisition unit 113 sets the gravity direction as the normal direction based on one or more aerial images and information on the inclination of the imaging devices 220 and 235 related to the aerial images.
  • a downward image may be generated.
  • the unmanned aircraft 100 can generate a downward image in which the image position of the unmanned aircraft 100 matches the center position of the image range, and can acquire a downward image centered on the flight position of the unmanned aircraft 100. Therefore, the operator can easily display the state of the peripheral position of the unmanned aircraft 100.
  • the transmitter 50 may have a function that the portable terminal 80 has. In this case, the transmitter 50 may be omitted. Further, the portable terminal 80 may have a function that the transmitter 50 has. In this case, the transmitter 50 may be omitted.
  • a flight system 10A (not shown) according to the modification includes an unmanned aerial vehicle 100A (not shown), a transmitter 50, and a portable terminal 80A (not shown).
  • the description of the modification the description of the same contents as the flight system 10 is omitted or simplified.
  • FIG. 18 is a block diagram showing a functional configuration of an unmanned aerial vehicle 100A that is a modification of the unmanned aerial vehicle 100.
  • the unmanned aircraft 100A includes a UAV control unit 11A instead of the UAV control unit 110.
  • the UAV control unit 110A includes a flight information acquisition unit 111, an imaging information acquisition unit 112, a first image acquisition unit 113, an information addition unit 114, an image position acquisition unit 115, and a second image acquisition unit 116. That is, as compared with the UAV control unit 110, the UAV control unit 110A additionally includes an image position acquisition unit 115 and a second image acquisition unit 116.
  • the image position acquisition unit 115 is an example of a second acquisition unit.
  • the second image acquisition unit 116 is an example of a generation unit.
  • the image position acquisition unit 115 has the same function as the image position acquisition unit 813 in FIG.
  • the second image acquisition unit 116 has the same function as the second image acquisition unit 814 in FIG.
  • FIG. 19 is a block diagram showing a functional configuration of a mobile terminal 80A which is a modification of the mobile terminal 80.
  • the mobile terminal 80A includes a terminal control unit 81A instead of the terminal control unit 81.
  • the terminal control unit 81A includes an image acquisition unit 816 and a display control unit 815.
  • the image acquisition unit 816 acquires a superimposed image from the unmanned aircraft 100A via the interface unit 82 or the wireless communication unit 85.
  • the unmanned aircraft 100 ⁇ / b> A performs everything from taking an aerial image to generating a superimposed image, and transmits the superimposed image to the mobile terminal 80.
  • the mobile terminal 80A receives the superimposed image from the unmanned aircraft 100A and displays the superimposed image.
  • the flight system 10A can complete image processing such as generation of a downward image, determination of an image position of the unmanned aircraft 100A, generation of a superimposed image, etc. in the unmanned aircraft 100A. Therefore, the flight system 10A can reduce the processing load on the mobile terminal 80A.
  • the portable terminal 80A since the portable terminal 80A only needs to be able to receive and display an image, the portable terminal 80A can be replaced by, for example, a display device having a low image processing capability or not having an image processing function.
  • the function distribution method of the flight system is not limited to the function distribution shown in the flight system 10 or the flight system 10A.
  • the portable terminal 80 may have a downward image generation function.
  • the unmanned aircraft 100 and 100A perform from the imaging of the aerial image to the determination of the image position of the unmanned aircraft 100 and 100A, and the mobile terminal 80A generates the superimposed image and displays the superimposed image. May be.
  • the flight systems 10 and 10A may arbitrarily distribute the functions required from the imaging of the aerial image to the display of the superimposed image in each device.
  • the flight systems 10 and 10A are implemented with functions distributed to the unmanned aircraft 100 and 100A and the mobile terminals 80 and 80A according to, for example, the performance of the unmanned aircraft 100 and 100A and the performance of the mobile terminals 80 and 80A. It's okay.
  • the flight systems 10 and 10A can suppress the processing load of any one of the unmanned aircraft 100 and 100A and the portable terminals 80 and 80A from being excessive or small, and the functions can be distributed with an appropriate processing balance.
  • FIG. 20 is a schematic diagram illustrating a configuration example of a flight system 10B according to the second embodiment.
  • the flight system 10B includes a plurality of unmanned aircraft 100B, a transmitter 50, and a portable terminal 80B.
  • the unmanned aircraft 100B, the transmitter 50, and the portable terminal 80B can communicate with each other by wired communication or wireless communication (for example, wireless LAN (Local Area Network)).
  • wireless LAN Local Area Network
  • FIG. 21 is a block diagram illustrating an example of a hardware configuration of the unmanned aerial vehicle 100B.
  • the unmanned aerial vehicle 100 ⁇ / b> B includes a UAV control unit 110 ⁇ / b> B instead of the UAV control unit 110 and a memory 160 ⁇ / b> B instead of the memory 160 as compared with the unmanned aircraft 100 in the first embodiment.
  • the same components as those of the unmanned aircraft 100 of FIG. 4 are denoted by the same reference numerals, and the description thereof is omitted or simplified.
  • the memory 160B has the function of the memory 160 and holds the cooperative control information CC.
  • the cooperative control information CC includes control information for a plurality of unmanned aircraft 100B belonging to the same flight group to fly in cooperation.
  • the cooperative control information CC includes relative position information of a plurality of unmanned aircraft 100B belonging to the same flight group. For example, it includes the relative position information of the reference position RP and the unmanned aircraft 100B (own aircraft) in a plurality of unmanned aircraft 100B belonging to the same flight group.
  • This relative position information may include distance information indicating the distance between the reference position RP and each unmanned aircraft 100B.
  • This relative position information may include direction information indicating the direction in which each unmanned aerial vehicle 100B is viewed from the reference position RP.
  • the reference position RP may be an intermediate position, center position, center of gravity position, or other reference position of the plurality of unmanned aircraft 100B included in the same flight group.
  • the cooperative control information CC is held in the memory 160B before the plurality of unmanned aircraft 100B perform cooperative flight by the flight operation of the transmitter 50.
  • the memory 160B may hold a plurality of different cooperative control information CC for the same flight group. That is, the memory 160B may hold a plurality of different relative position information for the same flight group. As a result, the plurality of unmanned aircraft 100B can fly while maintaining various relative positional relationships.
  • FIG. 22 is a block diagram illustrating an example of a functional configuration of the UAV control unit 110B.
  • the UAV control unit 110B includes a flight information acquisition unit 111B, an imaging information acquisition unit 112B, a first image acquisition unit 113B, an information addition unit 114, a relative position acquisition unit 117, and a flight control unit 118.
  • the relative position acquisition unit 117 is an example of a ninth acquisition unit.
  • the same components as those of the UAV control unit 110 illustrated in FIG. 5 are denoted by the same reference numerals, and description thereof is omitted or simplified.
  • Flight information acquisition unit 111B has the following functions in addition to the functions of flight information acquisition unit 111.
  • the flight information acquisition unit 111B may acquire information related to the flight of a plurality of unmanned aircraft 100B belonging to the same flight group.
  • the information regarding the flight of each unmanned aircraft 100B may include the position information of the flight of each unmanned aircraft 100B, the information on the direction of each unmanned aircraft 100B, and the information on the flight direction of each unmanned aircraft 100B.
  • the acquisition method of the information regarding the flight of each unmanned aerial vehicle 100B may be the same. At least a part of the information related to the flight of each unmanned aircraft 100B may be transmitted to the mobile terminal 80B via the communication interface 150.
  • the imaging information acquisition unit 112B has the following functions in addition to the functions of the imaging information acquisition unit 112.
  • the imaging information acquisition unit 112B acquires information related to imaging of the imaging devices 220 and 235 included in each of the plurality of unmanned aircraft 100B belonging to the same flight group.
  • the information regarding the imaging of each imaging device 220, 235 may include information on the imaging direction by each imaging device 220, 235, information on the inclination of each imaging device 220, 235, and information on the angle of view of each imaging device 220, 235. .
  • the method for acquiring the tilt information of each of the imaging devices 220 and 235 may be the same. At least a part of the tilt information of each imaging device 220, 235 may be transmitted to the mobile terminal 80B via the communication interface 150.
  • the first image acquisition unit 113B has the following functions in addition to the functions of the first image acquisition unit 113.
  • the first image acquisition unit 113B acquires an aerial image captured by the imaging devices 220 and 235.
  • the image range may or may not include each image position corresponding to the horizontal position of each unmanned aerial vehicle 100B belonging to the flight group at the time of capturing the aerial image. possible. That is, the image positions of all unmanned aircraft 100B may be included in the image range of the aerial image, or at least some of the image positions of unmanned aircraft 100B may not be included.
  • the image range includes at least some image positions of the unmanned aircraft 100B belonging to the flight group.
  • the first image acquisition unit 113B may acquire an aerial image captured by the imaging devices 220 and 235 of the other unmanned aircraft 100B via the communication interface 150.
  • the first image acquisition unit 113B includes two of an aerial image captured by the unmanned aircraft 100B (own aircraft) and one or more aerial images captured by each of the other unmanned aircraft 100B (other aircraft).
  • a composite image may be generated based on the above aerial image.
  • each image corresponding to the horizontal position of each unmanned aerial vehicle 100B belonging to the flight group is displayed in the image range when the composite image is composited or when the original aerial image that has become the composite image is captured.
  • the location may or may not be included.
  • the image position of all unmanned aircraft 100B may be included in the image range of the composite image, or at least some of the image positions of unmanned aircraft 100B may not be included.
  • the image range includes at least some image positions of the unmanned aerial vehicle 100B belonging to the flight group.
  • the first image acquisition unit 113B stores an aerial image captured by the unmanned aircraft 100B (own aircraft), one or more aerial images captured by each of the other unmanned aircraft 100B (other aircraft), and the image DB 171.
  • a composite image may be generated based on two or more aerial images among the one or more aerial images that have been generated.
  • the first image acquisition unit 113B projects a composite image based on the aerial images of the plurality of unmanned aircraft 100B based on the inclination of the imaging devices 220 and 235 at the time of capturing the aerial image that is the source of the composite image.
  • a downward image may be generated by the conversion.
  • the first image acquisition unit 113B performs projective transformation so that the normal direction approaches the gravity direction, and generates a downward image. Good. This further increases the possibility that more image positions of the unmanned aerial vehicle 100B are included in the image range of the composite image.
  • the downward image is It can be a composite image.
  • the image range of the composite image does not include the image positions corresponding to the horizontal positions of all the unmanned aircraft 100 at the time of capturing the composite image or the aerial image that is the source of the composite image, the first image
  • the acquisition unit 113 may generate a downward image based on the composite image.
  • At least a part of the aerial image, the composite image, and the downward image may be transmitted to the mobile terminal 80B via the communication interface 150.
  • the unmanned aircraft 100B and the flight system 10B generate a composite image by combining a plurality of aerial images captured by each of the plurality of unmanned aircraft 100B, and generate a downward image based on the composite image.
  • the unmanned aircraft 100B and the flight system 10B can generate a wide range of aerial images that are insufficient for the aerial image of one unmanned aircraft 100B as a composite image.
  • a downward image based on the composite image for example, even when a relatively long distance is secured between a plurality of unmanned aircraft 100B belonging to the same flight group, the unmanned aircraft 100B is positioned in the real space. The probability that the corresponding image position is included in the image range of the downward image increases.
  • the mobile terminal 80B displays the position of each unmanned aircraft 100B superimposed on this downward image, so that the operator can visually recognize each position of the plurality of unmanned aircraft 100B in the downward image covering a wider geographical area. it can.
  • the relative position acquisition unit 117 acquires relative position information of a plurality of unmanned aircraft 100B belonging to the same flight group.
  • the relative position acquisition unit 117 may acquire relative position information from the memory 160B.
  • the relative position acquisition unit 117 may acquire relative position information from an external device (for example, the mobile terminal 80B) via the communication interface 150.
  • the relative position information may include relative position information of the unmanned aircraft 100B (own aircraft) with respect to the reference position RP with reference to the reference position RP in the flight group.
  • the relative position information may include relative position information of another unmanned aircraft 100B (other aircraft) with respect to the reference position RP.
  • the relative position information may include relative position information of the unmanned aircraft 100B (own aircraft) with respect to the arbitrary unmanned aircraft 100B with respect to the arbitrary unmanned aircraft 100B in the flight group.
  • the relative position information may include relative position information of another unmanned aircraft 100B (other aircraft) with respect to the arbitrary unmanned aircraft 100B with respect to the arbitrary unmanned aircraft 100B in the flight group. That is, the position where any unmanned aircraft 100B is present may be the reference position RP.
  • the relative position acquisition unit 117 When the relative position acquisition unit 117 includes the relative position information of the own aircraft and the relative position information of the other aircraft, the relative position acquisition unit 117 refers to the identification information of the unmanned aircraft 100B associated with the relative position information, and The relative position information may be identified and acquired.
  • the relative position information may be transmitted to the mobile terminal 80B via the communication interface 150.
  • the flight control unit 118 controls the flight of the unmanned aerial vehicle 100B (own aircraft) by fixing the relative positional relationship between the plurality of unmanned aircraft 100B belonging to the same flight group.
  • the flight control unit 118 may control the flight of the unmanned aircraft 100B (own aircraft) by fixing the relative positional relationship of the unmanned aircraft 100B with respect to the reference position RP.
  • the relative positional relationship of each unmanned aircraft 100B belonging to the flight group with respect to the reference position RP is fixed, the relative positional relationship as a whole of the plurality of unmanned aircraft 100B belonging to the flight group is also fixed.
  • the fixing of the relative positional relationship may include maintaining the distance of the unmanned aircraft 100B with respect to the reference position RP without changing it.
  • Fixing the relative positional relationship may include maintaining the imaging directions of the imaging devices 220 and 235 relative to the reference direction (for example, the traveling direction when the flight group moves forward) without being changed.
  • the flight control unit 118 may control the flight of the plurality of unmanned aircraft 100B as different relative positional relationships based on a plurality of different relative position information regarding the same flight group. Therefore, the unmanned aircraft 100B may change the relative positional relationship between the plurality of unmanned aircraft 100B by changing the relative position information to be used.
  • the unmanned aircraft 100B can be controlled by the flight control unit 118 in consideration of the relative position information between the plurality of unmanned aircraft 100B (for example, maintaining the relative positional relationship). It is.
  • FIG. 23 is a block diagram illustrating an example of a functional configuration of the mobile terminal 80B.
  • the mobile terminal 80B includes a terminal control unit 81B instead of the terminal control unit 81.
  • the terminal control unit 81B includes a first image acquisition unit 811B, an information acquisition unit 812B, an image position acquisition unit 813B, a second image acquisition unit 814B, and a display control unit 815.
  • the first image acquisition unit 811B acquires at least one of an aerial image, a composite image, and a downward image from at least one of the plurality of unmanned aircraft 100B via the interface unit 82 or the wireless communication unit 85. Good.
  • the image acquired by the first image acquisition unit 811B may be transmitted to the mobile terminal 80B on behalf of one unmanned aircraft 100B belonging to the flight group, or each unmanned aircraft 100B may transmit to the mobile terminal 80B separately. May be.
  • the information acquisition unit 812B receives at least one part of information related to flight and information related to imaging of the imaging devices 220 and 235 from at least one of the plurality of unmanned aircraft 100B via the interface unit 82 or the wireless communication unit 85. At least one of the parts may be acquired.
  • the information acquired by the information acquisition unit 812B may be transmitted to the portable terminal 80B on behalf of one unmanned aircraft 100B belonging to the flight group, or may be transmitted to the portable terminal 80B separately by each unmanned aircraft 100B. Good. Further, the information acquisition unit 812B may acquire relative position information between the plurality of unmanned aircraft 100B belonging to the flight group via the interface unit 82 or the wireless communication unit 85.
  • the image position acquisition unit 813B acquires image position information corresponding to the position of the unmanned aircraft 100B (own aircraft) in a downward image (which may include one aerial image and a composite image).
  • the image position acquisition unit 813B may calculate and acquire information on the image position of the unmanned aircraft 100B (own aircraft) based on the inclination of the imaging devices 220 and 235 with respect to the direction of gravity.
  • the image position acquisition unit 813B may calculate and acquire information on the image position of the unmanned aircraft 100B (own aircraft) based on the inclination of the imaging devices 220 and 235 with respect to the direction of gravity and the angle of view of the imaging devices 220 and 235. .
  • the image position acquisition unit 813B acquires image position information corresponding to the position of another unmanned aircraft 100B (another aircraft) in the downward image.
  • the image position acquisition unit 813B determines the position of the other unmanned aircraft 100B (other aircraft) based on the acquired positional information of the single unmanned aircraft 100B (own aircraft) and the acquired relative positional information.
  • the image position information corresponding to may be calculated and acquired.
  • the image position acquisition unit 813B calculates and acquires image position information corresponding to the positions of other unmanned aircraft 100B (other aircraft) based on the acquired position information of all unmanned aircraft 100B belonging to the flight group. It's okay.
  • the second image acquisition unit 814B superimposes information regarding each unmanned aircraft 100B on each image position corresponding to the position of each unmanned aircraft 100B in the downward image, and generates a superimposed image.
  • the information regarding each unmanned aircraft 100B may be the same as the information described in the first embodiment.
  • the mobile terminal 80B and the unmanned aircraft 100B may acquire information on the image positions of each of the plurality of unmanned aircraft 100B based on the relative position information.
  • the portable terminal 80B and the unmanned aircraft 100B can express the relative position information of the plurality of unmanned aircraft 100B by an image showing each unmanned aircraft 100B.
  • at least one piece of relative position information only needs to be acquired, it is possible to reduce the amount of communication between the plurality of unmanned aircraft 100B and the portable terminal 80B.
  • the operator can visually recognize the relative positional relationship of the plurality of unmanned aircraft 100B by confirming the superimposed image via the display unit 88, and the formation and configuration of the unmanned aircraft 100B flying in cooperation with each other. You can see if the position is in flight.
  • the mobile terminal 80B and the unmanned aircraft 100B may acquire information on the image positions of the plurality of unmanned aircraft 100B based on the position information of the plurality of unmanned aircraft 100B.
  • the portable terminal 80B and the unmanned aircraft 100B can derive the image position corresponding to the position of each unmanned aircraft 100B with high accuracy by handling the absolute position information of each of the plurality of unmanned aircraft 100B.
  • the operator can visually recognize each image position of the plurality of unmanned aircraft 100B by confirming the superimposed image via the display unit 88, and accurately estimate the flight position in the real space corresponding to each image position. it can. Therefore, the operator can grasp with high precision what position and in what formation the plurality of unmanned aircraft 100B flying in cooperation with each other.
  • FIG. 24 is a schematic diagram illustrating an example of a superimposed image G16 on which information on a plurality of unmanned aircraft 100B is superimposed.
  • images ga1, ga2, and ga3 showing the unmanned aircraft 100B are superimposed.
  • the three unmanned aircraft 100B is an example, and other numbers may be used.
  • an image (such as an arrow image) indicating information related to each unmanned aircraft 100B may be superimposed on the superimposed image G16.
  • the image position acquisition unit 813B may acquire the information of the image positions of the plurality of unmanned aircraft 100B in the downward image by calculation or the like.
  • the second image acquisition unit 814B may superimpose images ga1 to ga3 indicating information related to each of the plurality of unmanned aircraft 100B on each image position of the plurality of unmanned aircraft 100B in the downward image to generate a superimposed image G16. .
  • the portable terminal 80B and the flight system 10B allow each unmanned aircraft 100 to be located at each image position corresponding to each position of the plurality of unmanned aircraft 100B in the downward image (which may include a single aerial image and composite image).
  • a superimposed image including information on the image can be displayed. Therefore, the operator can recognize that the plurality of unmanned aircraft 100B is in flight at the position in the real space corresponding to the image position in the downward image by confirming the displayed superimposed image. Further, the operator can visually recognize how the plurality of unmanned aircraft 100B are arranged in a plane. Therefore, it becomes easy for the operator to fly a plurality of unmanned aircraft 100B in cooperation with each other at a desired position via the transmitter 50 while confirming the downward image. Further, even when no map image is prepared in advance, it is possible to easily grasp which position the plurality of unmanned aircraft 100B is flying.
  • a plurality of unmanned aircraft 100B may fly while maintaining a relative positional relationship with different flight altitudes.
  • a plurality of unmanned aircraft 100B may fly in a coordinated manner so that at least one other unmanned aircraft 100B enters an imaging range in which a certain unmanned aircraft 100B images the ground direction.
  • the flight system 10B can capture an actual flight state of at least one unmanned aircraft 100B in an aerial image, and an image of the unmanned aircraft 100B in an actual size at an actual image position in the aerial image. Can be superimposed.
  • the functions of the flight system 10B may be distributed by the unmanned aircraft 100B and the portable terminal 80B.
  • the unmanned aircraft 100B may complete image processing such as generation of a composite image, generation of a downward image, determination of an image position of each unmanned aircraft 100B, generation of a superimposed image, and the like.
  • the portable terminal 80B may receive the superimposed image from the unmanned aircraft 100B and display the superimposed image.
  • the functions of the flight system 10B may be distributed by the unmanned aircraft 100B and the portable terminal 80B by other distribution methods.
  • FIG. 25 is a schematic diagram showing a configuration example of a flight system 10C according to the third embodiment.
  • the flight system 10C includes a plurality of unmanned aircraft 100C, a transmitter 50, and a portable terminal 80C.
  • the unmanned aircraft 100C, the transmitter 50, and the portable terminal 80C can communicate with each other by wired communication or wireless communication (for example, wireless LAN (Local Area Network)).
  • wireless LAN Local Area Network
  • the unmanned aircraft 100C is not shown, but does not include the storage 170 and the image DB 171 included in the unmanned aircraft 100, 100A, 100B.
  • the unmanned aerial vehicle 100C does not have a function related to image input / output control of the image DB 171 such as accumulation of aerial images in the image DB 171 and extraction of aerial images from the image DB 171.
  • Other configurations are the same as those of the unmanned aircraft 100, 100A, 100B.
  • the communication interface 150 may transmit a superimposed image generation request to the mobile terminal 80C.
  • the superimposed image generation request includes an aerial image captured by the imaging device 220 and 235 of the unmanned aircraft 100C, position information of the unmanned aircraft 100C at the time of aerial shooting, and information on the inclination of the imaging device 220 and 235 at the time of aerial shooting. May include.
  • the superimposed image generation request may further include relative position information of a plurality of unmanned aircraft 100C belonging to the flight group.
  • the superimposed image generation request may further include identification information of the unmanned aircraft 100 ⁇ / b> C that makes the superimposed image generation request. Note that the superimposed image generation request does not include the aerial image, but may include the position information of the unmanned aircraft 100C and the tilt information of the imaging devices 220 and 235 at the time of the superimposed image generation request.
  • FIG. 26 is a block diagram illustrating an example of a hardware configuration of the mobile terminal 80C.
  • the portable terminal 80 includes a terminal control unit 81C instead of the terminal control unit 81, and additionally includes a storage 89.
  • the storage 89 includes an image DB 891.
  • Other configurations are the same as those of the unmanned aircraft 100, 100A, 100B.
  • the storage 89 stores and holds various data and information.
  • the storage 89 may include an image DB 891.
  • the storage 89 may be an HDD, SSD, SD card, USB memory, or the like.
  • the storage 890 may be provided inside the mobile terminal 80C.
  • the storage 89 may be provided so as to be removable from the portable terminal 80C.
  • the image DB 891 may store and hold various images acquired through the interface unit 82 or the wireless communication unit 85 and their additional information.
  • This image may include an aerial image transmitted from one or more unmanned aircraft 100C.
  • the additional information may include information related to the flight of the unmanned aircraft 100C related to the transmitted aerial image and information related to the imaging devices 220 and 235.
  • the image DB 891 may send at least a part of the accumulated aerial images to the terminal control unit 81C in response to a request from the terminal control unit 81C.
  • the image DB 891 may store and hold a processed image obtained by processing an aerial image.
  • the image DB 891 may store and hold information on the aerial image or the processed image added to the aerial image or the processed image.
  • the image DB 891 may store the images and additional information from each of the plurality of unmanned aircraft 100C in a distinguishable manner. For example, a plurality of image DBs 891 may be provided for each unmanned aircraft 100C. Further, images and additional information from a plurality of unmanned aircraft 100C are accumulated in one image DB 891, and images and additional information from a specific unmanned aircraft 100C are extracted and used based on identification information of the unmanned aircraft 100C. It's okay.
  • the image DB 891 may store the images and additional information from each of the plurality of unmanned aircraft 100C without distinguishing them.
  • the flight system 10C can share and use images and additional information from the plurality of unmanned aircraft 100C.
  • FIG. 27 is a block diagram illustrating an example of a functional configuration of the mobile terminal 80C.
  • the terminal control unit 81C includes a first image acquisition unit 811C, an information acquisition unit 812C, an image position acquisition unit 813C, a second image acquisition unit 814, and a display control unit 815.
  • the first image acquisition unit 811C has the following functions in addition to the functions of the first image acquisition unit 811 or 811B.
  • the first image acquisition unit 811C may acquire one or more aerial images from one or more unmanned aircraft 100C via the interface unit 82 or the wireless communication unit 85.
  • the first image acquisition unit 811C may acquire one or more aerial images from one or more unmanned aircraft 100C from the image DB 891.
  • the first image acquisition unit 811C may acquire an aerial image from the image DB 891 in response to a superimposed image generation request from any unmanned aircraft 100C acquired via the interface unit 82 or the wireless communication unit 85.
  • the first image acquisition unit 811C based on the position information of the unmanned aircraft 100C included in the superimposed image generation request, performs, for example, an image for a predetermined region (peripheral region) including the position related to the position information of the unmanned aircraft 100C.
  • An aerial image may be acquired from the DB 891.
  • the first image acquisition unit 811C may generate a composite image based on a plurality of acquired aerial images.
  • the first image acquisition unit 811C may generate a downward image based on the aerial image or the composite image.
  • the first image acquisition unit 811C performs projective conversion on the aerial image or the composite image based on the inclination information of the imaging devices 220 and 235 of the unmanned aircraft 100C included in the superimposed image generation request, and then downwards.
  • An image may be generated.
  • the information acquisition unit 812C has the following functions in addition to the functions of the information acquisition unit 812 or 812B.
  • the information acquisition unit 812C may acquire additional information related to the aerial image acquired by the first image acquisition unit 811C via the interface unit 82 or the wireless communication unit 85.
  • the information acquisition unit 812C may acquire additional information related to the aerial image acquired by the first image acquisition unit 811C from the image DB 891.
  • the information acquisition unit 812C may acquire the identification information of the unmanned aircraft 100C that has made the superimposed image generation request via the interface unit 82 or the wireless communication unit 85.
  • the information acquisition unit 812C may acquire relative position information between the plurality of unmanned aircraft 100C via the interface unit 82 or the wireless communication unit 85.
  • the image position acquisition unit 813C has the function of the image position acquisition unit 813 or the image position acquisition unit 813B.
  • FIG. 28 is a flowchart showing a first operation example of the flight system 10C.
  • the flight system 10C accumulates aerial images from a plurality of unmanned aircraft 100C in the mobile terminal 80C.
  • the aerial image may be accumulated every time an aerial image is captured, or a predetermined number may be accumulated when a predetermined number of images are captured, or may be accumulated every predetermined period.
  • the imaging time interval of the aerial image may be arbitrary.
  • the first image acquisition unit 113 acquires an aerial image captured by the imaging devices 220 and 235 (S151).
  • the flight information acquisition unit 111 acquires position information of the unmanned aircraft 100C (S152). This position information is the position information of each unmanned aircraft 100C when the aerial image is captured in S151.
  • the imaging information acquisition unit 112 acquires information on the tilt of the imaging devices 220 and 235 (S152). This inclination information is the inclination information of the imaging devices 220 and 235 when the aerial image is captured in S151.
  • the information adding unit 104 adds the position information of the unmanned aerial vehicle 100C obtained in S152 and the tilt information of the imaging devices 220 and 235 as additional information related to the aerial image to the aerial image acquired in S151 ( S153).
  • the communication interface 150 transmits the aerial image with the additional information added to the portable terminal 80C (S154).
  • the interface unit 82 or the wireless communication unit 85 receives the aerial images to which the additional information is added from the plurality of unmanned aircraft 100C (S161).
  • the interface unit 82 or the wireless communication unit 85 accumulates the aerial image to which the received additional information is added in the image DB 891 (S162).
  • the mobile terminal 80C can store the aerial image captured by each of the plurality of unmanned aircraft 100C in association with the additional information related to the aerial image. Therefore, each unmanned aerial vehicle 100 ⁇ / b> C does not perform processing of the aerial image immediately after capturing the aerial image, and extracts the aerial image associated with the additional information using at least one of the additional information as a key. Requests can be made to the terminal 80C. Therefore, for example, the portable terminal 80C can extract an aerial image that matches the flight position of the unmanned aircraft 100C that requested the generation of a superimposed image, and can use it as an original image for generating a downward image.
  • FIG. 29 is a sequence diagram showing a second operation example of the flight system 10C.
  • the flight system 10C does not include an image position corresponding to the position of the unmanned aircraft 100C in the aerial image captured by the unmanned aircraft 100C that requested the generation of the superimposed image.
  • the flight system 10 ⁇ / b> C also includes the second case where the aerial image captured by the unmanned aircraft 100 ⁇ / b> C that requested the generation of the superimposed image includes an image position corresponding to the position of the unmanned aircraft 100 ⁇ / b> C in real space.
  • An example of operation may be implemented.
  • the second operation example may be performed periodically and repeatedly during the flight of the unmanned aircraft 100C.
  • the first image acquisition unit 113 acquires an aerial image captured by the imaging devices 220 and 235 (S171).
  • the flight information acquisition unit 111 acquires position information of the unmanned aircraft 100C (S172). This position information is the position information of the unmanned aircraft 100C when the aerial image is captured in S171.
  • the imaging information acquisition unit 112 acquires information on the tilt of the imaging devices 220 and 235 (S172). The tilt information is tilt information of the imaging devices 220 and 235 when the aerial image is captured in S171.
  • the communication interface 150 includes the aerial image obtained in S171 and S172, the position information of the unmanned aircraft 100C, and the tilt information of the imaging devices 220 and 235, and transmits them to the portable terminal 80C in the superimposed image generation request ( S173).
  • the first image acquisition unit 811C receives the aerial image included in the superimposed image generation request from the unmanned aircraft 100C via the interface unit 82 or the wireless communication unit 85 (S181).
  • the information acquisition unit 812C receives the position information of the unmanned aircraft 100C and the tilt information of the imaging devices 220 and 235 included in the superimposed image generation request from the unmanned aircraft 100C via the interface unit 82 or the wireless communication unit 85. (S181).
  • the first image acquisition unit 811C may acquire one or more aerial images from the image DB 891 based on the position information of the unmanned aircraft 100C included in the superimposed image generation request (S182).
  • the first image acquisition unit 811C performs projective transformation on each of the one or more aerial images based on the tilt information added to each of the acquired one or more aerial images.
  • a downward image may be generated (S183).
  • the first image acquisition unit 113 may generate a single downward image by combining the plurality of generated downward images (S183).
  • the first image acquisition unit 811C includes the one aerial image obtained in S181, one or more aerial images acquired from the image DB 891, and the imaging device 220 relating to each of these aerial images.
  • the downward image may be generated based on the information on the inclination of 235.
  • the image position acquisition unit 813C calculates an image position corresponding to the position of the unmanned aircraft 100C in the downward image (S184).
  • the image position of the unmanned aerial vehicle 100C here includes at least the image position of the unmanned aircraft 100C that has requested the generation of the superimposed image. Further, the image position of the unmanned aircraft 100C may include the image position of the unmanned aircraft 100C other than the unmanned aircraft 100C that has issued the superimposed image generation request.
  • the image position acquisition unit 813C based on the position information of the unmanned aircraft 100C that has made the superimposed image generation request and the relative position information of the plurality of unmanned aircraft 100C, the images of the plurality of unmanned aircraft 100C. Position information may be calculated.
  • the image position acquisition unit 813B may calculate information on the image positions of the plurality of unmanned aircraft 100C based on the position information of all the unmanned aircraft 100C belonging to the flight group.
  • the position information of each unmanned aerial vehicle 100C at the time of capturing an aerial image included in the superimposed image generation request may be acquired from each unmanned aircraft 100C.
  • the second image acquisition unit 814 superimposes information (for example, at least one of the images ga, gb, bc, and bd) on the one or more unmanned aircraft 100C at one or more image positions of the downward image, and displays the superimposed image.
  • Information for example, at least one of the images ga, gb, bc, and bd
  • the display control unit 815 displays the superimposed image via the display unit 88 (S186).
  • the mobile terminal 80C and the flight system 10C display a superimposed image including information regarding each unmanned aircraft 100C at each image position corresponding to the position of each unmanned aircraft 100C in the downward image in the real space. it can. Therefore, the operator can recognize that each unmanned aircraft 100C is in flight at a position in the real space corresponding to the image position in the downward image by checking the displayed superimposed image. Therefore, it becomes easy for the operator to fly each unmanned aircraft 100C to a desired position via the transmitter 50 while confirming the downward image. In addition, even when no map image is prepared in advance, it is possible to easily grasp which position the unmanned aircraft 100C is flying.
  • the portable terminal 80C accumulates aerial images captured by a plurality of unmanned aircraft 100C in the image DB 891, and can share and use them in accordance with a superimposed image generation request from each unmanned aircraft 100C. Therefore, for example, even if the unmanned aircraft 100C is in the flight range where the first unmanned aircraft 100C flies for the first time and the unmanned aircraft 100C does not individually hold past aerial images, other unmanned aircraft 100C has accumulated in the image DB 891 in the past A composite image can be generated or a downward image can be generated based on the aerial image.
  • an image server that is an apparatus other than an unmanned aerial vehicle holds an image DB that accumulates aerial images captured by the unmanned aerial vehicle.
  • FIG. 30 is a schematic diagram illustrating a configuration example of a flight system 10D according to the fourth embodiment.
  • the flight system 10D includes a plurality of unmanned aircraft 100D, a transmitter 50, a portable terminal 80D, and an image server 90.
  • Unmanned aerial vehicle 100D, transmitter 50, portable terminal 80D, and image server 90 can communicate with each other by wired communication or wireless communication.
  • the description of the same configurations and operations as those in the first to third embodiments is omitted or simplified.
  • the unmanned aircraft 100D is not shown, but may have the same configuration as the unmanned aircraft 100C.
  • the communication interface 150 issues a superimposed image generation request to the image server 90 instead of the portable terminal 80D.
  • the communication interface 150 may make a request for generating a superimposed image to the image server 90 via the portable terminal 80D.
  • the mobile terminal 80D is not shown, but may have the same configuration as the mobile terminal 80 or 80B.
  • the portable terminal 80D has at least a display function.
  • FIG. 31 is a block diagram illustrating an example of a hardware configuration of the image server 90.
  • the image server 90 may include a server control unit 91, a wireless communication unit 95, a memory 97, and a storage 99.
  • the server control unit 91 is configured using, for example, a CPU, MPU, or DSP.
  • the server control unit 91 performs signal processing for overall control of operations of each unit of the image server 90, data input / output processing with other units, data calculation processing, and data storage processing.
  • the server control unit 91 may acquire data and information from the unmanned aerial vehicle 100 via the wireless communication unit 95.
  • the server control unit 91 may acquire data and information held in the memory 97.
  • the server control unit 91 may send data and information to the portable terminal 80D and cause the display unit 88 to display display information based on the data and information.
  • the wireless communication unit 95 communicates with the unmanned aircraft 100D and the mobile terminal 80D by various wireless communication methods.
  • the wireless communication method may include, for example, communication via a wireless LAN, Bluetooth (registered trademark), or a public wireless line.
  • the memory 97 includes, for example, a ROM that stores a program that defines the operation of the image server 90 and set value data, and a RAM that temporarily stores various information and data used during processing by the server control unit 91. You can do it.
  • the memory 97 may include memories other than ROM and RAM.
  • the memory 97 may be provided inside the image server 90.
  • the memory 97 may be provided so as to be removable from the image server 90.
  • the program may include an application program.
  • the storage 99 stores and holds various data and information.
  • the storage 99 may include an image DB 991.
  • the storage 99 may be an HDD, SSD, SD card, USB memory, or the like.
  • the storage 99 may be provided inside the image server 90.
  • the storage 99 may be provided so as to be removable from the image server 90.
  • the image DB 991 may store and hold various images acquired through the wireless communication unit 95 and their additional information.
  • This image may include an aerial image transmitted from one or more unmanned aerial vehicles 100D.
  • the additional information may include information related to the flight of the unmanned aircraft 100D related to the transmitted aerial image and information related to the imaging devices 220 and 235.
  • the image DB 991 may send at least a part of the accumulated aerial images to the server control unit 91 in response to a request from the server control unit 91.
  • the image DB 991 may store and hold a processed image obtained by processing an aerial image.
  • the image DB 991 may store and hold information relating to the aerial image or the processed image added to the aerial image or the processed image.
  • the image DB 991 may accumulate the images and additional information from each of the plurality of unmanned aircraft 100D in a distinguishable manner. For example, a plurality of image DBs 991 may be individually provided for each unmanned aircraft 100D. Further, images and additional information from a plurality of unmanned aircraft 100D are accumulated in one image DB 991, and images and additional information from a specific unmanned aircraft 100D are extracted and used based on identification information of the unmanned aircraft 100D. It's okay.
  • the image DB 991 may store the images and additional information from each of the plurality of unmanned aircraft 100D without distinction.
  • the flight system 10D can share and use images and additional information from the plurality of unmanned aircraft 100D.
  • FIG. 32 is a block diagram illustrating an example of a functional configuration of the image server 90.
  • the server control unit 91 includes a first image acquisition unit 911, an information acquisition unit 912, an image position acquisition unit 913, and a second image acquisition unit 914.
  • the first image acquisition unit 911 may acquire one or more aerial images from one or more unmanned aircraft 100D via the wireless communication unit 95.
  • the first image acquisition unit 911 may acquire one or more aerial images from one or more unmanned aircraft 100D from the image DB 991.
  • the first image acquisition unit 911 may acquire an aerial image from the image DB 991 in response to a superimposed image generation request from any unmanned aircraft 100D acquired via the wireless communication unit 95.
  • the first image acquisition unit 911 based on the position information of the unmanned aircraft 100D included in the superimposed image generation request, the first image acquisition unit 911 performs, for example, an image for a predetermined region (peripheral region) including a position related to the position information of the unmanned aircraft 100D.
  • An aerial image may be acquired from the DB 991.
  • the first image acquisition unit 911 may generate a composite image based on the plurality of acquired aerial images.
  • the first image acquisition unit 911 may generate a downward image based on the aerial image or the composite image.
  • the first image acquisition unit 911 performs projective conversion on the aerial image or the composite image based on the tilt information of the imaging devices 220 and 235 of the unmanned aircraft 100D included in the superimposed image generation request, and then downwards.
  • An image may be generated.
  • the information acquisition unit 912 may acquire additional information related to the aerial image acquired by the first image acquisition unit 911 via the wireless communication unit 95.
  • the information acquisition unit 912 may acquire additional information related to the aerial image acquired by the first image acquisition unit 911 from the image DB 991.
  • the information acquisition unit 912 may acquire the identification information of the unmanned aerial vehicle 100D that has issued the superimposed image generation request via the wireless communication unit 95.
  • the information acquisition unit 912 may acquire relative position information between the plurality of unmanned aircraft 100D via the wireless communication unit 95.
  • the image position acquisition unit 913 acquires image position information corresponding to the position of the unmanned aircraft 100D in the downward image.
  • the image position acquisition unit 913 may calculate and acquire information on the image position based on the inclination of the imaging devices 220 and 235 with respect to the direction of gravity.
  • the image position acquisition unit 913 may calculate and acquire image position information based on the inclination of the imaging devices 220 and 235 with respect to the direction of gravity and the angle of view of the imaging devices 220 and 235.
  • the image position acquisition unit 913 may acquire image position information corresponding to the positions of the plurality of unmanned aircraft 100D in the downward image.
  • the image position acquisition unit 913 obtains information on each image position corresponding to the position of each unmanned aircraft 100D based on the acquired position information of one unmanned aircraft 100D and the acquired relative position information. You may calculate and acquire.
  • the image position acquisition unit 913 may calculate and acquire information of each image position corresponding to the position of each unmanned aircraft 100D based on the acquired position information of all unmanned aircraft 100D belonging to the flight group.
  • the second image acquisition unit 914 superimposes information on one or more unmanned aircraft 100D at an image position corresponding to the position of one or more unmanned aircraft 100D in the downward image, and generates a superimposed image.
  • the information regarding each unmanned aircraft 100D may be the same as the information described in the first embodiment.
  • FIG. 33 is a flowchart showing a first operation example of the flight system 10D.
  • the flight system 10D accumulates aerial images from a plurality of unmanned aircraft 100D in the image server 90.
  • the aerial image may be accumulated every time an aerial image is captured, or a predetermined number may be accumulated when a predetermined number of images are captured, or may be accumulated every predetermined period.
  • the imaging time interval of the aerial image may be arbitrary.
  • the first image acquisition unit 113 acquires an aerial image captured by the imaging devices 220 and 235 (S191).
  • the flight information acquisition unit 111 acquires position information of the unmanned aircraft 100D (S192). This position information is the position information of each unmanned aircraft 100D when an aerial image is captured in S191.
  • the imaging information acquisition unit 112 acquires information about the tilt of the imaging devices 220 and 235 (S192). The tilt information is tilt information of the imaging devices 220 and 235 when an aerial image is captured in S191.
  • the information adding unit 104 adds the position information of the unmanned aerial vehicle 100D obtained in S192 and the tilt information of the imaging devices 220 and 235 to the aerial image acquired in S191 as additional information related to the aerial image. S193).
  • the communication interface 150 transmits the aerial image with the additional information added to the image server 90 (S194).
  • the wireless communication unit 95 receives aerial images with additional information added from a plurality of unmanned aircraft 100D (S201).
  • the wireless communication unit 95 accumulates the aerial image to which the received additional information is added in the image DB 991 (S202).
  • the image server 90 can store the aerial image captured by each of the plurality of unmanned aircraft 100D in association with the additional information related to the aerial image. Therefore, each unmanned aerial vehicle 100D extracts an aerial image associated with the additional information using at least one of the additional information as a key without performing the aerial image processing immediately after the aerial image is captured. Requests can be made to the server 90. Therefore, the image server 90 can extract, for example, an aerial image that matches the flight position of the unmanned aerial vehicle 100D requested to generate a superimposed image, and can use it as an original image for generating a downward image.
  • FIG. 34 is a sequence diagram showing a second operation example of the flight system 10D.
  • the flight system 10D does not include an image position corresponding to the position of the unmanned aircraft 100D in real space in the aerial image captured by the unmanned aircraft 100D that requested the generation of the superimposed image. Is assumed. It is noted that the flight system 10D is configured such that the second image is displayed even when the aerial image captured by the unmanned aerial vehicle 100D that requested generation of the superimposed image includes an image position corresponding to the position of the unmanned aircraft 100D in real space.
  • An example of operation may be implemented. The second operation example may be performed periodically and repeatedly during the flight of the unmanned aircraft 100D.
  • the first image acquisition unit 113 acquires an aerial image captured by the imaging devices 220 and 235 (S211).
  • the flight information acquisition unit 111 acquires position information of the unmanned aircraft 100D (S212). This position information is position information of the unmanned aerial vehicle 100D when the aerial image is captured in S211.
  • the imaging information acquisition unit 112 acquires information on the tilt of the imaging devices 220 and 235 (S212). This inclination information is the inclination information of the imaging devices 220 and 235 when the aerial image is captured in S211.
  • the communication interface 150 transmits the aerial image obtained in S211 and S212, the position information of the unmanned aircraft 100D, and the tilt information of the imaging devices 220 and 235 to the image server 90 by including them in the superimposed image generation request ( S213).
  • the first image acquisition unit 911 receives an aerial image included in the superimposed image generation request from the unmanned aircraft 100D via the wireless communication unit 95 (S221).
  • the information acquisition unit 912 receives the position information of the unmanned aircraft 100D and the tilt information of the imaging devices 220 and 235 included in the superimposed image generation request from the unmanned aircraft 100D via the wireless communication unit 95 (S221).
  • the first image acquisition unit 911 may acquire one or more aerial images from the image DB 991 based on the position information of the unmanned aircraft 100D included in the superimposed image generation request (S222). The first image acquisition unit 911 performs projective transformation on each of the one or more aerial images based on the inclination information added to each of the acquired one or more aerial images. A downward image may be generated (S223). The first image acquisition unit 113 may generate a single downward image by combining the plurality of generated downward images (S223).
  • the first image acquisition unit 911 includes the one aerial image obtained in S221, one or more aerial images acquired from the image DB 991, and the imaging device 220 relating to each of these aerial images.
  • the downward image may be generated based on the information on the inclination of 235.
  • the image position acquisition unit 913 calculates an image position corresponding to the position of the unmanned aircraft 100D in the downward image (S224).
  • the image position of the unmanned aerial vehicle 100D here includes at least the image position of the unmanned aerial vehicle 100D that has requested the generation of the superimposed image. Further, the image position of the unmanned aircraft 100D may include the image position of the unmanned aircraft 100D other than the unmanned aircraft 100D that has requested the generation of the superimposed image.
  • the image position acquisition unit 913 receives the images of the plurality of unmanned aircraft 100D based on the position information of the unmanned aircraft 100D that has issued the superimposed image generation request and the relative position information of the plurality of unmanned aircraft 100D. Position information may be calculated.
  • the image position acquisition unit 913 may calculate information on the image positions of a plurality of unmanned aircraft 100D based on the position information of all unmanned aircraft 100D belonging to the flight group.
  • the position information of each unmanned aerial vehicle 100D at the time of capturing an aerial image included in the superimposed image generation request may be acquired from each unmanned aircraft 100D.
  • the second image acquisition unit 914 superimposes information (for example, at least one of the images ga, gb, bc, and bd) on one or more unmanned aircraft 100D at one or more image positions of the downward image, and displays the superimposed image.
  • Information for example, at least one of the images ga, gb, bc, and bd
  • the wireless communication unit 95 transmits the superimposed image to the mobile terminal 80D (S226).
  • the first image acquisition unit 811 receives the superimposed image from the image server 90 via the wireless communication unit 85 (S231).
  • the display control unit 815 displays the superimposed image via the display unit 88 (S232).
  • the image server 90 and the flight system 10D display a superimposed image including information on each unmanned aircraft 100D at each image position corresponding to the position of each unmanned aircraft 100D in the downward image in the real space. it can. Therefore, the operator can recognize that each unmanned aerial vehicle 100D is flying at a position in the real space corresponding to the image position in the downward image by confirming the displayed superimposed image. Therefore, the operator can easily fly each unmanned aerial vehicle 100D to a desired position via the transmitter 50 while confirming the downward image. Further, even when no map image is prepared in advance, it is possible to easily grasp which position the unmanned aircraft 100D is flying.
  • the image server 90 collectively stores aerial images captured by a plurality of unmanned aircraft 100D in the image DB 991, and can share and use them according to a superimposed image generation request from each unmanned aircraft 100D. Therefore, for example, even if the unmanned aircraft 100D is the flight range where the first unmanned aircraft 100D flies for the first time, and this unmanned aircraft 100D does not individually hold past aerial images, other unmanned aircraft 100D has accumulated in the image DB 991 in the past A composite image can be generated or a downward image can be generated based on the aerial image. Furthermore, since the image server 90 collectively performs image processing based on aerial images, the processing load on the unmanned aircraft 100D and the portable terminal 80D can be reduced.
  • the functions of the image server 90 may be distributed between the image server 90 and the portable terminal 80D.
  • the image server 90 specializes in the image storage function of the image DB 991, and the portable terminal 80D acquires a desired aerial image from the image DB 991, and generates a composite image, a downward image, and each unmanned aircraft 100D.
  • Image processing such as determination of an image position and generation of a superimposed image may be performed.
  • the image server 90 and the portable terminal 80D may distribute the functions by other distribution methods.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

空撮画像を確認しながら所望の位置に無人航空機を容易に飛行させることが可能であることが望まれる。画像表示方法は、飛行体により撮像された空撮画像に基づく画像を表示する画像表示システムにおける画像表示方法であって、飛行体の飛行中に撮像し、空撮画像を取得するステップと、空撮画像に基づく第1の画像を取得するステップと、第1の画像において飛行体の水平方向の位置に対応する飛行体の画像位置の情報を取得するステップと、第1の画像における画像位置に飛行体に関する情報を重畳し、第2の画像を生成するステップと、第2の画像を表示するステップと、を有する。

Description

画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体
 本開示は、飛行体により撮像された空撮画像に基づいて画像を表示する画像表示方法、画像表示システムに関する。本開示は、空撮画像を処理する飛行体に関する。本開示は、飛行体により撮像された空撮画像を処理するプログラム及び記録媒体に関する。
 従来、予め用意された地図画像上に、人物、車両、無人機等が所在する位置を表示するシステムが知られている。この表示システムとして、空撮画像と、地図画像に無人機の位置と地上局の位置とが重畳された画像と、が表示される空撮映像配信システムが知られている(特許文献1参照)。この空撮映像配信システムは、無人機の位置座標を地図画像に重畳して表示することも可能である。
日本国特開2016-206443号公報
 無人機を操作装置(プロポ)により操作する場合、操作装置の操作者は、ディスプレイに空撮画像を表示させて、ディスプレイに表示された空撮画像を確認しながら飛行操作することがある。特許文献1に記載された空撮映像配信システムでは、空撮画像に無人機の位置が重畳されない。そのため、空撮画像から無人機がどの位置を飛行しているか認識することは困難である。したがって、操作装置の操作者は、操作装置を介して空撮画像を確認しながら所望の位置に無人機を飛行させることが困難である。
 また、特許文献1に記載された空撮映像配信システムでは、予め地図画像が用意されている必要がある。予め用意された地図画像上に無人機の位置が表示され得るが、無人機がリアルタイムに撮像している空撮画像では、無人機がどの位置を飛行しているか表示されない。そのため、予め用意された地図画像が確認されない場合、無人機がどの位置を飛行しているかの認識は困難である。
 一態様において、画像表示方法は、飛行体により撮像された空撮画像に基づく画像を表示する画像表示システムにおける画像表示方法であって、飛行体の飛行中に撮像し、空撮画像を取得するステップと、空撮画像に基づく第1の画像を取得するステップと、第1の画像において飛行体の水平方向の位置に対応する飛行体の画像位置の情報を取得するステップと、第1の画像における画像位置に飛行体に関する情報を重畳し、第2の画像を生成するステップと、第2の画像を表示するステップと、を有する。
 飛行体に関する情報は、飛行体を示す情報を含んでよい。
 画像表示方法は、飛行体の向きの情報を取得するステップ、を更に含んでよい。飛行体に関する情報は、飛行体の向きの情報を含んでよい。
 画像表示方法は、飛行体が備える撮像部の撮像方向の情報を取得するステップ、を更に含んでよい。飛行体に関する情報は、撮像方向の情報を含んでよい。
 画像表示方法は、飛行体の飛行方向の情報を取得するステップ、を更に含んでよい。飛行体に関する情報は、飛行方向の情報を含んでよい。
 画像表示方法は、重力方向に対する飛行体が備える撮像部の傾きの情報を取得するステップ、を更に含んでよい。画像位置の情報を取得するステップは、撮像部の傾きに基づいて、画像位置を取得するステップを含んでよい。
 画像表示方法は、撮像部の画角の情報を取得するステップ、を更に含んでよい。画像位置の情報を取得するステップは、撮像部の傾き及び撮像部の画角に基づいて、画像位置の情報を取得するステップを含んでよい。
 画像表示方法は、空撮画像に、空撮画像の撮像時における撮像位置の情報と、空撮画像の撮像時における飛行体が備える撮像部の傾きの情報と、を付加するステップと、情報が付加された空撮画像を蓄積部に複数蓄積するステップと、を更に含んでよい。
 画像表示方法は、飛行体の位置情報を取得するステップ、を更に含んでよい。第1の画像を取得するステップは、飛行体の位置情報に基づいて、蓄積部に蓄積された複数の空撮画像を取得するステップと、複数の空撮画像に基づいて、第1の画像を生成するステップと、を含んでよい。
 画像表示方法は、重力方向に対する飛行体が備える撮像部の傾きの情報を取得するステップ、を更に含んでよい。第1の画像を取得するステップは、少なくとも1つの空撮画像及び撮像部の傾きの情報に基づいて、重力方向を法線方向とする第1の画像を生成するステップを含んでよい。
 画像表示システムは、複数の飛行体を含んでよい。画像位置の情報を取得するステップは、第1の画像における複数の飛行体の各々の画像位置の情報を取得するステップを含んでよい。第2の画像を生成するステップは、第1の画像における複数の飛行体の各々の画像位置に、複数の飛行体の各々に関する情報を重畳し、第2の画像を生成するステップを含んでよい。
 空撮画像を取得するステップは、少なくとも1台の飛行体が備える撮像部により撮像された空撮画像を取得するステップを含んでよい。画像位置の情報を取得するステップは、複数の飛行体の相対的な位置情報に基づいて、第1の画像における複数の飛行体の各々の画像位置の情報を取得するステップを含んでよい。
 空撮画像を取得するステップは、複数の飛行体の各々により撮像された複数の空撮画像を取得するステップを含んでよい。第1の画像を取得するステップは、複数の空撮画像を合成して合成画像を生成するステップと、合成画像に基づいて第1の画像を生成するステップと、を含んでよい。
 画像表示方法は、複数の飛行体の各々の位置情報を取得するステップ、を更に含んでよい。画像位置の情報を取得するステップは、複数の飛行体の各々の位置情報に基づいて、第1の画像における複数の飛行体の各々の画像位置の情報を取得するステップを含んでよい。
 画像表示方法は、複数の飛行体の各々により撮像された空撮画像に、空撮画像の撮像時における撮像位置の情報と、空撮画像の撮像時における画像を撮像した飛行体が備える撮像部の傾きの情報と、を付加するステップと、情報が付加された空撮画像を、第2の画像を表示する表示装置が備える蓄積部に複数蓄積するステップと、を更に含んでよい。
 画像表示方法は、複数の飛行体の各々により撮像された空撮画像に、空撮画像の撮像時における撮像位置の情報と、空撮画像の撮像時における空撮画像を撮像した飛行体が備える撮像部の傾きの情報と、を付加するステップと、情報が付加された空撮画像を、画像サーバが備える蓄積部に複数蓄積するステップと、を更に含んでよい。
 一態様において、画像表示システムは、飛行体により撮像された空撮画像に基づいて画像を表示する画像表示システムであって、飛行体の飛行中に撮像し、空撮画像を得る撮像部と、空撮画像に基づく第1の画像を取得する第1の取得部と、第1の画像において飛行体の水平方向の位置に対応する飛行体の画像位置の情報を取得する第2の取得部と、第1の画像における画像位置に飛行体に関する情報を重畳し、第2の画像を生成する生成部と、第2の画像を表示する表示部と、を備える。
 飛行体に関する情報は、飛行体の存在を示す情報を含んでよい。
 画像表示システムは、飛行体の向きの情報を取得する第3の取得部、を更に備えてよい。飛行体に関する情報は、飛行体の向きの情報を含んでよい。
 画像表示システムは、撮像部の撮像方向の情報を取得する第4の取得部、を更に備えてよい。飛行体に関する情報は、撮像方向の情報を含んでよい。
 画像表示システムは、飛行体の飛行方向の情報を取得する第5の取得部、を更に備えてよい。飛行体に関する情報は、飛行方向の情報を含んでよい。
 画像表示システムは、重力方向に対する撮像部の傾きの情報を取得する第6の取得部、を更に備えてよい。第2の取得部は、撮像部の傾きに基づいて、画像位置を取得してよい。
 画像表示システムは、撮像部の画角の情報を取得する第7の取得部、を更に備えてよい。第2の取得部は、撮像部の傾き及び撮像部の画角に基づいて、画像位置の情報を取得してよい。
 画像表示システムは、空撮画像に、空撮画像の撮像時における撮像位置の情報と、空撮画像の撮像時における撮像部の傾きの情報と、を付加する付加部と、情報が付加された空撮画像を複数蓄積する蓄積部と、を更に備えてよい。
 画像表示システムは、飛行体の位置情報を取得する第8の取得部、を更に備えてよい。第1の取得部は、飛行体の位置情報に基づいて、蓄積部に蓄積された複数の空撮画像を取得し、複数の空撮画像に基づいて、第1の画像を生成してよい。
 画像表示システムは、重力方向に対する撮像部の傾きの情報を取得する第6の取得部、を更に備えてよい。記第1の取得部は、少なくとも1つの空撮画像及び撮像部の傾きの情報に基づいて、重力方向を法線方向とする第1の画像を生成してよい。
 撮像部は、飛行体の筐体に設置されてよい。
 撮像部は、飛行体の撮像部を回転可能に支持する支持部材に設置されてよい。
 画像表示システムは、複数の飛行体を含んでよい。第2の取得部は、第1の画像における複数の飛行体の各々の画像位置の情報を取得してよい。生成部は、第1の画像における複数の飛行体の各々の画像位置に、複数の飛行体の各々に関する情報を重畳し、第2の画像を生成してよい。
 画像表示システムは、複数の飛行体の相対的な位置情報を取得する第9の取得部、を更に備えてよい。複数の飛行体に含まれる少なくとも1台の飛行体は、撮像部を備えてよい。第2の取得部は、複数の飛行体の相対的な位置情報に基づいて、第1の画像における複数の飛行体の各々の画像位置の情報を取得してよい。
 複数の飛行体の各々は、撮像部を備えてよい。撮像部の各々は、複数の空撮画像の各々を取得してよい。第1の取得部は、複数の空撮画像を合成して合成画像を生成し、合成画像に基づいて第1の画像を生成してよい。
 複数の飛行体の各々は、飛行体の各々の位置情報を取得する第8の取得部、を備えてよい。第2の取得部は、複数の飛行体の各々の位置情報に基づいて、第1の画像における複数の飛行体の各々の画像位置の情報を取得してよい。
 画像表示システムは、表示部を備える表示装置、を更に備えてよい。複数の飛行体の各々は、撮像部と、撮像部により撮像された空撮画像に、空撮画像の撮像時における撮像位置の情報と、空撮画像の撮像時における撮像部の傾きの情報と、を付加する付加部と、を備え、表示装置は、情報が付加された空撮画像を複数蓄積する蓄積部、を備えてよい。
 画像表示システムは、画像サーバ、を更に備えてよい。複数の飛行体の各々は、撮像部と、撮像部により撮像された空撮画像に、空撮画像の撮像時における撮像位置の情報と、空撮画像の撮像時における撮像部の傾きの情報と、を付加する付加部と、を備えてよい。画像サーバは、記情報が付加された空撮画像を複数蓄積する蓄積部、を備えてよい。
 一態様において、飛行体は、空撮画像を処理する飛行体であって、飛行体の飛行中に撮像し、空撮画像を得る撮像部と、空撮画像に基づく第1の画像を取得する第1の取得部と、第1の画像において飛行体の水平方向の位置に対応する飛行体の画像位置の情報を取得する第2の取得部と、第1の画像における画像位置に飛行体に関する情報を重畳し、第2の画像を生成する生成部と、第2の画像を出力する出力部と、を備える。
 一態様において、プログラムは、空撮画像を処理する飛行体に、飛行体の飛行中に撮像し、空撮画像を得るステップと、空撮画像に基づく第1の画像を取得するステップと、第1の画像において飛行体の水平方向の位置に対応する飛行体の画像位置の情報を取得するステップと、第1の画像における画像位置に飛行体に関する情報を重畳し、第2の画像を生成するステップと、第2の画像を出力するステップと、を実行させるためのプログラムである。
 一態様において、記録媒体は、空撮画像を処理する飛行体に、飛行体の飛行中に撮像し、空撮画像を得るステップと、空撮画像に基づく第1の画像を取得するステップと、
 第1の画像において飛行体の水平方向の位置に対応する飛行体の画像位置の情報を取得するステップと、第1の画像における画像位置に飛行体に関する情報を重畳し、第2の画像を生成するステップと、第2の画像を出力するステップと、を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。
 なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
第1の実施形態における飛行システムの構成例を示す模式図 無人航空機の外観の一例を示す図 無人航空機の具体的な外観の一例を示す図 第1の実施形態における無人航空機のハードウェア構成の一例を示すブロック図 第1の実施形態における無人航空機の機能構成の一例を示すブロック図 送信機及び携帯端末の外観の一例を示す斜視図 第1の実施形態における送信機のハードウェア構成の一例を示すブロック図 第1の実施形態における携帯端末のハードウェア構成の一例を示すブロック図 第1の実施形態における携帯端末の機能構成の一例を示すブロック図 操作用カメラとしての撮像装置の第1設置例を示す斜視図 操作用カメラとしての撮像装置の第2設置例を示す斜視図 無人航空機の画像位置の第1例を説明するための図 無人航空機の画像位置の第2例を説明するための図 撮像用カメラとしての撮像装置により撮像された空撮画像の一例を示す模式図 操作用カメラとしての撮像装置により撮像された空撮画像の一例を示す模式図 飛行システムの第1動作例を示すシーケンス図 飛行システムの第2動作例を示すシーケンス図 飛行システムの第3動作例を示すシーケンス図 無人航空機の変形例の機能構成を示すブロック図 携帯端末の変形例の機能構成を示すブロック図 第2の実施形態における飛行システムの構成例を示す模式図 第2の実施形態における無人航空機のハードウェア構成の一例を示すブロック図 第2の実施形態における無人航空機の機能構成の一例を示すブロック図 第2の実施形態における携帯端末の機能構成の一例を示すブロック図 複数の無人航空機に関する情報が重畳された重畳画像の一例を示す模式図 第3の実施形態における飛行システムの構成例を示す模式図 第3の実施形態における携帯端末のハードウェア構成の一例を示すブロック図 第3の実施形態における携帯端末の機能構成の一例を示すブロック図 第3の実施形態における飛行システムの第1動作例を示すフローチャート 第3の実施形態における飛行システムの第2動作例を示すフローチャート 第4の実施形態における飛行システムの構成例を示す模式図 第4の実施形態における画像サーバのハードウェア構成の一例を示すブロック図 第4の実施形態における画像サーバの機能構成の一例を示すブロック図 第4の実施形態における飛行システムの第1動作例を示すフローチャート 第4の実施形態における飛行システムの第2動作例を示すフローチャート
 以下、発明の実施形態を通じて本開示を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。
 特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
 以下の実施形態では、飛行体として、無人航空機(UAV:Unmanned Aerial Vehicle)を例示する。飛行体は、空中を移動する航空機を含む。本明細書に添付する図面では、無人航空機を「UAV」と表記する。また、画像表示システムとして、飛行システムを例示する。画像表示方法は、画像表示システムにおける動作が規定されたものである。記録媒体は、プログラム(例えば飛行システムに各種の処理を実行させるプログラム)が記録されたものである。
(第1の実施形態)
 図1は、第1の実施形態における飛行システム10の構成例を示す模式図である。飛行システム10は、無人航空機100、送信機50、及び携帯端末80を備える。無人航空機100、送信機50、及び携帯端末80は、相互に有線通信又は無線通信(例えば無線LAN(Local Area Network))により通信可能である。
 次に、無人航空機100の構成例について説明する。図2は、無人航空機100の外観の一例を示す図である。図3は、無人航空機100の具体的な外観の一例を示す図である。無人航空機100が移動方向STV0に飛行する時の側面図が図2に示され、無人航空機100が移動方向STV0に飛行する時の斜視図が図3に示されている。
 図2及び図3に示すように、地面と平行であって移動方向STV0に沿う方向にロール軸(x軸参照)が定義されたとする。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸(y軸参照)が定められ、更に、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸(z軸参照)が定められる。
 無人航空機100は、UAV本体102と、ジンバル200と、撮像装置220と、複数の撮像装置230とを含む構成である。無人航空機100は、更に撮像装置235(図10A,図10B参照)を含んでよい。UAV本体102は、無人航空機100の筐体の一例である。撮像装置220,230,235は、撮像部の一例である。ジンバル200は、支持部材の一例である。
 UAV本体102は、複数の回転翼(プロペラ)を備える。UAV本体102は、複数の回転翼の回転を制御することにより無人航空機100を飛行させる。UAV本体102は、例えば4つの回転翼を用いて無人航空機100を飛行させる。回転翼の数は、4つに限定されない。また、無人航空機100は、回転翼を有さない固定翼機でもよい。
 撮像装置220は、所望の撮像範囲に含まれる被写体(例えば、空撮対象となる上空の様子、山や川等の景色、地上の建物)を撮像する撮像用のカメラである。
 複数の撮像装置230は、無人航空機100の飛行を制御するために無人航空機100の周囲を撮像するセンシング用のカメラである。2つの撮像装置230が、無人航空機100の機首である正面に設けられてよい。さらに、他の2つの撮像装置230が、無人航空機100の底面に設けられてよい。正面側の2つの撮像装置230はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つの撮像装置230もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置230により撮像された画像に基づいて、無人航空機100の周囲の3次元空間データが生成されてよい。なお、無人航空機100が備える撮像装置230の数は4つに限定されない。無人航空機100は、少なくとも1つの撮像装置230を備えていればよい。無人航空機100は、無人航空機100の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つの撮像装置230を備えてよい。撮像装置230で設定できる画角は、撮像装置220で設定できる画角より広くてよい。撮像装置230は、単焦点レンズ又は魚眼レンズを有してよい。
 図4は、無人航空機100のハードウェア構成の一例を示すブロック図である。無人航空機100は、UAV制御部110と、通信インタフェース150と、メモリ160と、ストレージ170と、ジンバル200と、回転翼機構210と、撮像装置220と、撮像装置230と、GPS受信機240と、慣性計測装置(IMU:Inertial Measurement Unit)250と、磁気コンパス260と、気圧高度計270と、超音波センサ280と、レーザー測定器290と、を含む構成である。通信インタフェース150は、出力部の一例である。
 UAV制御部110は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成される。UAV制御部110は、無人航空機100の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
 UAV制御部110は、メモリ160に格納されたプログラムに従って無人航空機100の飛行を制御する。UAV制御部110は、通信インタフェース150を介して遠隔の送信機50から受信した命令に従って、無人航空機100の飛行を制御する。メモリ160は無人航空機100から取り外し可能であってもよい。
 UAV制御部110は、複数の撮像装置230により撮像された複数の画像を解析することで、無人航空機100の周囲の環境を特定してよい。UAV制御部110は、無人航空機100の周囲の環境に基づいて、例えば障害物を回避して飛行を制御する。
 UAV制御部110は、現在の日時を示す日時情報を取得する。UAV制御部110は、GPS受信機240から現在の日時を示す日時情報を取得してよい。UAV制御部110は、無人航空機100に搭載されたタイマ(不図示)から現在の日時を示す日時情報を取得してよい。
 UAV制御部110は、無人航空機100の位置を示す位置情報を取得する。UAV制御部110は、GPS受信機240から、無人航空機100が存在する緯度、経度及び高度を示す位置情報を取得してよい。UAV制御部110は、GPS受信機240から無人航空機100が存在する緯度及び経度を示す緯度経度情報、並びに気圧高度計270から無人航空機100が存在する高度を示す高度情報をそれぞれ位置情報として取得してよい。UAV制御部110は、超音波センサ280による超音波の放射点と超音波の反射点との距離を高度情報として取得してよい。
 UAV制御部110は、磁気コンパス260から無人航空機100の向きを示す向き情報を取得する。向き情報には、例えば無人航空機100の機首の向きに対応する方位が示される。
 UAV制御部110は、撮像装置220が撮像すべき撮像範囲を撮像する時に無人航空機100が存在すべき位置を示す位置情報を取得してよい。UAV制御部110は、無人航空機100が存在すべき位置を示す位置情報をメモリ160から取得してよい。UAV制御部110は、無人航空機100が存在すべき位置を示す位置情報を、通信インタフェース150を介して送信機50等の他の装置から取得してよい。UAV制御部110は、3次元地図データベースを参照して、撮像すべき撮像範囲を撮像するために、無人航空機100が存在可能な位置を特定して、その位置を無人航空機100が存在すべき位置を示す位置情報として取得してよい。
 UAV制御部110は、撮像装置220及び撮像装置230のそれぞれの撮像範囲を示す撮像情報を取得する。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像装置220及び撮像装置230の画角を示す画角情報を撮像装置220及び撮像装置230から取得する。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像装置220及び撮像装置230の撮像方向を示す情報を取得する。UAV制御部110は、例えば撮像装置220の撮像方向を示す情報として、ジンバル200から撮像装置220の姿勢の状態を示す姿勢情報を取得する。UAV制御部110は、無人航空機100の向きを示す情報を取得する。撮像装置220の姿勢の状態を示す情報は、ジンバル200のピッチ軸及びヨー軸の基準回転角度からの回転角度を示す。UAV制御部110は、撮像範囲を特定するためのパラメータとして、無人航空機100が存在する位置を示す位置情報を取得する。UAV制御部110は、撮像装置220及び撮像装置230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて、撮像装置220が撮像する地理的な範囲を示す撮像範囲を画定し、撮像範囲を示す撮像情報を生成することで、撮像情報を取得してよい。
 UAV制御部110は、撮像装置220が撮像すべき撮像範囲を示す撮像情報を取得してよい。UAV制御部110は、メモリ160から撮像装置220が撮像すべき撮像情報を取得してよい。UAV制御部110は、通信インタフェース150を介して送信機50等の他の装置から撮像装置220が撮像すべき撮像情報を取得してよい。
 UAV制御部110は、無人航空機100の周囲に存在するオブジェクトの立体形状(3次元形状)を示す立体情報(3次元情報)を取得してよい。オブジェクトは、例えば、建物、道路、車、木等の風景の一部である。立体情報は、例えば、3次元空間データである。UAV制御部110は、複数の撮像装置230から得られたそれぞれの画像から、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を生成することで、立体情報を取得してよい。UAV制御部110は、メモリ160に格納された3次元地図データベースを参照することにより、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を取得してよい。UAV制御部110は、ネットワーク上に存在するサーバが管理する3次元地図データベースを参照することで、無人航空機100の周囲に存在するオブジェクトの立体形状に関する立体情報を取得してよい。
 UAV制御部110は、撮像装置220及び撮像装置230により撮像された画像データを取得する。
 UAV制御部110は、ジンバル200、回転翼機構210、撮像装置220、及び撮像装置230を制御する。UAV制御部110は、撮像装置220の撮像方向又は画角を変更することによって、撮像装置220の撮像範囲を制御する。UAV制御部110は、ジンバル200の回転機構を制御することで、ジンバル200に支持されている撮像装置220の撮像範囲を制御する。
 本明細書では、撮像範囲は、撮像装置220又は撮像装置230により撮像される地理的な範囲をいう。撮像範囲は、緯度、経度、及び高度で定義される。撮像範囲は、緯度、経度、及び高度で定義される3次元空間データにおける範囲でよい。撮像範囲は、撮像装置220又は撮像装置230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて特定される。撮像装置220及び撮像装置230の撮像方向は、撮像装置220及び撮像装置230の撮像レンズが設けられた正面が向く方位と俯角とから定義される。撮像装置220の撮像方向は、無人航空機100の機首の方位と、ジンバル200に対する撮像装置220の姿勢の状態とから特定される方向である。撮像装置230の撮像方向は、無人航空機100の機首の方位と、撮像装置230が設けられた位置とから特定される方向である。
 UAV制御部110は、回転翼機構210を制御することで、無人航空機100の飛行を制御する。つまり、UAV制御部110は、回転翼機構210を制御することにより、無人航空機100の緯度、経度、及び高度を含む位置を制御する。UAV制御部110は、無人航空機100の飛行を制御することにより、撮像装置220及び撮像装置230の撮像範囲を制御してよい。UAV制御部110は、撮像装置220が備えるズームレンズを制御することで、撮像装置220の画角を制御してよい。UAV制御部110は、撮像装置220のデジタルズーム機能を利用して、デジタルズームにより、撮像装置220の画角を制御してよい。
 撮像装置220が無人航空機100に固定され、撮像装置220を動かせない場合、UAV制御部110は、特定の日時に特定の位置に無人航空機100を移動させることにより、所望の環境下で所望の撮像範囲を撮像装置220に撮像させることができる。あるいは撮像装置220がズーム機能を有さず、撮像装置220の画角を変更できない場合でも、UAV制御部110は、特定された日時に、特定の位置に無人航空機100を移動させることで、所望の環境下で所望の撮像範囲を撮像装置220に撮像させることができる。
 通信インタフェース150は、送信機50と通信する。通信インタフェース150は、遠隔の送信機50からUAV制御部110に対する各種の命令や情報を受信する。
 メモリ160は、UAV制御部110がジンバル200、回転翼機構210、撮像装置220、撮像装置230、GPS受信機240、慣性計測装置250、磁気コンパス260、気圧高度計270、超音波センサ280、及びレーザー測定器290を制御するのに必要なプログラム等を格納する。メモリ160は、コンピュータ読み取り可能な記録媒体でよく、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、及びUSBメモリ等のフラッシュメモリの少なくとも1つを含んでよい。メモリ160は、UAV本体102の内部に設けられてよい。UAV本体102から取り外し可能に設けられてよい。
 ストレージ170は、各種データ、情報を蓄積し、保持する。ストレージ170は、画像DB(DataBase)171を備えてよい。ストレージ170は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、SDカード、USBメモリ、等でよい。ストレージ170は、UAV本体102の内部に設けられてよい。ストレージ170は、UAV本体102から取り外し可能に設けられてよい。
 画像DB171は、撮像装置220、235(220又は235)により撮像された空撮画像を蓄積し、保持してよい。画像DB171は、UAV制御部110からの要求に応じて、蓄積された空撮画像の少なくとも一部をUAV制御部110へ送ってよい。画像DB171は、空撮画像が加工された加工画像を蓄積し、保持してよい。画像DB171は、空撮画像や加工画像に関する情報が空撮画像や加工画像に付加された状態で、蓄積し、保持してよい。画像DB171は、蓄積部の一例である。
 ジンバル200は、少なくとも1つの軸を中心に撮像装置220を回転可能に支持する。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像装置220を回転可能に支持してよい。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置220を回転させることで、撮像装置220の撮像方向を変更してよい。
 回転翼機構210は、複数の回転翼211と、複数の回転翼211を回転させる複数の駆動モータ212と、駆動モータ212を駆動するための駆動電流の電流値(実測値)を計測する電流センサ213と、を有する。駆動電流は、駆動モータ212に供給される。
 撮像装置220は、所望の撮像範囲の被写体を撮像して撮像画像のデータを生成する。撮像装置220の撮像により得られた画像データは、撮像装置220が有するメモリ、又はメモリ160に格納される。
 撮像装置230は、無人航空機100の周囲を撮像して撮像画像のデータを生成する。撮像装置230の画像データは、メモリ160に格納される。
 撮像装置235は、無人航空機100の周囲(例えば地面方向)を撮像して撮像画像のデータを生成する。撮像装置235の画像データは、メモリ160に格納される。
 GPS受信機240は、複数の航法衛星(つまり、GPS衛星)から発信された時刻及び各GPS衛星の位置(座標)を示す複数の信号を受信する。GPS受信機240は、受信された複数の信号に基づいて、GPS受信機240の位置(つまり、無人航空機100の位置)を算出する。GPS受信機240は、無人航空機100の位置情報をUAV制御部110に出力する。なお、GPS受信機240の位置情報の算出は、GPS受信機240の代わりにUAV制御部110により行われてよい。この場合、UAV制御部110には、GPS受信機240が受信した複数の信号に含まれる時刻及び各GPS衛星の位置を示す情報が入力される。
 慣性計測装置250は、無人航空機100の姿勢を検出し、検出結果をUAV制御部110に出力する。慣性計測装置IMU250は、無人航空機100の姿勢として、無人航空機100の前後、左右、及び上下の3軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の3軸方向の角速度とを検出する。
 磁気コンパス260は、無人航空機100の機首の方位を検出し、検出結果をUAV制御部110に出力する。
 気圧高度計270は、無人航空機100が飛行する高度を検出し、検出結果をUAV制御部110に出力する。
 超音波センサ280は、超音波を放射し、地面や物体により反射された超音波を検出し、検出結果をUAV制御部110に出力する。検出結果は、無人航空機100から地面までの距離つまり高度を示してよい。検出結果は、無人航空機100から物体までの距離を示してよい。
 レーザー測定器290は、物体にレーザー光を照射し、物体で反射された反射光を受光し、反射光により無人航空機100と物体との間の距離を測定する。レーザー光による距離の測定方式は、一例として、タイムオブフライト方式でよい。
 図5は、無人航空機100の機能構成の一例を示すブロック図である。UAV制御部110は、飛行情報取得部111、撮像情報取得部112、第1画像取得部113、及び情報付加部114を備える。
 飛行情報取得部111は、第3の取得部、第5の取得部、及び第8の取得部の一例である。撮像情報取得部112は、第4の取得部、第6の取得部、及び第7の取得部の一例である。第1画像取得部113は、第1の取得部の一例である。情報付加部114は、付加部の一例である。
 飛行情報取得部111は、無人航空機100の飛行に関する情報を取得する。無人航空機100の飛行に関する情報は、無人航空機100の飛行の位置情報、無人航空機100の向きの情報、無人航空機100の飛行方向の情報を含んでよい。
 飛行情報取得部111は、無人航空機100の位置情報、つまり飛行位置の情報を取得してよい。飛行情報取得部111は、GPS受信機240から位置情報(例えば緯度・経度の情報、緯度・経度・高度の情報)を取得してよい。飛行情報取得部111は、GPS受信機240以外により得られた位置情報を取得してよい。飛行情報取得部111は、任意の基準位置の位置情報と基準位置に対する相対的な位置情報を基に、無人航空機100の位置情報を算出等により取得してよい。
 飛行情報取得部111は、無人航空機100の向きの情報を取得してよい。無人航空機100の向きは、無人航空機100の前進時の飛行方向と一致してよい。無人航空機100の向きは、無人航空機100内の基準となる部材の配置位置に基づく方向で規定されてもよい。無人航空機100の向きは、磁気コンパス260を介して取得されてよい。
 飛行情報取得部111は、無人航空機100の飛行方向の情報を取得してよい。飛行情報取得部111は、無人航空機100の飛行方向の情報を、無人航空機100の位置情報の時間変化(例えば時間微分)を基に取得してよい。具体的には、飛行情報取得部111は、時間変化が示す速度が値0以上の方向を飛行方向としてよい。飛行情報取得部111は、無人航空機100の飛行方向の情報を、無人航空機100の速度情報を基に取得してよい。飛行情報取得部111は、無人航空機100の飛行方向の情報を、無人航空機100の加速度の時間積分を基に取得してよい。
 無人航空機100の飛行に関する情報の少なくとも一部は、通信インタフェース150を介して、携帯端末80へ送信されてよい。
 撮像情報取得部112は、撮像装置220、235の撮像に関する情報を取得する。撮像装置220、235の撮像に関する情報は、撮像装置220、235による撮像方向の情報、撮像装置220、235の傾きの情報、撮像装置220、235の画角の情報を含んでよい。
 撮像情報取得部112は、撮像装置220、235の撮像方向の情報を取得してよい。撮像情報取得部112は、撮像装置220による撮像方向の情報を、無人航空機100の向きの情報と、ジンバル200から取得される撮像装置220の無人航空機100に対する姿勢の状態を示す姿勢情報と、を基に算出して取得してよい。撮像情報取得部112は、撮像装置235による撮像方向の情報を、無人航空機100の向きの情報と、撮像装置235の無人航空機100に対する姿勢の状態を示す姿勢情報と、を基に算出して取得してよい。
 なお、無人航空機100に対する撮像装置235の姿勢の情報は、撮像装置235がUAV本体102に固定設置されている場合は既知の情報であり、撮像装置235内のメモリ又はメモリ160に保持されてよい。無人航空機100に対する撮像装置235の姿勢の情報は、撮像装置235がジンバル200に設置されている場合、ジンバル200から取得されてよい。
 撮像情報取得部112は、重力方向に対する撮像装置220、235の傾きの情報を取得してよい。重力方向に対する撮像装置220の傾きは、重力方向に対する無人航空機100の傾き、つまり慣性計測装置250からの無人航空機100の姿勢の情報と、無人航空機100に対する撮像装置220の傾き、つまりジンバル200からの撮像装置220の姿勢の情報と、を基に算出等により取得されてよい。重力方向に対する撮像装置235の傾きは、重力方向に対する無人航空機100の傾きと、無人航空機100に対する撮像装置235の傾き(固定設置なので既知)と、を基に算出等により取得されてよい。重力方向に対する撮像装置235の傾きは、重力方向に対する無人航空機100の傾きと、無人航空機100に対する撮像装置235の傾きと、を基に算出等により取得されてよい。
 なお、無人航空機100に対する撮像装置235の傾きの情報は、撮像装置235がUAV本体102に固定設置されている場合は既知の情報であり、撮像装置235内のメモリ又はメモリ160に保持されてよい。無人航空機100に対する撮像装置235の傾きの情報は、撮像装置235がジンバル200に設置されている場合、ジンバル200から取得されてよい。
 撮像情報取得部112は、撮像装置220、235の画角の情報を、撮像装置220、235から取得してよい。
 撮像装置220、235の撮像に関する情報の少なくとも一部は、通信インタフェース150を介して、携帯端末80へ送信されてよい。
 第1画像取得部113は、撮像装置220、235により撮像された空撮画像を取得する。第1画像取得部113は、空撮画像を基に、下向き画像を生成してよい。下向き画像は、第1の画像の一例である。この下向き画像は、その画像範囲に、空撮画像の撮像時における無人航空機100の水平方向の位置に対応する画像位置を含む。空撮画像の画像範囲に、空撮画像の撮像時における無人航空機100の水平方向の位置に対応する画像位置を含む場合、下向き画像は空撮画像でよい。空撮画像の画像範囲に、空撮画像の撮像時における無人航空機100の水平方向の位置に対応する画像位置を含まない場合、第1画像取得部113は、空撮画像を基に下向き画像を生成してよい。
 第1画像取得部113は、撮像装置220、235により撮像された空撮画像に対して、撮像装置220、235の傾きに基づいて射影変換することで、下向き画像を生成してよい。例えば、空撮時の撮像装置220、235の撮像方向としての空撮画像に対する法線方向が、重力方向に対して傾いている場合に、第1画像取得部113は、この法線方向が重力方向に近づくような射影変換を行い、下向き画像を生成してよい。下向き画像は、重力方向を法線方向とする画像でもよい。射影変換は、線形変換の一例であり、その他の線形変換が行われてもよい。
 第1画像取得部113は、画像DB171に蓄積された空撮画像のいずれか1つを取得してよい。第1画像取得部113は、取得した空撮画像に対して、この空撮画像の空撮時における撮像装置220、235の傾きに基づいて射影変換することで、下向き画像を生成してよい。
 第1画像取得部113は、無人航空機100の現在の位置情報に基づいて、画像DB171に蓄積された空撮画像のうちの特定の空撮画像を取得してよい。第1画像取得部113は、空撮時の無人航空機100の位置を示す位置情報と一致した位置情報が付加された空撮画像を、画像DB171から取得してよい。第1画像取得部113は、空撮時の無人航空機100の位置を示す位置情報と一致していなくても、この位置に最も近い位置に係る位置情報が付加された空撮画像を、画像DB171から取得してよい。
 第1画像取得部113は、撮像装置220、235の傾き及び撮像装置220、235の画角の情報に基づいて、撮像装置220、235により撮像された空撮画像の画像範囲に相当する実空間の範囲(例えば緯度・経度の範囲)の情報を、算出等により取得してよい。この場合、第1画像取得部113は、空撮画像の空撮時の無人航空機100の高度の情報も加味して、実空間の範囲の情報を算出等により取得してよい。第1画像取得部113は、無人航空機100の位置情報が示す飛行位置が画像範囲に含まれる空撮画像を、画像DB171から取得してよい。
 第1画像取得部113は、無人航空機100の現在の位置情報に基づいて、画像DB171に蓄積された空撮画像のうちの特定の複数の空撮画像を取得してよい。第1画像取得部113は、空撮時の無人航空機100の位置を示す位置情報と一致した位置情報が付加された複数の空撮画像を、画像DB171から取得してよい。第1画像取得部113は、空撮時の無人航空機100の位置を示す位置情報と一致していなくても、この位置との距離が所定距離以内である位置情報(つまり周辺の位置情報)が付加された複数の空撮画像を、画像DB171から取得してよい。
 第1画像取得部113は、無人航空機100の位置情報が示す飛行位置が画像範囲に含まれる複数の空撮画像を、画像DB171から取得してよい。第1画像取得部113は、画像DB171に蓄積された空撮画像全てを取得してもよい。
 第1画像取得部113は、画像DB171に蓄積された周辺の位置情報が付加された複数の空撮画像のうち、この空撮画像の空撮時の撮像装置220、235の傾きが小さい空撮画像を優先的に抽出して取得してよい。これにより、無人航空機100及び飛行システム10は、法線方向が重力方向に近い空撮画像が優先的に抽出されるので、無人航空機100の位置が画像範囲に含まれる可能性が高くなり、地面方向を良好に表現した空撮画像を取得できる。
 第1画像取得部113は、画像DB171に蓄積された周辺の位置情報が付加された複数の空撮画像のうち、無人航空機100の飛行方向の前方の位置情報が付加された空撮画像を優先的に抽出して取得してよい。これにより、無人航空機100及び飛行システム10は、無人航空機100が将来的に位置する方向を含む空撮画像を取得できるので、将来的に操作者が無人航空機100を操作し易くなる。
 第1画像取得部113は、画像DB171から抽出する空撮画像の枚数を、無人航空機100の速度の情報に基づいて決定してよい。例えば、第1画像取得部113は、無人航空機100が高速に移動する場合には、抽出される空撮画像の枚数を少なくすることで、合成画像の生成に係る処理負荷や処理時間を短縮でき、合成画像の生成効率を向上でき、高速の移動に対する追従性も向上できる。また、第1画像取得部113は、無人航空機100が低速に移動する場合には、抽出される空撮画像の枚数を多くすることで、狭い範囲の合成画像の画質を向上できる。
 第1画像取得部113は、画像DB171に蓄積された空撮画像に含まれる複数の空撮画像を取得し、取得した複数の空撮画像を合成し、合成画像を生成してよい。例えば、第1画像取得部113は、過去に撮像された空撮画像を繋ぎ合わせて、広範囲の合成画像を生成してよい。第1画像取得部113は、合成画像に対して射影変換することで、下向き画像を生成してよい。合成画像は、複数の空撮画像が加算されて取得されてよい。合成画像は、複数の空撮画像が平均化されて取得されてよい。合成画像は、複数の空撮画像を基にその他の手法により取得されてよい。
 第1画像取得部113は、画像DB171から取得された複数の空撮画像に対して、空撮画像の画像範囲を同様の範囲にして、統一された画像範囲を有する複数の空撮画像を基に、合成画像を生成してよい。つまり、第1画像取得部113は、画像DB171から取得された複数の空撮画像のサイズを同程度の大きさにしてから、合成画像を生成してよい。また、第1画像取得部113は、画像DB171から取得された複数の空撮画像の一部ずつを繋ぎ合わせて、合成画像を生成してよい。
 第1画像取得部113は、生成された合成画像に対して射影変換等を行い、下向き画像を生成してよい。第1画像取得部113は、生成された複数の下向き画像を基に、1つの下向き画像としての合成画像を生成してよい。
 空撮画像及び下向き画像の少なくとも一部は、通信インタフェース150を介して、携帯端末80へ送信されてよい。
 情報付加部114は、撮像装置220、235により撮像された空撮画像に対して、この空撮画像に関する情報を付加情報(メタデータの一例)として付加する。情報付加部114は、付加情報が付加された空撮画像を、画像DB171に送り、蓄積させる。付加情報は、空撮画像の空撮時における無人航空機100に関する情報(例えば飛行情報)や撮像装置220、235に関する情報(例えば撮像情報)を含んでよい。情報付加部114は、空撮画像の撮像時における撮像位置の情報と、空撮画像の撮像時における撮像装置220、235の傾きの情報とを、付加情報として空撮画像に付加してよい。撮像位置の情報は、空撮画像の撮像時における無人航空機100の位置情報でよい。
 情報付加部114は、空撮画像の画像範囲に対応する実空間の範囲の情報(例えば緯度・経度の範囲の情報)を、付加情報の1つとして空撮画像に付加し、画像DB171に蓄積してよい。これにより、無人航空機100は、空撮画像の画像範囲に対応する実空間の範囲に空撮画像を撮像した無人航空機100が位置しない場合でも、無人航空機100の位置情報を、空撮画像の画像範囲に対応する実空間の範囲に含む空撮画像を、画像DB171から取得できる。
 無人航空機100は、画像DB171に空撮画像を蓄積するために、飛行が予定されている飛行範囲内を予備飛行し、飛行範囲内の位置情報が付加された空撮画像を蓄積しておいてもよい。これにより、無人航空機100の飛行位置に関連付けられた空撮画像が画像DB171に蓄積されている確率を高くできる。
 次に、送信機50及び携帯端末80の構成例について説明する。図6は、送信機50が装着された携帯端末80の外観の一例を示す斜視図である。図6では、携帯端末80の一例として、スマートフォン80Sが示されている。送信機50に対する上下前後左右の方向は、図6に示す矢印の方向にそれぞれ従うとする。送信機50は、例えば送信機50を使用する人物(以下、「操作者」という)の両手で把持された状態で使用される。
 送信機50は、例えば略正方形状の底面を有し、かつ高さが底面の一辺より短い略直方体(言い換えると、略箱形)の形状をした樹脂製の筐体50Bを有する。送信機50の筐体表面の略中央には、左制御棒53Lと右制御棒53Rとが突設して配置される。
 左制御棒53L、右制御棒53Rは、それぞれ操作者による無人航空機100の移動を遠隔で制御(例えば、無人航空機100の前後移動、左右移動、上下移動、向き変更)するための操作(移動制御操作)において使用される。図6では、左制御棒53L及び右制御棒53Rは、操作者の両手からそれぞれ外力が印加されていない初期状態の位置が示されている。左制御棒53L及び右制御棒53Rは、操作者により印加された外力が解放された後、自動的に所定位置(例えば図6に示す初期位置)に復帰する。
 左制御棒53Lの手前側(言い換えると、操作者側)には、送信機50の電源ボタンB1が配置される。電源ボタンB1が操作者により一度押下されると、例えば送信機50に内蔵されるバッテリ(不図示)の容量の残量がバッテリ残量表示部L2において表示される。電源ボタンB1が操作者によりもう一度押下されると、例えば送信機50の電源がオンとなり、送信機50の各部(図7参照)に電源が供給されて使用可能となる。
 右制御棒53Rの手前側(言い換えると、操作者側)には、RTH(Return To Home)ボタンB2が配置される。RTHボタンB2が操作者により押下されると、送信機50は、無人航空機100に所定の位置に自動復帰させるための信号を送信する。これにより、送信機50は、無人航空機100を所定の位置(例えば無人航空機100が記憶している離陸位置)に自動的に帰還させることができる。RTHボタンB2は、例えば屋外での無人航空機100による空撮中に操作者が無人航空機100の機体を見失った場合、又は電波干渉や予期せぬトラブルに遭遇して操作不能になった場合等に利用可能である。
 電源ボタンB1及びRTHボタンB2の手前側(言い換えると、操作者側)には、リモートステータス表示部L1及びバッテリ残量表示部L2が配置される。リモートステータス表示部L1は、例えばLED(Light Emission Diode)を用いて構成され、送信機50と無人航空機100との無線の接続状態を表示する。バッテリ残量表示部L2は、例えばLEDを用いて構成され、送信機50に内蔵されたバッテリ(不図示)の容量の残量を表示する。
 左制御棒53L及び右制御棒53Rより後側であって、かつ送信機50の筐体50Bの後方側面から、2つのアンテナAN1,AN2が突設して配置される。アンテナAN1,AN2は、操作者の左制御棒53L及び右制御棒53Rの操作に基づき、送信機制御部61により生成された信号(つまり、無人航空機100の移動を制御するための信号)を無人航空機100に送信する。この信号は、送信機50により入力された操作入力信号の1つである。アンテナAN1,AN2は、例えば2kmの送受信範囲をカバーできる。また、アンテナAN1,AN2は、送信機50と無線接続中の無人航空機100が有する撮像装置220,235により撮像された画像、又は無人航空機100が取得した各種データが無人航空機100から送信された場合に、これらの画像又は各種データを受信できる。
 図6では、送信機50が表示部を備えていないが、表示部を備えてもよい。
 携帯端末80は、ホルダHLDに載置されて取り付けられてよい。ホルダHLDは、送信機50に接合されて取り付けられてよい。これにより、携帯端末80がホルダHLDを介して送信機50に装着される。携帯端末80と送信機50とは、有線ケーブル(例えばUSBケーブル)を介して接続されてよい。携帯端末80が送信機50に装着されず、携帯端末80と送信機50がそれぞれ独立して設けられてもよい。
 図7は、送信機50のハードウェア構成の一例を示すブロック図である。送信機50は、左制御棒53Lと、右制御棒53Rと、送信機制御部61と、無線通信部63と、インタフェース部65と、電源ボタンB1と、RTHボタンB2と、操作部セットOPSと、リモートステータス表示部L1と、バッテリ残量表示部L2と、表示部DPとを含む構成である。送信機50は、無人航空機100の制御を指示する操作装置の一例である。
 左制御棒53Lは、例えば操作者の左手により、無人航空機100の移動を遠隔で制御するための操作に使用される。右制御棒53Rは、例えば操作者の右手により、無人航空機100の移動を遠隔で制御するための操作に使用される。無人航空機100の移動は、例えば前進する方向の移動、後進する方向の移動、左方向の移動、右方向の移動、上昇する方向の移動、下降する方向の移動、左方向に無人航空機100を回転する移動、右方向に無人航空機100を回転する移動のうちいずれか又はこれらの組み合わせであり、以下同様である。
 電源ボタンB1は一度押下されると、一度押下された旨の信号が送信機制御部61に入力される。送信機制御部61は、この信号に従い、送信機50に内蔵されるバッテリ(不図示)の容量の残量をバッテリ残量表示部L2に表示する。これにより、操作者は、送信機50に内蔵されるバッテリの容量の残量を簡単に確認できる。また、電源ボタンB1は二度押下されると、二度押下された旨の信号が送信機制御部61に渡される。送信機制御部61は、この信号に従い、送信機50に内蔵されるバッテリ(不図示)に対し、送信機50内の各部への電源供給を指示する。これにより、操作者は、送信機50の電源がオンとなり、送信機50の使用を簡単に開始できる。
 RTHボタンB2は押下されると、押下された旨の信号が送信機制御部61に入力される。送信機制御部61は、この信号に従い、無人航空機100に所定の位置(例えば無人航空機100の離陸位置)に自動復帰させるための信号を生成し、無線通信部63及びアンテナAN1,AN2を介して無人航空機100に送信する。これにより、操作者は、送信機50に対する簡単な操作により、無人航空機100を所定の位置に自動で復帰(帰還)させることができる。
 操作部セットOPSは、複数の操作部OP(例えば操作部OP1,…,操作部OPn)(n:2以上の整数)を用いて構成される。操作部セットOPSは、図4に示す左制御棒53L、右制御棒53R、電源ボタンB1及びRTHボタンB2を除く他の操作部(例えば、送信機50による無人航空機100の遠隔制御を支援するための各種の操作部)により構成される。ここでいう各種の操作部とは、例えば、無人航空機100の撮像装置220を用いた静止画の撮像を指示するボタン、無人航空機100の撮像装置220を用いた動画の録画の開始及び終了を指示するボタン、無人航空機100のジンバル200(図4参照)のチルト方向の傾きを調整するダイヤル、無人航空機100のフライトモードを切り替えるボタン、無人航空機100の撮像装置220の設定を行うダイヤルが該当する。
 リモートステータス表示部L1及びバッテリ残量表示部L2は、図6を参照して説明したので、ここでは説明を省略する。
 送信機制御部61は、プロセッサ(例えばCPU、MPU又はDSP)を用いて構成される。送信機制御部61は、送信機50の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
 送信機制御部61は、無人航空機100の撮像装置220が撮像した撮像画像のデータを、無線通信部63を介して取得してメモリ(不図示)に保存し、インタフェース部65を介して携帯端末80に出力してよい。言い換えると、送信機制御部61は、無人航空機100の撮像装置220、235により撮像された空撮画像のデータを携帯端末80に表示させてよい。これにより、無人航空機100の撮像装置220、235により撮像された空撮画像は、携帯端末80において表示可能となる。
 送信機制御部61は、操作者の左制御棒53L及び右制御棒53Rの操作により、その操作により指定された無人航空機100の飛行を制御するための指示信号を生成してよい。送信機制御部61は、この指示信号を、無線通信部63及びアンテナAN1,AN2を介して、無人航空機100に送信して無人航空機100を遠隔制御してよい。これにより、送信機50は、無人航空機100の移動を遠隔で制御できる。
 無線通信部63は、2つのアンテナAN1,AN2と接続される。無線通信部63は、2つのアンテナAN1,AN2を介して、無人航空機100との間で所定の無線通信方式(例えばWifi(登録商標))を用いた情報やデータの送受信を行う。
 インタフェース部65は、送信機50と携帯端末80との間の情報やデータの入出力を行う。インタフェース部65は、例えば送信機50に設けられたUSBポート(不図示)でよい。インタフェース部65は、USBポート以外のインタフェースでもよい。
 図8は、携帯端末80のハードウェア構成の一例を示すブロック図である。携帯端末80は、端末制御部81、インタフェース部82、操作部83、無線通信部85、メモリ87、及び表示部88を備えてよい。携帯端末80は、表示装置の一例である。
 端末制御部81は、例えばCPU、MPU又はDSPを用いて構成される。端末制御部81は、携帯端末80の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
 端末制御部81は、無線通信部85を介して、無人航空機100からのデータや情報を取得してよい。端末制御部81は、インタフェース部82を介して、送信機50からのデータや情報を取得してよい。端末制御部81は、操作部83を介して入力されたデータや情報を取得してよい。端末制御部81は、メモリ87に保持されたデータや情報を取得してよい。端末制御部81は、データや情報を表示部88に送り、このデータや情報に基づく表示情報を表示部88に表示させてよい。
 端末制御部81は、無人航空機100の制御を指示するためのアプリケーションを実行してよい。端末制御部81は、アプリケーションで用いられる各種のデータを生成してよい。
 インタフェース部82は、送信機50と携帯端末80との間の情報やデータの入出力を行う。インタフェース部82は、例えば携帯端末80に設けられたUSBコネクタ(不図示)でよい。インタフェース部65は、USBコネクタ以外のインタフェースでもよい。
 操作部83は、携帯端末80の操作者により入力されるデータや情報を受け付ける。操作部83は、ボタン、キー、タッチパネル、マイクロホン、等を含んでよい。ここでは、主に、操作部83と表示部88とがタッチパネルにより構成されることを例示する。この場合、操作部83は、タッチ操作、タップ操作、ドラック操作等を受付可能である。
 無線通信部85は、各種の無線通信方式により、無人航空機100との間で通信する無線通信方式は、例えば、無線LAN、Bluetooth(登録商標)、近距離無線通信、又は公衆無線回線を介した通信を含んでよい。
 メモリ87は、例えば携帯端末80の動作を規定するプログラムや設定値のデータが格納されたROMと、端末制御部81の処理時に使用される各種の情報やデータを一時的に保存するRAMを有してよい。メモリ87は、ROM及びRAM以外のメモリが含まれてよい。メモリ87は、携帯端末80の内部に設けられてよい。メモリ87は、携帯端末80から取り外し可能に設けられてよい。プログラムは、アプリケーションプログラムを含んでよい。
 表示部88は、例えばLCD(Liquid Crystal Display)を用いて構成され、端末制御部81から出力された各種の情報やデータを表示する。表示部88は、無人航空機100の撮像装置220により撮像された空撮画像のデータを表示してよい。
 図9は、携帯端末80の機能構成の一例を示すブロック図である。端末制御部81は、第1画像取得部811、情報取得部812、画像位置取得部813、第2画像取得部814、及び表示制御部815を備える。画像位置取得部813は、第2の取得部の一例である。第2画像取得部814は、生成部の一例である。
 第1画像取得部811は、インタフェース部82又は無線通信部85を介して、無人航空機100からの空撮画像又は下向き画像を取得する。
 情報取得部812は、インタフェース部82又は無線通信部85を介して、無人航空機100からの飛行に関する情報及び撮像装置220、235の撮像に関する情報の少なくとも1つを取得する。
 画像位置取得部813は、下向き画像における無人航空機100の位置に相当する位置(画像位置、UAV位置とも称する)の情報を取得する。画像位置取得部813は、重力方向に対する撮像装置220、235の傾きに基づいて、画像位置の情報を算出して取得してよい。画像位置取得部813は、重力方向に対する撮像装置220、235の傾き及び撮像装置220、235の画角に基づいて、画像位置の情報を算出して取得してよい。
 第2画像取得部814は、下向き画像における無人航空機100の位置に相当する画像位置に、無人航空機100に関する情報を重畳し、重畳画像を生成する。重畳画像は、第2の画像の一例である。無人航空機100に関する情報は、下向き画像における画像位置に相当する実空間の位置に、無人航空機100が存在する旨の情報を含んでよい。無人航空機100が存在する旨の情報は、無人航空機100の存在を示す画像により示されてよい。無人航空機100に関する情報は、無人航空機100の向きの情報を含んでよい。無人航空機100の向きの情報は、無人航空機100の向きを示す画像により示されてよい。無人航空機100に関する情報は、撮像装置220、235の撮像方向の情報を含んでよい。撮像装置220、235の撮像方向の情報は、撮像装置220、235の撮像方向を示す画像により示されてよい。無人航空機100に関する情報は、無人航空機100の飛行方向の情報を含んでよい。無人航空機100の飛行方向の情報は、無人航空機100の飛行方向を示す画像により示されてよい。
 無人航空機100の存在を示す画像は、例えば無人航空機100が上空から空撮された空撮画像でよい。無人航空機100の存在を示す画像は、無人航空機100が上空から空撮された様子を模式的に示した画像でよい。無人航空機100の存在を示す画像は、その他の画像や記号(例えば単純な○、△、□、×)でもよい。無人航空機100の存在を示す画像は、メモリ87に保持されていてよい。
 無人航空機100の向きを示す画像は、無人航空機100の向きを矢印の先端とした矢印の画像により示されてよい。よって、第2画像取得部814は、無人航空機100の向きに基づいて、矢印の画像の向きを調整してよい。無人航空機100の向きを示す画像は、無人航空機100を示す画像の回転により示されてよい。UAV本体102に対してバッテリ(不図示)と反対方向が、無人航空機100の前進時の進行方向となり、無人航空機100の向きとなってよい。無人航空機100の向きを示す画像は、メモリ87に保持されていてよい。
 撮像装置220、235の撮像方向を示す画像は、撮像装置220、235の撮像方向を矢印の先端とした矢印の画像により示されてよい。よって、第2画像取得部814は、撮像装置220、235の撮像方向に基づいて、矢印の画像の向きを調整してよい。また、撮像装置220、235の撮像方向を示す画像は、無人航空機100を示す画像の回転により示されてよい。撮像装置220は、UAV本体102に対してバッテリと反対側に配置されてよい。この場合、撮像方向は、UAV本体102に対してバッテリと反対方向により示されてよい。撮像装置220、235の撮像方向を示す画像は、メモリ87に保持されていてよい。
 無人航空機100の飛行方向を示す画像は、無人航空機100の飛行方向を矢印の先端とした矢印の画像により示されてよい。よって、第2画像取得部814は、無人航空機100の飛行方向に基づいて、矢印の画像の向きを調整してよい。無人航空機100の飛行方向を示す画像は、メモリ87に保持されていてよい。
 表示制御部815は、表示部88を介して、空撮画像や重畳画像を表示する。表示制御部815は、操作部83を介した操作者による任意の設定等により、画面に表示される画像の上下方向や左右方向を設定してよい。表示制御部815は、無人航空機100の飛行方向の前方を画面上方として、空撮画像や重畳画像を表示させてよい。表示制御部815は、北側を画面上方として、空撮画像や重畳画像を表示させてよい。
 表示制御部815は、無人航空機100の操作のために提供される操作用カメラ(サブカメラ)で撮像された空撮画像と、操作者が所望する画像を撮像するための撮像用カメラ(メインカメラ)で撮像された空撮画像と、を切り替えて表示させてよい。また、表示制御部815は、操作用カメラによる空撮画像内に撮像用カメラによる空撮画像を重畳するPinP(Picture in Picture)の表示モードとしてもよい。表示制御部815は、撮像用カメラによる空撮画像内に操作用カメラによる空撮画像を重畳するPinPの表示モードとしてもよい。表示制御部815は、これらの表示モードを切り替えてもよい。
 次に、無人航空機100における撮像装置235の設置例について説明する。なお、撮像装置235は、無人航空機100の操作のために提供される操作用カメラ(サブカメラ)として機能してよい。撮像装置220は、操作者が所望する画像を撮像するための撮像用カメラ(メインカメラ)として機能してよい。
 図10Aは、撮像装置235の第1設置例を示す斜視図である。撮像装置235は、UAV本体102に固定して設置されてよい。撮像装置235は、UAV本体102に下向きに設置されてよく、つまり撮像装置235による撮像方向が重力方向に沿うように設置されてよい。この場合、撮像装置235の水平方向の位置が、撮像装置235により撮像される空撮画像の画像範囲に含まれる。撮像装置235は、UAV本体102に下向きに設置されなくてもよい。この場合、無人航空機100の第1画像取得部113により、撮像装置235により撮像された空撮画像を基に下向き画像が生成されてよい。
 撮像装置235がUAV本体102に固定設置されることで、UAV本体102に対する撮像装置235の姿勢が一定となる。UAV本体102の姿勢は無人航空機100の姿勢に相当するので、無人航空機100の傾きに対する撮像装置235の傾きが一定となる。よって、無人航空機100の傾き及び撮像装置235の傾きの一方のパラメータは、無人航空機100の傾き及び撮像装置235の傾きの他方のパラメータによって代用でき、パラメータを1つ減らすことができる。したがって、飛行システム10は、各種演算(例えば画像位置の算出)の処理負荷を軽減できる。
 図10Bは、撮像装置235の第2設置例を示す斜視図である。撮像装置235は、ジンバル200に固定して設置されてよい。撮像装置235は、ジンバル200に下向きに設置されてよく、つまり撮像装置235による撮像方向が重力方向に沿うように設置されてよい。この場合、撮像装置235の水平方向の位置が、撮像装置235により撮像される空撮画像の画像範囲に含まれる。撮像装置235は、ジンバル200に下向きに設置されなくてもよい。この場合、無人航空機100の第1画像取得部113により、撮像装置235により撮像された空撮画像を基に下向き画像が生成されてよい。
 ジンバル200は、ジンバル200に支持された撮像装置220、235の無人航空機100に対する姿勢を変更することで、無人航空機100の姿勢が変化しても、無人航空機100の外部に対して撮像装置220、235の姿勢が変化しないように調整する。よって、ジンバル200に固定設置された撮像装置235は、無人航空機100の外部(例えば地面)に対する姿勢を一定に維持できる。したがって、撮像装置235により撮像される空撮画像が安定し、ブレの少ない画像を得られる。
 なお、撮像装置235が無人航空機100に別途設けられずに、撮像装置230が撮像装置235と同様の機能を有してもよい。
 次に、撮像装置220、235により撮像された空撮画像における無人航空機100の画像位置について説明する。
 図11は、無人航空機100の画像位置の第1例を説明するための図である。図11では、地面に沿う水平方向がX方向及びY方向で規定されることを想定する。
 図11では、重力方向に対する無人航空機100の傾きが0度であり、つまり、無人航空機100の姿勢が水平方向に沿って安定している。また、無人航空機100に対する撮像装置220の傾きが0度であり、つまり、撮像装置220、235の撮像方向がUAV本体102に対する垂直方向であるとする。この場合、撮像装置220、235による撮像方向は重力方向と一致するので、撮像装置220、235は、無人航空機100の実空間における真下方向を撮像することになる。よって、撮像装置220、235により撮像された空撮画像G11の中心位置が、空撮画像G11における無人航空機100の画像位置GP1となる。
 このように、携帯端末80及び飛行システム10は、撮像装置220、235の傾きに基づいて、空撮画像G11における無人航空機100の画像位置を取得してよい。これにより、携帯端末80及び飛行システム10は、無人航空機100が有するセンシング機能により比較的容易に得られる撮像装置220、235の傾きを利用して、画像位置を取得できる。重力方向に対する撮像装置220、235の傾きが0度の場合には、重力方向が空撮画像に対する法線方向となり、撮像範囲は当該法線に対して対称となる。そのため、飛行体の画像位置は、空撮画像の中心位置となる。
 図12は、無人航空機100の画像位置の第2例を説明するための図である。図12では、地面に沿う水平方向がX方向及びY方向で規定されることを想定する。
 図12では、重力方向に対する無人航空機100の傾きのX方向成分をθとし、撮像装置220、235の画角のX方向成分をαとしている。撮像装置220、235により撮像された空撮画像G12におけるX方向の画像位置は、以下の(式1)に示す比により示されてよい。L1は、空撮画像の左端(X方向の負側の端部)から画像位置までの距離を示す。L2は、画像位置から空撮画像の右端(X方向の正側の端部)までの距離を示す。
 L1:L2=tan(α/2-θ):tan(α/2+θ)   ・・・(式1)
 (α/2-θ)及び(α/2+θ)が0度以上で90度より小さい角度である場合、tan(α/2-θ)及びtan(α/2+θ)の値は、値0又は正の値となる。この場合、空撮画像G12内に無人航空機100の画像位置を含むこととなる。一方、(α/2-θ)及び(α/2+θ)が0度未満又は90度より大きい角度である場合、tan(α/2-θ)及びtan(α/2+θ)の値は、負の値となる。この場合、空撮画像G12内に無人航空機100の画像位置を含まないこととなる。
 このように、携帯端末80及び飛行システム10は、撮像装置220、235の傾き及び画角に基づいて、空撮画像における無人航空機100の画像位置を取得してよい。これにより、携帯端末80及び飛行システム10は、重力方向に対して撮像装置220、235の撮像方向がある程度傾いている場合でも、撮像装置220、235の画角を考慮して、無人航空機100の画像位置を高精度に取得できる。
 このように、携帯端末80は、無人航空機100の絶対位置(例えば緯度、経度)の情報が不明であっても、画像に対する相対的な無人航空機100の位置を判別できれば、無人航空機100の画像位置を算出可能である。
 なお、図12では、X方向における画像位置の算出について例示したが、Y方向における画像位置についても同様に算出可能である。
 次に、空撮画像及び重畳画像について説明する。
 図13は、撮像装置235により撮像された空撮画像G13の一例を示す模式図である。図14は、撮像装置220により撮像された空撮画像G14の一例を示す模式図である。ここでは、撮像装置235が、自機としての無人航空機100に関する情報が重畳されるための空撮画像G13を撮像し、撮像装置220が、送信機50の操作者が所望する空撮画像G14を撮像することを想定する。つまり、撮像用のカメラと操作用のカメラとが別々であることを想定している。なお、図13に示す画像は、空撮画像G13に無人航空機100に関する情報が重畳されており、重畳画像とも言える。
 空撮画像G13には、実空間における無人航空機100の位置に対応する画像位置に、無人航空機100の存在を示す画像gaが重畳されてよい。
 これにより、画像gaが重畳された重畳画像の表示を確認する操作者は、無人航空機100が存在する位置(飛行位置)を重畳画像上で容易に把握できる。よって、操作者は、重畳画像から無人航空機100がどの位置を飛行しているかを容易に認識できる。したがって、操作者は、送信機50を介して空撮画像を確認しながら所望の位置に無人航空機100を飛行させることを容易化できる。
 空撮画像G13には、無人航空機100の向きを示す矢印の画像gbが重畳されてよい。無人航空機100の向きは、無人航空機100を示す画像gaの表示の向きによって示されてもよい。図13では、無人航空機100を示す画像gaの表示の向きも、無人航空機100の向きに応じて回転されてよい。
 これにより、携帯端末80及び飛行システム10は、操作者に対して、無人航空機100の向き、つまり前進時の飛行方向の情報を提供できる。よって、送信機50の操作者は、無人航空機100の前進方向がどの方向であるかを容易に確認でき、この方向を基準として前後方向や左右方向を認識でき、様々な移動制御操作をし易くなる。
 空撮画像G13には、撮像装置235の撮像方向を示す画像gcが重畳されてよい。図13では、撮像方向が無人航空機100の向きと一致しているが、撮像方向が無人航空機100の向きと異なってもよい。
 これにより、携帯端末80及び飛行システム10は、操作者に対して、撮像装置235の撮像方向の情報を提供できる。よって、送信機50の操作者は、無人航空機100の現在の撮像方向を加味しながら無人航空機100の移動制御操作を実施でき、所望の空撮画像を取得し易くなる。
 空撮画像G13には、無人航空機100の飛行方向を示す画像gdが重畳されてよい。図13では、飛行方向が無人航空機100の向きと一致しているが、飛行方向が無人航空機100の向きと異なってもよい。
 これにより、携帯端末80及び飛行システム10は、操作者に対して、無人航空機100の飛行方向の情報を提供できる。よって、送信機50の操作者は、無人航空機100が将来的にどの方向に進行するかを加味しながら、無人航空機100の移動制御操作を実施できる。
 次に、飛行システム10の動作例について説明する。
 図15は、飛行システム10の第1動作例を示すシーケンス図である。第1動作例では、飛行システム10は、空撮画像内に、無人航空機100の実空間の位置に対応する画像位置が含まれることを想定する。第1動作例は、無人航空機100の飛行中に、定期的に反復して実施されてよい。
 まず、無人航空機100では、第1画像取得部113は、撮像装置220、235により撮像された空撮画像を取得する(S101)。撮像情報取得部112は、撮像装置220、235(カメラとも称する)の傾きの情報を取得する(S102)。通信インタフェース150は、S101で取得された空撮画像とS102で取得された撮像装置220、235の傾きの情報とを、携帯端末80へ送信する(S103)。
 携帯端末80では、第1画像取得部811が、インタフェース部82又は無線通信部85を介して、無人航空機100から空撮画像を取得する(S111)。情報取得部812が、インタフェース部82又は無線通信部85を介して、撮像装置220、235の傾きの情報を取得する(S111)。画像位置取得部813は、空撮画像内での無人航空機100の位置に相当する画像位置を算出する(S112)。第2画像取得部814は、空撮画像の画像位置に、無人航空機100に関する情報(例えば画像ga,gb,bc,bdの少なくとも1つ)を重畳し、重畳画像を生成する(S113)。表示制御部815は、表示部88を介して、重畳画像を表示する(S114)。
 第1動作例によれば、携帯端末80及び飛行システム10は、空撮画像内の無人航空機100の位置に相当する画像位置に、無人航空機100に関する情報を含む重畳画像を表示できる。そのため、操作者は、表示された重畳画像を確認することで、空撮画像における画像位置に対応する実空間の位置に、無人航空機100が飛行中であることを認識できる。よって、送信機50及び携帯端末80の操作者は、空撮画像を確認しながら、送信機50を介して所望の位置に無人航空機100を飛行させることが容易になる。また、予め地図画像が用意されていない場合でも、無人航空機100がどの位置を飛行しているかを容易に把握できる。
 図16は、飛行システム10の第2動作例を示すフローチャートである。第2動作例では、飛行システム10が、空撮画像を蓄積することを想定する。空撮画像は、空撮画像が撮像される毎に蓄積されてもよいし、所定数撮像された際に所定数まとめて蓄積されてもよいし、所定期間毎にまとめて蓄積されてもよい。空撮画像の撮像時間間隔は任意でよい。
 まず、無人航空機100では、第1画像取得部113は、撮像装置220、235により撮像された空撮画像を取得する(S121)。飛行情報取得部111は、無人航空機100の位置情報を取得する(S122)。この位置情報は、S121において空撮画像が撮像された際の無人航空機100の位置情報である。撮像情報取得部112は、撮像装置220、235の傾きの情報を取得する(S122)。この傾きの情報は、S121において空撮画像が撮像された際の撮像装置220、235の傾きの情報である。
 情報付加部114は、S121で取得された空撮画像に、空撮画像に関する付加情報として、S122において得られた無人航空機100の位置情報と撮像装置220、235の傾きの情報とを付加する(S123)。情報付加部114は、付加情報が付加された空撮画像を、画像DB171に蓄積する(S124)。
 第2動作例によれば、無人航空機100は、撮像した空撮画像を、空撮画像に関する付加情報と関連付けて蓄積できる。よって、無人航空機100は、空撮画像の撮像直後に空撮画像の処理を行わなくても、付加情報の少なくとも1つをキーとして、付加情報に関連付けられた空撮画像を抽出可能である。よって、無人航空機100は、例えば無人航空機100の飛行位置と一致する空撮画像を抽出して、下向き画像を生成するための元画像とすることができる。
 図17は、飛行システム10の第3動作例を示すシーケンス図である。第3動作例では、飛行システム10は、空撮画像内に、無人航空機100の実空間の位置に対応する画像位置が含まれないことを想定する。なお、飛行システム10は、空撮画像内に、無人航空機100の実空間の位置に対応する画像位置が含まれる場合においても、第3動作例を実施してもよい。第3動作例は、無人航空機100の飛行中に、定期的に反復して実施されてよい。
 まず、無人航空機100では、第1画像取得部113は、撮像装置220、235により撮像された空撮画像を取得する(S131)。飛行情報取得部111は、無人航空機100の位置情報を取得する(S132)。この位置情報は、S131において空撮画像が撮像された際の無人航空機100の位置情報である。撮像情報取得部112は、撮像装置220、235の傾きの情報を取得する(S132)。この傾きの情報は、S131において空撮画像が撮像された際の撮像装置220、235の傾きの情報である。
 第1画像取得部113は、S132で得られた無人航空機100の位置情報に基づいて、画像DB171から1つ以上の空撮画像を取得してよい(S133)。第1画像取得部113は、取得された1つ以上の空撮画像の各々に付加された傾き情報に基づいて、1つ以上の空撮画像の各々に対して射影変換等し、1つ以上の下向き画像を生成してよい(S134)。第1画像取得部113は、生成された複数の下向き画像を合成して、1つの下向き画像を生成してもよい。通信インタフェース150は、S134で生成された1つの下向き画像、S132で得られた無人航空機100の位置情報、及び撮像装置220、235の傾きの情報を、携帯端末80へ送信する(S135)。
 S133では、第1画像取得部113は、画像DB171から1つ以上の空撮画像を取得しなくてもよい。この場合、S134では、S132で得られた撮像装置220、235の傾き情報に基づいて、S131で得られた1つの空撮画像に対して射影変換等し、1つの下向き画像を生成してもよい。また、S134では、第1画像取得部113は、S131で得られた1つの空撮画像と、画像DB171から取得された1つ以上の空撮画像と、これらの空撮画像の各々に係る撮像装置220、235の傾きの情報と、に基づいて、下向き画像を生成してもよい。
 携帯端末80では、第1画像取得部811は、インタフェース部82又は無線通信部85を介して、下向き画像を携帯端末80から受信する(S141)。情報取得部812は、インタフェース部82又は無線通信部85を介して、無人航空機100の位置情報、及び撮像装置220、235の傾きの情報を、携帯端末80から受信する(S141)。画像位置取得部813は、下向き画像内での無人航空機100の位置に相当する画像位置を算出する(S142)。第2画像取得部814は、下向き画像の画像位置に、無人航空機100に関する情報(例えば画像ga,gb,bc,bdの少なくとも1つ)を重畳し、重畳画像を生成する(S143)。表示制御部815は、表示部88を介して、重畳画像を表示する(S144)。
 第3動作例によれば、携帯端末80及び飛行システム10は、下向き画像内の無人航空機100の位置に相当する画像位置に、無人航空機100に関する情報を含む重畳画像を表示できる。そのため、操作者は、表示された重畳画像を確認することで、下向き画像における画像位置に対応する実空間の位置に、無人航空機100が飛行中であることを認識できる。よって、送信機50及び携帯端末80の操作者は、下向き画像を確認しながら、送信機50を介して所望の位置に無人航空機100を飛行させることが容易になる。また、予め地図画像が用意されていない場合でも、無人航空機100がどの位置を飛行しているかを容易に把握できる。
 また、無人航空機100及び飛行システム10は、撮像装置220、235の撮像方向が重力方向に対してある程度傾いており、飛行中の無人航空機100が撮像する空撮画像内に、無人航空機100(自機)の飛行位置に相当する画像位置が含まれない場合でも、撮像装置220、235の画角を考慮して、無人航空機100(自機)の飛行位置に相当する画像位置が含まれる下向き画像を生成できる。無人航空機100及び飛行システム10は、地面方向に対向して固定設置された撮像装置235以外の撮像装置220、235であっても、撮像された空撮画像を基に、無人航空機100(自機)の位置に対応する画像の情報を重畳できる。よって、操作者は、無人航空機100の飛行位置をリアルタイムに容易に把握できる。
 また、無人航空機100により過去に撮像された空撮画像が画像DB171に蓄積されており、無人航空機100及び飛行システム10は、この空撮画像を利用して下向き画像を生成できる。よって、無人航空機100及び飛行システム10は、現在の飛行中に空撮画像内に無人航空機100の画像位置を含まなくても、現在の飛行位置と同一位置又は周辺位置での空撮画像から、無人航空機100の画像位置を含む画像としての下向き画像を生成できる。また、画像DB171から複数の空撮画像が取得された場合、仮に1つの空撮画像の画質が不十分である場合でも、合成後の画像の品質を改善し得る。そのため、操作者は、合成後の画像に基づく重畳画像を確認しながら、無人航空機100に対して一層容易に移動制御操作を実施できる。
 また、無人航空機100では、第1画像取得部113が、1つ以上の空撮画像とこの空撮画像に係る撮像装置220、235の傾きの情報とに基づいて、重力方向を法線方向とする下向き画像を生成してよい。これにより、無人航空機100は、無人航空機100の画像位置が画像範囲の中心位置と一致する下向き画像を生成でき、無人航空機100の飛行位置を中心とした下向き画像を取得できる。よって、操作者は、無人航空機100の周辺位置の様子を見易く表示できる。
 なお、飛行システム10では、送信機50が、携帯端末80が有する機能を有してもよい。この場合、送信機50が省略されてもよい。また、携帯端末80が、送信機50が有する機能を有してもよい。この場合、送信機50が省略されてもよい。
(飛行システムの変形例)
 次に、飛行システム10の変形例について説明する。変形例に係る飛行システム10A(不図示)は、無人航空機100A(不図示)と、送信機50と、携帯端末80A(不図示)とを備える。変形例の説明では、飛行システム10と同様の内容については、説明を省略又は簡略化する。
 図18は、無人航空機100の変形例である無人航空機100Aの機能構成を示すブロック図である。無人航空機100Aは、UAV制御部110の代わりに、UAV制御部11Aを備える。UAV制御部110Aは、飛行情報取得部111、撮像情報取得部112、第1画像取得部113、情報付加部114、画像位置取得部115、及び第2画像取得部116、を備える。つまり、UAV制御部110と比較すると、UAV制御部110Aは、画像位置取得部115及び第2画像取得部116を追加で備えている。画像位置取得部115は、第2の取得部の一例である。第2画像取得部116は、生成部の一例である。
 画像位置取得部115は、図9での画像位置取得部813と同様の機能を有する。第2画像取得部116は、図9での第2画像取得部814と同様の機能を有する。
 図19は、携帯端末80の変形例である携帯端末80Aの機能構成を示すブロック図である。携帯端末80Aは、端末制御部81の代わりに端末制御部81Aを備える。端末制御部81Aは、画像取得部816及び表示制御部815を備える。画像取得部816は、インタフェース部82又は無線通信部85を介して、無人航空機100Aからの重畳画像を取得する。
 つまり、飛行システム10Aでは、無人航空機100Aは、空撮画像の撮像から重畳画像の生成までを行い、重畳画像を携帯端末80へ送信する。携帯端末80Aは、無人航空機100Aからの重畳画像を受信し、重畳画像を表示する。これにより、飛行システム10Aは、無人航空機100A内において、下向き画像の生成、無人航空機100Aの画像位置の決定、重畳画像の生成、等の画像処理を完結できる。よって、飛行システム10Aは、携帯端末80Aの処理負荷を軽減できる。また、携帯端末80Aは、画像の受信と表示が実施できればよいので、携帯端末80Aは、例えば画像処理能力の低い又は画像処理機能を有しない表示装置により置換できる。
 なお、飛行システムが有する機能の分散方法は、飛行システム10や飛行システム10Aで示した機能の分散に限られない。例えば、下向き画像の生成機能を携帯端末80が有してもよい。また、飛行システム10,10Aでは、無人航空機100,100Aが空撮画像の撮像から無人航空機100,100Aの画像位置の決定までを行い、携帯端末80Aが重畳画像の生成及び重畳画像の表示を行ってもよい。
 このように、飛行システム10,10Aは、空撮画像の撮像から重畳画像の表示までに必要な各機能を、任意に各装置に分散してよい。例えば、飛行システム10,10Aは、例えば無人航空機100,100Aの性能や携帯端末80,80Aの性能に応じて、無人航空機100,100A及び携帯端末80,80Aに対して機能が分散されて実施されてよい。これにより、飛行システム10,10Aは、無人航空機100,100A及び携帯端末80,80Aのいずれか一方の処理負荷が過大又は過小となることを抑制でき、適切な処理バランスで機能を分散できる。
(第2の実施形態)
 第2の実施形態では、無人航空機が、他の無人航空機とともに飛行グループを形成して飛行することを想定する。
 図20は、第2の実施形態における飛行システム10Bの構成例を示す模式図である。飛行システム10Bは、複数の無人航空機100B、送信機50、及び携帯端末80Bを備える。無人航空機100B、送信機50、及び携帯端末80Bは、相互に有線通信又は無線通信(例えば無線LAN(Local Area Network))により通信可能である。第2の実施形態において、第1の実施形態と同様の構成や動作については、説明を省略又は簡略化する。
 図21は、無人航空機100Bのハードウェア構成の一例を示すブロック図である。無人航空機100Bは、第1の実施形態における無人航空機100と比較すると、UAV制御部110の代わりにUAV制御部110Bを備え、メモリ160の代わりにメモリ160Bを備える。図21の無人航空機100Bにおいて、図4の無人航空機100と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する。
 メモリ160Bは、メモリ160の機能に有するとともに、協調制御情報CCを保持する。協調制御情報CCは、同じ飛行グループに属する複数の無人航空機100Bが協調して飛行するための制御情報を含む。協調制御情報CCは、同じ飛行グループに属する複数の無人航空機100Bの相対的な位置情報を含む。例えば、同じ飛行グループに属する複数の無人航空機100Bにおける基準位置RPと無人航空機100B(自機)との相対的な位置情報を含む。この相対的な位置情報は、基準位置RPと各無人航空機100Bとの間の距離を示す距離情報を含んでよい。この相対的な位置情報は、基準位置RPから見た各無人航空機100Bが位置する方向を示す方向情報を含んでよい。基準位置RPは、同じ飛行グループに含まれる複数の無人航空機100Bの中間位置、中心位置、重心位置、又はその他の基準となる位置でよい。協調制御情報CCは、送信機50の飛行操作により複数の無人航空機100Bが協調飛行する前に、メモリ160Bに保持される。
 メモリ160Bは、同じ飛行グループについての異なる複数の協調制御情報CCを保持してよい。つまり、メモリ160Bは、同じ飛行グループについての異なる複数の相対的な位置情報を保持してよい。これにより、複数の無人航空機100Bが様々な相対的な位置関係を維持して飛行できる。
 図22は、UAV制御部110Bの機能構成の一例を示すブロック図である。UAV制御部110Bは、飛行情報取得部111B、撮像情報取得部112B、第1画像取得部113B、情報付加部114、相対位置取得部117、及び飛行制御部118を備える。相対位置取得部117は、第9の取得部の一例である。図22に示すUAV制御部110Bにおいて、図5に示したUAV制御部110と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する。
 飛行情報取得部111Bは、飛行情報取得部111が有する機能に加え、以下の機能を有する。飛行情報取得部111Bは、同じ飛行グループに属する複数の無人航空機100Bの飛行に関する情報を取得してよい。各無人航空機100Bの飛行に関する情報は、各無人航空機100Bの飛行の位置情報、各無人航空機100Bの向きの情報、各無人航空機100Bの飛行方向の情報を含んでよい。各無人航空機100Bの飛行に関する情報の取得方法は同じでよい。各無人航空機100Bの飛行に関する情報の少なくとも一部は、通信インタフェース150を介して、携帯端末80Bへ送信されてよい。
 撮像情報取得部112Bは、撮像情報取得部112が有する機能に加え、以下の機能を有する。撮像情報取得部112Bは、同じ飛行グループに属する複数の無人航空機100Bの各々が備える各撮像装置220、235の撮像に関する情報を取得する。各撮像装置220、235の撮像に関する情報は、各撮像装置220、235による撮像方向の情報、各撮像装置220、235の傾きの情報、各撮像装置220、235の画角の情報を含んでよい。各撮像装置220、235の傾きの情報の取得方法は同じでよい。各撮像装置220、235の傾きの情報の少なくとも一部は、通信インタフェース150を介して、携帯端末80Bへ送信されてよい。
 第1画像取得部113Bは、第1画像取得部113が有する機能に加え、以下の機能を有する。第1画像取得部113Bは、撮像装置220、235により撮像された空撮画像を取得する。この空撮画像には、その画像範囲に、空撮画像の撮像時における飛行グループに属する各無人航空機100Bの水平方向の位置に対応する各画像位置を含む場合もあり得るし、含まない場合もあり得る。つまり、空撮画像の画像範囲に、全ての無人航空機100Bの画像位置が含まれる場合もあるし、少なくとも一部の無人航空機100Bの画像位置が含まれない場合もある。空撮画像に基づく下向き画像では、その画像範囲に、飛行グループに属する無人航空機100Bのうち少なくとも一部の画像位置を含む。
 第1画像取得部113Bは、通信インタフェース150を介して、他の無人航空機100Bの撮像装置220、235により撮像された空撮画像を取得してよい。第1画像取得部113Bは、無人航空機100B(自機)により撮像された空撮画像、他の無人航空機100B(他機)の各々により撮像された1つ以上の空撮画像のうち、2つ以上の空撮画像を基に合成画像を生成してよい。この合成画像には、その画像範囲に、合成画像の合成時又は合成画像となった元の空撮画像の撮像時において、飛行グループに属する各無人航空機100Bの水平方向の位置に対応する各画像位置を含む場合もあり得るし、含まない場合もあり得る。つまり、合成画像の画像範囲に、全ての無人航空機100Bの画像位置が含まれる場合もあるし、少なくとも一部の無人航空機100Bの画像位置が含まれない場合もある。但し、自機1台により撮像された空撮画像と比較すると、合成画像の画像範囲内に、より多くの無人航空機100Bの画像位置が含まれる可能性が高くなる。合成画像に基づく下向き画像では、その画像範囲に、飛行グループに属する無人航空機100Bのうち少なくとも一部の画像位置を含む。
 第1画像取得部113Bは、無人航空機100B(自機)により撮像された空撮画像、他の無人航空機100B(他機)の各々により撮像された1つ以上の空撮画像、画像DB171に蓄積された1つ以上の空撮画像のうち、2つ以上の空撮画像を基に合成画像を生成してよい。
 第1画像取得部113Bは、複数の無人航空機100Bの空撮画像に基づく合成画像に対して、合成画像の元となった空撮画像の撮像時における撮像装置220、235の傾きに基づいて射影変換することで、下向き画像を生成してよい。例えば、合成画像の法線方向が重力方向に対して傾いている場合に、第1画像取得部113Bは、この法線方向が重力方向に近づくような射影変換を行い、下向き画像を生成してよい。これにより、合成画像の画像範囲内に、より多くの無人航空機100Bの画像位置が含まれる可能性が一層高くなる。
 合成画像の画像範囲に、合成画像の撮像時又は合成画像の元となった空撮画像の撮像時における少なくとも1つの無人航空機100の水平方向の位置に対応する画像位置を含む場合、下向き画像は合成画像でよい。合成画像の画像範囲に、合成画像の撮像時又は合成画像の元となった空撮画像の撮像時における全ての無人航空機100の水平方向の位置に対応する画像位置を含まない場合、第1画像取得部113は、合成画像を基に下向き画像を生成してよい。
 空撮画像、合成画像、及び下向き画像の少なくとも一部は、通信インタフェース150を介して、携帯端末80Bへ送信されてよい。
 このように、無人航空機100B及び飛行システム10Bは、複数の無人航空機100Bの各々で撮像された複数の空撮画像を合成して合成画像を生成し、合成画像に基づいて下向き画像を生成してよい。これにより、無人航空機100B及び飛行システム10Bは、1つの無人航空機100Bの空撮画像では不足する広範囲の空撮画像を、合成画像として生成できる。合成画像に基づく下向き画像を用いることで、例えば同じ飛行グループに属する複数の無人航空機100Bの間を比較的長い距離確保して協調飛行する場合でも、それぞれの無人航空機100Bの実空間上の位置に対応する画像位置が、下向き画像の画像範囲に含まれる確率が高くなる。携帯端末80Bがこの下向き画像に各無人航空機100Bの画像位置を重畳して表示することで、操作者は、より地理的に広範囲をカバーする下向き画像において、複数の無人航空機100Bの各位置を視認できる。
 相対位置取得部117は、同じ飛行グループに属する複数の無人航空機100Bの相対的な位置情報を取得する。相対位置取得部117は、相対的な位置情報を、メモリ160Bから取得してよい。相対位置取得部117は、相対的な位置情報を、通信インタフェース150を介して、外部装置(例えば携帯端末80B)から取得してよい。
 相対的な位置情報は、飛行グループにおける基準位置RPを基準とした、基準位置RPに対する無人航空機100B(自機)の相対的な位置情報を含んでよい。相対的な位置情報は、基準位置RPに対する他の無人航空機100B(他機)の相対的な位置情報を含んでよい。
 相対的な位置情報は、飛行グループにおける任意の無人航空機100Bを基準とした、この任意の無人航空機100Bに対する無人航空機100B(自機)の相対的な位置情報を含んでよい。相対的な位置情報は、飛行グループにおける任意の無人航空機100Bを基準とした、この任意の無人航空機100Bに対する他の無人航空機100B(他機)の相対的な位置情報を含んでよい。つまり、任意の無人航空機100Bの存在位置が、基準位置RPとなってよい。
 相対位置取得部117は、自機の相対的な位置情報及び他機の相対的な位置情報を含む場合、相対的な位置情報に関連付けられた無人航空機100Bの識別情報を参照して、自機の相対的な位置情報を識別して取得してよい。
 相対的な位置情報は、通信インタフェース150を介して、携帯端末80Bへ送信されてよい。
 飛行制御部118は、同じ飛行グループに属する複数の無人航空機100Bの相対的な位置関係を固定して、無人航空機100B(自機)の飛行を制御する。飛行制御部118は、基準位置RPに対する無人航空機100Bの相対的な位置関係を固定して、無人航空機100B(自機)の飛行を制御してよい。この場合、基準位置RPに対する飛行グループに属する各無人航空機100Bの相対的な位置関係が固定されるので、飛行グループに属する複数の無人航空機100B全体としての相対的な位置関係も固定される。
 相対的な位置関係の固定には、基準位置RPに対する無人航空機100Bの距離を変更せずに維持することが含まれてよい。相対的な位置関係の固定には、基準方向(例えば飛行グループの前進時の進行方向)に対する撮像装置220,235の撮像方向を変更せずに維持することが含まれてよい。
 飛行制御部118は、同じ飛行グループについての異なる複数の相対的な位置情報に基づいて、複数の無人航空機100Bを異なる相対的な位置関係として、飛行制御してよい。よって、無人航空機100Bは、用いる相対的な位置情報を変更することで、複数の無人航空機100Bの相対的な位置関係を変更してよい。
 このように、無人航空機100Bは、飛行制御部118により、複数の無人航空機100B間の相対的な位置情報を加味して(例えば相対的な位置関係を維持して)、飛行制御することが可能である。
 図23は、携帯端末80Bの機能構成の一例を示すブロック図である。携帯端末80Bは、端末制御部81の代わりに端末制御部81Bを備える。端末制御部81Bは、第1画像取得部811B、情報取得部812B、画像位置取得部813B、第2画像取得部814B、及び表示制御部815を備える。図23に示す端末制御部81Bにおいて、図9に示した端末制御部81と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する。
 第1画像取得部811Bは、インタフェース部82又は無線通信部85を介して、複数の無人航空機100Bのうち少なくとも1台から、空撮画像、合成画像、及び下向き画像の少なくとも1つを取得してよい。第1画像取得部811Bにより取得される画像は、飛行グループに属する1つの無人航空機100Bが代表して携帯端末80Bへ送信してもよいし、各無人航空機100Bが別々に携帯端末80Bへ送信してもよい。
 情報取得部812Bは、インタフェース部82又は無線通信部85を介して、複数の無人航空機100Bのうち少なくとも1台から、飛行に関する情報の少なくとも一部及び撮像装置220、235の撮像に関する情報の少なくとも一部のうち、少なくとも1つを取得してよい。情報取得部812Bにより取得される情報は、飛行グループに属する1つの無人航空機100Bが代表して携帯端末80Bへ送信してもよいし、各無人航空機100Bが別々に携帯端末80Bへ送信してもよい。また、情報取得部812Bは、インタフェース部82又は無線通信部85を介して、飛行グループに属する複数の無人航空機100B間の相対的な位置情報を取得してよい。
 画像位置取得部813Bは、下向き画像(1枚の空撮画像、合成画像も含み得る)における無人航空機100B(自機)の位置に相当する画像位置の情報を取得する。画像位置取得部813Bは、重力方向に対する撮像装置220、235の傾きに基づいて、無人航空機100B(自機)の画像位置の情報を算出して取得してよい。画像位置取得部813Bは、重力方向に対する撮像装置220、235の傾き及び撮像装置220、235の画角に基づいて、無人航空機100B(自機)の画像位置の情報を算出して取得してよい。
 画像位置取得部813Bは、下向き画像における他の無人航空機100B(他機)の位置に相当する画像位置の情報を取得する。画像位置取得部813Bは、取得された1台の無人航空機100B(自機)の位置情報と、取得された相対的な位置情報と、に基づいて、他の無人航空機100B(他機)の位置に相当する画像位置の情報を算出して取得してよい。画像位置取得部813Bは、取得された飛行グループに属する全ての無人航空機100Bの位置情報に基づいて、他の無人航空機100B(他機)の位置に相当する画像位置の情報を算出して取得してよい。
 第2画像取得部814Bは、下向き画像における各無人航空機100Bの位置に相当する各画像位置に、各無人航空機100Bに関する情報を重畳し、重畳画像を生成する。各無人航空機100Bに関する情報は、第1の実施形態で説明した情報と同様でよい。
 このように、携帯端末80B及び無人航空機100Bは、相対的な位置情報に基づいて複数の無人航空機100Bの各々の画像位置の情報を取得してよい。この場合、携帯端末80B及び無人航空機100Bは、複数の無人航空機100Bの相対的な位置情報を、各々の無人航空機100Bを示す画像により表現できる。また、少なくとも1つの相対的な位置情報を取得すればよいので、複数の無人航空機100Bと携帯端末80Bとの間の通信量を削減できる。操作者は、表示部88を介して重畳画像を確認することで、複数の無人航空機100Bの相対的な位置関係を視認でき、協調して飛行する複数の無人航空機100Bがどのような隊形でどの位置を飛行中であるかを把握できる。
 また、携帯端末80B及び無人航空機100Bは、複数の無人航空機100Bの各々の位置情報に基づいて複数の無人航空機100Bの各々の画像位置の情報を取得してよい。この場合、携帯端末80B及び無人航空機100Bは、複数の無人航空機100Bの各々の絶対位置の情報を扱うことで、各無人航空機100Bの位置に対応する画像位置を、高精度に導出できる。操作者は、表示部88を介して重畳画像を確認することで、複数の無人航空機100Bの各々の画像位置を視認でき、各々の画像位置に対応する実空間上の飛行位置を高精度に推定できる。よって、操作者は、協調して飛行する複数の無人航空機100Bがどのような隊形でどの位置を飛行中であるかを高精度に把握できる。
 次に、本実施形態の重畳画像について説明する。
 図24は、複数の無人航空機100Bに関する情報が重畳された重畳画像G16の一例を示す模式図である。図24では、各無人航空機100Bを示す画像ga1,ga2,ga3が重畳されている。なお、3台の無人航空機100Bは一例であり、他の台数でもよい。また、重畳画像G16に、各無人航空機100Bに関する情報を示す画像(矢印画像等)が、それぞれ重畳されてよい。
 このように、画像位置取得部813Bは、下向き画像における複数の無人航空機100Bの各々の画像位置の情報を算出等により取得してよい。第2画像取得部814Bは、下向き画像における複数の無人航空機100Bの各々の画像位置に、複数の無人航空機100Bの各々に関する情報を示す画像ga1~ga3を重畳し、重畳画像G16を生成してよい。
 これにより、携帯端末80B及び飛行システム10Bは、下向き画像(1枚の空撮画像、合成画像も含み得る)内の複数の無人航空機100Bの各位置に相当する各画像位置に、各無人航空機100に関する情報を含む重畳画像を表示できる。そのため、操作者は、表示された重畳画像を確認することで、下向き画像における画像位置に対応する実空間の位置に、複数の無人航空機100Bが飛行中であることを認識できる。また、操作者は、複数の無人航空機100Bが平面的にどのように整列しているかを視認可能となる。よって、操作者は、下向き画像を確認しながら、送信機50を介して所望の位置に複数の無人航空機100Bを協調して飛行させることが容易になる。また、予め地図画像が用意されていない場合でも、複数の無人航空機100Bがどの位置を飛行しているかを容易に把握できる。
 本実施形態では、複数の無人航空機100Bが、飛行高度が異なる相対的な位置関係を維持して飛行してよい。例えば、ある1台の無人航空機100Bが地面方向を撮像する撮像範囲に、他の無人航空機100Bの少なくとも1台が入り込むように、複数の無人航空機100Bが協調して飛行してよい。これにより、飛行システム10Bは、少なくとも1台の無人航空機100Bの実際の飛行の様子を空撮画像に収めることができ、空撮画像中に実際の画像位置で実際のサイズで無人航空機100Bの画像を重畳できる。
 本実施形態では、第1の実施形態と同様に、飛行システム10Bが有する機能を無人航空機100B及び携帯端末80Bにより分散して有してもよい。例えば、無人航空機100Bが、合成画像の生成、下向き画像の生成、各無人航空機100Bの画像位置の決定、重畳画像の生成、等の画像処理を完結してよい。携帯端末80Bは、無人航空機100Bからの重畳画像を受信し、重畳画像を表示してよい。また、これ以外の分散方法で、飛行システム10Bが有する機能を、無人航空機100B及び携帯端末80Bにより分散して有してもよい。
(第3の実施形態)
 第3の実施形態では、無人航空機以外の装置である携帯端末が、無人航空機が撮像した空撮画像を蓄積する画像DBを保持することを想定する。
 図25は、第3の実施形態における飛行システム10Cの構成例を示す模式図である。飛行システム10Cは、複数の無人航空機100C、送信機50、及び携帯端末80Cを備える。無人航空機100C、送信機50、及び携帯端末80Cは、相互に有線通信又は無線通信(例えば無線LAN(Local Area Network))により通信可能である。第3の実施形態において、第1又は第2の実施形態と同様の構成や動作については、説明を省略又は簡略化する。
 無人航空機100Cは、不図示であるが、無人航空機100,100A,100Bが備えるストレージ170及び画像DB171を備えない。また、無人航空機100Cは、空撮画像の画像DB171への蓄積や画像DB171からの空撮画像の抽出等の画像DB171の画像の入出力制御に係る機能を有しない。その他の構成は、無人航空機100,100A,100Bと同様である。
 通信インタフェース150は、重畳画像の生成要求を携帯端末80Cに対して送信してよい。重畳画像の生成要求は、無人航空機100Cの撮像装置220、235により撮像された空撮画像、空撮時の無人航空機100Cの位置情報、空撮時の撮像装置220、235の傾きの情報、を含んでよい。重畳画像の生成要求は、更に、飛行グループに属する複数の無人航空機100Cの相対的な位置情報を含んでよい。重畳画像の生成要求は、更に、重畳画像の生成要求を行う無人航空機100Cの識別情報を含んでよい。なお、重畳画像の生成要求は、空撮画像を含まず、重畳画像の生成要求時の無人航空機100Cの位置情報及び撮像装置220、235の傾きの情報を含んでよい。
 図26は、携帯端末80Cのハードウェア構成の一例を示すブロック図である。携帯端末80は、端末制御部81の代わりに端末制御部81Cを備え、ストレージ89を追加で備える。ストレージ89は、画像DB891を備える。その他の構成は、無人航空機100,100A,100Bと同様である。
 ストレージ89は、各種データ、情報を蓄積し、保持する。ストレージ89は、画像DB891を備えてよい。ストレージ89は、HDD、SSD、SDカード、USBメモリ、等でよい。ストレージ890は、携帯端末80Cの内部に設けられてよい。ストレージ89は、携帯端末80Cから取り外し可能に設けられてよい。
 画像DB891は、インタフェース部82又は無線通信部85を介して取得された各種画像及びその付加情報を蓄積し、保持してよい。この画像は、1台以上の無人航空機100Cから送信された空撮画像を含んでよい。付加情報は、送信される空撮画像に関連する無人航空機100Cの飛行に関する情報や撮像装置220、235に関する情報を含んでよい。画像DB891は、端末制御部81Cからの要求に応じて、蓄積された空撮画像の少なくとも一部を端末制御部81Cへ送ってよい。画像DB891は、空撮画像が加工された加工画像を蓄積し、保持してよい。画像DB891は、空撮画像や加工画像に関する情報が空撮画像や加工画像に付加された状態で、蓄積し、保持してよい。
 画像DB891は、複数の無人航空機100Cの各々からの画像及び付加情報を区別可能に蓄積してよい。例えば、無人航空機100C毎に、画像DB891が個別に複数設けられてよい。また、複数の無人航空機100Cからの画像及び付加情報が、1つの画像DB891に蓄積され、無人航空機100Cの識別情報に基づいて、特定の無人航空機100Cからの画像及び付加情報が抽出されて利用されてよい。
 画像DB891は、複数の無人航空機100Cの各々からの画像及び付加情報を区別せずに蓄積してよい。この場合、飛行システム10Cは、複数の無人航空機100Cからの画像及び付加情報を共有して利用できる。
 図27は、携帯端末80Cの機能構成の一例を示すブロック図である。端末制御部81Cは、第1画像取得部811C、情報取得部812C、画像位置取得部813C、第2画像取得部814、及び表示制御部815を備える。
 第1画像取得部811Cは、第1画像取得部811又は811Bが有する機能に加え、以下の機能を有する。第1画像取得部811Cは、インタフェース部82又は無線通信部85を介して、1台以上の無人航空機100Cからの1つ以上の空撮画像を取得してよい。第1画像取得部811Cは、画像DB891から、1台以上の無人航空機100Cからの1つ以上の空撮画像を取得してよい。第1画像取得部811Cは、インタフェース部82又は無線通信部85を介して取得された任意の無人航空機100Cからの重畳画像の生成要求に応じて、画像DB891から空撮画像を取得してよい。この場合、第1画像取得部811Cは、重畳画像の生成要求に含まれる無人航空機100Cの位置情報に基づいて、例えば無人航空機100Cの位置情報に係る位置を含む所定領域(周辺領域)について、画像DB891から空撮画像を取得してよい。
 第1画像取得部811Cは、取得された複数の空撮画像を基に、合成画像を生成してよい。第1画像取得部811Cは、空撮画像又は合成画像を基に、下向き画像を生成してよい。この場合、第1画像取得部811Cは、重畳画像の生成要求に含まれる無人航空機100Cの撮像装置220、235の傾きの情報に基づいて、空撮画像又は合成画像に対して射影変換し、下向き画像を生成してよい。
 情報取得部812Cは、情報取得部812又は812Bが有する機能に加え、以下の機能を有する。情報取得部812Cは、第1画像取得部811Cにより取得された空撮画像に関連する付加情報を、インタフェース部82又は無線通信部85を介して、取得してよい。情報取得部812Cは、第1画像取得部811Cにより取得された空撮画像に関連する付加情報を、画像DB891から取得してよい。情報取得部812Cは、重畳画像の生成要求を行った無人航空機100Cの識別情報を、インタフェース部82又は無線通信部85を介して取得してよい。情報取得部812Cは、複数の無人航空機100C間の相対的な位置情報を、インタフェース部82又は無線通信部85を介して取得してよい。
 画像位置取得部813Cは、画像位置取得部813又は画像位置取得部813Bの機能を有する。
 次に、飛行システム10Cの動作例について説明する。
 図28は、飛行システム10Cの第1動作例を示すフローチャートである。第1動作例では、飛行システム10Cが、携帯端末80Cに複数の無人航空機100Cからの空撮画像を蓄積することを想定する。空撮画像は、空撮画像が撮像される毎に蓄積されてもよいし、所定数撮像された際に所定数まとめて蓄積されてもよいし、所定期間毎にまとめて蓄積されてもよい。空撮画像の撮像時間間隔は任意でよい。
 まず、無人航空機100Cの各々では、第1画像取得部113は、撮像装置220、235により撮像された空撮画像を取得する(S151)。飛行情報取得部111は、無人航空機100Cの位置情報を取得する(S152)。この位置情報は、S151において空撮画像が撮像された際の各無人航空機100Cの位置情報である。撮像情報取得部112は、撮像装置220、235の傾きの情報を取得する(S152)。この傾きの情報は、S151において空撮画像が撮像された際の撮像装置220、235の傾きの情報である。
 情報付加部104は、S151で取得された空撮画像に、空撮画像に関する付加情報として、S152において得られた無人航空機100Cの位置情報と撮像装置220、235の傾きの情報とを付加する(S153)。通信インタフェース150は、付加情報が付加された空撮画像を、携帯端末80Cに送信する(S154)。
 携帯端末80Cでは、インタフェース部82又は無線通信部85は、付加情報が付加された空撮画像を、複数の無人航空機100Cから受信する(S161)。インタフェース部82又は無線通信部85は、受信された付加情報が付加された空撮画像を、画像DB891に蓄積させる(S162)。
 第1動作例によれば、携帯端末80Cは、複数の無人航空機100Cの各々により撮像された空撮画像を、空撮画像に関する付加情報と関連付けて蓄積できる。よって、各無人航空機100Cは、空撮画像の撮像直後に空撮画像の処理を行わなくても、付加情報の少なくとも1つをキーとして、付加情報に関連付けられた空撮画像を抽出するよう携帯端末80Cへ要求可能である。よって、携帯端末80Cは、例えば重畳画像の生成要求のあった無人航空機100Cの飛行位置と一致する空撮画像を抽出して、下向き画像を生成するための元画像とすることができる。
 図29は、飛行システム10Cの第2動作例を示すシーケンス図である。第2動作例では、飛行システム10Cは、重畳画像の生成を要求した無人航空機100Cにより撮像された空撮画像内に、この無人航空機100Cの実空間の位置に対応する画像位置が含まれないことを想定する。なお、飛行システム10Cは、重畳画像の生成を要求した無人航空機100Cにより撮像された空撮画像内に、この無人航空機100Cの実空間の位置に対応する画像位置が含まれる場合においても、第2動作例を実施してもよい。第2動作例は、無人航空機100Cの飛行中に、定期的に反復して実施されてよい。
 まず、任意の無人航空機100Cでは、第1画像取得部113は、撮像装置220、235により撮像された空撮画像を取得する(S171)。飛行情報取得部111は、無人航空機100Cの位置情報を取得する(S172)。この位置情報は、S171において空撮画像が撮像された際の無人航空機100Cの位置情報である。撮像情報取得部112は、撮像装置220、235の傾きの情報を取得する(S172)。この傾きの情報は、S171において空撮画像が撮像された際の撮像装置220、235の傾きの情報である。通信インタフェース150は、S171,S172で得られた空撮画像、無人航空機100Cの位置情報、及び撮像装置220、235の傾きの情報を、重畳画像の生成要求に含めて携帯端末80Cに送信する(S173)。
 携帯端末80Cでは、第1画像取得部811Cは、インタフェース部82又は無線通信部85を介して、重畳画像の生成要求に含まれる空撮画像を、無人航空機100Cから受信する(S181)。情報取得部812Cは、インタフェース部82又は無線通信部85を介して、重畳画像の生成要求に含まれる無人航空機100Cの位置情報及び撮像装置220、235の傾きの情報を、無人航空機100Cから受信する(S181)。
 第1画像取得部811Cは、重畳画像の生成要求に含まれる無人航空機100Cの位置情報に基づいて、画像DB891から1つ以上の空撮画像を取得してよい(S182)。第1画像取得部811Cは、取得された1つ以上の空撮画像の各々に付加された傾き情報に基づいて、1つ以上の空撮画像の各々に対して射影変換等し、1つ以上の下向き画像を生成してよい(S183)。第1画像取得部113は、生成された複数の下向き画像を合成して、1つの下向き画像を生成してもよい(S183)。
 S183では、第1画像取得部811Cは、S181で得られた1つの空撮画像と、画像DB891から取得された1つ以上の空撮画像と、これらの空撮画像の各々に係る撮像装置220、235の傾きの情報と、に基づいて、下向き画像を生成してもよい。
 画像位置取得部813Cは、下向き画像内での無人航空機100Cの位置に相当する画像位置を算出する(S184)。ここでの無人航空機100Cの画像位置は、少なくとも重畳画像の生成要求を行った無人航空機100Cの画像位置を含む。また、無人航空機100Cの画像位置は、重畳画像の生成要求を行った無人航空機100C以外の無人航空機100Cの画像位置を含んでもよい。この場合、画像位置取得部813Cは、重畳画像の生成要求を行った無人航空機100Cの位置情報と、複数の無人航空機100Cの相対的な位置情報と、に基づいて、複数の無人航空機100Cの画像位置の情報を算出してよい。また、この場合、画像位置取得部813Bは、飛行グループに属する全ての無人航空機100Cの位置情報に基づいて、複数の無人航空機100Cの画像位置の情報を算出してよい。重畳画像の生成要求に含まれる空撮画像の撮像時における各無人航空機100Cの位置情報は、それぞれの無人航空機100Cから取得されてよい。
 第2画像取得部814は、下向き画像の1つ以上の画像位置に、1台以上の無人航空機100Cに関する情報(例えば画像ga,gb,bc,bdの少なくとも1つ)を重畳し、重畳画像を生成する(S185)。表示制御部815は、表示部88を介して、重畳画像を表示する(S186)。
 第2動作例によれば、携帯端末80C及び飛行システム10Cは、下向き画像内の各無人航空機100Cの実空間の位置に相当する各画像位置に、各無人航空機100Cに関する情報を含む重畳画像を表示できる。そのため、操作者は、表示された重畳画像を確認することで、下向き画像における画像位置に対応する実空間の位置に、各無人航空機100Cが飛行中であることを認識できる。よって、操作者は、下向き画像を確認しながら、送信機50を介して所望の位置に各無人航空機100Cを飛行させることが容易になる。また、予め地図画像が用意されていない場合でも、無人航空機100Cがどの位置を飛行しているかを容易に把握できる。
 また、携帯端末80Cは、複数の無人航空機100Cにより撮像された空撮画像を一括して画像DB891に蓄積し、各無人航空機100Cからの重畳画像の生成要求に従って共有して利用できる。よって、例えば、ある無人航空機100Cが初めて飛行する飛行範囲であり、この無人航空機100Cが過去の空撮画像を個別に保持していない場合でも、他の無人航空機100Cが過去に画像DB891に蓄積した空撮画像に基づいて、合成画像を生成したり、下向き画像を生成したりできる。
(第4の実施形態)
 第4の実施形態では、無人航空機以外の装置である画像サーバが、無人航空機が撮像した空撮画像を蓄積する画像DBを保持することを想定する。
 図30は、第4の実施形態における飛行システム10Dの構成例を示す模式図である。飛行システム10Dは、複数の無人航空機100D、送信機50、携帯端末80D、及び画像サーバ90を備える。無人航空機100D、送信機50、携帯端末80D、及び画像サーバ90は、相互に有線通信又は無線通信により通信可能である。第4の実施形態において、第1~第3の実施形態と同様の構成や動作については、説明を省略又は簡略化する。
 無人航空機100Dは、不図示であるが、無人航空機100Cと同様の構成を有してよい。なお、通信インタフェース150は、携帯端末80Dではなく、画像サーバ90へ重畳画像の生成要求を行う。通信インタフェース150は、携帯端末80Dを介して、画像サーバ90へ重畳画像の生成要求を行ってもよい。
 携帯端末80Dは、不図示であるが、携帯端末80又は80Bと同様の構成を有してよい。携帯端末80Dは、少なくとも表示機能を有する。
 図31は、画像サーバ90のハードウェア構成の一例を示すブロック図である。画像サーバ90は、サーバ制御部91、無線通信部95、メモリ97、及びストレージ99を備えてよい。
 サーバ制御部91は、例えばCPU、MPU又はDSPを用いて構成される。サーバ制御部91は、画像サーバ90の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
 サーバ制御部91は、無線通信部95を介して、無人航空機100からのデータや情報を取得してよい。サーバ制御部91は、メモリ97に保持されたデータや情報を取得してよい。サーバ制御部91は、データや情報を携帯端末80Dへ送り、このデータや情報に基づく表示情報を表示部88に表示させてよい。
 無線通信部95は、各種の無線通信方式により、無人航空機100D及び携帯端末80Dとの間で通信する。無線通信方式は、例えば、無線LAN、Bluetooth(登録商標)、又は公衆無線回線を介した通信を含んでよい。
 メモリ97は、例えば画像サーバ90の動作を規定するプログラムや設定値のデータが格納されたROMと、サーバ制御部91の処理時に使用される各種の情報やデータを一時的に保存するRAMを有してよい。メモリ97は、ROM及びRAM以外のメモリが含まれてよい。メモリ97は、画像サーバ90の内部に設けられてよい。メモリ97は、画像サーバ90から取り外し可能に設けられてよい。プログラムは、アプリケーションプログラムを含んでよい。
 ストレージ99は、各種データ、情報を蓄積し、保持する。ストレージ99は、画像DB991を備えてよい。ストレージ99は、HDD、SSD、SDカード、USBメモリ、等でよい。ストレージ99は、画像サーバ90の内部に設けられてよい。ストレージ99は、画像サーバ90から取り外し可能に設けられてよい。
 画像DB991は、無線通信部95を介して取得された各種画像及びその付加情報を蓄積し、保持してよい。この画像は、1台以上の無人航空機100Dから送信された空撮画像を含んでよい。付加情報は、送信される空撮画像に関連する無人航空機100Dの飛行に関する情報や撮像装置220、235に関する情報を含んでよい。画像DB991は、サーバ制御部91からの要求に応じて、蓄積された空撮画像の少なくとも一部をサーバ制御部91へ送ってよい。画像DB991は、空撮画像が加工された加工画像を蓄積し、保持してよい。画像DB991は、空撮画像や加工画像に関する情報が空撮画像や加工画像に付加された状態で、蓄積し、保持してよい。
 画像DB991は、複数の無人航空機100Dの各々からの画像及び付加情報を区別可能に蓄積してよい。例えば、無人航空機100D毎に、画像DB991が個別に複数設けられてよい。また、複数の無人航空機100Dからの画像及び付加情報が、1つの画像DB991に蓄積され、無人航空機100Dの識別情報に基づいて、特定の無人航空機100Dからの画像及び付加情報が抽出されて利用されてよい。
 画像DB991は、複数の無人航空機100Dの各々からの画像及び付加情報を区別せずに蓄積してよい。この場合、飛行システム10Dは、複数の無人航空機100Dからの画像及び付加情報を共有して利用できる。
 図32は、画像サーバ90の機能構成の一例を示すブロック図である。サーバ制御部91は、第1画像取得部911、情報取得部912、画像位置取得部913、第2画像取得部914を備える。
 第1画像取得部911は、無線通信部95を介して、1台以上の無人航空機100Dからの1つ以上の空撮画像を取得してよい。第1画像取得部911は、画像DB991から、1台以上の無人航空機100Dからの1つ以上の空撮画像を取得してよい。第1画像取得部911は、無線通信部95を介して取得された任意の無人航空機100Dからの重畳画像の生成要求に応じて、画像DB991から空撮画像を取得してよい。この場合、第1画像取得部911は、重畳画像の生成要求に含まれる無人航空機100Dの位置情報に基づいて、例えば無人航空機100Dの位置情報に係る位置を含む所定領域(周辺領域)について、画像DB991から空撮画像を取得してよい。
 第1画像取得部911は、取得された複数の空撮画像を基に、合成画像を生成してよい。第1画像取得部911は、空撮画像又は合成画像を基に、下向き画像を生成してよい。この場合、第1画像取得部911は、重畳画像の生成要求に含まれる無人航空機100Dの撮像装置220、235の傾きの情報に基づいて、空撮画像又は合成画像に対して射影変換し、下向き画像を生成してよい。
 情報取得部912は、第1画像取得部911により取得された空撮画像に関連する付加情報を、無線通信部95を介して、取得してよい。情報取得部912は、第1画像取得部911により取得された空撮画像に関連する付加情報を、画像DB991から取得してよい。情報取得部912は、重畳画像の生成要求を行った無人航空機100Dの識別情報を、無線通信部95を介して取得してよい。情報取得部912は、複数の無人航空機100D間の相対的な位置情報を、無線通信部95を介して取得してよい。
 画像位置取得部913は、下向き画像における無人航空機100Dの位置に相当する画像位置の情報を取得する。画像位置取得部913は、重力方向に対する撮像装置220、235の傾きに基づいて、画像位置の情報を算出して取得してよい。画像位置取得部913は、重力方向に対する撮像装置220、235の傾き及び撮像装置220、235の画角に基づいて、画像位置の情報を算出して取得してよい。
 画像位置取得部913は、下向き画像における複数の無人航空機100Dの位置に相当する画像位置の情報を取得してよい。画像位置取得部913は、取得された1台の無人航空機100Dの位置情報と、取得された相対的な位置情報と、に基づいて、各無人航空機100Dの位置に相当する各画像位置の情報を算出して取得してよい。画像位置取得部913は、取得された飛行グループに属する全ての無人航空機100Dの位置情報に基づいて、各無人航空機100Dの位置に相当する各画像位置の情報を算出して取得してよい。
 第2画像取得部914は、下向き画像における1台以上の無人航空機100Dの位置に相当する画像位置に、1台以上の無人航空機100Dに関する情報を重畳し、重畳画像を生成する。各無人航空機100Dに関する情報は、第1の実施形態で説明した情報と同様でよい。
 次に、飛行システム10Dの動作例について説明する。
 図33は、飛行システム10Dの第1動作例を示すフローチャートである。第1動作例では、飛行システム10Dが、画像サーバ90に複数の無人航空機100Dからの空撮画像を蓄積することを想定する。空撮画像は、空撮画像が撮像される毎に蓄積されてもよいし、所定数撮像された際に所定数まとめて蓄積されてもよいし、所定期間毎にまとめて蓄積されてもよい。空撮画像の撮像時間間隔は任意でよい。
 まず、無人航空機100Dの各々では、第1画像取得部113は、撮像装置220、235により撮像された空撮画像を取得する(S191)。飛行情報取得部111は、無人航空機100Dの位置情報を取得する(S192)。この位置情報は、S191において空撮画像が撮像された際の各無人航空機100Dの位置情報である。撮像情報取得部112は、撮像装置220、235の傾きの情報を取得する(S192)。この傾きの情報は、S191において空撮画像が撮像された際の撮像装置220、235の傾きの情報である。
 情報付加部104は、S191で取得された空撮画像に、空撮画像に関する付加情報として、S192において得られた無人航空機100Dの位置情報と撮像装置220、235の傾きの情報とを付加する(S193)。通信インタフェース150は、付加情報が付加された空撮画像を、画像サーバ90に送信する(S194)。
 画像サーバ90では、無線通信部95は、付加情報が付加された空撮画像を、複数の無人航空機100Dから受信する(S201)。無線通信部95は、受信された付加情報が付加された空撮画像を、画像DB991に蓄積させる(S202)。
 第1動作例によれば、画像サーバ90は、複数の無人航空機100Dの各々により撮像された空撮画像を、空撮画像に関する付加情報と関連付けて蓄積できる。よって、各無人航空機100Dは、空撮画像の撮像直後に空撮画像の処理を行わなくても、付加情報の少なくとも1つをキーとして、付加情報に関連付けられた空撮画像を抽出するよう画像サーバ90へ要求可能である。よって、画像サーバ90は、例えば重畳画像の生成要求のあった無人航空機100Dの飛行位置と一致する空撮画像を抽出して、下向き画像を生成するための元画像とすることができる。
 図34は、飛行システム10Dの第2動作例を示すシーケンス図である。第2動作例では、飛行システム10Dは、重畳画像の生成を要求した無人航空機100Dにより撮像された空撮画像内に、この無人航空機100Dの実空間の位置に対応する画像位置が含まれないことを想定する。なお、飛行システム10Dは、重畳画像の生成を要求した無人航空機100Dにより撮像された空撮画像内に、この無人航空機100Dの実空間の位置に対応する画像位置が含まれる場合においても、第2動作例を実施してもよい。第2動作例は、無人航空機100Dの飛行中に、定期的に反復して実施されてよい。
 まず、任意の無人航空機100Dでは、第1画像取得部113は、撮像装置220、235により撮像された空撮画像を取得する(S211)。飛行情報取得部111は、無人航空機100Dの位置情報を取得する(S212)。この位置情報は、S211において空撮画像が撮像された際の無人航空機100Dの位置情報である。撮像情報取得部112は、撮像装置220、235の傾きの情報を取得する(S212)。この傾きの情報は、S211において空撮画像が撮像された際の撮像装置220、235の傾きの情報である。通信インタフェース150は、S211,S212で得られた空撮画像、無人航空機100Dの位置情報、及び撮像装置220、235の傾きの情報を、重畳画像の生成要求に含めて画像サーバ90に送信する(S213)。
 画像サーバ90では、第1画像取得部911は、無線通信部95を介して、重畳画像の生成要求に含まれる空撮画像を、無人航空機100Dから受信する(S221)。情報取得部912は、無線通信部95を介して、重畳画像の生成要求に含まれる無人航空機100Dの位置情報及び撮像装置220、235の傾きの情報を、無人航空機100Dから受信する(S221)。
 第1画像取得部911は、重畳画像の生成要求に含まれる無人航空機100Dの位置情報に基づいて、画像DB991から1つ以上の空撮画像を取得してよい(S222)。第1画像取得部911は、取得された1つ以上の空撮画像の各々に付加された傾き情報に基づいて、1つ以上の空撮画像の各々に対して射影変換等し、1つ以上の下向き画像を生成してよい(S223)。第1画像取得部113は、生成された複数の下向き画像を合成して、1つの下向き画像を生成してもよい(S223)。
 S223では、第1画像取得部911は、S221で得られた1つの空撮画像と、画像DB991から取得された1つ以上の空撮画像と、これらの空撮画像の各々に係る撮像装置220、235の傾きの情報と、に基づいて、下向き画像を生成してもよい。
 画像位置取得部913は、下向き画像内での無人航空機100Dの位置に相当する画像位置を算出する(S224)。ここでの無人航空機100Dの画像位置は、少なくとも重畳画像の生成要求を行った無人航空機100Dの画像位置を含む。また、無人航空機100Dの画像位置は、重畳画像の生成要求を行った無人航空機100D以外の無人航空機100Dの画像位置を含んでもよい。この場合、画像位置取得部913は、重畳画像の生成要求を行った無人航空機100Dの位置情報と、複数の無人航空機100Dの相対的な位置情報と、に基づいて、複数の無人航空機100Dの画像位置の情報を算出してよい。また、この場合、画像位置取得部913は、飛行グループに属する全ての無人航空機100Dの位置情報に基づいて、複数の無人航空機100Dの画像位置の情報を算出してよい。重畳画像の生成要求に含まれる空撮画像の撮像時における各無人航空機100Dの位置情報は、それぞれの無人航空機100Dから取得されてよい。
 第2画像取得部914は、下向き画像の1つ以上の画像位置に、1台以上の無人航空機100Dに関する情報(例えば画像ga,gb,bc,bdの少なくとも1つ)を重畳し、重畳画像を生成する(S225)。無線通信部95は、重畳画像を携帯端末80Dへ送信する(S226)。
 携帯端末80Dでは、第1画像取得部811は、無線通信部85を介して、重畳画像を画像サーバ90から受信する(S231)。表示制御部815は、表示部88を介して、重畳画像を表示する(S232)。
 第2動作例によれば、画像サーバ90及び飛行システム10Dは、下向き画像内の各無人航空機100Dの実空間の位置に相当する各画像位置に、各無人航空機100Dに関する情報を含む重畳画像を表示できる。そのため、操作者は、表示された重畳画像を確認することで、下向き画像における画像位置に対応する実空間の位置に、各無人航空機100Dが飛行中であることを認識できる。よって、操作者は、下向き画像を確認しながら、送信機50を介して所望の位置に各無人航空機100Dを飛行させることが容易になる。また、予め地図画像が用意されていない場合でも、無人航空機100Dがどの位置を飛行しているかを容易に把握できる。
 また、画像サーバ90は、複数の無人航空機100Dにより撮像された空撮画像を一括して画像DB991に蓄積し、各無人航空機100Dからの重畳画像の生成要求に従って共有して利用できる。よって、例えば、ある無人航空機100Dが初めて飛行する飛行範囲であり、この無人航空機100Dが過去の空撮画像を個別に保持していない場合でも、他の無人航空機100Dが過去に画像DB991に蓄積した空撮画像に基づいて、合成画像を生成したり、下向き画像を生成したりできる。更に、空撮画像に基づく画像処理を画像サーバ90が一括して実施するので、無人航空機100D及び携帯端末80Dの処理負荷を軽減できる。
 本実施形態では、第1,第2の実施形態と同様に、画像サーバ90が有する機能を画像サーバ90と携帯端末80Dとにより分散して有してもよい。例えば、画像サーバ90が画像DB991による画像の蓄積機能に特化し、携帯端末80Dが、画像DB991から所望の空撮画像を取得して、合成画像の生成、下向き画像の生成、各無人航空機100Dの画像位置の決定、重畳画像の生成、等の画像処理を実施してよい。また、これ以外の分散方法で、画像サーバ90及び携帯端末80Dが機能を分散してもよい。
 以上、本開示を実施形態を用いて説明したが、本開示の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。
 特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10,10B,10C,10D 飛行システム
50 送信機
50B 筐体
53L 左制御棒
53R 右制御棒
61 送信機制御部
63 無線通信部
65 インタフェース部
80,80B,80C,80D 携帯端末
81,81A,81B,81C 端末制御部
82 インタフェース部
83 操作部
85 無線通信部
87 メモリ
88 表示部
89 ストレージ
90 画像サーバ
91 サーバ制御部
95 無線通信部
97 メモリ
99 ストレージ
100,100B,100C,100D 無人航空機
102 UAV本体
110,110A,110B UAV制御部
111 飛行情報取得部
112 撮像情報取得部
113,113B 第1画像取得部
114 情報付加部
115 画像位置取得部
116 第2画像取得部
117 相対位置取得部
118 飛行制御部
150 通信インタフェース
160 メモリ
170 ストレージ
171 画像DB
200 ジンバル
210 回転翼機構
211 回転翼
212 駆動モータ
213 電流センサ
220,230,235 撮像装置
240 GPS受信機
250 慣性計測装置
260 磁気コンパス
270 気圧高度計
280 超音波センサ
290 レーザー測定器
811,811B,811C 第1画像取得部
812,812B,812C 情報取得部
813,813B,813C 画像位置取得部
814,814B 第2画像取得部
815 表示制御部
816 画像取得部
891 画像DB
911 第1画像取得部
912 情報取得部
913 画像位置取得部
914 第2画像取得部
991 画像DB
AN1,AN2 アンテナ
B1 電源ボタン
B2 RTHボタン
L1 リモートステータス表示部
L2 バッテリ残量表示部
OPS 操作部セット
G11,G12,G13,G14 空撮画像

Claims (37)

  1.  飛行体により撮像された空撮画像に基づく画像を表示する画像表示システムにおける画像表示方法であって、
     前記飛行体の飛行中に撮像し、空撮画像を取得するステップと、
     前記空撮画像に基づく第1の画像を取得するステップと、
     前記第1の画像において前記飛行体の水平方向の位置に対応する前記飛行体の画像位置の情報を取得するステップと、
     前記第1の画像における前記画像位置に前記飛行体に関する情報を重畳し、第2の画像を生成するステップと、
    の 前記第2の画像を表示するステップと、
     を有する画像表示方法。
  2.  前記飛行体に関する情報は、前記飛行体の存在を示す情報を含む、
     請求項1に記載の画像表示方法。
  3.  前記飛行体の向きの情報を取得するステップ、を更に含み、
     前記飛行体に関する情報は、前記飛行体の向きの情報を含む、
     請求項1または2に記載の画像表示方法。
  4.  前記飛行体が備える撮像部の撮像方向の情報を取得するステップ、を更に含み、
     前記飛行体に関する情報は、前記撮像方向の情報を含む、
     請求項1~3のいずれか1項に記載の画像表示方法。
  5.  前記飛行体の飛行方向の情報を取得するステップ、を更に含み、
     前記飛行体に関する情報は、前記飛行方向の情報を含む、
     請求項1~4のいずれか1項に記載の画像表示方法。
  6.  重力方向に対する前記飛行体が備える撮像部の傾きの情報を取得するステップ、を更に含み、
     前記画像位置の情報を取得するステップは、前記撮像部の傾きに基づいて、前記画像位置を取得するステップを含む、
     請求項1~5のいずれか1項に記載の画像表示方法。
  7.  前記撮像部の画角の情報を取得するステップ、を更に含み、
     前記画像位置の情報を取得するステップは、前記撮像部の傾き及び前記撮像部の画角に基づいて、前記画像位置の情報を取得するステップを含む、
     請求項6に記載の画像表示方法。
  8.  前記空撮画像に、前記空撮画像の撮像時における撮像位置の情報と、前記空撮画像の撮像時における前記飛行体が備える撮像部の傾きの情報と、を付加するステップと、
     前記情報が付加された前記空撮画像を蓄積部に複数蓄積するステップと、を更に含む、
     請求項1~7のいずれか1項に記載の画像表示方法。
  9.  前記飛行体の位置情報を取得するステップ、を更に含み、
     前記第1の画像を取得するステップは、
     前記飛行体の位置情報に基づいて、前記蓄積部に蓄積された複数の前記空撮画像を取得するステップと、
     複数の前記空撮画像に基づいて、前記第1の画像を生成するステップと、を含む
     請求項8に記載の画像表示方法。
  10.  重力方向に対する前記飛行体が備える撮像部の傾きの情報を取得するステップ、を更に含み、
     前記第1の画像を取得するステップは、少なくとも1つの前記空撮画像及び前記撮像部の傾きの情報に基づいて、重力方向を法線方向とする前記第1の画像を生成するステップを含む、
     請求項1~9のいずれか1項に記載の画像表示方法。
  11.  前記画像表示システムは、複数の前記飛行体を含み、
     前記画像位置の情報を取得するステップは、前記第1の画像における前記複数の飛行体の各々の画像位置の情報を取得するステップを含み、
     前記第2の画像を生成するステップは、前記第1の画像における前記複数の飛行体の各々の画像位置に、前記複数の飛行体の各々に関する情報を重畳し、前記第2の画像を生成するステップを含む、
     請求項1~10のいずれか1項に記載の画像表示方法。
  12.  前記空撮画像を取得するステップは、少なくとも1台の飛行体が備える撮像部により撮像された前記空撮画像を取得するステップを含み、
     前記画像位置の情報を取得するステップは、前記複数の飛行体の相対的な位置情報に基づいて、前記第1の画像における前記複数の飛行体の各々の画像位置の情報を取得するステップを含む、
     請求項11に記載の画像表示方法。
  13.  前記空撮画像を取得するステップは、前記複数の飛行体の各々により撮像された複数の前記空撮画像を取得するステップを含み、
     前記第1の画像を取得するステップは、
     複数の前記空撮画像を合成して合成画像を生成するステップと、
     前記合成画像に基づいて前記第1の画像を生成するステップと、を含む、
     請求項11または12に記載の画像表示方法。
  14.  前記複数の飛行体の各々の位置情報を取得するステップ、を更に含み、
     前記画像位置の情報を取得するステップは、前記複数の飛行体の各々の位置情報に基づいて、前記第1の画像における前記複数の飛行体の各々の画像位置の情報を取得するステップを含む、
     請求項11~13のいずれか1項に記載の画像表示方法。
  15.  前記複数の飛行体の各々により撮像された前記空撮画像に、前記空撮画像の撮像時における撮像位置の情報と、前記空撮画像の撮像時における前記空撮画像を撮像した飛行体が備える撮像部の傾きの情報と、を付加するステップと、
     前記情報が付加された前記空撮画像を、前記第2の画像を表示する表示装置が備える蓄積部に複数蓄積するステップと、を更に含む、
     請求項11~14のいずれか1項に記載の画像表示方法。
  16.  前記複数の飛行体の各々により撮像された前記空撮画像に、前記空撮画像の撮像時における撮像位置の情報と、前記空撮画像の撮像時における前記空撮画像を撮像した飛行体が備える撮像部の傾きの情報と、を付加するステップと、
     前記情報が付加された前記空撮画像を、画像サーバが備える蓄積部に複数蓄積するステップと、を更に含む、
     請求項11~14のいずれか1項に記載の画像表示方法。
  17.  飛行体により撮像された空撮画像に基づいて画像を表示する画像表示システムであって、
     前記飛行体の飛行中に撮像し、空撮画像を得る撮像部と、
     前記空撮画像に基づく第1の画像を取得する第1の取得部と、
     前記第1の画像において前記飛行体の水平方向の位置に対応する前記飛行体の画像位置の情報を取得する第2の取得部と、
     前記第1の画像における前記画像位置に前記飛行体に関する情報を重畳し、第2の画像を生成する生成部と、
     前記第2の画像を表示する表示部と、
     を備える画像表示システム。
  18.  前記飛行体に関する情報は、前記飛行体の存在を示す情報を含む、
     請求項17に記載の画像表示システム。
  19.  前記飛行体の向きの情報を取得する第3の取得部、を更に備え、
     前記飛行体に関する情報は、前記飛行体の向きの情報を含む、
     請求項17又は18に記載の画像表示システム。
  20.  前記撮像部の撮像方向の情報を取得する第4の取得部、を更に備え、
     前記飛行体に関する情報は、前記撮像方向の情報を含む、
     請求項17~19のいずれか1項に記載の画像表示システム。
  21.  前記飛行体の飛行方向の情報を取得する第5の取得部、を更に備え、
     前記飛行体に関する情報は、前記飛行方向の情報を含む、
     請求項17~20のいずれか1項に記載の画像表示システム。
  22.  重力方向に対する前記撮像部の傾きの情報を取得する第6の取得部、を更に備え、
     前記第2の取得部は、前記撮像部の傾きに基づいて、前記画像位置を取得する、
     請求項17~21のいずれか1項に記載の画像表示システム。
  23.  前記撮像部の画角の情報を取得する第7の取得部、を更に備え、
     前記第2の取得部は、前記撮像部の傾き及び前記撮像部の画角に基づいて、前記画像位置の情報を取得する、
     請求項17~22のいずれか1項に記載の画像表示システム。
  24.  前記空撮画像に、前記空撮画像の撮像時における撮像位置の情報と、前記空撮画像の撮像時における前記撮像部の傾きの情報と、を付加する付加部と、
     前記情報が付加された前記空撮画像を複数蓄積する蓄積部と、を更に備える
     請求項17~23のいずれか1項に記載の画像表示システム。
  25.  前記飛行体の位置情報を取得する第8の取得部、を更に備え、
     前記第1の取得部は、
     前記飛行体の位置情報に基づいて、前記蓄積部に蓄積された複数の前記空撮画像を取得し、
     複数の前記空撮画像に基づいて、前記第1の画像を生成する、
     請求項24に記載の画像表示システム。
  26.  重力方向に対する前記撮像部の傾きの情報を取得する第6の取得部、を更に備え、
     前記第1の取得部は、少なくとも1つの前記空撮画像及び前記撮像部の傾きの情報に基づいて、重力方向を法線方向とする前記第1の画像を生成する、
     請求項17~25のいずれか1項に記載の画像表示システム。
  27.  前記撮像部は、前記飛行体の筐体に設置された、
     請求項17~26のいずれか1項に記載の画像表示システム。
  28.  前記撮像部は、飛行体の撮像部を回転可能に支持する支持部材に設置された、
     請求項17~26のいずれか1項に記載の画像表示システム。
  29.  画像表示システムは、複数の前記飛行体を含み、
     前記第2の取得部は、前記第1の画像における前記複数の飛行体の各々の画像位置の情報を取得し、
     前記生成部は、前記第1の画像における前記複数の飛行体の各々の画像位置に、前記複数の飛行体の各々に関する情報を重畳し、前記第2の画像を生成する、
     請求項17~28のいずれか1項に記載の画像表示システム。
  30.  前記複数の飛行体の相対的な位置情報を取得する第9の取得部、を更に備え、
     複数の前記飛行体に含まれる少なくとも1台の飛行体は、前記撮像部を備え、
     前記第2の取得部は、前記複数の飛行体の相対的な位置情報に基づいて、前記第1の画像における前記複数の飛行体の各々の画像位置の情報を取得する、
     請求項29に記載の画像表示システム。
  31.  前記複数の飛行体の各々は、前記撮像部を備え、
     前記撮像部の各々は、複数の前記空撮画像の各々を取得し、
     前記第1の取得部は、複数の前記空撮画像を合成して合成画像を生成し、前記合成画像に基づいて前記第1の画像を生成する、
     請求項29または30に記載の画像表示システム。
  32.  前記複数の飛行体の各々は、前記飛行体の各々の位置情報を取得する第8の取得部、を備え、
     前記第2の取得部は、前記複数の飛行体の各々の位置情報に基づいて、前記第1の画像における前記複数の飛行体の各々の画像位置の情報を取得する、
     請求項29~31のいずれか1項に記載の画像表示システム。
  33.  前記表示部を備える表示装置、を更に備え、
     前記複数の飛行体の各々は、
     前記撮像部と、
     前記撮像部により撮像された前記空撮画像に、前記空撮画像の撮像時における撮像位置の情報と、前記空撮画像の撮像時における前記撮像部の傾きの情報と、を付加する付加部と、
     を備え、
     前記表示装置は、前記情報が付加された前記空撮画像を複数蓄積する蓄積部、を備える、
     請求項29~32のいずれか1項に記載の画像表示システム。
  34.  画像サーバ、を更に備え、
     前記複数の飛行体の各々は、
     前記撮像部と、
     前記撮像部により撮像された前記空撮画像に、前記空撮画像の撮像時における撮像位置の情報と、前記空撮画像の撮像時における前記撮像部の傾きの情報と、を付加する付加部と、
     を備え、
     前記画像サーバは、前記情報が付加された前記空撮画像を複数蓄積する蓄積部、を備える、
     請求項29~32のいずれか1項に記載の画像表示システム。
  35.  空撮画像を処理する飛行体であって、
     前記飛行体の飛行中に撮像し、空撮画像を得る撮像部と、
     前記空撮画像に基づく第1の画像を取得する第1の取得部と、
     前記第1の画像において前記飛行体の水平方向の位置に対応する前記飛行体の画像位置の情報を取得する第2の取得部と、
     前記第1の画像における前記画像位置に前記飛行体に関する情報を重畳し、第2の画像を生成する生成部と、
     前記第2の画像を出力する出力部と、
     を備える飛行体。
  36.  空撮画像を処理する飛行体に、
     前記飛行体の飛行中に撮像し、空撮画像を得るステップと、
     前記空撮画像に基づく第1の画像を取得するステップと、
     前記第1の画像において前記飛行体の水平方向の位置に対応する前記飛行体の画像位置の情報を取得するステップと、
     前記第1の画像における前記画像位置に前記飛行体に関する情報を重畳し、第2の画像を生成するステップと、
     前記第2の画像を出力するステップと、
     を実行させるためのプログラム。
  37.  空撮画像を処理する飛行体に、
     前記飛行体の飛行中に撮像し、空撮画像を得るステップと、
     前記空撮画像に基づく第1の画像を取得するステップと、
     前記第1の画像において前記飛行体の水平方向の位置に対応する前記飛行体の画像位置の情報を取得するステップと、
     前記第1の画像における前記画像位置に前記飛行体に関する情報を重畳し、第2の画像を生成するステップと、
     前記第2の画像を出力するステップと、
     を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
PCT/JP2017/005561 2017-02-15 2017-02-15 画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体 WO2018150492A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019500091A JP6788094B2 (ja) 2017-02-15 2017-02-15 画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体
CN201780085769.XA CN110249625A (zh) 2017-02-15 2017-02-15 图像显示方法、图像显示系统、飞行体、程序以及记录介质
PCT/JP2017/005561 WO2018150492A1 (ja) 2017-02-15 2017-02-15 画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体
US16/539,324 US11082639B2 (en) 2017-02-15 2019-08-13 Image display method, image display system, flying object, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/005561 WO2018150492A1 (ja) 2017-02-15 2017-02-15 画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/539,324 Continuation US11082639B2 (en) 2017-02-15 2019-08-13 Image display method, image display system, flying object, program, and recording medium

Publications (1)

Publication Number Publication Date
WO2018150492A1 true WO2018150492A1 (ja) 2018-08-23

Family

ID=63170597

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/005561 WO2018150492A1 (ja) 2017-02-15 2017-02-15 画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体

Country Status (4)

Country Link
US (1) US11082639B2 (ja)
JP (1) JP6788094B2 (ja)
CN (1) CN110249625A (ja)
WO (1) WO2018150492A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105867361A (zh) * 2016-04-18 2016-08-17 深圳市道通智能航空技术有限公司 一种飞行方向控制方法、装置及其无人机
CN113853781A (zh) * 2020-05-28 2021-12-28 深圳市大疆创新科技有限公司 一种图像处理方法、头戴式显示设备及存储介质
GB2596867A (en) * 2020-07-10 2022-01-12 Scout Drone Inspection As Inspection device for inspecting a building or structure
US12094075B2 (en) * 2021-07-26 2024-09-17 Samsung Electronics Co., Ltd. Electronic device generating image and method for operating the same
CN113452842B (zh) * 2021-08-30 2021-12-10 深圳市活力天汇科技股份有限公司 航班ar显示方法、系统、计算机设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1042282A (ja) * 1996-04-23 1998-02-13 Shigeyuki Yamaguchi 映像提示システム
JPH1114354A (ja) * 1997-06-25 1999-01-22 Mitsubishi Electric Corp 撮影装置
JPH11291991A (ja) * 1998-04-03 1999-10-26 Shinshakai System Kenkyusho:Kk 移動体の遠隔操縦システム
JP2001197481A (ja) * 2000-01-13 2001-07-19 Mitsubishi Electric Corp 撮影システム
JP2003110981A (ja) * 2001-09-28 2003-04-11 Hiroboo Kk 空撮映像処理システム及び無線式の小型無人飛行体
JP2014089160A (ja) * 2012-10-31 2014-05-15 Topcon Corp 航空写真測定方法及び航空写真測定システム
WO2015029007A1 (en) * 2013-08-31 2015-03-05 Gabbay Ronen Izidor Robotic system and method for complex indoor combat

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5878356A (en) * 1995-06-14 1999-03-02 Agrometrics, Inc. Aircraft based infrared mapping system for earth based resources
WO2006044844A2 (en) * 2004-10-18 2006-04-27 Mark Segal Method and apparatus for creating aerial panoramic photography
JP4339289B2 (ja) * 2005-07-28 2009-10-07 Necシステムテクノロジー株式会社 変化判定装置、変化判定方法および変化判定プログラム
US8521339B2 (en) * 2008-09-09 2013-08-27 Aeryon Labs Inc. Method and system for directing unmanned vehicles
US8511606B1 (en) * 2009-12-09 2013-08-20 The Boeing Company Unmanned aerial vehicle base station
EP2527787B1 (en) * 2011-05-23 2019-09-11 Kabushiki Kaisha TOPCON Aerial photograph image pickup method and aerial photograph image pickup apparatus
CN102788580A (zh) * 2012-06-20 2012-11-21 天津工业大学 无人机视觉导航中的飞行路线合成方法
CN106133629B (zh) * 2014-04-25 2020-04-07 索尼公司 信息处理装置、信息处理方法、程序和成像系统
US10203692B2 (en) * 2014-07-21 2019-02-12 King Abdullah University Of Science And Technology Structure from motion (SfM) processing for unmanned aerial vehicle (UAV)
US9665094B1 (en) * 2014-08-15 2017-05-30 X Development Llc Automatically deployed UAVs for disaster response
CN104183015B (zh) * 2014-09-02 2017-04-05 中国商用飞机有限责任公司北京民用飞机技术研究中心 用于飞机中取代部分舱体物理窗户的方法和装置
US9927809B1 (en) * 2014-10-31 2018-03-27 State Farm Mutual Automobile Insurance Company User interface to facilitate control of unmanned aerial vehicles (UAVs)
JP6525145B2 (ja) 2015-04-23 2019-06-05 有限会社大平技研 飛翔体を用いた発光点図形パターン表示システム,発光点図形パターン表示方法ならびに該システムおよび方法に用いる飛翔体
JP6572618B2 (ja) * 2015-05-08 2019-09-11 富士通株式会社 情報処理装置、情報処理プログラム、情報処理方法、端末装置、設定方法、設定プログラム
CN105759833A (zh) * 2016-02-23 2016-07-13 普宙飞行器科技(深圳)有限公司 一种沉浸式无人机驾驶飞行系统
US10189567B2 (en) * 2016-06-09 2019-01-29 Skycatch, Inc. Identifying camera position of a UAV in flight utilizing real time kinematic satellite navigation
US10068489B2 (en) * 2016-08-31 2018-09-04 Skycatch, Inc. Managing energy during flight of unmanned aerial vehicles for safe return to ground
JP6790932B2 (ja) * 2017-03-14 2020-11-25 富士通株式会社 飛行体運用システム、クレーン装置制御方法、及び制御プログラム
US10678238B2 (en) * 2017-12-20 2020-06-09 Intel IP Corporation Modified-reality device and method for operating a modified-reality device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1042282A (ja) * 1996-04-23 1998-02-13 Shigeyuki Yamaguchi 映像提示システム
JPH1114354A (ja) * 1997-06-25 1999-01-22 Mitsubishi Electric Corp 撮影装置
JPH11291991A (ja) * 1998-04-03 1999-10-26 Shinshakai System Kenkyusho:Kk 移動体の遠隔操縦システム
JP2001197481A (ja) * 2000-01-13 2001-07-19 Mitsubishi Electric Corp 撮影システム
JP2003110981A (ja) * 2001-09-28 2003-04-11 Hiroboo Kk 空撮映像処理システム及び無線式の小型無人飛行体
JP2014089160A (ja) * 2012-10-31 2014-05-15 Topcon Corp 航空写真測定方法及び航空写真測定システム
WO2015029007A1 (en) * 2013-08-31 2015-03-05 Gabbay Ronen Izidor Robotic system and method for complex indoor combat

Also Published As

Publication number Publication date
JPWO2018150492A1 (ja) 2019-12-19
CN110249625A (zh) 2019-09-17
JP6788094B2 (ja) 2020-11-18
US11082639B2 (en) 2021-08-03
US20190373184A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
US11377211B2 (en) Flight path generation method, flight path generation system, flight vehicle, program, and storage medium
JP6878567B2 (ja) 3次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体
US11513514B2 (en) Location processing device, flight vehicle, location processing system, flight system, location processing method, flight control method, program and recording medium
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
US12282989B2 (en) Map view
US20190318636A1 (en) Flight route display method, mobile platform, flight system, recording medium and program
WO2018150492A1 (ja) 画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体
CN115220475A (zh) 用于uav飞行控制的系统和方法
US11122209B2 (en) Three-dimensional shape estimation method, three-dimensional shape estimation system, flying object, program and recording medium
US20210034052A1 (en) Information processing device, instruction method for prompting information, program, and recording medium
JP2020036163A (ja) 情報処理装置、撮影制御方法、プログラム及び記録媒体
WO2021130980A1 (ja) 飛行体の飛行経路表示方法及び情報処理装置
CN110785724B (zh) 发送器、飞行体、飞行控制指示方法、飞行控制方法、程序及存储介质
JP2020003428A (ja) 情報処理装置、飛行経路生成方法、プログラム、及び記録媒体
JP2020095519A (ja) 形状推定装置、形状推定方法、プログラム、及び記録媒体
WO2018138882A1 (ja) 飛行体、動作制御方法、動作制御システム、プログラム及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17896352

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019500091

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 13.12.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 17896352

Country of ref document: EP

Kind code of ref document: A1

点击 这是indexloc提供的php浏览器服务,不要输入任何密码和下载