+

WO2019077999A1 - 撮像装置、画像処理装置、及び、画像処理方法 - Google Patents

撮像装置、画像処理装置、及び、画像処理方法 Download PDF

Info

Publication number
WO2019077999A1
WO2019077999A1 PCT/JP2018/036965 JP2018036965W WO2019077999A1 WO 2019077999 A1 WO2019077999 A1 WO 2019077999A1 JP 2018036965 W JP2018036965 W JP 2018036965W WO 2019077999 A1 WO2019077999 A1 WO 2019077999A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
image
frame rate
unit
transfer
Prior art date
Application number
PCT/JP2018/036965
Other languages
English (en)
French (fr)
Inventor
昌一 粟井
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to KR1020207009857A priority Critical patent/KR102613792B1/ko
Priority to CN201880065676.5A priority patent/CN111201787B/zh
Priority to JP2019549189A priority patent/JP7314798B2/ja
Priority to EP18868534.1A priority patent/EP3700198B1/en
Priority to US16/754,745 priority patent/US11363235B2/en
Publication of WO2019077999A1 publication Critical patent/WO2019077999A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/04—Systems for the transmission of one television signal, i.e. both picture and sound, by a single carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/214—Specialised server platform, e.g. server located in an airplane, hotel, hospital
    • H04N21/2146—Specialised server platform, e.g. server located in an airplane, hotel, hospital located in mass transportation means, e.g. aircraft, train or bus

Definitions

  • the present technology relates to an imaging device, an image processing device, and an image processing method, and more particularly to an imaging device, an image processing device, and an image processing method capable of reducing the transfer amount of an image.
  • the present technology has been made in view of such a situation, and can reduce the transfer amount of images.
  • the imaging device sets, for each of the transfer areas, an imaging unit that captures a captured image, and area images in a plurality of transfer areas that are all or part of the captured image. And a transmission control unit that performs transmission control to transmit at the frame rate being set.
  • an imaging device captures a captured image, and region images in a plurality of transfer regions, which are all or part of the captured image, are transferred to each of the transfer regions. It performs transmission control to transmit at the frame rate set in.
  • the image processing apparatus is a plurality of areas that are all or part of the captured image based on at least one of an object and a feature point in the captured image captured by the imaging device.
  • a region setting unit for setting a transfer region, a frame rate setting unit for setting a frame rate of each of the transfer regions, and transmission of region setting information concerning each transfer region and the frame rate of each of the transfer regions to the imaging device A transmission control unit to control, and a reception control unit to control reception of an area image in each transfer area transmitted from the imaging device at a frame rate based on the area setting information.
  • the image processing device is a part or all of the captured image based on at least one of an object and a feature point in the captured image captured by the imaging device.
  • a plurality of transfer areas, which are areas, are set, frame rates of the transfer areas are set, transmission of area setting information on frame rates of the transfer areas and the transfer areas to the imaging device is controlled, The reception of the area image in each of the transfer areas transmitted from the imaging apparatus at a frame rate based on the area setting information is controlled.
  • a frame in which a captured image is captured and area images within a plurality of transfer areas, which are all or a partial area of the captured image, are set for each of the transfer areas. Sent at a rate.
  • a plurality of transfer areas which are all or a part of the captured image, are based on at least one of an object and a feature point in the captured image captured by the imaging device.
  • the frame rate of each transfer area is set, the area setting information on the transfer area and the frame rate of each transfer area is transmitted to the imaging device, and the frame rate based on the area setting information from the imaging apparatus An area image in each of the transfer areas transmitted in the step (c) is received.
  • the transfer amount of images can be reduced.
  • FIG. 1 is a block diagram showing an embodiment of an out-of-vehicle information detection system to which the present technology is applied. It is a block diagram showing an example of composition of a function realized by a control part of a camera. It is a block diagram showing an example of composition of a function realized by a control part of a host. It is a flowchart for demonstrating 1st Embodiment of a process of a host. It is a figure which shows the example of a surrounding image typically. It is a figure which shows the example of a feature point and a transfer area
  • FIG. 1 is a block diagram showing a configuration example of a schematic function of a vehicle control system 100 which is an example of a mobile control system to which the present technology can be applied.
  • the vehicle control system 100 is a system that is provided in the vehicle 10 and performs various controls of the vehicle 10.
  • the vehicle 10 is distinguished from other vehicles, it is referred to as the own vehicle or the own vehicle.
  • the vehicle control system 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system 108, a body system control unit 109, and a body.
  • the system system 110, the storage unit 111, and the automatic driving control unit 112 are provided.
  • the input unit 101, the data acquisition unit 102, the communication unit 103, the output control unit 105, the drive system control unit 107, the body system control unit 109, the storage unit 111, and the automatic operation control unit 112 are connected via the communication network 121. Connected to each other.
  • the communication network 121 may be, for example, an on-vehicle communication network or bus conforming to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). Become. In addition, each part of the vehicle control system 100 may be directly connected without passing through the communication network 121.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • each unit of the vehicle control system 100 performs communication via the communication network 121
  • the description of the communication network 121 is omitted.
  • the input unit 101 and the automatic driving control unit 112 communicate via the communication network 121, it is described that the input unit 101 and the automatic driving control unit 112 merely communicate.
  • the input unit 101 includes an apparatus used by a passenger for inputting various data and instructions.
  • the input unit 101 includes operation devices such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device and the like that can be input by a method other than manual operation by voice or gesture.
  • the input unit 101 may be a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile device or wearable device corresponding to the operation of the vehicle control system 100.
  • the input unit 101 generates an input signal based on data, an instruction, and the like input by the passenger, and supplies the input signal to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for acquiring data used for processing of the vehicle control system 100 and supplies the acquired data to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of the vehicle 10 and the like.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertia measurement device (IMU), an operation amount of an accelerator pedal, an operation amount of a brake pedal, a steering angle of a steering wheel, and an engine speed.
  • IMU inertia measurement device
  • a sensor or the like for detecting a motor rotation speed or a rotation speed of a wheel is provided.
  • the data acquisition unit 102 includes various sensors for detecting information outside the vehicle 10.
  • the data acquisition unit 102 includes an imaging device such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting weather, weather, etc., and an ambient information detection sensor for detecting an object around the vehicle 10.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the ambient information detection sensor is made of, for example, an ultrasonic sensor, a radar, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), sonar or the like.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the vehicle 10.
  • the data acquisition unit 102 includes a GNSS receiver or the like which receives a GNSS signal from a Global Navigation Satellite System (GNSS) satellite.
  • GNSS Global Navigation Satellite System
  • the data acquisition unit 102 includes various sensors for detecting information in the vehicle.
  • the data acquisition unit 102 includes an imaging device for imaging a driver, a biological sensor for detecting biological information of the driver, a microphone for collecting sound in a vehicle interior, and the like.
  • the biological sensor is provided, for example, on a seat or a steering wheel, and detects biological information of an occupant sitting on a seat or a driver holding the steering wheel.
  • the communication unit 103 communicates with the in-vehicle device 104 and various devices outside the vehicle, a server, a base station, etc., and transmits data supplied from each portion of the vehicle control system 100, and receives the received data. Supply to each part of 100.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 can also support a plurality of types of communication protocols.
  • the communication unit 103 performs wireless communication with the in-vehicle device 104 by wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like. Also, for example, the communication unit 103 may use a Universal Serial Bus (USB), a High-Definition Multimedia Interface (HDMI (registered trademark)), or an MHL (Universal Serial Bus) via a connection terminal (and a cable, if necessary) not shown. Wired communication is performed with the in-vehicle device 104 by Mobile High-definition Link) or the like.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Universal Serial Bus
  • the communication unit 103 may communicate with an apparatus (for example, an application server or control server) existing on an external network (for example, the Internet, a cloud network, or a network unique to an operator) via a base station or an access point. Communicate. Also, for example, the communication unit 103 may use a P2P (Peer To Peer) technology to connect with a terminal (for example, a pedestrian or a shop terminal, or a MTC (Machine Type Communication) terminal) existing in the vicinity of the vehicle 10. Communicate. Further, for example, the communication unit 103 may perform vehicle to vehicle communication, vehicle to infrastructure communication, communication between the vehicle 10 and a house, and communication between the vehicle 10 and the pedestrian. ) V2X communication such as communication is performed. Also, for example, the communication unit 103 includes a beacon receiving unit, receives radio waves or electromagnetic waves transmitted from radio stations installed on roads, and acquires information such as current position, traffic jam, traffic restriction, or required time. Do.
  • an apparatus for example, an application server or control server
  • the in-vehicle device 104 includes, for example, a mobile device or wearable device of a passenger, an information device carried in or attached to the vehicle 10, a navigation device for searching for a route to an arbitrary destination, and the like.
  • the output control unit 105 controls the output of various information to the occupant of the vehicle 10 or the outside of the vehicle.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data), and supplies the generated output signal to the output unit 106.
  • the output control unit 105 combines image data captured by different imaging devices of the data acquisition unit 102 to generate an overhead image or a panoramic image, and an output signal including the generated image is generated.
  • the output unit 106 is supplied.
  • the output control unit 105 generates voice data including a warning sound or a warning message for danger such as collision, contact, entering a danger zone, and the like, and outputs an output signal including the generated voice data to the output unit 106.
  • Supply for example, the output control unit 105 generates voice data including a warning sound or a warning message for danger such as collision, contact, entering a danger zone, and the like, and outputs an
  • the output unit 106 includes a device capable of outputting visual information or auditory information to an occupant of the vehicle 10 or the outside of the vehicle.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, wearable devices such as a glasses-type display worn by a passenger, a projector, a lamp, and the like.
  • the display device included in the output unit 106 has visual information in the driver's field of vision, such as a head-up display, a transmissive display, and a device having an AR (Augmented Reality) display function, in addition to a device having a normal display. It may be an apparatus for displaying.
  • the drive system control unit 107 controls the drive system 108 by generating various control signals and supplying them to the drive system 108. In addition, the drive system control unit 107 supplies a control signal to each unit other than the drive system 108 as necessary, and notifies a control state of the drive system 108, and the like.
  • the driveline system 108 includes various devices related to the driveline of the vehicle 10.
  • the drive system 108 includes a driving force generating device for generating a driving force of an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering mechanism for adjusting a steering angle.
  • a braking system that generates a braking force an antilock brake system (ABS), an electronic stability control (ESC), an electric power steering apparatus, and the like are provided.
  • the body control unit 109 controls the body system 110 by generating various control signals and supplying the control signals to the body system 110.
  • the body system control unit 109 supplies a control signal to each unit other than the body system 110, as required, to notify the control state of the body system 110, and the like.
  • the body system 110 includes various devices of the body system mounted on the vehicle body.
  • the body system 110 includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, headlamps, back lamps, brake lamps, blinkers, fog lamps, etc.) Etc.
  • the storage unit 111 includes, for example, a read only memory (ROM), a random access memory (RAM), a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, and a magneto-optical storage device. .
  • the storage unit 111 stores various programs, data, and the like used by each unit of the vehicle control system 100.
  • the storage unit 111 is map data such as a three-dimensional high-accuracy map such as a dynamic map, a global map that has a lower accuracy than a high-accuracy map and covers a wide area, and information around the vehicle 10 Remember.
  • the autonomous driving control unit 112 performs control regarding autonomous driving such as autonomous traveling or driving assistance. Specifically, for example, the automatic driving control unit 112 can avoid collision or reduce the impact of the vehicle 10, follow-up traveling based on the inter-vehicle distance, vehicle speed maintenance traveling, collision warning of the vehicle 10, lane departure warning of the vehicle 10, etc. Coordinated control is carried out to realize the functions of the Advanced Driver Assistance System (ADAS), including: Further, for example, the automatic driving control unit 112 performs cooperative control for the purpose of automatic driving or the like that travels autonomously without depending on the driver's operation.
  • the automatic driving control unit 112 includes a detection unit 131, a self position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
  • the detection unit 131 detects various types of information necessary for control of automatic driving.
  • the detection unit 131 includes an out-of-vehicle information detection unit 141, an in-vehicle information detection unit 142, and a vehicle state detection unit 143.
  • the outside-of-vehicle information detection unit 141 performs detection processing of information outside the vehicle 10 based on data or signals from each unit of the vehicle control system 100. For example, the outside information detection unit 141 performs detection processing of an object around the vehicle 10, recognition processing, tracking processing, and detection processing of the distance to the object.
  • the objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings and the like. Further, for example, the outside-of-vehicle information detection unit 141 performs a process of detecting the environment around the vehicle 10.
  • the surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, road surface condition and the like.
  • the information outside the vehicle detection unit 141 indicates data indicating the result of the detection process as the self position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control unit 135. Supply to the emergency situation avoidance unit 171 and the like.
  • the in-vehicle information detection unit 142 performs in-vehicle information detection processing based on data or signals from each unit of the vehicle control system 100.
  • the in-vehicle information detection unit 142 performs a driver authentication process and recognition process, a driver state detection process, a passenger detection process, an in-vehicle environment detection process, and the like.
  • the state of the driver to be detected includes, for example, physical condition, awakening degree, concentration degree, fatigue degree, gaze direction and the like.
  • the in-vehicle environment to be detected includes, for example, temperature, humidity, brightness, smell and the like.
  • the in-vehicle information detection unit 142 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the vehicle state detection unit 143 detects the state of the vehicle 10 based on data or signals from each unit of the vehicle control system 100.
  • the state of the vehicle 10 to be detected includes, for example, speed, acceleration, steering angle, presence / absence of abnormality and contents, state of driving operation, position and inclination of power seat, state of door lock, and other on-vehicle devices. Status etc. are included.
  • the vehicle state detection unit 143 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • Self position estimation unit 132 estimates the position and orientation of vehicle 10 based on data or signals from each part of vehicle control system 100 such as external information detection unit 141 and situation recognition unit 153 of situation analysis unit 133. Do the processing. In addition, the self position estimation unit 132 generates a local map (hereinafter, referred to as a self position estimation map) used to estimate the self position, as necessary.
  • the self-location estimation map is, for example, a high-accuracy map using a technique such as SLAM (Simultaneous Localization and Mapping).
  • the self position estimation unit 132 supplies data indicating the result of the estimation process to the map analysis unit 151, the traffic rule recognition unit 152, the situation recognition unit 153, and the like of the situation analysis unit 133.
  • the self position estimation unit 132 stores the self position estimation map in the storage unit 111.
  • the situation analysis unit 133 analyzes the situation of the vehicle 10 and the surroundings.
  • the situation analysis unit 133 includes a map analysis unit 151, a traffic rule recognition unit 152, a situation recognition unit 153, and a situation prediction unit 154.
  • the map analysis unit 151 uses various data or signals stored in the storage unit 111 while using data or signals from each part of the vehicle control system 100 such as the self position estimation unit 132 and the external information detection unit 141 as necessary. Perform analysis processing and construct a map that contains information necessary for automatic driving processing.
  • the map analysis unit 151 is configured of the traffic rule recognition unit 152, the situation recognition unit 153, the situation prediction unit 154, the route planning unit 161 of the planning unit 134, the action planning unit 162, the operation planning unit 163, and the like. Supply to
  • the traffic rule recognition unit 152 uses traffic rules around the vehicle 10 based on data or signals from each unit of the vehicle control system 100 such as the self position estimation unit 132, the outside information detection unit 141, and the map analysis unit 151. Perform recognition processing. By this recognition process, for example, the position and state of signals around the vehicle 10, the contents of traffic restrictions around the vehicle 10, and the travelable lanes and the like are recognized.
  • the traffic rule recognition unit 152 supplies data indicating the result of the recognition process to the situation prediction unit 154 and the like.
  • the situation recognition unit 153 uses data or signals from each unit of the vehicle control system 100 such as the self position estimation unit 132, the outside information detection unit 141, the in-vehicle information detection unit 142, the vehicle state detection unit 143, and the map analysis unit 151. Based on the recognition processing of the situation regarding the vehicle 10 is performed. For example, the situation recognition unit 153 performs recognition processing of the situation of the vehicle 10, the situation around the vehicle 10, the situation of the driver of the vehicle 10, and the like. In addition, the situation recognition unit 153 generates a local map (hereinafter referred to as a situation recognition map) used to recognize the situation around the vehicle 10 as needed.
  • the situation recognition map is, for example, an Occupancy Grid Map.
  • the situation of the vehicle 10 to be recognized includes, for example, the position, attitude, movement (for example, speed, acceleration, moving direction, etc.) of the vehicle 10, and the presence or absence and contents of abnormality.
  • the circumstances around the vehicle 10 to be recognized include, for example, the type and position of surrounding stationary objects, the type, position and movement of surrounding animals (eg, speed, acceleration, movement direction, etc.) Configuration and road surface conditions, as well as ambient weather, temperature, humidity, brightness, etc. are included.
  • the state of the driver to be recognized includes, for example, physical condition, alertness level, concentration level, fatigue level, movement of eyes, driving operation and the like.
  • the situation recognition unit 153 supplies data (including a situation recognition map, if necessary) indicating the result of the recognition process to the self position estimation unit 132, the situation prediction unit 154, and the like. In addition, the situation recognition unit 153 stores the situation recognition map in the storage unit 111.
  • the situation prediction unit 154 performs a prediction process of the situation regarding the vehicle 10 based on data or signals from each part of the vehicle control system 100 such as the map analysis unit 151, the traffic rule recognition unit 152, and the situation recognition unit 153. For example, the situation prediction unit 154 performs prediction processing of the situation of the vehicle 10, the situation around the vehicle 10, the situation of the driver, and the like.
  • the situation of the vehicle 10 to be predicted includes, for example, the behavior of the vehicle 10, the occurrence of an abnormality, the travelable distance, and the like.
  • the situation around the vehicle 10 to be predicted includes, for example, the behavior of the moving object around the vehicle 10, the change of the signal state, and the change of the environment such as the weather.
  • the driver's condition to be predicted includes, for example, the driver's behavior and physical condition.
  • the situation prediction unit 154 together with data from the traffic rule recognition unit 152 and the situation recognition unit 153, indicates data indicating the result of the prediction process, the route planning unit 161 of the planning unit 134, the action planning unit 162, and the operation planning unit 163. Supply to etc.
  • the route planning unit 161 plans a route to a destination based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to the specified destination based on the global map. In addition, for example, the route planning unit 161 changes the route as appropriate based on traffic jams, accidents, traffic restrictions, conditions such as construction, the physical condition of the driver, and the like. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action planning part 162 safely makes the route planned by the route planning part 161 within the planned time. Plan the action of the vehicle 10 to travel.
  • the action planning unit 162 performs planning of start, stop, traveling direction (for example, forward, backward, left turn, right turn, change of direction, etc.), travel lane, travel speed, overtaking, and the like.
  • the action plan unit 162 supplies data indicating the planned action of the vehicle 10 to the operation plan unit 163 or the like.
  • the operation planning unit 163 is an operation of the vehicle 10 for realizing the action planned by the action planning unit 162 based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan.
  • the operation plan unit 163 plans acceleration, deceleration, a traveling track, and the like.
  • the operation planning unit 163 supplies data indicating the planned operation of the vehicle 10 to the acceleration / deceleration control unit 172, the direction control unit 173, and the like of the operation control unit 135.
  • the operation control unit 135 controls the operation of the vehicle 10.
  • the operation control unit 135 includes an emergency situation avoidance unit 171, an acceleration / deceleration control unit 172, and a direction control unit 173.
  • the emergency situation avoidance unit 171 is based on the detection results of the external information detection unit 141, the in-vehicle information detection unit 142, and the vehicle state detection unit 143, collision, contact, entry into a danger zone, driver abnormality, vehicle 10 Perform detection processing of an emergency such as When the emergency situation avoidance unit 171 detects the occurrence of an emergency situation, it plans the operation of the vehicle 10 for avoiding an emergency situation such as a sudden stop or a sharp turn.
  • the emergency situation avoidance unit 171 supplies data indicating the planned operation of the vehicle 10 to the acceleration / deceleration control unit 172, the direction control unit 173, and the like.
  • the acceleration / deceleration control unit 172 performs acceleration / deceleration control for realizing the operation of the vehicle 10 planned by the operation planning unit 163 or the emergency situation avoidance unit 171.
  • the acceleration / deceleration control unit 172 calculates a control target value of a driving force generator or a braking device for achieving planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. It is supplied to the system control unit 107.
  • the direction control unit 173 performs direction control for realizing the operation of the vehicle 10 planned by the operation planning unit 163 or the emergency situation avoidance unit 171. For example, the direction control unit 173 calculates the control target value of the steering mechanism for realizing the traveling track or the sharp turn planned by the operation plan unit 163 or the emergency situation avoidance unit 171, and performs control indicating the calculated control target value. The command is supplied to the drive system control unit 107.
  • this first embodiment mainly relates to the processing of the data acquisition unit 102 and the external information detection unit 141 in the vehicle control system 100 of FIG. 1.
  • FIG. 2 is a block diagram showing a configuration example of an out-of-vehicle information detection system 200 as an embodiment of the out-of-vehicle information detection system to which the present technology is applied.
  • the out-of-vehicle information detection system 200 is a system for detecting information around the vehicle 10 in which the out-of-vehicle information detection system 200 is provided.
  • the outside-vehicle information detection system 200 performs detection processing of information around the vehicle 10 based on an image obtained by imaging the periphery of the vehicle 10 (hereinafter referred to as an “surrounding image”).
  • the external information detection system 200 uses, for example, the self position estimation unit 132, the map analysis unit 151, the traffic rule recognition unit 152, the situation recognition unit 153, and the emergency avoidance in FIG. It supplies to part 171 grade.
  • the out-of-vehicle information detection system 200 includes a camera 201, a vehicle state detection unit 202, and a host 203.
  • the camera 201 is installed at a position at which the periphery of the vehicle 10 can be imaged, and supplies the host 203 with an ambient image obtained as a result of imaging.
  • the camera 201 includes an image sensor 221, a sensor I / F (interface) 222, an image processing unit 223, a color processing unit 224, an image storage unit 225, a buffer 226, a control unit 227, an area setting information storage unit 228, and a host I. / F (interface) 229 is provided.
  • the image sensor 221 is an imaging unit that performs imaging of the periphery of the vehicle 10, and, for example, an arbitrary type of image sensor such as a CMOS image sensor or a CCD image sensor is used.
  • the image sensor 221 captures an image of the surroundings of the vehicle 10 under the control of the control unit 227 via the sensor I / F 222, and supplies the obtained ambient image to the sensor I / F 222.
  • the sensor I / F 222 performs communication between the image sensor 221 and the outside.
  • the image processing unit 223 performs various types of image processing on the surrounding image under the control of the control unit 227, and supplies the surrounding image after the image processing to the color processing unit 224.
  • the type of image processing performed by the image processing unit 223 is, for example, selected from defect correction processing, white balance adjustment processing, noise removal processing, and the like as necessary.
  • the color processing unit 224 performs various color processing on the surrounding image under the control of the control unit 227, and stores the surrounding image after the color processing in the image storage unit 225.
  • the type of color processing performed by the color processing unit 224 is selected, for example, from among demosaicing processing, resolution conversion processing, ⁇ correction processing, YC conversion processing, and the like.
  • the image storage unit 225 includes, for example, a volatile or non-volatile memory, and stores an ambient image.
  • the buffer 226 includes, for example, a volatile memory, and temporarily stores an image (hereinafter referred to as an area image) in an area of the whole or part of the surrounding image (hereinafter referred to as a transfer area).
  • an area image an image in an area of the whole or part of the surrounding image (hereinafter referred to as a transfer area).
  • the entire area of the surrounding image in the transfer area is also referred to as a whole area
  • the area image in the whole area that is, the whole surrounding image
  • a whole image the entire image in the whole area
  • the control unit 227 includes various processors and the like, and controls, for example, each unit of the camera 201 and transmission / reception of data such as an area image with the host 203.
  • the area setting information storage unit 228 includes, for example, a volatile memory, and stores area setting information transmitted from the host 203.
  • the area setting information is information on a transfer area and a frame rate set for each transfer area.
  • a host I / F 229 is a communication interface with the host 203, and communicates with the camera I / F of the host 203.
  • the vehicle state detection unit 202 corresponds to, for example, the vehicle state detection unit 143 in FIG. 1, performs detection processing of the state of the vehicle 10, and outputs data indicating the result of the detection processing to the control unit 261 of the image processing unit 251 of the host 203.
  • the host 203 performs transfer control of the area image from the camera 201 and detection processing for detecting information around the vehicle 10 based on the area image.
  • the host 203 includes an image processing unit 251 and a camera I / F (interface) 252.
  • the image processing unit 251 includes a control unit 261, an entire image storage unit 262, an area image storage unit 263, an area setting information storage unit 264, a frame rate DB (database) 265, and a drive data storage unit 266.
  • the control unit 261 includes various processors and the like. For example, control of each unit of the host 203, control of transmission and reception of data such as an area image with the camera 201, detection processing of information around the vehicle 10, etc. Do.
  • the control unit 261 also outputs data indicating the result of the detection process of the information around the vehicle 10 to the outside.
  • the entire image storage unit 262 includes, for example, a volatile or non-volatile memory, and stores the entire image among the area images transmitted from the camera 201.
  • the area image storage unit 263 includes, for example, a volatile or non-volatile memory, and stores an area image other than the entire image transmitted from the camera 201.
  • the area setting information storage unit 264 includes, for example, a volatile memory, and stores area setting information generated by the control unit 261.
  • the frame rate DB 265 stores data used for setting a frame rate indicating a rate (transfer rate) at which the area image in the transfer area is transferred.
  • the frame rate DB 265 stores the setting method or setting value of the frame rate with respect to conditions such as the type, position, and movement of the object, the state of the vehicle 10, the mounting position and mounting direction of the camera 201, time, and weather. .
  • the drive data storage unit 266 includes, for example, a non-volatile memory, and stores data such as an area image while the vehicle 10 is traveling.
  • FIG. 3 shows an exemplary configuration of functions of the control unit 227 of the camera 201.
  • the control unit 227 includes an imaging control unit 301, an area image generation unit 302, a transmission control unit 303, and a reception control unit 304.
  • the imaging control unit 301 controls the image sensor 221, the image processing unit 223, and the color processing unit 224, and controls imaging of an ambient image.
  • the area image generation unit 302 generates an area image from the entire image stored in the image storage unit 225 based on the area setting information stored in the area setting information storage unit 228, and stores the area image in the buffer 226.
  • the transmission control unit 303 controls the host I / F 229 to control transmission of data such as an area image to the host 203.
  • the reception control unit 304 controls the host I / F 229 to control reception of data such as area setting information from the host 203.
  • FIG. 4 shows a configuration example of functions of the control unit 261 of the host 203.
  • the control unit 261 includes a feature point extraction unit 331, an object detection unit 332, an area setting unit 333, a frame rate setting unit 334, a transmission control unit 335, a reception control unit 336, and a recording control unit 337.
  • the feature point extraction unit 331 performs a process of extracting feature points in the area image.
  • the object detection unit 332 performs a process of detecting an object in the area image.
  • the area setting unit 333 sets the transfer area based on at least one of the extraction result of the feature points in the area image and the detection result of the object. Also, the area setting unit 333 generates area setting information on each transfer area and the frame rate of each transfer area, stores the information in the area setting information storage unit 264, and supplies the information to the camera I / F 252.
  • the frame rate setting unit 334 sets at least one of the extraction result of the feature points in the area image, the detection result of the object in the area image, and the detection result of the state of the vehicle 10 by the vehicle state detection unit 202 Based on the data stored in the rate DB 265, the frame rate of each transfer area is set.
  • the transmission control unit 335 controls the camera I / F 252 to control transmission of data such as area setting information to the camera 201.
  • the reception control unit 336 controls the camera I / F 252 to control reception of data such as an area image from the camera 201.
  • the recording control unit 337 controls the recording of data such as an area image during traveling of the vehicle 10 in the drive data storage unit 266.
  • processing of the host 203 will be described with reference to the flowchart of FIG.
  • This process is started, for example, when an operation for starting the vehicle 10 and starting driving is performed, for example, when an ignition switch, a power switch, or a start switch of the vehicle 10 is turned on. Ru. Further, this process ends, for example, when an operation for ending the driving is performed, for example, when an ignition switch, a power switch, a start switch or the like of the vehicle 10 is turned off.
  • step S1 the host 203 transmits an imaging start instruction.
  • the transmission control unit 335 generates an imaging start instruction for causing the camera 201 to start imaging of an ambient image, and transmits the imaging start instruction to the camera 201 via the camera I / F 252.
  • the camera 201 receives an imaging start instruction in step S51 of FIG. 9 described later, captures an image of the surroundings of the vehicle 10 in step S52, and transmits the entire image and metadata in step S53.
  • the metadata includes, for example, the mounting position of the camera 201, the mounting direction, the angle of view, the exposure parameter, and the like.
  • step S2 the host 203 receives the entire image and metadata.
  • the camera I / F 252 receives the entire image and metadata transmitted from the camera 201 under the control of the reception control unit 336, and stores the entire image in the entire image storage unit 262,
  • the metadata is supplied to the reception control unit 336.
  • step S3 the feature point extraction unit 331 extracts feature points of the entire image stored in the entire image storage unit 262.
  • arbitrary methods such as a Harris corner, can be used for the extraction method of a feature point, for example.
  • step S4 the area setting unit 333 sets a transfer area based on the feature points. For example, the region setting unit 333 performs clustering of feature points in the entire image. Thereby, the feature points in the entire image are classified into one or more clusters. Then, the area setting unit 333 sets an area corresponding to each cluster as a transfer area. Further, the area setting unit 333 sets the entire area as a transfer area.
  • FIG. 6 schematically shows an example of a surrounding image 401 obtained by imaging the front of the vehicle 10.
  • the bonnet 411 of the vehicle 10 is shown below the surrounding image 401.
  • Vehicles 412 to 416 are shown in front of the lane to the left of the traveling lane of the vehicle 10.
  • a vehicle 417 and a vehicle 418 are shown in front of the traveling lane of the vehicle 10.
  • a guide sign 419 is shown on the left side of the vehicle 412.
  • a guardrail 420 is shown at the left end of the road.
  • Section lines 421 and 422 are shown on the road surface. Forests and buildings are visible on the left and right of the road.
  • FIG. 7 shows an example of feature points and transfer areas of the surrounding image 401 of FIG. Small points in the figure indicate feature points. For example, many feature points are extracted from the vehicles 412 to 418, the guide mark 419, the guard rails 420, the dividing lines 421, the dividing lines 422, and the edges of forests and buildings on the left and right of the road.
  • transfer regions R1 to R7 are set based on the result of clustering the feature points.
  • the transfer area R1 includes a vehicle 412.
  • the transfer area R2 includes a vehicle 413 and a vehicle 414.
  • the transfer area R3 includes the vehicles 414 to 416 and the vehicle 418.
  • the transfer area R4 includes a vehicle 417 and a vehicle 418.
  • the transfer area R5 includes a guide sign 419.
  • a guard rail 420 is included in the transfer area R6.
  • the transfer area R7 includes a dividing line 422. Further, the entire area of the surrounding image 401 is set as the transfer area R0.
  • the transfer area is not necessarily limited to a rectangular area having a side parallel to the side around the entire image.
  • the transfer area is around the entire image. It may be a rectangle diagonal to the side. Also, the transfer area may not necessarily be rectangular.
  • step S5 the object detection unit 332 performs a process of detecting an object in each transfer area.
  • the object detection unit 332 detects the type, position, movement, and the like of an object in each transfer area.
  • arbitrary methods such as a semantic segmentation, can be used for the detection method of the kind of an object, a position, a motion, etc., for example.
  • step S6 the frame rate setting unit 334 sets the frame rate of each transfer area.
  • the frame rate setting unit 334 acquires the detection result of the state of the vehicle 10 from the vehicle state detection unit 202. Then, the frame rate setting unit 334 detects the detection result of the object in each transfer area (for example, at least one of the type, position, and movement of the object), the detection result of the state of the vehicle 10, and the frame rate DB 265 The frame rate of each transfer area is set based on the data stored in.
  • the frame rate of each transfer area is set based on the need to focus on an object in each transfer area (hereinafter referred to as a need to focus on). For example, the higher the need for focusing on an object in the transfer area, the higher the frame rate is set, and the lower the need for focusing on an object in the transfer area is, the lower the frame rate is set.
  • the need for focusing on an object is determined based on the type of object. For example, it is determined that the moving object has a higher need for attention than the stationary object.
  • the transfer area R1 to the transfer area R7 are classified into the group G1 and the group G2 depending on whether or not the moving object is included.
  • the transfer area R1 to the transfer area R4 including the moving object are classified into the group G1.
  • the transfer area R5 to the transfer area R7 which do not include the moving object but only the stationary object are classified into the group G2.
  • the frame rate is set higher in the transfer area of the group G1 than in the transfer area of the group G2.
  • the frame rate of the transfer area of group G1 is set to 120 fps (frames per second), and the frame rate of the transfer area of group G2 is set to 60 fps.
  • Group G0 includes transfer area R0 which is the entire area.
  • the frame rate of the transfer area R0 is set equal to or lower than the lowest frame rate of the frame rates of the other transfer areas.
  • the frame rate of the transfer area R0 is set to 60 fps or less, which is the frame rate of the transfer area of the group G2.
  • the type of the object may be subdivided into a vehicle, a bicycle, a pedestrian, a road sign, etc., and the frame rate may be set more finely.
  • the frame rate is set in the order of the transfer area where the vehicle is present> the transfer area where the bicycle is present> the transfer area where the pedestrian is present> the transfer area where the road sign is present.
  • the frame rate is set such that an area image including the object is transferred each time the object moves by a predetermined distance (for example, 10 cm).
  • a stationary object that is highly likely to be used for self-position estimation is less likely to be used for self-position estimation. It is determined that the need for attention is high. Then, the frame rate is set higher in the transfer area including only the stationary object than in the transfer area including the moving object.
  • the attention necessity of the object may be determined based on the degree of risk that the object collides with or contacts the vehicle 10 (hereinafter, referred to simply as the risk of the object).
  • the degree of risk of each object is determined based on at least one of the position and the movement of the object with respect to the vehicle 10. For example, it is determined that the higher the relative speed in the direction approaching the vehicle 10, the higher the risk. On the other hand, it is determined that the degree of danger is lower for an object whose relative velocity in the direction approaching the vehicle 10 is slower or for an object whose relative velocity in the direction moving away from the vehicle 10 is faster.
  • the degree of risk of each object may be determined based on the collision prediction time. That is, it is determined that the object having a short collision prediction time has a high risk, and the object having a long collision prediction time has a low risk.
  • a frame is transferred so that an area image including the object is transferred each time the object approaches the vehicle 10 by a predetermined first distance (for example, 10 cm).
  • the rate is set.
  • the frame rate is set such that an area image including the object is transferred each time the object moves away from the vehicle 10 by a second distance (for example, 20 cm) longer than the first distance. It is set.
  • step S7 the host 203 generates area setting information and transmits it.
  • the area setting unit 333 generates area setting information including the position and shape in the surrounding image of each transfer area, and the frame rate of each transfer area.
  • the area setting unit 333 stores the generated area setting information in the area setting information storage unit 264.
  • the area setting unit 333 transmits the generated area setting information to the camera 201 via the camera I / F 252.
  • the camera 201 receives area setting information in step S54 in FIG. 9 described later, and generates and transmits an area image based on the area setting information in step S57.
  • step S8 the host 203 receives an area image. Specifically, the camera I / F 252 receives the area image transmitted from the camera 201 under the control of the reception control unit 336.
  • the camera I / F 252 stores the whole image in the whole image storage unit 262. At this time, for example, the old whole image stored in the whole image storage unit 262 is overwritten with the new whole image.
  • the camera I / F 252 stores the area image in the area image storage unit 263. At this time, for example, among the area images stored in the area image storage unit 263, an area image older than a predetermined time is deleted from the area image storage unit 263.
  • the host 203 performs processing using the area image as necessary.
  • the object detection unit 332 is an object around the vehicle 10 based on at least one of the entire image stored in the entire image storage unit 262 and the area image stored in the area image storage unit 263.
  • Perform detection processing of The object detection unit 332 may use, for example, the self position estimation unit 132, the map analysis unit 151, the traffic rule recognition unit 152, the situation recognition unit 153, and the data indicating the result of the detection process of an object around the vehicle 10. , Supply to the emergency situation avoidance unit 171 and the like.
  • step S10 the host 203 records an area image as necessary.
  • the recording control unit 337 unconditionally stores the region image received from the camera 201 in the drive data storage unit 266. In this case, for example, when the total time or total capacity of the area image recorded in the drive data storage section 266 exceeds a predetermined threshold, the recording control section 337 deletes the area image from the drive data storage section 266 in order from the oldest area image. Do.
  • the recording control unit 337 causes the drive data storage unit 266 to constantly accumulate an area image from a predetermined time (for example, 30 seconds) before to the current time, and The older area image is deleted from the drive data storage unit 266.
  • a predetermined time for example, 30 seconds
  • the recording control unit 337 continues until a time when the abnormality is detected before a predetermined time.
  • the area image is left in the drive data storage unit 266, and the area image up to a predetermined time (for example, 30 seconds) after the time when the abnormality is detected is stored in the drive data storage unit 266.
  • step S11 the reception control unit 336 determines whether the entire image has been received. If it is determined that the entire image has not been received, the process returns to step S8.
  • step S11 the processes of steps S8 to S11 are repeatedly performed until it is determined that the entire image is received.
  • step S11 when it is determined in step S11 that the entire image has been received, the process returns to step S3 and the processes after step S3 are performed. That is, the transfer area and the frame rate are updated based on the newly received entire image, and the transfer of the area image between the camera 201 and the host 203 is performed based on the updated transfer area and the frame rate.
  • step S51 the reception control unit 304 receives an imaging start instruction transmitted from the host 203 by the process of step S1 in FIG. 5 via the host I / F 229.
  • step S52 the camera 201 captures an image of the surroundings of the vehicle 10. Specifically, under the control of the imaging control unit 301, the image sensor 221 images the periphery of the vehicle 10, and supplies the obtained surrounding image to the image processing unit 223 via the sensor I / F 222.
  • the image processing unit 223 performs various types of image processing on the surrounding image under the control of the imaging control unit 301, and supplies the surrounding image after the image processing to the color processing unit 224.
  • the color processing unit 224 performs various color processing on the ambient image under the control of the imaging control unit 301, and stores the ambient image after the color processing in the image storage unit 225.
  • step S53 the camera 201 transmits the entire image and metadata. Specifically, the area image generation unit 302 copies the surrounding image stored in the image storage unit 225 to the buffer 226 as it is.
  • the transmission control unit 303 transmits the surrounding image (that is, the entire image) stored in the buffer 226 to the host 203 together with metadata via the host I / F 229.
  • the metadata includes, for example, the mounting position of the camera 201, the mounting direction, the angle of view, the exposure parameter, and the like.
  • step S54 the reception control unit 304 receives the area setting information transmitted from the host 203 by the process of step S7 of FIG. 5 via the host I / F 229.
  • the reception control unit 304 stores the received area setting information in the area setting information storage unit 228.
  • step S55 the imaging control unit 301 sets an imaging rate based on the area setting information. For example, the imaging control unit 301 sets the imaging rate of the image sensor 221 in accordance with the highest frame rate among the frame rates of the transfer areas.
  • step S56 the surroundings of the vehicle 10 are imaged as in the process of step S52. At this time, the surrounding image of one frame before stored in the image storage unit 225 is overwritten by the newly captured surrounding image.
  • step S57 the camera 201 generates and transmits an area image based on the area setting information.
  • the area image generation unit 302 detects, based on the frame rate of each transfer area included in the area setting information, a transfer area to be an object of transmitting the area image at the current timing.
  • the area image generation unit 302 generates an area image by extracting an image within the detected transfer area from the surrounding image stored in the image storage unit 225, and causes the buffer 226 to store the generated area image.
  • the region image generation unit 302 copies the surrounding image stored in the image storage unit 225 to the buffer 226 as it is.
  • the transmission control unit 303 transmits the area image stored in the buffer 226 to the host 203 via the host I / F 229. Thereby, the area image in each transfer area is transmitted at the frame rate indicated by the area setting information.
  • FIG. 10 shows a configuration example of transfer data when transmitting an area image from the camera 201 to the host 203.
  • One transfer data includes a frame header, and one or more sets of area headers and area images.
  • the frame header includes, for example, information on transfer data such as the number of area images to be transmitted.
  • the area header contains information on the transfer area and the like of the area image to be transmitted.
  • area image 0 (whole image) is transmitted at time t0.
  • the area image 1 and the area image 2 are transmitted.
  • the area image 3 is transmitted.
  • the frame rate of the region image 0 is 20 fps.
  • the frame rates of the area image 1 and the area image 2 are 50 fps. This is because by transmitting the area image 0 (whole image) at time t0 and time t4, the area image 1 and the area image 2 are also substantially transmitted.
  • the frame rate of the area image 3 is 40 fps. This is because by transmitting the area image 0 (the entire image) at time t0 and time t4, the area image 3 is also substantially transmitted.
  • step S58 the reception control unit 304 determines whether area setting information has been received. If it is determined that the area setting information has not been received, the process returns to step S56.
  • steps S56 to S58 is repeatedly executed until it is determined in step S58 that the area setting information has been received. That is, the area image in each transfer area is transmitted from the camera 201 to the host 203 based on the frame rate set for each transfer area.
  • step S58 when the reception control unit 304 receives the area setting information transmitted from the host 203 by the process of step S7 of FIG. 5 via the host I / F 229 in step S58, it is assumed that the area setting information is received. The process returns to step S55.
  • step S55 the processes after step S55 are performed. That is, based on the new area setting information, the imaging rate is updated, and generation and transmission of the area image are started.
  • the transfer amount of images between the camera 201 and the host 203 can be reduced. Thereby, the capacity and transfer speed of the transfer path between the host I / F 229 and the camera I / F 252 can be reduced.
  • the capacity and writing speed of the entire image storage unit 262, the area image storage unit 263, and the drive data storage unit 266 can be reduced. Furthermore, for example, when these storage units include a memory having a rewrite life such as a flash memory, the number of times of rewriting of the memory can be reduced and the life can be extended.
  • the performance of the processor provided in the control unit 261 can be suppressed to a low level.
  • the area image in the transfer area which is highly necessary to be noticed, is transmitted at a higher frame rate, the reduction in the detection accuracy of an object or the like around the vehicle 10 is suppressed even if the image transfer amount is reduced. Can.
  • the second embodiment differs from the first embodiment in the processing of the host 203.
  • steps S101 and S102 processing similar to that of steps S1 and S2 of FIG. 5 is performed.
  • step S103 the object detection unit 332 performs a process of detecting an object in the entire image.
  • the object detection unit 332 detects the type, position, movement, and the like of an object in the entire area.
  • arbitrary methods such as a semantic segmentation, can be used for the detection method of the kind of an object, a position, a motion, etc., for example.
  • step S104 the area setting unit 333 sets a transfer area based on the detection result of the object.
  • the region setting unit 333 sets, as a transfer region, a region including an object which needs to be noticed among the objects detected in the entire image.
  • the transfer area is not necessarily limited to a rectangular area having a side parallel to the peripheral side of the entire image, and is, for example, a rectangular in a diagonal direction to the peripheral side of the whole image. It is also good. Also, the transfer area may not necessarily be rectangular.
  • step S105 the frame rate setting unit 334 sets the frame rate of each transfer area.
  • the frame rate setting unit 334 sets the frame rate of each transfer area on the basis of the attention necessity of the object in each transfer area, as in the process of step S6 in FIG.
  • steps S106 to S110 the same processes as steps S7 to S11 of FIG. 5 are performed.
  • the sharing of the functions of the camera 201 and the host 203 is not limited to the example described above, and can be changed as needed.
  • functions corresponding to the feature point extraction unit 331, the object detection unit 332, and the area setting unit 333 of the host 203 may be provided in the camera 201, and the camera 201 may set the transfer area.
  • a function equivalent to the frame rate setting unit 334 may be provided in the camera 201, and the camera 201 may set the frame rate of the transfer area.
  • the frame rate of each transfer area may be set.
  • the frame rate of each transfer area may be set based on the surrounding weather and brightness. For example, the frame rate of each transfer area is lowered when good weather, the surroundings are bright, etc., and the imaging conditions are good, and when the imaging conditions are bad due to bad weather (eg, rain, fog etc.) or dark surroundings, each transfer area
  • the frame rate of may be increased.
  • the frame rate of each transfer area may be set according to the time zone. For example, the daytime time zone may lower the frame rate of each transfer area, and the nighttime time zone may increase the frame rate of each transfer area.
  • the frame rate may be set based on the feature points. For example, the frame rate is set higher as the transfer area has more feature points, and the frame rate is set lower as the transfer area has less feature points.
  • the frame rate of each transfer area may be set. For example, the frame rate of the transfer area closer to the moving direction of the vehicle 10 may be increased, and the frame rate of the transfer area farther from the moving direction of the vehicle 10 may be decreased. Also, for example, when the vehicle 10 is moving at high speed and the steering angle is small, the frame rate of the transfer area around the traveling direction of the vehicle 10 may be lowered. On the other hand, when the vehicle 10 is traveling at a curve or an intersection, or when the steering angle of the vehicle 10 is large, the frame rate of the transfer area around the traveling direction of the vehicle 10 may be increased.
  • this technique is applicable also when there are multiple cameras.
  • the above-described processing is performed for each camera, and the area image is transmitted at the frame rate set for each transfer area.
  • the captured ambient image may be transmitted to the host as it is.
  • the present technology also captures images of various mobile objects such as motorcycles, bicycles, personal mobility, airplanes, ships, construction machines, agricultural machines (tractors), drone, robots, etc. It can be applied to the case where it is performed.
  • the present technology can be applied to the case of transferring a captured image captured by a camera between the camera and an image processing apparatus such as a host other than the case of capturing the periphery of a moving object.
  • the present technology can also be applied to the case of transferring a captured image between a monitoring camera installed at a predetermined location and a host provided at a location other than the monitoring camera.
  • the transfer area of the captured image captured by the monitoring camera and the frame rate of each transfer area are set by the same method as the method described above, and the transfer of the area image is performed. Transfer amount of images can be reduced.
  • FIG. 12 is a block diagram showing an example of a hardware configuration of a computer that executes the series of processes described above according to a program.
  • a central processing unit (CPU) 501 a read only memory (ROM) 502, and a random access memory (RAM) 503 are mutually connected by a bus 504.
  • CPU central processing unit
  • ROM read only memory
  • RAM random access memory
  • an input / output interface 505 is connected to the bus 504.
  • An input unit 506, an output unit 507, a recording unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes an input switch, a button, a microphone, an imaging device, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the recording unit 508 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 509 includes a network interface and the like.
  • the drive 510 drives a removable recording medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program recorded in the recording unit 508, for example, into the RAM 503 via the input / output interface 505 and the bus 504, and executes the program. A series of processing is performed.
  • the program executed by the computer 500 can be provided by being recorded on, for example, a removable recording medium 511 as a package medium or the like. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 508 via the input / output interface 505 by attaching the removable recording medium 511 to the drive 510. Also, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the recording unit 508. In addition, the program can be installed in advance in the ROM 502 or the recording unit 508.
  • the program executed by the computer may be a program that performs processing in chronological order according to the order described in this specification, in parallel, or when necessary, such as when a call is made. It may be a program to be processed.
  • a system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same case. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the present technology can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices.
  • the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • the present technology can also be configured as follows.
  • An imaging unit that captures a captured image;
  • a transmission control unit configured to perform transmission control to transmit area images in a plurality of transfer areas, which are all or a partial area of the captured image, at a frame rate set for each of the transfer areas.
  • the imaging device configured to (1), wherein the transfer area is set based on at least one of an object and a feature point in the captured image.
  • An area setting unit configured to set the transfer area based on at least one of an object and a feature point in the captured image;
  • the image pickup apparatus further including: a frame rate setting unit configured to set a frame rate of the transfer area.
  • An object detection unit configured to detect an object in the captured image; And at least one feature point extraction unit for extracting feature points in the captured image.
  • the imaging apparatus wherein the area setting unit sets the transfer area based on at least one of a detection result of an object in the captured image and an extraction result of a feature point.
  • a reception control unit configured to control reception of area setting information on each transfer area and a frame rate of each transfer area;
  • the image pickup apparatus according to any one of (1) to (4), wherein the transmission control unit performs transmission control of the area image based on the area setting information.
  • the imaging apparatus according to any one of (1) to (5), further including: an imaging control unit configured to set an imaging rate of the imaging unit based on a frame rate of each of the transfer areas.
  • the imaging device (7) The imaging device according to (6), wherein the imaging control unit sets an imaging rate of the imaging unit according to the highest frame rate of the frame rates of the transfer areas.
  • the imaging device is provided on a mobile body, The imaging device according to any one of (1) to (7), wherein the captured image is an image obtained by capturing an area around the moving body.
  • the imaging device Capture a captured image, An image processing method, comprising: performing transmission control of transmitting area images within a plurality of transfer areas, which are all or part of the captured image, at a frame rate set for each of the transfer areas.
  • An area setting unit configured to set a plurality of transfer areas which are areas of the whole or a part of the captured image based on at least one of an object and a feature point in the captured image captured by the imaging device;
  • a frame rate setting unit configured to set a frame rate of each of the transfer areas;
  • a transmission control unit that controls transmission of area setting information on each transfer area and the frame rate of each transfer area to the imaging device;
  • a reception control unit configured to control reception of an area image in each of the transfer areas transmitted from the imaging apparatus at a frame rate based on the area setting information.
  • An object detection unit configured to detect an object in the captured image; And at least one feature point extraction unit for extracting feature points in the captured image.
  • the image processing apparatus sets the transfer area based on at least one of a detection result of an object in the captured image and an extraction result of a feature point.
  • the frame rate setting unit sets a frame rate of the transfer area based on at least one of a detection result of an object in the transfer area and an extraction result of a feature point in the transfer area.
  • the image processing apparatus as described in 2.).
  • the frame rate setting unit sets a frame rate of the transfer area based on at least one of a type, a position, and a motion of an object in the transfer area.
  • the image processing apparatus according to (13), wherein the frame rate setting unit further sets a frame rate of the transfer area based on an imaging condition of the imaging device.
  • the frame rate setting unit is based on at least one of a detection result of an object in the transfer region, an extraction result of a feature point in the transfer region, and a movement of a moving object provided with the imaging device.
  • the image processing apparatus according to (11), setting a frame rate of the transfer area.
  • the frame rate setting unit sets the frame rate of the transfer area, which is the entire area of the captured image, equal to or lower than the lowest frame rate of the frame rates of the transfer area, which is a partial area of the captured image.
  • the image processing apparatus according to any one of (10) to (15).
  • the image processing apparatus according to any one of (10) to (16), further including: a recording control unit that controls recording of each of the area images.
  • the imaging device is provided on a mobile body, The image processing apparatus according to any one of (10) to (17), wherein the captured image is an image obtained by capturing an area around the moving body.
  • the image processing device Based on at least one of an object and a feature point in a captured image captured by an imaging device, a plurality of transfer areas, which are all or part of the captured image, are set.
  • Reference Signs List 10 vehicle 100 vehicle control system, 102 data acquisition unit, 141 external information detection unit, 201 camera, 203 host, 221 image sensor, 227 control unit, 229 host I / F, 251 image processing unit, 252 camera I / F, 261 control unit, 301 imaging control unit, 302 area image generation unit, 303 transmission control unit, 304 reception control unit, 331 feature point extraction unit, 332 object detection unit, 333 area setting unit, 334 frame rate setting unit, 335 transmission control Unit, 336 Reception control unit, 337 Recording control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本技術は、画像の転送量を削減することができるようにする撮像装置、画像処理装置、及び、画像処理方法に関する。 撮像装置は、撮像画像の撮像を行う撮像部と、前記撮像画像の全体又は一部の領域である複数の転送領域内の領域画像を、前記転送領域毎に設定されているフレームレートで送信する送信制御を行う送信制御部とを備える。本技術は、例えば、移動体の周囲を撮像するカメラ、例えば、自動運転を行う車両の周囲を撮像するカメラに適用することができる。

Description

撮像装置、画像処理装置、及び、画像処理方法
　本技術は、撮像装置、画像処理装置、及び、画像処理方法に関し、特に、画像の転送量を削減できるようにした撮像装置、画像処理装置、及び、画像処理方法に関する。
　自動運転を行う車両には、周囲の状況を正確かつ詳細に認識するために多数の撮像装置が設けられることが想定される。
　一方、近年、撮像装置の解像度やフレームレートが向上しており、処理の高速化やデータ量の増大に対する対策が検討されている（例えば、特許文献１参照）。
特開２００６－１９７１９４号公報
　従って、今後、各撮像装置により撮像される画像のデータ量が益々増大し、画像の転送に用いるバス等に必要な容量や転送速度が益々大きくなると予測される。
　本技術は、このような状況に鑑みてなされたものであり、画像の転送量を削減できるようするものである。
　本技術の第１の側面の撮像装置は、撮像画像の撮像を行う撮像部と、前記撮像画像の全体又は一部の領域である複数の転送領域内の領域画像を、前記転送領域毎に設定されているフレームレートで送信する送信制御を行う送信制御部とを備える。
　本技術の第１の側面の画像処理方法は、撮像装置が、撮像画像の撮像を行い、前記撮像画像の全体又は一部の領域である複数の転送領域内の領域画像を、前記転送領域毎に設定されているフレームレートで送信する送信制御を行う。
　本技術の第２の側面の画像処理装置は、撮像装置により撮像された撮像画像内の物体及び特徴点のうち少なくとも１つに基づいて、前記撮像画像の全体又は一部の領域である複数の転送領域を設定する領域設定部と、各前記転送領域のフレームレートを設定するフレームレート設定部と、各前記転送領域及び各前記転送領域のフレームレートに関する領域設定情報の前記撮像装置への送信を制御する送信制御部と、前記撮像装置から前記領域設定情報に基づくフレームレートで送信されてくる各前記転送領域内の領域画像の受信を制御する受信制御部とを備える。
　本技術の第２の側面の画像処理方法は、画像処理装置が、撮像装置により撮像された撮像画像内の物体及び特徴点のうち少なくとも１つに基づいて、前記撮像画像の全体又は一部の領域である複数の転送領域を設定し、各前記転送領域のフレームレートを設定し、各前記転送領域及び各前記転送領域のフレームレートに関する領域設定情報の前記撮像装置への送信を制御し、前記撮像装置から前記領域設定情報に基づくフレームレートで送信されてくる各前記転送領域内の領域画像の受信を制御する。
　本技術の第１の側面においては、撮像画像の撮像が行われ、前記撮像画像の全体又は一部の領域である複数の転送領域内の領域画像が、前記転送領域毎に設定されているフレームレートで送信される。
　本技術の第２の側面においては、撮像装置により撮像された撮像画像内の物体及び特徴点のうち少なくとも１つに基づいて、前記撮像画像の全体又は一部の領域である複数の転送領域が設定され、各前記転送領域のフレームレートが設定され、各前記転送領域及び各前記転送領域のフレームレートに関する領域設定情報が前記撮像装置へ送信され、前記撮像装置から前記領域設定情報に基づくフレームレートで送信されてくる各前記転送領域内の領域画像が受信される。
　本技術の第１の側面又は第２の側面によれば、画像の転送量を削減することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術が適用され得る車両制御システムの概略的な機能の構成例を示すブロック図である。 本技術を適用した車外情報検出システムの一実施の形態を示すブロック図である。 カメラの制御部により実現される機能の構成例を示すブロック図である。 ホストの制御部により実現される機能の構成例を示すブロック図である。 ホストの処理の第１の実施の形態を説明するためのフローチャートである。 周囲画像の例を模式的に示す図である。 特徴点及び転送領域の例を示す図である。 転送領域のフレームレートの設定方法の例を説明するための図である。 カメラの処理を説明するためのフローチャートである。 転送データの構成例を示す図である。 ホストの処理の第２の実施の形態を説明するためのフローチャートである。 コンピュータの構成例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．車両制御システムの構成例
　２．第１の実施の形態
　３．第２の実施の形態
　４．変形例
　５．その他
　＜＜１．車両制御システムの構成例＞＞
　図１は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
　車両制御システム１００は、車両１０に設けられ、車両１０の各種の制御を行うシステムである。なお、以下、車両１０を他の車両と区別する場合、自車又は自車両と称する。
　車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
　なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
　入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
　データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
　例えば、データ取得部１０２は、車両１０の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
　また、例えば、データ取得部１０２は、車両１０の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、車両１０の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
　さらに、例えば、データ取得部１０２は、車両１０の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
　また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
　通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
　例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
　さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、車両１０の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両１０と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
　車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、車両１０に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
　出力制御部１０５は、車両１０の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
　出力部１０６は、車両１０の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
　駆動系システム１０８は、車両１０の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
　ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
　ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
　記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、車両１０の周囲の情報を含むローカルマップ等の地図データを記憶する。
　自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、車両１０の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両１０の衝突警告、又は、車両１０のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
　検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
　車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、車両１０の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、車両１０の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の状態の検出処理を行う。検出対象となる車両１０の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
　状況分析部１３３は、車両１０及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
　マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、車両１０の周囲の信号の位置及び状態、車両１０の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
　状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０に関する状況の認識処理を行う。例えば、状況認識部１５３は、車両１０の状況、車両１０の周囲の状況、及び、車両１０の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、車両１０の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
　認識対象となる車両１０の状況には、例えば、車両１０の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる車両１０の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
　状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
　状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０に関する状況の予測処理を行う。例えば、状況予測部１５４は、車両１０の状況、車両１０の周囲の状況、及び、運転者の状況等の予測処理を行う。
　予測対象となる車両１０の状況には、例えば、車両１０の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる車両１０の周囲の状況には、例えば、車両１０の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
　状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
　行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための車両１０の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した車両１０の行動を示すデータを動作計画部１６３等に供給する
　動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための車両１０の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した車両１０の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
　動作制御部１３５は、車両１０の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
　緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両１０の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための車両１０の動作を計画する。緊急事態回避部１７１は、計画した車両１０の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
　加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された車両１０の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された車両１０の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　＜＜２．第１の実施の形態＞＞
　次に、図２乃至図１０を参照して、本技術の第１の実施の形態について説明する。
　なお、この第１の実施の形態は、図１の車両制御システム１００のうち、主にデータ取得部１０２及び車外情報検出部１４１の処理に関連するものである。
　＜車外情報検出システムの構成例＞
　図２は、本技術を適用した車外情報検出システムの一実施の形態である車外情報検出システム２００の構成例を示すブロック図である。
　車外情報検出システム２００は、車外情報検出システム２００が設けられている車両１０の周囲の情報の検出処理を行うシステムである。例えば、車外情報検出システム２００は、車両１０の周囲を撮像した画像（以下、周囲画像と称する）に基づいて、車両１０の周囲の情報の検出処理を行う。そして、車外情報検出システム２００は、検出処理の結果を示すデータを、例えば、図１の自己位置推定部１３２、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、緊急事態回避部１７１等に供給する。
　車外情報検出システム２００は、カメラ２０１、車両状態検出部２０２、及び、ホスト２０３を備える。
　カメラ２０１は、車両１０の周囲を撮像可能な位置に設置され、撮像の結果得られた周囲画像をホスト２０３に供給する。
　カメラ２０１は、イメージセンサ２２１、センサＩ／Ｆ（インタフェース）２２２、画像処理部２２３、色処理部２２４、画像記憶部２２５、バッファ２２６、制御部２２７、領域設定情報記憶部２２８、及び、ホストＩ／Ｆ（インタフェース）２２９を備える。
　イメージセンサ２２１は、車両１０の周囲の撮像を行う撮像部であり、例えば、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等の任意の種類のイメージセンサが用いられる。イメージセンサ２２１は、センサＩ／Ｆ２２２を介した制御部２２７の制御の下に、車両１０の周囲を撮像し、得られた周囲画像をセンサＩ／Ｆ２２２に供給する。
　センサＩ／Ｆ２２２は、イメージセンサ２２１と外部との間の通信を行う。
　画像処理部２２３は、制御部２２７の制御の下に、周囲画像に対して各種の画像処理を行い、画像処理後の周囲画像を色処理部２２４に供給する。画像処理部２２３が行う画像処理の種類は、例えば、欠陥補正処理、ホワイトバランス調整処理、ノイズ除去処理等の中から必要に応じて選択される。
　色処理部２２４は、制御部２２７の制御の下に、周囲画像に対して各種の色処理を行い、色処理後の周囲画像を画像記憶部２２５に記憶させる。色処理部２２４が行う色処理の種類は、例えば、デモザイク処理、解像度変換処理、γ補正処理、ＹＣ変換処理等の中から必要に応じて選択される。
　画像記憶部２２５は、例えば、揮発性又は不揮発性のメモリを備え、周囲画像を記憶する。
　バッファ２２６は、例えば、揮発性のメモリを備え、周囲画像の全体又は一部の領域（以下、転送領域と称する）内の画像（以下、領域画像と称する）を一時的に記憶する。
　なお、以下、転送領域のうち周囲画像の全体の領域を全体領域とも称し、全体領域内の領域画像（すなわち、周囲画像全体）を全体画像とも称する。
　制御部２２７は、各種のプロセッサ等を備え、例えば、カメラ２０１の各部の制御、及び、ホスト２０３との間の領域画像等のデータの送受信の制御等を行う。
　領域設定情報記憶部２２８は、例えば、揮発性のメモリを備え、ホスト２０３から送信されてくる領域設定情報を記憶する。なお、領域設定情報は、転送領域及び転送領域毎に設定されるフレームレートに関する情報である。
　ホストＩ／Ｆ２２９は、ホスト２０３との間の通信インタフェースであり、ホスト２０３のカメラＩ／Ｆとの間で通信を行う。
　車両状態検出部２０２は、例えば、図１の車両状態検出部１４３に対応し、車両１０の状態の検出処理を行い、検出処理の結果を示すデータをホスト２０３の画像処理部２５１の制御部２６１に供給する。
　ホスト２０３は、カメラ２０１からの領域画像の転送制御や、領域画像に基づいて車両１０の周囲の情報を検出する検出処理等を行う。ホスト２０３は、画像処理部２５１及びカメラＩ／Ｆ（インタフェース）２５２を備える。
　画像処理部２５１は、制御部２６１、全体画像記憶部２６２、領域画像記憶部２６３、領域設定情報記憶部２６４、フレームレートＤＢ（データベース）２６５、及び、ドライブデータ記憶部２６６を備える。
　制御部２６１は、各種のプロセッサ等を備え、例えば、ホスト２０３の各部の制御、カメラ２０１との間の領域画像等のデータの送受信の制御、及び、車両１０の周囲の情報の検出処理等を行う。また、制御部２６１は、車両１０の周囲の情報の検出処理の結果を示すデータを外部に出力する。
　全体画像記憶部２６２は、例えば、揮発性又は不揮発性のメモリを備え、カメラ２０１から送信されてくる領域画像のうち全体画像を記憶する。
　領域画像記憶部２６３は、例えば、揮発性又は不揮発性のメモリを備え、カメラ２０１から送信されてくる全体画像以外の領域画像を記憶する。
　領域設定情報記憶部２６４は、例えば、揮発性のメモリを備え、制御部２６１により生成される領域設定情報を記憶する。
　フレームレートＤＢ２６５は、転送領域内の領域画像を転送するレート（転送速度）を示すフレームレートの設定に用いるデータを格納する。例えば、フレームレートＤＢ２６５は、物体の種類、位置、及び、動き、車両１０の状態、カメラ２０１の取付位置及び取付方向、時刻、天候等の条件に対するフレームレートの設定方法又は設定値等を格納する。
　ドライブデータ記憶部２６６は、例えば、不揮発性のメモリを備え、車両１０の走行中の領域画像等のデータを記憶する。
　＜カメラの制御部の機能の構成例＞
　図３は、カメラ２０１の制御部２２７の機能の構成例を示している。
　制御部２２７は、撮像制御部３０１、領域画像生成部３０２、送信制御部３０３、及び、受信制御部３０４を備える。
　撮像制御部３０１は、イメージセンサ２２１、画像処理部２２３、及び、色処理部２２４を制御し、周囲画像の撮像を制御する。
　領域画像生成部３０２は、領域設定情報記憶部２２８に記憶されている領域設定情報に基づいて、画像記憶部２２５に記憶されている全体画像から領域画像を生成し、バッファ２２６に記憶させる。
　送信制御部３０３は、ホストＩ／Ｆ２２９を制御して、領域画像等のデータのホスト２０３への送信を制御する。
　受信制御部３０４は、ホストＩ／Ｆ２２９を制御して、領域設定情報等のデータのホスト２０３からの受信を制御する。
　＜ホストの制御部の機能の構成例＞
　図４は、ホスト２０３の制御部２６１の機能の構成例を示している。
　制御部２６１は、特徴点抽出部３３１、物体検出部３３２、領域設定部３３３、フレームレート設定部３３４、送信制御部３３５、受信制御部３３６、及び、記録制御部３３７を備える。
　特徴点抽出部３３１は、領域画像内の特徴点の抽出処理を行う。
　物体検出部３３２は、領域画像内の物体の検出処理を行う。
　領域設定部３３３は、領域画像内の特徴点の抽出結果及び物体の検出結果のうち少なくとも１つに基づいて、転送領域の設定を行う。また、領域設定部３３３は、各転送領域及び各転送領域のフレームレートに関する領域設定情報を生成し、領域設定情報記憶部２６４に記憶させたり、カメラＩ／Ｆ２５２に供給したりする。
　フレームレート設定部３３４は、領域画像内の特徴点の抽出結果、領域画像内の物体の検出結果、及び、車両状態検出部２０２による車両１０の状態の検出結果のうち少なくとも１つ、並びに、フレームレートＤＢ２６５に格納されているデータに基づいて、各転送領域のフレームレートを設定する。
　送信制御部３３５は、カメラＩ／Ｆ２５２を制御して、領域設定情報等のデータのカメラ２０１への送信を制御する。
　受信制御部３３６は、カメラＩ／Ｆ２５２を制御して、領域画像等のデータのカメラ２０１からの受信を制御する。
　記録制御部３３７は、車両１０の走行中の領域画像等のデータのドライブデータ記憶部２６６への記録を制御する。
　＜ホストの処理＞
　次に、図５のフローチャートを参照して、ホスト２０３の処理について説明する。なお、この処理は、例えば、車両１０を起動し、運転を開始するための操作が行われたとき、例えば、車両１０のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、運転を終了するための操作が行われたとき、例えば、車両１０のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。
　ステップＳ１において、ホスト２０３は、撮像開始命令を送信する。具体的には、送信制御部３３５は、カメラ２０１に周囲画像の撮像を開始させるための撮像開始命令を生成し、カメラＩ／Ｆ２５２を介して、カメラ２０１に送信する。
　これに対して、カメラ２０１は、後述する図９のステップＳ５１において、撮像開始命令を受信し、ステップＳ５２において、車両１０の周囲を撮像し、ステップＳ５３において、全体画像及びメタデータを送信する。
　なお、メタデータには、例えば、カメラ２０１の取付位置、取付方向、画角、露出パラメータ等が含まれる。
　ステップＳ２において、ホスト２０３は、全体画像及びメタデータを受信する。具体的には、カメラＩ／Ｆ２５２は、受信制御部３３６の制御の下に、カメラ２０１から送信されてくる全体画像及びメタデータを受信し、全体画像を全体画像記憶部２６２に記憶させるとともに、メタデータを受信制御部３３６に供給する。
　ステップＳ３において、特徴点抽出部３３１は、全体画像記憶部２６２に記憶されている全体画像の特徴点を抽出する。
　なお、特徴点の抽出方法には、例えば、ハリスコーナー等の任意の手法を用いることができる。
　ステップＳ４において、領域設定部３３３は、特徴点に基づいて、転送領域を設定する。例えば、領域設定部３３３は、全体画像内の特徴点のクラスタリングを行う。これにより、全体画像内の特徴点が、１以上のクラスタに分類される。そして、領域設定部３３３は、各クラスタに対応する領域を転送領域に設定する。また、領域設定部３３３は、全体領域を転送領域に設定する。
　例えば、図６は、車両１０の前方を撮像した周囲画像４０１の例を模式的に示している。この例では、周囲画像４０１の下方に、車両１０のボンネット４１１が写っている。車両１０の走行車線の左隣の車線の前方に車両４１２乃至車両４１６が写っている。車両１０の走行車線の前方に車両４１７及び車両４１８が写っている。車両４１２の左側に案内標識４１９が写っている。道路の左端にガードレール４２０が写っている。路面上に区画線４２１及び区画線４２２が写っている。道路の左右に林やビル等が写っている。
　図７は、図６の周囲画像４０１の特徴点及び転送領域の例を示している。図内の小さな点は特徴点を示している。例えば、車両４１２乃至車両４１８、案内標識４１９、ガードレール４２０、区画線４２１、区画線４２２、及び、道路の左右の林やビル等のエッジ付近等において、多くの特徴点が抽出されている。
　また、特徴点をクラスタリングした結果に基づいて、転送領域Ｒ１乃至転送領域Ｒ７が設定されている。転送領域Ｒ１には、車両４１２が含まれている。転送領域Ｒ２には、車両４１３及び車両４１４が含まれている。転送領域Ｒ３には、車両４１４乃至車両４１６及び車両４１８が含まれている。転送領域Ｒ４には、車両４１７及び車両４１８が含まれている。転送領域Ｒ５には、案内標識４１９が含まれている。転送領域Ｒ６には、ガードレール４２０が含まれている。転送領域Ｒ７には、区画線４２２が含まれている。また、周囲画像４０１の全体領域が、転送領域Ｒ０に設定されている。
　なお、転送領域は、必ずしも全体画像の周囲の辺に対して平行な辺を持つ矩形の領域に限定されるものではなく、例えば、転送領域Ｒ６及び転送領域Ｒ７のように、全体画像の周囲の辺に対して斜め方向の矩形であってもよい。また、転送領域は、必ずしも矩形でなくてもよい。
　ステップＳ５において、物体検出部３３２は、各転送領域内の物体の検出処理を行う。例えば、物体検出部３３２は、各転送領域内の物体の種類、位置、動き等を検出する。
　なお、物体の種類、位置、動き等の検出方法は、例えば、セマンティックセグメンテーション等の任意の手法を用いることができる。
　ステップＳ６において、フレームレート設定部３３４は、各転送領域のフレームレートを設定する。
　具体的には、フレームレート設定部３３４は、車両状態検出部２０２から車両１０の状態の検出結果を取得する。そして、フレームレート設定部３３４は、各転送領域内の物体の検出結果（例えば、物体の種類、位置、及び、動きのうち少なくとも１つ）、車両１０の状態の検出結果、並びに、フレームレートＤＢ２６５に格納されているデータに基づいて、各転送領域のフレームレートを設定する。
　例えば、各転送領域のフレームレートは、各転送領域内の物体に注目する必要性（以下、注目必要性と称する）に基づいて設定される。例えば、転送領域内の物体の注目必要性が高いほど、フレームレートが高く設定され、転送領域内の物体の注目必要性が低いほど、フレームレートが低く設定される。
　例えば、物体の注目必要性は、物体の種類に基づいて判定される。例えば、動物体は静止物体より注目必要性が高いと判定される。
　例えば、図８に示されるように、転送領域Ｒ１乃至転送領域Ｒ７が、動物体を含むか否かによりグループＧ１とグループＧ２に分類される。動物体を含む転送領域Ｒ１乃至転送領域Ｒ４は、グループＧ１に分類される。動物体を含まず、静止物体のみを含む転送領域Ｒ５乃至転送領域Ｒ７は、グループＧ２に分類される。そして、グループＧ１の転送領域の方が、グループＧ２の転送領域よりフレームレートが高く設定される。例えば、グループＧ１の転送領域のフレームレートが１２０ｆｐｓ（frame per second）に設定され、グループＧ２の転送領域のフレームレートが６０ｆｐｓに設定される。
　なお、グループＧ０には、全体領域である転送領域Ｒ０が含まれる。転送領域Ｒ０のフレームレートは、他の転送領域のフレームレートのうち最も低いフレームレート以下に設定される。例えば、転送領域Ｒ０のフレームレートは、グループＧ２の転送領域のフレームレートである６０ｆｐｓ以下に設定される。
　なお、例えば、車両、自転車、歩行者、道路標識等に物体の種類を細分化して、さらに細かくフレームレートを設定するようにしてもよい。この場合、例えば、転送領域内の物体の一般的な平均速度が速いほど、注目必要性が高いと判定され、フレームレートが高く設定される。一方、転送領域内の物体の一般的な平均速度が遅いほど、注目必要性が低いと判定され、フレームレートが低く設定される。例えば、車両が存在する転送領域＞自転車が存在する転送領域＞歩行者が存在する転送領域＞道路標識が存在する転送領域の順にフレームレートが設定される。
　この場合、例えば、物体の平均速度に基づいて、物体が所定の距離（例えば、１０ｃｍ）だけ移動する毎にその物体を含む領域画像が転送されるように、フレームレートが設定される。
　なお、例えば、領域画像がＳＬＡＭ等の車両１０の自己位置推定に用いられる場合、自己位置推定に用いられる可能性が高い静止物体の方が、自己位置推定に用いられる可能性が低い動物体より注目必要性が高いと判定される。そして、静止物体のみを含む転送領域の方が、動物体を含む転送領域より、フレームレートが高く設定される。
　また、例えば、物体が車両１０に衝突又は接触する危険度（以下、単に物体の危険度と称する）に基づいて、物体の注目必要性を判定するようにしてもよい。
　例えば、各物体の危険度は、車両１０に対する物体の位置及び動きのうち少なくとも１つに基づいて判定される。例えば、車両１０に接近する方向の相対速度が速い物体ほど、危険度が高いと判定される。一方、車両１０に接近する方向の相対速度が遅い物体ほど、或いは、車両１０から遠ざかる方向の相対速度が速い物体ほど、危険度が低いと判定される。
　また、例えば、物体が車両１０に衝突又は接触する可能性がある場合、衝突予測時間に基づいて、各物体の危険度を判定するようにしてもよい。すなわち、衝突予測時間が短い物体ほど、危険度が高いと判定され、衝突予測時間が長い物体ほど、危険度が低いと判定される。
　そして、例えば、転送領域内の物体の危険度が高いほど、フレームレートが高く設定され、転送領域内の物体の危険度が低いほど、フレームレートが低く設定される。
　この場合、例えば、車両１０に接近している物体については、物体が車両１０に所定の第１の距離（例えば、１０ｃｍ）だけ近づく毎にその物体を含む領域画像が転送されるように、フレームレートが設定される。一方、車両１０から遠ざかる物体については、物体が車両１０から第１の距離より長い第２の距離（例えば、２０ｃｍ）だけ遠ざかる毎にその物体を含む領域画像が転送されるように、フレームレートが設定される。
　ステップＳ７において、ホスト２０３は、領域設定情報を生成し、送信する。具体的には、領域設定部３３３は、各転送領域の周囲画像内の位置及び形状、並びに、各転送領域のフレームレートを含む領域設定情報を生成する。領域設定部３３３は、生成した領域設定情報を領域設定情報記憶部２６４に記憶させる。また、領域設定部３３３は、生成した領域設定情報を、カメラＩ／Ｆ２５２を介して、カメラ２０１に送信する。
　これに対して、カメラ２０１は、後述する図９のステップＳ５４において、領域設定情報を受信し、ステップＳ５７において、領域設定情報に基づいて、領域画像を生成し、送信する。
　ステップＳ８において、ホスト２０３は、領域画像を受信する。具体的には、カメラＩ／Ｆ２５２は、受信制御部３３６の制御の下に、カメラ２０１から送信されてきた領域画像を受信する。
　また、カメラＩ／Ｆ２５２は、受信した領域画像が全体画像である場合、その全体画像を全体画像記憶部２６２に記憶させる。このとき、例えば、全体画像記憶部２６２に記憶されている古い全体画像が、新しい全体画像により上書きされる。一方、カメラＩ／Ｆ２５２は、受信した領域画像が全体画像でない場合、その領域画像を領域画像記憶部２６３に記憶させる。このとき、例えば、領域画像記憶部２６３に記憶されている領域画像のうち、所定の時間以上前の領域画像が領域画像記憶部２６３から削除される。
　ステップＳ９において、ホスト２０３は、必要に応じて、領域画像を用いた処理を行う。例えば、物体検出部３３２は、全体画像記憶部２６２に記憶されている全体画像、及び、領域画像記憶部２６３に記憶されている領域画像のうち少なくとも１つに基づいて、車両１０の周囲の物体の検出処理を行う。物体検出部３３２は、車両１０の周囲の物体の検出処理の結果を示すデータを、例えば、図１の自己位置推定部１３２、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、緊急事態回避部１７１等に供給する。
　ステップＳ１０において、ホスト２０３は、必要に応じて、領域画像を記録する。例えば、記録制御部３３７は、カメラ２０１から受信した領域画像を無条件にドライブデータ記憶部２６６に記憶させる。この場合、例えば、記録制御部３３７は、ドライブデータ記憶部２６６に記録されている領域画像の総時間又は総容量が所定の閾値を超えた場合、古い領域画像から順にドライブデータ記憶部２６６から削除する。
　或いは、例えば、記録制御部３３７は、車両１０が正常に走行している場合、所定の時間（例えば、３０秒）前から現時点までの領域画像をドライブデータ記憶部２６６に常に蓄積させるとともに、それより古い領域画像をドライブデータ記憶部２６６から削除する。一方、記録制御部３３７は、車両１０に異常が発生した場合、例えば、車両１０に対する所定の強さ以上の衝撃又は急ブレーキが検出された場合、所定の時間前から異常が検出された時刻までの領域画像をドライブデータ記憶部２６６に残すとともに、異常が検出された時刻から所定の時間（例えば、３０秒）経過後までの領域画像をドライブデータ記憶部２６６に記憶させる。
　これにより、ホスト２０３をドライブレコーダとして用いる場合、事故の解析等に必要なデータが確実に記録されるとともに、記録するデータ量が削減される。
　ステップＳ１１において、受信制御部３３６は、全体画像を受信したか否かを判定する。全体画像を受信していないと判定された場合、処理はステップＳ８に戻る。
　その後、ステップＳ１１において、全体画像を受信したと判定されるまで、ステップＳ８乃至ステップＳ１１の処理が、繰り返し実行される。
　一方、ステップＳ１１において、全体画像を受信したと判定された場合、処理はステップＳ３に戻り、ステップＳ３以降の処理が実行される。すなわち、新しく受信した全体画像に基づいて、転送領域及びフレームレートが更新され、更新された転送領域及びフレームレートに基づいて、カメラ２０１とホスト２０３の間の領域画像の転送が行われる。
　＜カメラの処理＞
　次に、図９のフローチャートを参照して、図５のホスト２０３の処理に対応して実行されるカメラ２０１の処理について説明する。なお、この処理は、例えば、車両１０を起動し、運転を開始するための操作が行われたとき、例えば、車両１０のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、運転を終了するための操作が行われたとき、例えば、車両１０のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。
　ステップＳ５１において、受信制御部３０４は、ホストＩ／Ｆ２２９を介して、図５のステップＳ１の処理によりホスト２０３から送信されてくる撮像開始命令を受信する。
　ステップＳ５２において、カメラ２０１は、車両１０の周囲を撮像する。具体的には、イメージセンサ２２１は、撮像制御部３０１の制御の下に、車両１０の周囲を撮像し、得られた周囲画像をセンサＩ／Ｆ２２２を介して、画像処理部２２３に供給する。画像処理部２２３は、撮像制御部３０１の制御の下に、周囲画像に対して各種の画像処理を行い、画像処理後の周囲画像を色処理部２２４に供給する。色処理部２２４は、撮像制御部３０１の制御の下に、周囲画像に対して各種の色処理を行い、色処理後の周囲画像を画像記憶部２２５に記憶させる。
　ステップＳ５３において、カメラ２０１は、全体画像及びメタデータを送信する。具体的には、領域画像生成部３０２は、画像記憶部２２５に記憶されている周囲画像をそのままバッファ２２６にコピーする。送信制御部３０３は、ホストＩ／Ｆ２２９を介して、バッファ２２６に記憶されている周囲画像（すなわち、全体画像）をメタデータとともにホスト２０３に送信する。
　上述したように、メタデータには、例えば、カメラ２０１の取付位置、取付方向、画角、露出パラメータ等が含まれる。
　ステップＳ５４において、受信制御部３０４は、ホストＩ／Ｆ２２９を介して、図５のステップＳ７の処理によりホスト２０３から送信されてくる領域設定情報を受信する。受信制御部３０４は、受信した領域設定情報を領域設定情報記憶部２２８に記憶させる。
　ステップＳ５５において、撮像制御部３０１は、領域設定情報に基づいて、撮像レートを設定する。例えば、撮像制御部３０１は、各転送領域のフレームレートのうち最も高いフレームレートに合わせてイメージセンサ２２１の撮像レートを設定する。
　ステップＳ５６において、ステップＳ５２の処理と同様に、車両１０の周囲が撮像される。このとき、画像記憶部２２５に記憶されている１フレーム前の周囲画像が、新たに撮像された周囲画像により上書きされる。
　ステップＳ５７において、カメラ２０１は、領域設定情報に基づいて、領域画像を生成し、送信する。具体的には、領域画像生成部３０２は、領域設定情報に含まれる各転送領域のフレームレートに基づいて、現在のタイミングで領域画像を送信する対象となる転送領域を検出する。領域画像生成部３０２は、画像記憶部２２５に記憶されている周囲画像から、検出した転送領域内の画像を抽出することにより、領域画像を生成し、バッファ２２６に記憶させる。なお、領域画像生成部３０２は、全体画像を送信するタイミングである場合、画像記憶部２２５に記憶されている周囲画像をそのままバッファ２２６にコピーする。
　送信制御部３０３は、ホストＩ／Ｆ２２９を介して、バッファ２２６に記憶されている領域画像をホスト２０３に送信する。これにより、各転送領域内の領域画像が、領域設定情報により示されるフレームレートで送信される。
　図１０は、カメラ２０１からホスト２０３に領域画像を送信する際の転送データの構成例を示している。
　１回分の転送データは、フレームヘッダ、並びに、１組以上の領域ヘッダ及び領域画像を含む。
　フレームヘッダは、例えば、送信する領域画像の数等の転送データに関する情報を含む。
　領域ヘッダは、送信する領域画像の転送領域等に関する情報を含む。
　この例では、時刻ｔ０において、領域画像０（全体画像）が送信されている。時刻ｔ１及び時刻ｔ３において、領域画像１及び領域画像２が送信されている。時刻ｔ２において、領域画像３が送信されている。
　例えば、時刻ｔ０＝０ｍｓ、時刻ｔ１＝２０ｍｓ、時刻ｔ２＝２５ｍｓ、時刻ｔ３＝４０ｍｓ、時刻ｔ４＝５０ｍｓとすると、領域画像０のフレームレートは、２０ｆｐｓとなる。領域画像１及び領域画像２のフレームレートは、５０ｆｐｓとなる。これは、時刻ｔ０と時刻ｔ４において、領域画像０（全体画像）が送信されることにより、領域画像１及び領域画像２も実質的に送信されることになるからである。領域画像３のフレームレートは、４０ｆｐｓとなる。これは、時刻ｔ０と時刻ｔ４において、領域画像０（全体画像）が送信されることにより、領域画像３も実質的に送信されることになるからである。
　ステップＳ５８において、受信制御部３０４は、領域設定情報を受信したか否かを判定する。領域設定情報を受信していないと判定された場合、処理はステップＳ５６に戻る。
　その後、ステップＳ５８において、領域設定情報を受信したと判定されるまで、ステップＳ５６乃至ステップＳ５８の処理が繰り返し実行される。すなわち、転送領域毎に設定されたフレームレートに基づいて、各転送領域内の領域画像がカメラ２０１からホスト２０３に送信される。
　一方、ステップＳ５８において、受信制御部３０４は、ホストＩ／Ｆ２２９を介して、図５のステップＳ７の処理によりホスト２０３から送信されてくる領域設定情報を受信した場合、領域設定情報を受信したと判定し、処理はステップＳ５５に戻る。
　その後、ステップＳ５５以降の処理が実行される。すなわち、新たな領域設定情報に基づいて、撮像レートが更新されるとともに、領域画像の生成及び送信が開始される。
　以上のようにして、カメラ２０１とホスト２０３の間の画像の転送量を削減することができる。これにより、ホストＩ／Ｆ２２９とカメラＩ／Ｆ２５２との間の転送路の容量及び転送速度を小さくすることができる。
　また、全体画像記憶部２６２、領域画像記憶部２６３、及び、ドライブデータ記憶部２６６の容量や書き込み速度を小さくすることができる。さらに、例えば、これらの記憶部が、フラッシュメモリ等の書き換え寿命のあるメモリを備える場合、メモリの書き換え回数を削減し、寿命を延ばすことができる。
　また、処理対象となる画像のデータ量が削減されるため、制御部２６１が備えるプロセッサの性能を低く抑えることができる。
　さらに、注目する必要性が高い転送領域内の領域画像ほど高いフレームレートで送信されるため、画像の転送量を削減しても、車両１０の周囲の物体等の検出精度の低下を抑制することができる。
　＜＜３．第２の実施の形態＞＞
　次に、図１１を参照して、本技術の第２の実施の形態について説明する。
　第２の実施の形態では、第１の実施の形態と比較して、ホスト２０３の処理が異なる。
　＜ホストの処理＞
　ここで、図１１のフローチャートを参照して、ホスト２０３の処理について説明する。
　ステップＳ１０１及びステップＳ１０２において、図５のステップＳ１及びステップＳ２と同様の処理が行われる。
　ステップＳ１０３において、物体検出部３３２は、全体画像内の物体の検出処理を行う。例えば、物体検出部３３２は、全体領域内の物体の種類、位置、動き等を検出する。
　なお、物体の種類、位置、動き等の検出方法は、例えば、セマンティックセグメンテーション等の任意の手法を用いることができる。
　ステップＳ１０４において、領域設定部３３３は、物体の検出結果に基づいて、転送領域を設定する。例えば、領域設定部３３３は、全体画像内で検出された物体のうち、注目する必要性がある物体を含む領域を転送領域に設定する。
　なお、転送領域は、必ずしも全体画像の周囲の辺に対して平行な辺を持つ矩形の領域に限定されるものではなく、例えば、全体画像の周囲の辺に対して斜め方向の矩形であってもよい。また、転送領域は、必ずしも矩形でなくてもよい。
　ステップＳ１０５において、フレームレート設定部３３４は、各転送領域のフレームレートを設定する。例えば、フレームレート設定部３３４は、図５のステップＳ６の処理と同様に、各転送領域内の物体の注目必要性に基づいて、各転送領域のフレームレートを設定する。
　その後、ステップＳ１０６乃至ステップＳ１１０において、図５のステップＳ７乃至ステップＳ１１と同様の処理が実行される。
　このようにして、特徴点を用いずに、物体の検出結果のみに基づいて、転送領域及び各転送領域のフレームレートを設定することが可能である。
　＜＜４．変形例＞＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　カメラ２０１とホスト２０３の機能の分担は、上述した例に限定されるものではなく、必要に応じて変更することが可能である。例えば、ホスト２０３の特徴点抽出部３３１、物体検出部３３２、及び、領域設定部３３３に相当する機能をカメラ２０１に設けて、カメラ２０１が、転送領域の設定を行うようにしてもよい。また、例えば、さらにフレームレート設定部３３４に相当する機能をカメラ２０１に設けて、カメラ２０１が、転送領域のフレームレートの設定を行うようにしてもよい。
　また、例えば、カメラ２０１の撮像条件に基づいて、各転送領域のフレームレートを設定するようにしてもよい。例えば、周囲の天候や明るさに基づいて、各転送領域のフレームレートを設定するようにしてもよい。例えば、好天、周囲が明るい等で撮像条件が良好な場合、各転送領域のフレームレートを下げ、悪天候（例えば、雨、霧等）、周囲が暗い等で撮像条件が悪い場合、各転送領域のフレームレートを上げるようにしてもよい。また、例えば、時間帯に応じて各転送領域のフレームレートを設定するようにしてもよい。例えば、昼間の時間帯は各転送領域のフレームレートを下げ、夜間の時間帯は各転送領域のフレームレートを上げるようにしてもよい。
　さらに、例えば、領域画像がＳＬＡＭ等の車両１０の自己位置推定に用いられる場合、特徴点に基づいてフレームレートを設定するようにしてもよい。例えば、特徴点が多い転送領域ほど、フレームレートが高く設定され、特徴点が少ない転送領域ほど、フレームレートが低く設定される。
　また、例えば、車両１０の動きに基づいて、各転送領域のフレームレートを設定するようにしてもよい。例えば、車両１０の移動方向に近い転送領域のフレームレートを上げ、車両１０の移動方向から遠い転送領域のフレームレートを下げるようにしてもよい。また、例えば、車両１０が高速移動しており、かつ、操舵角度が小さい場合、車両１０の進行方向の周囲の転送領域のフレームレートを下げるようにしてもよい。一方、車両１０がカーブや交差点を走行中の場合、又は、車両１０の操舵角が大きい場合、車両１０の進行方向の周囲の転送領域のフレームレートを上げるようにしてもよい。
　さらに、以上の説明では、カメラが１台の場合の例について説明したが、本技術は、カメラが複数台の場合も適用することができる。カメラが複数台の場合、例えば、カメラ毎に上述した処理が行われ、転送領域毎に設定されたフレームレートで領域画像が送信される。ただし、必ずしも全てのカメラについて上述した処理を行う必要はなく、一部のカメラについて、撮像した周囲画像をそのままホストに送信するようにしてもよい。
　また、本技術は、先に例示した車両以外にも、自動二輪車、自転車、パーソナルモビリティ、飛行機、船舶、建設機械、農業機械（トラクター）、ドローン、ロボット等の各種の移動体の周囲の撮像を行う場合にも適用することができる。
　さらに、本技術は、移動体の周囲を撮像する場合以外にも、カメラとホスト等の画像処理装置との間で、カメラにより撮像された撮像画像の転送を行う場合に適用することができる。例えば、本技術は、所定の場所に設置された監視カメラと、監視カメラとは別の場所に設けられたホストとの間で撮像画像の転送を行う場合にも適用することができる。この場合も、例えば、上述した方法と同様の方法により、監視カメラにより撮像された撮像画像の転送領域及び各転送領域のフレームレートを設定し、領域画像の転送を行うことにより、監視カメラとホストの間の画像の転送量を削減することができる。
　＜＜５．その他＞＞
　＜コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
　以上のように構成されるコンピュータ５００では、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ５００（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ５００では、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　撮像画像の撮像を行う撮像部と、
　前記撮像画像の全体又は一部の領域である複数の転送領域内の領域画像を、前記転送領域毎に設定されているフレームレートで送信する送信制御を行う送信制御部と
　を備える撮像装置。
（２）
　前記転送領域は、前記撮像画像内の物体及び特徴点のうち少なくとも１つに基づいて設定されている
　前記（１）に記載の撮像装置。
（３）
　前記撮像画像内の物体及び特徴点のうち少なくとも１つに基づいて、前記転送領域を設定する領域設定部と、
　前記転送領域のフレームレートを設定するフレームレート設定部と
　をさらに備える前記（２）に記載の撮像装置。
（４）
　前記撮像画像内の物体の検出を行う物体検出部と、
　前記撮像画像内の特徴点の抽出を行う特徴点抽出部と
　のうち少なくとも１つをさらに備え、
　前記領域設定部は、前記撮像画像内の物体の検出結果及び特徴点の抽出結果のうち少なくとも１つに基づいて、前記転送領域を設定する
　前記（３）に記載の撮像装置。
（５）
　各前記転送領域及び各前記転送領域のフレームレートに関する領域設定情報の受信を制御する受信制御部を
　さらに備え、
　前記送信制御部は、前記領域設定情報に基づいて、前記領域画像の送信制御を行う
　前記（１）乃至（４）のいずれかに記載の撮像装置。
（６）
　各前記転送領域のフレームレートに基づいて、前記撮像部の撮像レートを設定する撮像制御部を
　さらに備える前記（１）乃至（５）のいずれかに記載の撮像装置。
（７）
　前記撮像制御部は、各前記転送領域のフレームレートのうち最も高いフレームレートに合わせて前記撮像部の撮像レートを設定する
　前記（６）に記載の撮像装置。
（８）
　前記撮像装置は、移動体に設けられ、
　前記撮像画像は、前記移動体の周囲を撮像した画像である
　前記（１）乃至（７）のいずれかに記載の撮像装置。
（９）
　撮像装置が、
　撮像画像の撮像を行い、
　前記撮像画像の全体又は一部の領域である複数の転送領域内の領域画像を、前記転送領域毎に設定されているフレームレートで送信する送信制御を行う
　画像処理方法。
（１０）
　撮像装置により撮像された撮像画像内の物体及び特徴点のうち少なくとも１つに基づいて、前記撮像画像の全体又は一部の領域である複数の転送領域を設定する領域設定部と、
　各前記転送領域のフレームレートを設定するフレームレート設定部と、
　各前記転送領域及び各前記転送領域のフレームレートに関する領域設定情報の前記撮像装置への送信を制御する送信制御部と、
　前記撮像装置から前記領域設定情報に基づくフレームレートで送信されてくる各前記転送領域内の領域画像の受信を制御する受信制御部と
　を備える画像処理装置。
（１１）
　前記撮像画像内の物体の検出を行う物体検出部と、
　前記撮像画像内の特徴点の抽出を行う特徴点抽出部と
　のうち少なくとも１つをさらに備え、
　前記領域設定部は、前記撮像画像内の物体の検出結果及び特徴点の抽出結果のうち少なくとも１つに基づいて前記転送領域を設定する
　前記（１０）に記載の画像処理装置。
（１２）
　前記フレームレート設定部は、前記転送領域内の物体の検出結果、及び、前記転送領域内の特徴点の抽出結果のうち少なくとも１つに基づいて、前記転送領域のフレームレートを設定する
　前記（１１）に記載の画像処理装置。
（１３）
　前記フレームレート設定部は、前記転送領域内の物体の種類、位置、及び、動きのうち少なくとも１つに基づいて、前記転送領域のフレームレートを設定する
　前記（１２）に記載の画像処理装置。
（１４）
　前記フレームレート設定部は、さらに前記撮像装置の撮像条件に基づいて、前記転送領域のフレームレートを設定する
　前記（１３）に記載の画像処理装置。
（１５）
　前記フレームレート設定部は、前記転送領域内の物体の検出結果、前記転送領域内の特徴点の抽出結果、及び、前記撮像装置が設けられている移動体の動きのうち少なくとも１つに基づいて、前記転送領域のフレームレートを設定する
　前記（１１）に記載の画像処理装置。
（１６）
　前記フレームレート設定部は、前記撮像画像の全体の領域である前記転送領域のフレームレートを、前記撮像画像の一部の領域である前記転送領域のフレームレートのうち最も低いフレームレート以下に設定する
　前記（１０）乃至（１５）のいずれかに記載の画像処理装置。
（１７）
　各前記領域画像の記録を制御する記録制御部を
　さらに備える前記（１０）乃至（１６）のいずれかに記載の画像処理装置。
（１８）
　前記撮像装置は、移動体に設けられ、
　前記撮像画像は、前記移動体の周囲を撮像した画像である
　前記（１０）乃至（１７）のいずれかに記載の画像処理装置。
（１９）
　画像処理装置が、
　撮像装置により撮像された撮像画像内の物体及び特徴点のうち少なくとも１つに基づいて、前記撮像画像の全体又は一部の領域である複数の転送領域を設定し、
　各前記転送領域のフレームレートを設定し、
　各前記転送領域及び各前記転送領域のフレームレートに関する領域設定情報の前記撮像装置への送信を制御し、
　前記撮像装置から前記領域設定情報に基づくフレームレートで送信されてくる各前記転送領域内の領域画像の受信を制御する
　画像処理方法。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１０　車両，　１００　車両制御システム，　１０２　データ取得部，　１４１　車外情報検出部，　２０１　カメラ，　２０３　ホスト，　２２１　イメージセンサ，　２２７　制御部，　２２９　ホストＩ／Ｆ，　２５１　画像処理部，　２５２　カメラＩ／Ｆ，　２６１　制御部，　３０１　撮像制御部，　３０２　領域画像生成部，　３０３　送信制御部，　３０４　受信制御部，　３３１　特徴点抽出部，　３３２　物体検出部，　３３３　領域設定部，　３３４　フレームレート設定部，　３３５　送信制御部，　３３６　受信制御部，　３３７　記録制御部

Claims (19)

  1. 　撮像画像の撮像を行う撮像部と、
    　前記撮像画像の全体又は一部の領域である複数の転送領域内の領域画像を、前記転送領域毎に設定されているフレームレートで送信する送信制御を行う送信制御部と
    　を備える撮像装置。
  2. 　前記転送領域は、前記撮像画像内の物体及び特徴点のうち少なくとも１つに基づいて設定されている
    　請求項１に記載の撮像装置。
  3. 　前記撮像画像内の物体及び特徴点のうち少なくとも１つに基づいて、前記転送領域を設定する領域設定部と、
    　前記転送領域のフレームレートを設定するフレームレート設定部と
    　をさらに備える請求項２に記載の撮像装置。
  4. 　前記撮像画像内の物体の検出を行う物体検出部と、
    　前記撮像画像内の特徴点の抽出を行う特徴点抽出部と
    　のうち少なくとも１つをさらに備え、
    　前記領域設定部は、前記撮像画像内の物体の検出結果及び特徴点の抽出結果のうち少なくとも１つに基づいて、前記転送領域を設定する
    　請求項３に記載の撮像装置。
  5. 　各前記転送領域及び各前記転送領域のフレームレートに関する領域設定情報の受信を制御する受信制御部を
    　さらに備え、
    　前記送信制御部は、前記領域設定情報に基づいて、前記領域画像の送信制御を行う
    　請求項１に記載の撮像装置。
  6. 　各前記転送領域のフレームレートに基づいて、前記撮像部の撮像レートを設定する撮像制御部を
    　さらに備える請求項１に記載の撮像装置。
  7. 　前記撮像制御部は、各前記転送領域のフレームレートのうち最も高いフレームレートに合わせて前記撮像部の撮像レートを設定する
    　請求項６に記載の撮像装置。
  8. 　前記撮像装置は、移動体に設けられ、
    　前記撮像画像は、前記移動体の周囲を撮像した画像である
    　請求項１に記載の撮像装置。
  9. 　撮像装置が、
    　撮像画像の撮像を行い、
    　前記撮像画像の全体又は一部の領域である複数の転送領域内の領域画像を、前記転送領域毎に設定されているフレームレートで送信する送信制御を行う
    　画像処理方法。
  10. 　撮像装置により撮像された撮像画像内の物体及び特徴点のうち少なくとも１つに基づいて、前記撮像画像の全体又は一部の領域である複数の転送領域を設定する領域設定部と、
    　各前記転送領域のフレームレートを設定するフレームレート設定部と、
    　各前記転送領域及び各前記転送領域のフレームレートに関する領域設定情報の前記撮像装置への送信を制御する送信制御部と、
    　前記撮像装置から前記領域設定情報に基づくフレームレートで送信されてくる各前記転送領域内の領域画像の受信を制御する受信制御部と
    　を備える画像処理装置。
  11. 　前記撮像画像内の物体の検出を行う物体検出部と、
    　前記撮像画像内の特徴点の抽出を行う特徴点抽出部と
    　のうち少なくとも１つをさらに備え、
    　前記領域設定部は、前記撮像画像内の物体の検出結果及び特徴点の抽出結果のうち少なくとも１つに基づいて前記転送領域を設定する
    　請求項１０に記載の画像処理装置。
  12. 　前記フレームレート設定部は、前記転送領域内の物体の検出結果、及び、前記転送領域内の特徴点の抽出結果のうち少なくとも１つに基づいて、前記転送領域のフレームレートを設定する
    　請求項１１に記載の画像処理装置。
  13. 　前記フレームレート設定部は、前記転送領域内の物体の種類、位置、及び、動きのうち少なくとも１つに基づいて、前記転送領域のフレームレートを設定する
    　請求項１２に記載の画像処理装置。
  14. 　前記フレームレート設定部は、さらに前記撮像装置の撮像条件に基づいて、前記転送領域のフレームレートを設定する
    　請求項１３に記載の画像処理装置。
  15. 　前記フレームレート設定部は、前記転送領域内の物体の検出結果、前記転送領域内の特徴点の抽出結果、及び、前記撮像装置が設けられている移動体の動きのうち少なくとも１つに基づいて、前記転送領域のフレームレートを設定する
    　請求項１１に記載の画像処理装置。
  16. 　前記フレームレート設定部は、前記撮像画像の全体の領域である前記転送領域のフレームレートを、前記撮像画像の一部の領域である前記転送領域のフレームレートのうち最も低いフレームレート以下に設定する
    　請求項１０に記載の画像処理装置。
  17. 　各前記領域画像の記録を制御する記録制御部を
    　さらに備える請求項１０に記載の画像処理装置。
  18. 　前記撮像装置は、移動体に設けられ、
    　前記撮像画像は、前記移動体の周囲を撮像した画像である
    　請求項１０に記載の画像処理装置。
  19. 　画像処理装置が、
    　撮像装置により撮像された撮像画像内の物体及び特徴点のうち少なくとも１つに基づいて、前記撮像画像の全体又は一部の領域である複数の転送領域を設定し、
    　各前記転送領域のフレームレートを設定し、
    　各前記転送領域及び各前記転送領域のフレームレートに関する領域設定情報の前記撮像装置への送信を制御し、
    　前記撮像装置から前記領域設定情報に基づくフレームレートで送信されてくる各前記転送領域内の領域画像の受信を制御する
    　画像処理方法。
PCT/JP2018/036965 2017-10-16 2018-10-03 撮像装置、画像処理装置、及び、画像処理方法 WO2019077999A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020207009857A KR102613792B1 (ko) 2017-10-16 2018-10-03 촬상 장치, 화상 처리 장치 및 화상 처리 방법
CN201880065676.5A CN111201787B (zh) 2017-10-16 2018-10-03 成像装置、图像处理装置和图像处理方法
JP2019549189A JP7314798B2 (ja) 2017-10-16 2018-10-03 撮像装置、画像処理装置、及び、画像処理方法
EP18868534.1A EP3700198B1 (en) 2017-10-16 2018-10-03 Imaging device, image processing apparatus, and image processing method
US16/754,745 US11363235B2 (en) 2017-10-16 2018-10-03 Imaging apparatus, image processing apparatus, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-200212 2017-10-16
JP2017200212 2017-10-16

Publications (1)

Publication Number Publication Date
WO2019077999A1 true WO2019077999A1 (ja) 2019-04-25

Family

ID=66174486

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/036965 WO2019077999A1 (ja) 2017-10-16 2018-10-03 撮像装置、画像処理装置、及び、画像処理方法

Country Status (6)

Country Link
US (1) US11363235B2 (ja)
EP (1) EP3700198B1 (ja)
JP (1) JP7314798B2 (ja)
KR (1) KR102613792B1 (ja)
CN (1) CN111201787B (ja)
WO (1) WO2019077999A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021052350A (ja) * 2019-09-26 2021-04-01 株式会社Ｊｖｃケンウッド 画像記録装置、画像記録方法、及び画像記録プログラム
JP2022548335A (ja) * 2019-11-12 2022-11-17 株式会社ソニー・インタラクティブエンタテインメント マルチセグメント時間リサンプリングを使用した高速対象領域コーディング
WO2023074394A1 (ja) * 2021-10-29 2023-05-04 住友電気工業株式会社 車載装置、路側装置、制御方法およびコンピュータプログラム

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
CN104969289B (zh) 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US12197817B2 (en) 2016-06-11 2025-01-14 Apple Inc. Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
US20220182552A1 (en) * 2020-12-08 2022-06-09 Westinghouse Air Brake Technologies Corporation Automatic camera configuration systems and methods
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US12301635B2 (en) 2020-05-11 2025-05-13 Apple Inc. Digital assistant hardware abstraction
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
JP7589593B2 (ja) * 2021-03-03 2024-11-26 トヨタ自動車株式会社 地図データ利用システム、地図データ利用方法及びプログラム
GB2607004A (en) * 2021-05-14 2022-11-30 Airbus Defence & Space Ltd Transmission of sensor data
US20240007771A1 (en) * 2022-07-01 2024-01-04 Meta Platforms Technologies, Llc Readout methods for foveated sensing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288806A (ja) * 1994-04-20 1995-10-31 Hitachi Ltd 動画像通信システム
JP2006197194A (ja) 2005-01-13 2006-07-27 Olympus Corp 撮像装置
JP2009027564A (ja) * 2007-07-20 2009-02-05 Fujifilm Corp 画像処理装置、画像処理方法、及びプログラム
JP2015005843A (ja) * 2013-06-20 2015-01-08 サクサ株式会社 監視システム、表示装置、表示用プログラム及び映像制御装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3954484B2 (ja) * 2002-12-12 2007-08-08 株式会社東芝 画像処理装置およびプログラム
CN102325257A (zh) * 2007-07-20 2012-01-18 富士胶片株式会社 图像处理设备和图像处理方法
US8896692B2 (en) * 2010-11-10 2014-11-25 Ricoh Company, Ltd. Apparatus, system, and method of image processing, and recording medium storing image processing control program
JP5389274B2 (ja) * 2010-11-30 2014-01-15 富士フイルム株式会社 画像処理装置、撮影装置、画像処理方法及びホワイトバランス調整方法
CN201979824U (zh) * 2010-12-29 2011-09-21 珠海赛纳打印科技股份有限公司 成像装置、成像服务器和成像系统
JP5812634B2 (ja) * 2011-03-17 2015-11-17 キヤノン株式会社 送信装置及び送信方法、並びにプログラム
US8184069B1 (en) 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
KR101992153B1 (ko) * 2012-11-13 2019-06-25 삼성전자주식회사 문서 영상 인식 방법, 장치 및 이를 이용한 사진 촬영 방법
US9197809B2 (en) * 2013-05-01 2015-11-24 Canon Kabushiki Kaisha Image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium
RU2660957C2 (ru) * 2013-10-11 2018-07-11 Сони Корпорейшн Устройство передачи, способ передачи и устройство приема
JP2015126457A (ja) * 2013-12-27 2015-07-06 ブラザー工業株式会社 サーバ装置のプログラム、サーバ装置及び遠隔会議方法
JP2015216482A (ja) * 2014-05-09 2015-12-03 キヤノン株式会社 撮像制御方法、および撮像装置
CN112839169B (zh) * 2014-05-29 2023-05-09 株式会社尼康 驾驶辅助装置及摄像装置
CN108353195A (zh) * 2015-11-17 2018-07-31 索尼公司 发送设备、发送方法、接收设备、接收方法和发送/接收系统
GB201618501D0 (en) * 2016-11-02 2016-12-14 Qinetiq Ltd Method and apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288806A (ja) * 1994-04-20 1995-10-31 Hitachi Ltd 動画像通信システム
JP2006197194A (ja) 2005-01-13 2006-07-27 Olympus Corp 撮像装置
JP2009027564A (ja) * 2007-07-20 2009-02-05 Fujifilm Corp 画像処理装置、画像処理方法、及びプログラム
JP2015005843A (ja) * 2013-06-20 2015-01-08 サクサ株式会社 監視システム、表示装置、表示用プログラム及び映像制御装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3700198A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021052350A (ja) * 2019-09-26 2021-04-01 株式会社Ｊｖｃケンウッド 画像記録装置、画像記録方法、及び画像記録プログラム
JP7363279B2 (ja) 2019-09-26 2023-10-18 株式会社Ｊｖｃケンウッド 画像記録装置、画像記録方法、及び画像記録プログラム
JP2022548335A (ja) * 2019-11-12 2022-11-17 株式会社ソニー・インタラクティブエンタテインメント マルチセグメント時間リサンプリングを使用した高速対象領域コーディング
JP7219367B2 (ja) 2019-11-12 2023-02-07 株式会社ソニー・インタラクティブエンタテインメント マルチセグメント時間リサンプリングを使用した高速対象領域コーディング
WO2023074394A1 (ja) * 2021-10-29 2023-05-04 住友電気工業株式会社 車載装置、路側装置、制御方法およびコンピュータプログラム

Also Published As

Publication number Publication date
CN111201787B (zh) 2022-09-20
EP3700198A1 (en) 2020-08-26
CN111201787A (zh) 2020-05-26
KR20200062223A (ko) 2020-06-03
US20200322571A1 (en) 2020-10-08
JPWO2019077999A1 (ja) 2020-11-12
EP3700198A4 (en) 2020-08-26
KR102613792B1 (ko) 2023-12-15
JP7314798B2 (ja) 2023-07-26
US11363235B2 (en) 2022-06-14
EP3700198B1 (en) 2024-04-03

Similar Documents

Publication Publication Date Title
JP7314798B2 (ja) 撮像装置、画像処理装置、及び、画像処理方法
WO2019111702A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20200263994A1 (en) Information processing apparatus, information processing method, program, and moving body
US11501461B2 (en) Controller, control method, and program
US20220383749A1 (en) Signal processing device, signal processing method, program, and mobile device
JP7027737B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JPWO2019082669A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11377101B2 (en) Information processing apparatus, information processing method, and vehicle
WO2020116206A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JPWO2019039281A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2019073795A1 (ja) 情報処理装置、自己位置推定方法、プログラム、及び、移動体
WO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
JP7192771B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
JP2020101960A (ja) 情報処理装置、情報処理方法及びプログラム
JPWO2020036043A1 (ja) 情報処理装置と情報処理方法とプログラム
JP2022017612A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2022028989A (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2020158489A1 (ja) 可視光通信装置、可視光通信方法及び可視光通信プログラム
WO2020261838A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2020036044A1 (ja) 画像処理装置と画像処理方法およびプログラム
US20250128740A1 (en) Information processing device, information processing method, and vehicle control system
US20240426997A1 (en) Information processing apparatus, information processing method, and information processing system
KR102781701B1 (ko) 이상 검출 장치와 이상 검출 방법 및 프로그램과 정보 처리 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18868534

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019549189

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20207009857

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018868534

Country of ref document: EP

Effective date: 20200518

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载