+

WO2018123196A1 - ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム - Google Patents

ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム Download PDF

Info

Publication number
WO2018123196A1
WO2018123196A1 PCT/JP2017/036579 JP2017036579W WO2018123196A1 WO 2018123196 A1 WO2018123196 A1 WO 2018123196A1 JP 2017036579 W JP2017036579 W JP 2017036579W WO 2018123196 A1 WO2018123196 A1 WO 2018123196A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
gas
region
processing
Prior art date
Application number
PCT/JP2017/036579
Other languages
English (en)
French (fr)
Inventor
基広 浅野
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2018558831A priority Critical patent/JP6504325B2/ja
Priority to US16/466,267 priority patent/US10991090B2/en
Publication of WO2018123196A1 publication Critical patent/WO2018123196A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00—Investigating fluid-tightness of structures
    • G01M3/002—Investigating fluid-tightness of structures by using thermal means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00—Investigating fluid-tightness of structures
    • G01M3/38—Investigating fluid-tightness of structures by using light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Definitions

  • the present invention relates to a technology for detecting gas using an infrared image.
  • Patent Literature 1 includes an infrared camera that captures an inspection target region and an image processing unit that processes an infrared image captured by the infrared camera. Discloses a gas leak detection apparatus having a fluctuation extraction unit that extracts dynamic fluctuation due to gas leakage from a plurality of infrared images arranged in time series.
  • a reflection surface for example, a tower or a pipe.
  • the reflecting surface reflects heat from the heat source or reflects light from the light source (sun).
  • the present inventor has found that erroneous gas detection occurs in the following cases. (1) Steam or the like exists in the middle of the reflective surface from the heat source. (2) Steam or the like is present in the middle of the reflecting surface from the light source (3) Even if steam or the like is not present in the middle of the reflecting surface from the heat source, the heat source fluctuates and the heat from this heat source is reflected by the reflecting surface . (4) Even if vapor or the like is not present in the middle of the reflection surface from the light source, the light source fluctuates and the light from this light source is reflected by the reflection surface.
  • the reflection surface is a curved surface and the cloud moves. That is, when the clouds move to block sunlight or the clouds blocking the sunlight move, the amount of light hitting the reflecting surface changes, and the apparent temperature changes, causing fluctuations.
  • an image processing apparatus for gas detection reflecting one aspect of the present invention includes a first processing unit, a second processing unit, and a calculation unit.
  • the first processing unit performs a first process of acquiring a first image including a first region image extracted from a predetermined region of the infrared image and indicating a region where a gas candidate appears, for a predetermined period.
  • the process is executed for each of the plurality of infrared images captured in time series in step S1 to acquire the plurality of first images.
  • the second processing unit uses a plurality of the first images to form a second image including a second region image indicating a region where the gas candidate has appeared in at least a part of the predetermined period.
  • the second process to be generated is performed.
  • the first processing unit performs the first process on the plurality of infrared images captured in time series in each of the two or more predetermined periods.
  • the second processing unit generates the two or more second images by performing the second process on the plurality of first images generated corresponding to each of the two or more predetermined periods. To do.
  • the calculation unit calculates a similarity between two or more second images.
  • FIG. 1A It is a block diagram which shows the structure of the gas detection system which concerns on embodiment. It is a block diagram which shows the hardware constitutions of the image processing apparatus for gas detection shown to FIG. 1A. It is explanatory drawing explaining time series pixel data D1. It is an image figure which shows the infrared image which image
  • difference data D4 It is a graph which shows difference data D4.
  • difference data D8 It is an image figure which shows the image I10, the image I11, and the image I12 which were produced
  • FIG. 1A is a block diagram illustrating a configuration of a gas detection system 1 according to an embodiment.
  • the gas detection system 1 includes an infrared camera 2 and a gas detection image processing device 3.
  • the infrared camera 2 captures a moving image of an infrared image and generates moving image data MD indicating the moving image of a subject including a gas leak monitoring target (for example, a place where gas transport pipes are connected). Any infrared image captured in time series may be used, and the image is not limited to a moving image.
  • the infrared camera 2 includes an optical system 4, a filter 5, a two-dimensional image sensor 6, and a signal processing unit 7.
  • the optical system 4 forms an infrared image of the subject on the two-dimensional image sensor 6.
  • the filter 5 is disposed between the optical system 4 and the two-dimensional image sensor 6, and allows only infrared light having a specific wavelength to pass through the light that has passed through the optical system 4.
  • the wavelength band that passes through the filter 5 depends on the type of gas to be detected. For example, in the case of methane, a filter 5 that passes a wavelength band of 3.2 to 3.4 ⁇ m is used.
  • the two-dimensional image sensor 6 is a cooled indium antimony (InSb) image sensor, for example, and receives the infrared rays that have passed through the filter 5.
  • the signal processing unit 7 converts the analog signal output from the two-dimensional image sensor 6 into a digital signal and performs known image processing. This digital signal becomes the moving image data MD.
  • the gas detection image processing device 3 is a personal computer, a smartphone, a tablet terminal, or the like, and includes an image data input unit 8, an image processing unit 9, a display control unit 10, a display unit 11, and an input unit 12 as functional blocks.
  • the image data input unit 8 is a communication interface that communicates with a communication unit (not shown) of the infrared camera 2.
  • the moving image data MD sent from the communication unit of the infrared camera 2 is input to the image data input unit 8.
  • the image data input unit 8 sends the moving image data MD to the image processing unit 9.
  • the image processing unit 9 is realized by a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), an HDD (Hard Disk Drive), and the like, and performs predetermined processing on the moving image data MD.
  • the predetermined process is, for example, a process for generating time-series pixel data from the moving image data MD.
  • FIG. 2 is an explanatory diagram for explaining the time-series pixel data D1.
  • the moving image indicated by the moving image data MD has a structure in which a plurality of frames are arranged in time series. Data obtained by arranging pixel data of pixels at the same position in time series in a plurality of frames (a plurality of infrared images) is referred to as time series pixel data D1.
  • K be the number of frames of a moving image of an infrared image.
  • One frame is composed of M pixels, that is, a first pixel, a second pixel,..., An M ⁇ 1th pixel, and an Mth pixel.
  • Based on the pixel data (pixel value) physical quantities such as luminance and temperature are determined.
  • Pixels in the same position in multiple (K) frames mean pixels in the same order.
  • the pixel data of the first pixel included in the first frame the pixel data of the first pixel included in the second frame,..., The (K ⁇ 1) th frame.
  • Data obtained by arranging the pixel data of the first pixel included in the pixel data and the pixel data of the first pixel included in the Kth frame in time series becomes the time series pixel data D1 of the first pixel.
  • the pixel data of the Mth pixel included in the first frame, the pixel data of the Mth pixel included in the second frame the pixel data of the Mth pixel included in the second frame,..., The (K ⁇ 1) th frame.
  • the time-series pixel data D1 of the Mth pixel is obtained by arranging the pixel data of the Mth pixel included in the pixel data and the pixel data of the Mth pixel included in the Kth frame in time series.
  • the number of time-series pixel data D1 is the same as the number of pixels constituting one frame.
  • the image processing unit 9 includes a first processing unit 91, a second processing unit 92, a calculation unit 93, and a determination unit 94. These will be described later.
  • the display control unit 10 is realized by a CPU, RAM, ROM, HDD, and the like, and causes the display unit 11 to display an image or the like indicated by the moving image data MD.
  • the display unit 11 is realized by a liquid crystal display, for example.
  • the input unit 12 is realized by a keyboard, a touch panel, or the like, and performs various inputs related to gas detection.
  • the gas detection image processing apparatus 3 includes the display control unit 10, the display unit 11, and the input unit 12, but may be the gas detection image processing apparatus 3 that does not include these.
  • FIG. 1B is a block diagram showing a hardware configuration of the gas detection image processing apparatus 3 shown in FIG. 1A.
  • the gas detection image processing apparatus 3 includes a CPU 3a, a RAM 3b, a ROM 3c, an HDD 3d, a liquid crystal display 3e, a communication interface 3f, a keyboard 3g, and a bus 3h for connecting them.
  • the liquid crystal display 3 e is hardware that implements the display unit 11. Instead of the liquid crystal display 3e, an organic EL display (Organic Light Emitting Diode display), a plasma display, or the like may be used.
  • the communication interface 3 f is hardware that implements the image data input unit 8.
  • the keyboard 3g is hardware for realizing the input unit 12.
  • the HDD 3d stores programs for realizing these functional blocks for the image processing unit 9 and the display control unit 10, respectively.
  • the program that realizes the image processing unit 9 is a processing program that acquires the moving image data MD and performs the predetermined processing on the moving image data MD.
  • the program for realizing the display control unit 10 is a display control program for causing the display unit 11 to display an image (for example, a moving image indicated by the moving image data MD). These programs may be stored in the ROM 3c instead of the HDD 3d.
  • the CPU 3a reads out the processing program and the display control program from the HDD 3d, expands them in the RAM 3b, and executes the expanded programs to realize these functional blocks.
  • the processing program and the display control program are stored in advance in the HDD 3d, but are not limited thereto.
  • a recording medium for example, an external recording medium such as a magnetic disk or an optical disk
  • the program stored in the recording medium may be stored in the HDD 3d.
  • These programs may be stored in a server connected to the image processing apparatus 3 for gas detection via a network, and these programs may be sent to the HDD 3d via the network and stored in the HDD 3d.
  • the gas detection image processing apparatus 3 has a first mode to a third mode as described below. Each of these aspects is constituted by a plurality of elements. Accordingly, the HDD 3d stores a program for realizing these elements.
  • the first mode of the gas detection image processing apparatus 3 includes a first processing unit 91, a second processing unit 92, a calculation unit 93, and a determination unit 94 as elements.
  • the HDD 3d stores a program for realizing each of the first processing unit 91, the second processing unit 92, the calculation unit 93, and the determination unit 94. These programs are expressed as a first processing program, a second processing program, a calculation program, and a determination program.
  • the HDD that stores the first processing program, the HDD that stores the second processing program, the HDD that stores the calculation program, and the HDD that stores the determination program are different from each other. May be.
  • a server having an HDD storing a first processing program, a server having an HDD storing a second processing program, a server having an HDD storing a calculation program, and a determination program May be connected via a network (for example, the Internet).
  • a network for example, the Internet
  • at least one HDD may be an external HDD connected to a USB port or the like, or a network compatible HDD (NAS: Network Attached Storage).
  • At least two or more of these programs may be stored in the same HDD, and the remaining programs may be stored in an HDD different from this HDD (for example, the first processing program and the second processing program are stored in the first HDD).
  • the calculation program is stored in the second HDD, and the determination program is stored in the third HDD).
  • the first processing unit and the first processing program will be described as an example.
  • the first processing unit performs a first process of acquiring a first image including a first region image extracted from a predetermined region of the infrared image and indicating a region where a gas candidate appears, for a predetermined period.
  • the process is executed for each of a plurality of infrared images picked up in time series, and a plurality of first images are acquired.
  • the first processing program performs a first process for acquiring a first image including a first region image indicating a region where a gas candidate appears, extracted from a predetermined region of the infrared image for a predetermined period. Is a program that is executed for each of a plurality of infrared images picked up in time series and acquires a plurality of first images.
  • FIG. 15 A flowchart of these programs (first processing program, second processing program, calculation program, determination program) executed by the CPU 3a is FIG. 15 described later.
  • the present inventor found that a gas leak and a background temperature change occur in parallel, and if the background temperature change is larger than the temperature change due to the leaked gas, the background temperature If changes are not taken into account, it has been found that the state of gas leakage cannot be displayed as an image. This will be described in detail.
  • FIG. 3 is an image diagram showing, in time series, an infrared image obtained by photographing an outdoor test place in a state where gas leakage and background temperature change occur in parallel. These are infrared images obtained by shooting a moving image with an infrared camera. There is a point SP1 at the test place where gas can be ejected. For comparison with the point SP1, a point SP2 where no gas is ejected is shown.
  • the image I1 is an infrared image of the test place taken at time T1 immediately before the sunlight is blocked by the clouds.
  • the image I2 is an infrared image of the test place taken at time T2 after 5 seconds from time T1. At time T2, sunlight is blocked by clouds, so the background temperature is lower than at time T1.
  • the image I3 is an infrared image of the test place taken at time T3 10 seconds after time T1. From time T2 to time T3, the state in which the sunlight is blocked by the cloud is continued, so that the temperature of the background is lower at time T3 than at time T2.
  • the image I4 is an infrared image of the test place taken at time T4 15 seconds after time T1. From time T3 to time T4, the state in which sunlight is blocked by the cloud is continued, so that the background temperature is lower at time T4 than at time T3.
  • the background temperature has dropped by about 4 ° C in 15 seconds from time T1 to time T4. For this reason, the image I4 is generally darker than the image I1, and it can be seen that the background temperature is lowered.
  • FIG. 4A is a graph showing the temperature change at the point SP1 at the test location
  • FIG. 4B is a graph showing the temperature change at the point SP2 at the test location.
  • the vertical axis of these graphs indicates temperature.
  • the horizontal axis of these graphs indicates the frame order. For example, 45 means the 45th frame.
  • the frame rate is 30 fps. Therefore, the time from the first frame to the 450th frame is 15 seconds.
  • the graph showing the temperature change at the point SP1 is different from the graph showing the temperature change at the point SP2. Since no gas is ejected at the point SP2, the temperature change at the point SP2 indicates the background temperature change. On the other hand, since gas is ejected at the point SP1, gas is drifting at the point SP1. For this reason, the temperature change at the point SP1 indicates the temperature change obtained by adding the background temperature change and the temperature change caused by the leaked gas.
  • the moving image data MD (FIG. 1A) has low frequency component data D2 indicating a change in background temperature, in addition to the frequency component data indicating the temperature change due to the leaked gas, in addition to the frequency component data. Is included.
  • the image indicated by the low-frequency component data D2 (change in brightness of the background) makes the image indicated by the frequency component data invisible.
  • corresponds to the said frequency component data.
  • the graph showing the temperature change at the point SP2 corresponds to the low frequency component data D2.
  • the image processing unit 9 (FIG. 1A) generates a plurality of time-series pixel data D1 (that is, a plurality of time-series pixel data D1 constituting the moving image data MD) having different pixel positions from the moving image data MD.
  • the low frequency component data D2 is removed from each of the plurality of time series pixel data D1.
  • the plurality of time-series pixel data having different pixel positions refers to the time-series pixel data D1 of the first pixel, the time-series pixel data D1,. It means the time-series pixel data D1 of the pixels and the time-series pixel data D1 of the Mth pixel.
  • the frequency component data that is higher in frequency than the frequency component data indicating the temperature change due to the leaked gas and that indicates high frequency noise is referred to as high frequency component data D3.
  • the image processing unit 9 performs processing for removing the high-frequency component data D3 in addition to the processing for removing the low-frequency component data D2 for each of the plurality of time-series pixel data D1 constituting the moving image data MD.
  • the image processing unit 9 does not perform the process of excluding the low frequency component data D2 and the high frequency component data D3 in units of frames, but the low frequency component data D2 and the high frequency component data in units of time series pixel data D1. Processing excluding D3.
  • the gas detection image processing device 3 generates a monitoring image using an infrared image.
  • the monitoring image includes an image showing a region where the gas appears due to the gas leak.
  • the gas detection image processing device 3 detects gas leakage based on the monitoring image.
  • There are various methods for generating a monitoring image Here, an example of a method for generating a monitoring image will be described.
  • the monitoring image is generated using an infrared image of the monitoring target and the background.
  • FIG. 5 is a flowchart for explaining monitoring image generation processing.
  • the image processing unit 9 generates M pieces of time-series pixel data D1 from the moving image data MD (step S1).
  • the first predetermined number of frames is, for example, 21 frames.
  • the breakdown is a target frame, 10 consecutive frames before this, and 10 consecutive frames after this.
  • the first predetermined number is not limited to 21 but may be more than 21 or less than 21 as long as the low-frequency component data D2 can be extracted from the time-series pixel data D1.
  • the image processing unit 9 calculates a simple moving average in units of a third predetermined number (for example, 3) smaller than the first predetermined number (for example, 21) for the time-series pixel data D1.
  • a third predetermined number for example, 3
  • the first predetermined number for example, 21
  • the image processing unit 9 calculates a simple moving average in units of a third predetermined number (for example, 3) smaller than the first predetermined number (for example, 21) for the time-series pixel data D1.
  • the data extracted from the time series pixel data D1 is used as the high frequency component data D3, and M pieces of high frequency component data D3 corresponding to each of the M pieces of time series pixel data D1 are extracted (step S3).
  • FIG. 6 shows time-series pixel data D1 of pixels corresponding to the point SP1 (FIG. 4A), low-frequency component data D2 extracted from the time-series pixel data D1, and high-frequency component data D3 extracted from the time-series pixel data D1. It is a graph to show. The vertical axis and horizontal axis of the graph are the same as the vertical axis and horizontal axis of the graph of FIG. 4A.
  • the temperature indicated by the time-series pixel data D1 changes relatively abruptly (change period is relatively short), and the temperature indicated by the low-frequency component data D2 changes relatively slowly (change period). Is relatively long).
  • the high frequency component data D3 appears to substantially overlap the time series pixel data D1.
  • the third predetermined number of frames is, for example, 3 frames.
  • the breakdown is the target frame, the immediately preceding frame, and the immediately following frame.
  • the third predetermined number is not limited to 3 and may be more than 3 as long as the third frequency component can be extracted from the time-series pixel data.
  • the image processing unit 9 obtains data obtained by calculating the difference between the time-series pixel data D1 and the low-frequency component data D2 extracted from the time-series pixel data D1. Is the difference data D4, and M pieces of difference data D4 corresponding to each of the M pieces of time-series pixel data D1 are calculated (step S4).
  • the image processing unit 9 sets the difference data D5 as data obtained by calculating the difference between the time-series pixel data D1 and the high-frequency component data D3 extracted from the time-series pixel data D1, and M pieces of time-series pixel data. M pieces of difference data D5 corresponding to each of D1 are calculated (step S5).
  • FIG. 7A is a graph showing the difference data D4, and FIG. 7B is a graph showing the difference data D5.
  • the vertical and horizontal axes of these graphs are the same as the vertical and horizontal axes of the graph of FIG. 4A.
  • the difference data D4 is data obtained by calculating a difference between the time-series pixel data D1 and the low-frequency component data D2 shown in FIG. Before the gas ejection starts at the point SP1 shown in FIG. 4A (up to about the 90th frame), the minute amplitude repetition indicated by the difference data D4 mainly indicates the sensor noise of the two-dimensional image sensor 6. ing. After starting gas ejection at the point SP1 (the 90th and subsequent frames), the amplitude and waveform variations of the difference data D4 are large.
  • the difference data D5 is data obtained by calculating a difference between the time-series pixel data D1 and the high-frequency component data D3 shown in FIG.
  • the difference data D4 includes frequency component data indicating the temperature change due to the leaked gas and high frequency component data D3 (data indicating high frequency noise).
  • the difference data D5 does not include the frequency component data indicating the temperature change due to the leaked gas, but includes the high frequency component data D3.
  • the difference data D4 includes frequency component data indicating a temperature change due to the leaked gas, after the gas ejection is started at the point SP1 (the 90th and subsequent frames), the difference data D4 has large variations in amplitude and waveform. It has become.
  • the difference data D5 does not include frequency component data indicating a temperature change due to the leaked gas, this is not the case.
  • the difference data D5 repeats a minute amplitude. This is high frequency noise.
  • the difference data D4 and the difference data D5 are correlated, but not completely correlated. That is, in a certain frame, the value of the difference data D4 may be plus and the value of the difference data D5 may be minus or vice versa. For this reason, even if the difference between the difference data D4 and the difference data D5 is calculated, the high frequency component data D3 cannot be removed. In order to remove the high-frequency component data D3, it is necessary to convert the difference data D4 and the difference data D5 into values such as absolute values that can be subtracted.
  • the image processing unit 9 sets, as the standard deviation data D6, data obtained by calculating the moving standard deviation with the second predetermined number of frames smaller than K frames as a unit for the difference data D4. M pieces of standard deviation data D6 corresponding to each of the M pieces of time-series pixel data D1 are calculated (step S6). Note that the movement variance may be calculated instead of the movement standard deviation.
  • the image processing unit 9 uses the data obtained by calculating the moving standard deviation in units of a fourth predetermined number (for example, 21) fewer than K frames as the standard for the difference data D5.
  • a fourth predetermined number for example, 21
  • M standard deviation data D7 corresponding to each of the M time-series pixel data D1 are calculated (step S7).
  • moving variance may be used.
  • FIG. 8 is a graph showing standard deviation data D6 and standard deviation data D7.
  • the horizontal axis of the graph is the same as the horizontal axis of the graph of FIG. 4A.
  • the vertical axis of the graph indicates standard deviation.
  • the standard deviation data D6 is data indicating the moving standard deviation of the difference data D4 shown in FIG. 7A.
  • the standard deviation data D7 is data indicating the moving standard deviation of the difference data D5 illustrated in FIG. 7B.
  • the number of frames used for the calculation of the moving standard deviation is 21 in both the standard deviation data D6 and the standard deviation data D7. However, any number may be used as long as a statistically significant standard deviation is obtained. It is not limited.
  • the standard deviation data D6 and the standard deviation data D7 are standard deviations and do not include negative values. Therefore, the standard deviation data D6 and the standard deviation data D7 can be regarded as data converted so that the difference data D4 and the difference data D5 can be subtracted.
  • the image processing unit 9 sets difference data D8 as data obtained by calculating the difference between the standard deviation data D6 and the standard deviation data D7 obtained from the same time series pixel data D1, and M pieces of time series pixel data D1. M pieces of difference data D8 corresponding to each are calculated (step S8).
  • FIG. 9 is a graph showing the difference data D8.
  • the horizontal axis of the graph is the same as the horizontal axis of the graph of FIG. 4A.
  • the vertical axis of the graph is the standard deviation difference.
  • the difference data D8 is data indicating a difference between the standard deviation data D6 and the standard deviation data D7 shown in FIG.
  • the difference data D8 is data that has been processed to exclude the low-frequency component data D2 and the high-frequency component data D3.
  • the image processing unit 9 generates a monitoring image (step S9). That is, the image processing unit 9 generates a moving image composed of M pieces of difference data D8 obtained in step S8. Each frame constituting the moving image is a monitoring image.
  • the monitoring image is an image that visualizes the difference of the standard deviation.
  • the image processing unit 9 outputs the moving image obtained in step S9 to the display control unit 10.
  • the display control unit 10 displays this moving image on the display unit 11.
  • the monitoring images included in this moving image for example, there are an image I12 shown in FIG. 10 and an image I15 shown in FIG.
  • FIG. 10 is an image diagram showing an image I10, an image I11, and an image I12 generated based on the frame at time T1.
  • the image I10 is a frame image at time T1 in the moving image indicated by the M standard deviation data D6 obtained in step S6 of FIG.
  • the image I11 is a frame image at time T1 in the moving image indicated by the M standard deviation data D7 obtained in step S7 of FIG.
  • a difference between the image I10 and the image I11 is an image I12 (monitoring image).
  • FIG. 11 is an image diagram showing an image I13, an image I14, and an image I15 generated based on the frame at time T2.
  • the image I13 is an image of a frame at time T2 in the moving image indicated by the M standard deviation data D6 obtained in step S6.
  • the image I14 is an image of a frame at time T2 in the moving image indicated by the M standard deviation data D7 obtained in step S7.
  • the difference between the image I13 and the image I14 is an image I15 (monitoring image).
  • Each of the images I10 to I15 shown in FIGS. 10 and 11 is an image with a standard deviation multiplied by 5000.
  • the image I12 shown in FIG. 10 is an image taken before the gas is ejected from the point SP1 shown in FIG. 4A, the state in which the gas is emitted from the point SP1 does not appear in the image I12.
  • the image I15 shown in FIG. 11 is an image taken at the time when the gas is ejected from the point SP1, a state in which the gas is emitted from the point SP1 appears in the image I15.
  • the image processing unit 9 (FIG. 1A) generates the moving image data by performing the process of removing the low frequency component data D2 included in the moving image data MD of the infrared image
  • the display control unit 10 causes the display unit 11 to display the moving image (the moving image of the monitoring image) indicated by the moving image data. Therefore, according to the embodiment, the gas leakage and the background temperature change occur in parallel, and even when the background temperature change is larger than the temperature change due to the leaked gas, the state of the gas leak is monitored. Can be displayed in the video.
  • FIG. 12 is an image diagram showing an image 100 cut out from the infrared image.
  • the image 100 includes a tower image 101. Heat from the heat source is reflected on the surface (reflecting surface) of the tower. The surface of the tower has a curved surface. Steam is present in the middle of the tower from the heat source. No gas appears in the vicinity of the tower, and there is no gas at one point SP3 on the surface of the tower. The point SP3 corresponds to one pixel of the image 100.
  • FIG. 13 is a graph showing a temperature change at the point SP3.
  • the horizontal axis and vertical axis of the graph are the same as the horizontal axis and vertical axis of the graph of FIG. 4A. Since the frame rate is 30 fps, a graph of temperature change for 10 seconds is shown. With reference to FIG. 4A and FIG. 13, the temperature change at point SP3 and the temperature change at point SP1 where gas is leaking are common in that the temperature is finely changed.
  • FIG. 14 is a graph showing difference data D8 generated based on the time-series pixel data D1 indicating the temperature change at the point SP3.
  • the horizontal axis of the graph is the same as the horizontal axis of the graph of FIG. 4A.
  • the vertical axis of the graph represents the standard deviation difference.
  • the difference data D8 is generated by performing the processing in steps S2 to S8 shown in FIG. 5 on the time-series pixel data D1 indicating the temperature change at the point SP3.
  • the difference data D8 during the period when the gas is out is larger than the difference data D8 during the period when the gas is out.
  • the difference data D8 shown in FIG. 14 is as large as the difference data D8 during the period when the gas is emitted. Therefore, when the difference data D8 shown in FIG. 14 is obtained, the gas detection image processing apparatus 3 may erroneously detect gas.
  • Embodiments include a first aspect to a third aspect. The first aspect will be described.
  • FIG. 15 is a flowchart of processing executed in the first aspect of the embodiment.
  • the first processing unit 91 generates a moving image of the monitoring image based on the moving image data MD (step S100). More specifically, the first processing unit 91 performs the processing of steps S1 to S9 shown in FIG. 5 for the moving image data MD. Thereby, each frame constituting the moving image becomes a monitoring image from the infrared image, and the moving image of the monitoring image is generated.
  • the monitoring images are, for example, an image I12 shown in FIG. 10 and an image I15 shown in FIG. If a gas candidate has appeared, a first region image indicating a region in which the gas candidate has appeared is included in the monitoring image.
  • An image indicating a region where gas appears may be a first region image, or an image generated due to the above case (hereinafter, a non-gas region image) may be a first region image.
  • 1 region image may be obtained.
  • the image I15 is an image 2 seconds after the start of gas ejection.
  • a white area located near the center of the image I15 is the first area image.
  • the first region image is a gas region image.
  • the first region image is obtained by the processing of step S1 to step S9.
  • a known technique for obtaining a gas region image by image processing for an infrared image for example, disclosed in Patent Document 1).
  • the first region image may be obtained using image processing.
  • the processing in step S100 is processing for extracting the first region image from the infrared image.
  • the infrared image that has been processed to extract the first region image is a monitoring image.
  • the first processing unit 91 sets a predetermined area including the first area image as each monitoring image, and acquires the predetermined area as the first image (step S101). That is, the first processing unit 91 sets a predetermined region including the first region image in each infrared image that has been subjected to the process of extracting the first region image, and acquires the predetermined region as the first image. To do.
  • FIG. 16 is an explanatory diagram illustrating the first image 1I and the second image 2I generated by the first aspect of the embodiment when steam is present in the middle of the reflection surface from the heat source.
  • FIG. 16 shows a first image 1I cut out from the monitoring image.
  • the first processing unit 91 may automatically cut out the first image 1I from the monitoring image, or the user actually operates the gas detection system 1 and confirms a region where reflection that is erroneously recognized as gas occurs. However, it may be cut out manually. In the latter case, the user determines the size of the first image 1I so that the first region image 1i is included in the first image 1I. The determined size is stored in the first processing unit 91 in advance.
  • the first processing unit 91 binarizes the monitoring image shown in FIGS. 10 and 11 (that is, for example, the difference data D8 shown in FIG. 9 and the difference data D8 shown in FIG. After binarization with a predetermined threshold (for example, 0.02), labeling processing is performed, and the image is automatically cut out.
  • a predetermined threshold for example, 0.02
  • each first image 1I shown in FIG. 16 is a first image 1I set in each frame (each monitoring image) constituting the moving image.
  • the first image 1I-1 is the first image 1I set as the first monitoring image
  • the first image 1I-2 is the first image set as the second monitoring image.
  • the first image 1I-3 is the first image 1I set as the third monitoring image
  • the first image 1I-4 is the first image set as the Nth monitoring image.
  • the first image 1I-5 is the first image 1I set as the (N + 1) th monitoring image
  • the first image 1I-6 is set as the (N + 2) th monitoring image. This is the first image 1I.
  • the first image 1I is a part of the monitoring image and has a rectangular shape.
  • the shape of the first image 1I is not limited to a rectangular shape.
  • the value of each pixel constituting the first image 1I is a difference in standard deviation.
  • an image composed of pixels other than black pixels is the first region image 1i.
  • the first region image 1i does not always have the same shape, and changes with time. This is because steam exists in the middle of the reflective surface from the heat source.
  • the first processing unit 91 performs the first processing on the plurality of infrared images captured in time series in each of the two predetermined periods (0 second to 5 seconds, 5 seconds to 10 seconds). (Step S100 and Step S101).
  • the first process is a process of acquiring the first image 1I including the first region image 1i extracted from the predetermined region of the infrared image.
  • the first processing unit 91 performs a first process on each of a plurality of infrared images captured in time series in a predetermined period (0 to 5 seconds), and performs a plurality of first images 1I (first ), And a plurality of infrared images captured in time series for a predetermined period (5 to 10 seconds), and the first image 1I-2, the first image 1I-2, the first image 1I-3,. For each of these, a first process is performed to obtain a plurality of first images 1I (first image 1I-4, first image 1I-5, first image 1I-6,). To do.
  • the first processing unit 91 performs processing for extracting the first region image 1i for each infrared image (step S100), and each infrared image subjected to this processing.
  • a predetermined area including the first area image 1i is set, and the predetermined area is acquired as the first image 1I (step S101).
  • the user may set a predetermined region in the infrared image in advance. The modification is applied when a location where gas is likely to appear is known in advance.
  • the input unit 12 functions as a first input unit.
  • the display control unit 10 displays a moving image (infrared image moving image) indicated by the moving image data MD on the display unit 11.
  • the user operates the input unit 12 to set a predetermined region in the infrared image displayed on the display unit 11.
  • the first processing unit 91 When the input unit 12 is operated and a predetermined region is set in the infrared image, the first processing unit 91 performs a process of extracting the first region image 1i from the entire infrared image. Instead, the first region image 1i is extracted from the predetermined region. The first processing unit 91 acquires the predetermined area subjected to this processing as the first image 1I.
  • the modification since the process of extracting the first region image 1i is performed not on the entire infrared image but on a predetermined region set in the infrared image, the amount of image processing can be reduced.
  • the modification can also be applied to the second aspect and the third aspect of the embodiments described later.
  • the second processing unit 92 generates two second images 2I-1 and 2I-2 (step S102).
  • the second processing unit 92 includes a plurality of first images 1I (first images 1I-1, 1A-1) acquired from each frame (each monitoring image) constituting a moving image of 0 to 5 seconds (predetermined period). Using the first image 1I-2, the first image 1I-3,..., A second image 2I-1 is generated. More specifically, the second processing unit 92 determines the maximum value of the values (in this case, the standard deviation difference) indicated by the pixels from the pixels located in the same order in the plurality of first images 1I. .
  • the second processing unit 92 sets the maximum value as the value of the pixel located in the above order in the second image 2I-1. More specifically, the second processing unit 92 determines the maximum value indicated by the first pixel in the plurality of first images 1I, and uses this value as 1 of the second image 2I-1. The value of the second pixel. The second processing unit 92 determines the maximum value indicated by the second pixel in the plurality of first images 1I, and uses this value as the value of the second pixel of the second image 2I-1. To do. The second processing unit 92 performs the same process for the third and subsequent pixels.
  • the image included in the second image 2I-1 is an area where the gas candidate has appeared in at least a part of the predetermined period. It turned out that it becomes the image (2nd area
  • the second image 2I is generated using the maximum value of pixels located in the same order. There are other methods for generating the second image 2I. In the second aspect of the embodiment described later, the second image 2I is generated by another method.
  • the second processing unit 92 includes a plurality of first images 1I (first images 1I-4,...) Acquired from each frame (each monitoring image) constituting a moving image of 5 to 10 seconds (predetermined period).
  • a second image 2I-2 is generated using the first image 1I-5, the first image 1I-6,. Since the method for generating the second image 2I-2 is the same as the method for generating the second image 2I-1, description thereof will be omitted.
  • the second processing unit 92 performs the second processing on the plurality of first images 1I generated corresponding to each of the two predetermined periods (0 to 5 seconds, 5 to 10 seconds). To generate two second images 2I-1 and 2I-2. In the second process, a second image 2I including a second region image 2i indicating a region where a gas candidate has appeared in at least a part of a predetermined period is generated using the plurality of first images 1I. It is processing.
  • the calculating unit 93 calculates the similarity between the second image 2I-1 and the second image 2I-2 using Equation 1 (step S103).
  • Formula 1 shows the normalized cross correlation (NCC).
  • I (i, j) indicates coordinates on the second image 2I-1.
  • T (i, j) indicates coordinates on the second image 2I-2.
  • i represents a coordinate value in the x direction.
  • j represents a coordinate value in the y direction.
  • M indicates the number of pixels in the x direction of the second image 2I.
  • N indicates the number of pixels in the y direction of the second image 2I.
  • Normalized cross-correlation is a value in the range of -1 to +1. When there is no correlation between the second image 2I-1 and the second image 2I-2, the normalized cross-correlation is zero. As the positive correlation between the second image 2I-1 and the second image 2I-2 increases, the normalized cross-correlation approaches +1. As the negative correlation between the second image 2I-1 and the second image 2I-2 becomes stronger, the normalized cross-correlation approaches -1. As the normalized cross-correlation approaches +1, the similarity between the second image 2I-1 and the second image 2I-2 increases. The similarity between the second image 2I-1 and the second image 2I-2 is 0.979.
  • FIG. 17 is an explanatory diagram for explaining the first image 1I and the second image 2I generated by the first aspect of the embodiment when gas is present.
  • Each first image 1I shown in FIG. 17 is the first image 1I acquired from each frame (each monitoring image) that forms a 10-second moving image, as in FIG.
  • the second image 2I-3 includes a plurality of first images 1I (first image 1I-7, first image 1I) acquired from each frame (each monitoring image) constituting a moving image of 0 to 5 seconds. ⁇ 8, the first image 1I-9,...)).
  • the second image 2I-4 is a first image 1I (first image 1I-10, first image 1I-11) acquired from each frame (each monitoring image) constituting a moving image of 5 to 10 seconds. , The first image 1I-12,).
  • the similarity between the second image 2I-3 and the second image 2I-4 is 0.855.
  • FIG. 18 is an image diagram showing the image 102 cut out from the infrared image.
  • Image 102 includes a tower image. Vapor is present in the middle of the tower from the light source.
  • FIG. 19 is an explanatory diagram illustrating the first image 1I and the second image 2I generated by the first aspect of the embodiment when steam is present in the middle of the reflection surface from the light source.
  • Each first image 1I shown in FIG. 19 is the first image 1I acquired from each frame (each monitoring image) constituting a 10-second moving image, as in FIG.
  • the second image 2I-5 is a first image 1I (first image 1I-13, first image 1I-14) acquired from each frame (each monitoring image) constituting a moving image of 0 to 5 seconds.
  • First image 1I-15 The second image 2I-6 is a first image 1I (first image 1I-16, first image 1I-17) acquired from each frame (each monitoring image) constituting a moving image of 5 to 10 seconds.
  • the first image 1I-18 The similarity between the second image 2I-5 and the second image 2I-6 is 0.917.
  • the similarity threshold is 0.900, for example, the gas candidate can be identified as a gas.
  • the determination unit 94 compares the similarity with a threshold value (for example, 0.900), and determines that the gas candidate is not a gas if the similarity exceeds the threshold value. If it is below, it determines with a gas candidate being gas (step S104).
  • two second images 2I are generated, and based on the similarity between these second images 2I, whether or not the gas candidate is a gas is determined. Since the determination is made, the accuracy of gas detection can be improved.
  • the length of the two predetermined periods has been described by taking 5 seconds as an example, but is not limited to 5 seconds (for example, 10 seconds).
  • the lengths of the two predetermined periods may be the same or different.
  • FIG. 20 is a flowchart of processing executed in the second mode of the embodiment.
  • the 1st process part 91 produces
  • the first processing unit 91 performs binarization processing on each frame (each monitoring image) constituting the moving image generated in step S200 (step S201).
  • the threshold value used in this process will be described.
  • FIG. 21 is a graph obtained by adding a threshold value to the graph shown in FIG.
  • This graph is a graph showing a change in the value of the pixel corresponding to the location where the gas does not appear (point SP3).
  • This graph shows the difference data D8. Since the frame rate is 30 fps, differential data D8 for 10 seconds is shown. The difference data D8 in this graph is always greater than 0.02. Therefore, here, the threshold value of the binarization process is set to 0.02.
  • each frame (each binarized image) constituting the moving image binarized in step S201 includes a first region image 1i indicating a region where a gas candidate appears.
  • FIG. 22 is an explanatory diagram for explaining the first image 1I and the second image 2I generated by the second aspect of the embodiment when steam is present in the middle of the reflection surface from the heat source.
  • the reflective surface is the surface of the tower.
  • the first processing unit 91 acquires the first image 1I from each frame (each binarized image) constituting a moving image for 10 seconds by the same process as step S101 of the first mode (step S202).
  • the second processing unit 92 generates two second images 2I-7 and 2I-8 (step S203).
  • the second processing unit 92 includes a plurality of first images 1I (first images 1I ⁇ ) acquired from each frame (each binarized image) constituting a moving image of 0 to 5 seconds (predetermined period). 19, the second image 2I-7 is generated using the first image 1I-20, the first image 1I-21,. More specifically, the pixels constituting the first region image 1i are white pixels, and the other pixels are black pixels. If at least one white pixel is present in the same order of pixels in the plurality of first images 1I, the second processing unit 92 is a pixel located in the above order in the second image 2I-7. Is a white pixel.
  • the second processing unit 92 determines that if there is at least one white pixel among the first pixels in the plurality of first images 1I, The second pixel is a white pixel. If there is at least one white pixel among the second pixels in the plurality of first images 1I, the second processing unit 92 sets the second pixel as a white pixel in the second image 2I-7. And The second processing unit 92 performs the same process for the third and subsequent pixels.
  • the image included in the second image 2I-7 is an area where the gas candidate has appeared in at least a part of the predetermined period. It turned out that it becomes the image (2nd area
  • the second processing unit 92 includes a plurality of first images 1I (first images 1I ⁇ ) acquired from each frame (each binarized image) constituting a moving image of 5 to 10 seconds (predetermined period). 22, a first image 1I-23, a first image 1I-24,...) Are used to generate a second image 2I-8. Since the method for generating the second image 2I-8 is the same as the method for generating the second image 2I-7, description thereof is omitted.
  • the calculating unit 93 calculates the similarity between the second image 2I-7 and the second image 2I-8 using Expression 2 (step S204).
  • Equation 2 shows the ratio of the pixels located in the same order in the second image 2I-7 and the second image 2I-8. Equation 2 will be described in detail.
  • the second image 2I is a binarized image.
  • the calculation unit 93 determines whether or not the pixels located in the same order match in the second image 2I-7 and the second image 2I-8. If one is a black pixel and the other is a white pixel, the pixels do not match. Pixels positioned in this order are not coincident pixels. If both are white pixels, the pixels match. Pixels positioned in this order are coincident pixels. If both are black pixels, the pixels match. Pixels positioned in this order are coincident pixels.
  • the total number of pixels in Equation 2 is the number of pixels in one second image 2I.
  • the number of matching pixels is the total number of matching pixels.
  • the similarity between the second image 2I-7 and the second image 2I-8 is 0.97.
  • FIG. 23 is an explanatory diagram for explaining the first image 1I and the second image 2I generated by the second aspect of the embodiment when gas is present.
  • Each first image 1I shown in FIG. 23 is the first image 1I acquired from each frame (each monitoring image) constituting a 10-second moving image, as in FIG.
  • the second image 2I-9 includes a plurality of first images 1I (first image 1I-25, first image) acquired from each frame (each binarized image) constituting a moving image of 0 to 5 seconds. This is a second image 2I generated using the image 1I-26, the first image 1I-27,.
  • the second image 2I-10 is a first image 1I (first image 1I-28, first image 1I) obtained from each frame (each binarized image) constituting a moving image of 5 to 10 seconds. -29, first image 1I-30,...)).
  • the similarity between the second image 2I-9 and the second image 2I-10 is 0.69.
  • the similarity threshold is 0.90, for example, it is possible to identify whether or not the gas candidate is a gas.
  • the determination unit 94 compares the similarity with a threshold (for example, 0.90), and determines that the gas candidate is not a gas if the similarity exceeds the threshold, and the similarity is equal to or less than the threshold. If so, it is determined that the gas candidate is a gas (step S205).
  • the similarity is calculated using Equation 2, but the similarity may be calculated using Equation 1.
  • a third aspect of the embodiment will be described.
  • the similarity of the second image 2I exceeds the threshold value, it is determined that the gas candidate is not a gas.
  • the following determination process is performed in addition to the similarity in order to further increase the determination accuracy of whether or not the gas candidate is a gas.
  • the input unit 12 functions as a second input unit.
  • a user operates the input unit 12 to set a range of a reflection surface that may reflect at least one of light and heat in an infrared image in advance.
  • the reflecting surface is, for example, a tower surface.
  • FIG. 24 is an image diagram showing the infrared image 103 in which the range 104 of the reflection surface is set.
  • a reflection surface range 104 is set in the tower image 101.
  • the reflection surface range 104 is set in each frame constituting the moving image indicated by the moving image data MD (set in each infrared image).
  • FIG. 25 is an image diagram showing a first image 1I generated from the infrared image 103 shown in FIG.
  • the determination unit 94 determines whether or not the first region image 1i included in the first image 1I protrudes from the range 104 of the reflection surface.
  • the determination unit 94 determines whether or not the gas candidate is a gas based on whether or not the first region image 1I protrudes from the reflection surface range 104 and the similarity of the second image 2I.
  • the similarity may be the similarity calculated in the first mode (step S103 in FIG. 15) or the similarity calculated in the second mode (step S204 in FIG. 20).
  • the first region image 1i may exceed the range 104 of the reflecting surface.
  • the first region image 1 i does not exceed the range 104 of the reflecting surface. Therefore, when the first region image 1i exceeds the reflection surface range 104, the gas candidate may be a gas.
  • the third aspect of the embodiment is based on the similarity of the second image 2I and whether or not the gas candidate is a gas based on whether or not the first region image 1i protrudes from the range 104 of the reflecting surface. Determine whether. Therefore, according to the 3rd mode of an embodiment, the accuracy of gas detection can be raised more.
  • a monitoring period in which the determination unit 94 monitors whether or not the first region image 1i exceeds the reflection surface range 104 (in other words, whether or not the first region image 1i exceeds the reflection surface range 104.
  • the number of first images 1I to be determined) is arbitrary.
  • the determination unit 94 may make the monitoring period parallel to two predetermined periods (0 to 5 seconds, 5 seconds to 10 seconds). In this case, the monitoring period is 10 seconds. The longer the monitoring period, the higher the accuracy of discrimination between gas and reflection with less fluctuation. This is because if the monitoring time is short, the first region image 1i may not exceed the reflection surface range 104 even when gas is present.
  • the determination unit 94 when the similarity of the second image 2I exceeds the threshold, and the first region image 1i does not exceed the reflection surface range 104 in the monitoring period of 10 seconds, It is determined that the gas candidate is highly likely to be generated due to reflection. Then, the determination unit 94 determines that the gas candidate is generated due to reflection when the first region image 1i does not exceed the range 104 of the reflecting surface in a period longer than the monitoring period (for example, 1 minute). May be.
  • the gas detection image processing apparatus obtains a first image including a first region image extracted from a predetermined region of an infrared image and indicating a region where a gas candidate appears. Performing a first process on each of the plurality of infrared images captured in time series in a predetermined period, and acquiring a plurality of the first images; and at least the predetermined period A second process of performing a second process of generating a second image including a second region image indicating a region where the gas candidate has appeared using a plurality of the first images. A section. The first processing unit performs the first process on the plurality of infrared images captured in time series in each of the two or more predetermined periods.
  • the second processing unit generates the two or more second images by performing the second process on the plurality of first images generated corresponding to each of the two or more predetermined periods. To do.
  • the gas detection image processing apparatus according to the first aspect of the embodiment further includes a determination unit that determines whether the gas candidate is a gas based on the similarity between two or more second images.
  • the first region image is generated not only when the gas appears, but also in the cases (1) to (4) described above (for example, steam or the like is present in the middle of the reflection surface from the heat source).
  • the second region image included in the second image is an image indicating a region where the gas candidate has appeared in at least a part of the predetermined period.
  • the predetermined period may be the entire period (5 seconds) or a part of the predetermined period (for example, 1 second).
  • the present inventor found that the similarity between the second images is relatively low when gas is present, and the similarity between the second images is relatively high when the causes are (1) to (4). I found out that More specifically, when the reflection caused by the above (1) to (4) occurs in a predetermined period, the reflected points are different when individual times in the predetermined period are compared. That is, when the first region image is generated due to (1) to (4), the similarity between the first images is relatively low. When the whole period is compared, the reflected points are similar. That is, in the cases (1) to (4), the similarity between the second images is relatively high.
  • the gas fluctuates irregularly.
  • the locations where the gas appears are different. That is, when the first region image is generated due to the appearance of gas, the similarity between the first images is relatively low. This is the same as in the case of reflection. Comparing the whole of the predetermined period, the part where the gas appears is not similar. That is, when gas appears, the similarity between the second images is relatively low.
  • the determination unit determines whether the gas candidate is a gas based on the similarity between two or more second images. For example, when there are two second images, if the similarity between the two second images exceeds a predetermined threshold, the determination unit determines that the gas candidate is not a gas, and the similarity is If it is equal to or less than the predetermined threshold, the gas candidate is determined to be gas. For example, when there are three or more second images, the determination unit uses one second image as the reference image, and the similarity between the reference image and the remaining second images exceeds the threshold value. For example, it is determined that the gas candidate is not a gas, and if at least one of the similarities is equal to or less than a predetermined threshold value, the gas candidate is determined to be a gas.
  • two or more second images are generated, and the gas is determined based on the similarity between the second images. Since it is determined whether a candidate is gas, the accuracy of gas detection can be improved.
  • Two or more predetermined periods may be continuous (for example, one predetermined period is 0 to 5 seconds, another predetermined period is 5 to 10 seconds), or may be separated (for example, A certain predetermined period between 0 and 5 seconds, another predetermined period between 10 seconds and 15 seconds), and some may overlap (for example, a certain predetermined period between 0 and 5 seconds; The predetermined period of 3 seconds to 8 seconds).
  • the determination unit may calculate the degree of similarity using normalized cross-correlation, and in the two or more second images binarized, the ratio of pixels that are located in the same order matches.
  • the similarity may be calculated.
  • the first processing unit performs an extraction process for extracting the first region image from the infrared image, and the first image is extracted from the infrared image that has been subjected to the extraction process.
  • the predetermined area including the area image is set, and the predetermined area is acquired as the first image.
  • This configuration performs a process of extracting a first region image (that is, an image showing a region where a gas candidate appears) for the entire infrared image.
  • the method of extracting the first region image is not limited to this, and a process of extracting the first region image may be performed on a part of the infrared image. This is shown below.
  • the image processing apparatus further includes a first input unit, and the first processing unit operates in the predetermined region when the predetermined region is set in the infrared image by operating the first input unit.
  • the first processing unit operates in the predetermined region when the predetermined region is set in the infrared image by operating the first input unit.
  • an extraction process for extracting the first area image is performed, and the predetermined area subjected to the extraction process is acquired as the first image.
  • This configuration is applied when a location where gas is likely to appear is known in advance. According to this configuration, since the first region image is extracted with respect to a predetermined region set in the infrared image instead of the entire infrared image, the amount of image processing can be reduced.
  • the second processing unit uses, as a value of pixels positioned in the order of the second image, a maximum value indicated by pixels positioned in the same order in the plurality of first images. Set to generate the second image.
  • the second image generated by this configuration is a first example of the second image.
  • the maximum value of the first pixel is 0.2 in the plurality of first images
  • the value of the first pixel is 0.2 in the second image.
  • the values of the remaining pixels of the second image are determined in the same manner.
  • the image contained in a 2nd image will show the area
  • the second processing unit sets, in the plurality of first images, pixels that exceed a predetermined threshold as pixels constituting the second region image, Generate an image.
  • the second image generated by this configuration is a second example of the second image.
  • a plurality of first images are binarized and the first region image is composed of white pixels.
  • the pixels located in that order in the second image are white pixels.
  • the second region image is composed of white pixels.
  • the image forming apparatus further includes a second input unit, and the determination unit has a reflection surface range in which at least one of light and heat may be reflected when the second input unit is operated.
  • the determination unit When the plurality of infrared images are set, it is determined whether the first region image included in the first image protrudes from the range, and the determination unit protrudes from the range. Whether or not the gas candidate is a gas is determined based on whether or not the gas is present and the similarity.
  • the user presets the range of the reflective surface that may reflect at least one of light and heat in the infrared image.
  • This range is, for example, a tower image range or a piping image range.
  • the first region image may exceed the range of the reflecting surface.
  • the first region image does not exceed the range of the reflection surface. Therefore, when the first region image exceeds the range of the reflecting surface, the gas candidate may be a gas.
  • this configuration determines whether or not the gas candidate is a gas based on the similarity of the second image and whether or not the first region image protrudes from the range of the reflecting surface. Therefore, according to this configuration, the accuracy of gas detection can be further increased.
  • the gas detection image processing method acquires a first image including a first region image extracted from a predetermined region of an infrared image and indicating a region where a gas candidate appears. Performing a first process on each of the plurality of infrared images captured in time series in a predetermined period, and acquiring a plurality of the first images; and at least the predetermined period A second process of performing a second process of generating a second image including a second region image indicating a region where the gas candidate has appeared using a plurality of the first images. Steps.
  • the first processing step performs the first processing on the plurality of infrared images captured in time series in each of the two or more predetermined periods.
  • the second processing step generates the two or more second images by performing the second processing on the plurality of the first images generated corresponding to each of the two or more predetermined periods. To do.
  • the image processing method for gas detection according to the second aspect of the embodiment further includes a determination step of determining whether or not the gas candidate is a gas based on the similarity of two or more second images.
  • the image processing method for gas detection according to the second aspect of the embodiment defines the image processing apparatus for gas detection according to the first aspect of the embodiment from the viewpoint of the method, and the gas detection according to the first aspect of the embodiment. This has the same effect as the image processing apparatus for use.
  • the gas detection image processing program acquires a first image including a first region image extracted from a predetermined region of an infrared image and indicating a region where a gas candidate appears. Performing a first process on each of the plurality of infrared images captured in time series in a predetermined period, and acquiring a plurality of the first images; and at least the predetermined period A second process of performing a second process of generating a second image including a second region image indicating a region where the gas candidate has appeared using a plurality of the first images. And causing the computer to execute the steps.
  • the first processing step performs the first processing on the plurality of infrared images captured in time series in each of the two or more predetermined periods.
  • the second processing step generates the two or more second images by performing the second processing on the plurality of the first images generated corresponding to each of the two or more predetermined periods. To do.
  • the image processing program for gas detection according to the third aspect of the embodiment further includes a determination step for determining whether or not the gas candidate is a gas based on the similarity of two or more second images. Let it run.
  • the gas detection image processing program according to the third aspect of the embodiment defines the gas detection image processing apparatus according to the first aspect of the embodiment from the viewpoint of the program, and the gas detection according to the first aspect of the embodiment. This has the same effect as the image processing apparatus for use.
  • the gas detection image processing apparatus may include a calculation unit that calculates the similarity of two or more second images instead of the determination unit. The same applies to the gas detection image processing method according to the second aspect of the embodiment and the gas detection image processing program according to the third aspect of the embodiment.
  • the present invention it is possible to provide a gas detection image processing apparatus, a gas detection image processing method, and a gas detection image processing program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Examining Or Testing Airtightness (AREA)

Abstract

ガス検知用画像処理装置３は、第１の処理部９１と、第２の処理部９２と、算出部９３と、を備える。第１の処理部９１は、２以上の所定期間のそれぞれにおいて、時系列に撮像された複数の赤外画像に関して、第１の処理をする。第１の処理は、ガス候補が出現している領域を示す第１の領域像１ｉを含む第１の画像１Ｉを取得する処理である。第２の処理部９２は、２以上の所定期間のそれぞれに対応して生成された複数の第１の画像１Ｉに第２の処理をして、２以上の第２の画像２Ｉを生成する。第２の処理は、所定期間の少なくとも一部において、ガス候補が出現していた領域を示す第２の領域像２ｉを含む第２の画像２Ｉを、複数の第１の画像１Ｉを用いて生成する処理である。算出部９３は、２以上の第２の画像２Ｉの類似度を算出する。

Description

ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
　本発明は、赤外画像を利用してガスを検知する技術に関する。
　ガス漏れが発生したとき、漏れたガスが漂っている領域では、わずかな温度変化が生じる。この原理を利用してガス検知する技術として、赤外画像を利用したガス検知が知られている。
　赤外画像を利用したガス検知として、例えば、特許文献１は、検査対象領域を撮影する赤外線カメラと、赤外線カメラにより撮影された赤外画像を処理する画像処理部と、を有し、画像処理部は、時系列に並べられた複数の赤外画像からガス漏れによる動的なゆらぎを抽出するゆらぎ抽出部を有するガス漏れ検出装置を開示している。
　ガス検知がされる場所（例えば、ガスプラント）には、反射面となる物がある（例えば、塔、配管）。反射面は、熱源からの熱を反射したり、光源（太陽）からの光を反射したりする。本発明者は、以下の場合、ガスの誤検知が発生することを見出した。
　（１）熱源から反射面の途中に蒸気等が存在する。
　（２）光源から反射面の途中に蒸気等が存在する
　（３）熱源から反射面の途中に蒸気等が存在しなくても、熱源がゆらぎ、この熱源からの熱が反射面で反射される。
　（４）光源から反射面の途中に蒸気等が存在しなくても、光源がゆらぎ、この光源からの光が反射面で反射される。
　例えば、光源から反射面の途中に蒸気が存在する場合、反射面に写る蒸気の影が、赤外画像にガスのように写るのである。光源がゆらぐと、ガスがゆらいでいるように、赤外画像に光源のゆらぎが写るのである。ゆらぎが発生する条件として、例えば、反射面が曲面であり、かつ、雲が移動することである。すなわち、雲が移動して太陽光を遮ったり、太陽光を遮っている雲が移動したりすると、反射面にあたる光の量が変わり、見かけの温度が変化することにより、ゆらぎが発生する。
特開２０１２－５８０９３号公報
　本発明は、ガスの検知精度を向上させることができるガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラムを提供することを目的とする。
　上述した目的を実現するために、本発明の一側面を反映したガス検知用画像処理装置は、第１の処理部と、第２の処理部と、算出部と、を備える。第１の処理部は、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す第１の領域像を含む第１の画像を取得する第１の処理を、所定期間において時系列に撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得する。第２の処理部は、前記所定期間の少なくとも一部において、前記ガス候補が出現していた領域を示す第２の領域像を含む第２の画像を、複数の前記第１の画像を用いて生成する第２の処理をする。前記第１の処理部は、２以上の前記所定期間のそれぞれにおいて、時系列に撮像された複数の前記赤外画像に関して、前記第１の処理をする。前記第２の処理部は、２以上の前記所定期間のそれぞれに対応して生成された複数の前記第１の画像に前記第２の処理をして、２以上の前記第２の画像を生成する。算出部は、２以上の前記第２の画像の類似度を算出する。
　発明の１又は複数の実施形態により与えられる利点及び特徴は以下に与えられる詳細な説明及び添付図面から十分に理解される。これら詳細な説明及び添付図面は、例としてのみ与えられるものであり本発明の限定の定義として意図されるものではない。
実施形態に係るガス検知システムの構成を示すブロック図である。 図１Ａに示すガス検知用画像処理装置のハードウェア構成を示すブロック図である。 時系列画素データＤ１を説明する説明図である。 ガス漏れと背景の温度変化とが並行して発生している状態で、屋外の試験場所を撮影した赤外画像を時系列で示す画像図である。 試験場所の地点ＳＰ１の温度変化を示すグラフである。 試験場所の地点ＳＰ２の温度変化を示すグラフである。 監視画像の生成処理を説明するフローチャートである。 地点ＳＰ１（図３）に対応する画素の時系列画素データＤ１、時系列画素データＤ１から抽出された低周波数成分データＤ２、時系列画素データＤ１から抽出された高周波数成分データＤ３を示すグラフである。 差分データＤ４を示すグラフである。 差分データＤ５を示すグラフである。 標準偏差データＤ６及び標準偏差データＤ７を示すグラフである。 差分データＤ８を示すグラフである。 時刻Ｔ１のフレームを基にして生成された、画像Ｉ１０、画像Ｉ１１及び画像Ｉ１２を示す画像図である。 時刻Ｔ２のフレームを基にして生成された、画像Ｉ１３、画像Ｉ１４及び画像Ｉ１５を示す画像図である。 赤外画像から切り出された画像を示す画像図である。 地点ＳＰ３の温度変化を示すグラフである。 地点ＳＰ３の温度変化を示す時系列画素データＤ１を基にして生成された差分データＤ８を示すグラフである。 実施形態の第１態様で実行される処理のフローチャートである。 熱源から反射面の途中に蒸気が存在する場合に、実施形態の第１態様によって生成された第１の画像１Ｉと第２の画像２Ｉとを説明する説明図である。 ガスが出現している場合に、実施形態の第１態様によって生成された第１の画像１Ｉと第２の画像２Ｉとを説明する説明図である。 赤外画像から切り出された画像を示す画像図である。 光源から反射面の途中に蒸気が存在する場合に、実施形態の第１態様によって生成された第１の画像１Ｉと第２の画像２Ｉとを説明する説明図である。 実施形態の第２態様で実行される処理のフローチャートである。 図１４に示すグラフにしきい値を追加したグラフである。 熱源から反射面の途中に蒸気が存在する場合に、実施形態の第２態様によって生成された第１の画像１Ｉと第２の画像２Ｉとを説明する説明図である。 ガスが出現している場合に、実施形態の第２態様によって生成された第１の画像１Ｉと第２の画像２Ｉとを説明する説明図である。 反射面の範囲が設定された赤外画像を示す画像図である。 図２４に示す赤外画像から生成された第１の画像１Ｉを示す画像図である。
　以下、図面を参照して、本発明の１又は複数の実施形態が説明される。しかし、発明の範囲は、開示された実施形態に限定されない。
　各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し（例えば、第１の画像１Ｉ）、個別の構成を指す場合には添え字を付した参照符号で示す（例えば、第１の画像１Ｉ－１）。
　図１Ａは、実施形態に係るガス検知システム１の構成を示すブロック図である。ガス検知システム１は、赤外線カメラ２とガス検知用画像処理装置３とを備える。
　赤外線カメラ２は、ガス漏れの監視対象（例えば、ガス輸送管どうしが接続されている箇所）を含む被写体について、赤外画像の動画を撮影し、動画を示す動画データＭＤを生成する。時系列に撮像された複数の赤外画像であればよく、動画に限定されない。赤外線カメラ２は、光学系４、フィルター５、二次元イメージセンサー６及び信号処理部７を備える。
　光学系４は、被写体の赤外画像を二次元イメージセンサー６上で結像させる。フィルター５は、光学系４と二次元イメージセンサー６との間に配置され、光学系４を通過した光のうち、特定波長の赤外線のみを通過させる。赤外の波長帯のうち、フィルター５を通過させる波長帯は、検知するガスの種類に依存する。例えばメタンの場合、３．２～３．４μｍの波長帯を通過させるフィルター５が用いられる。二次元イメージセンサー６は、例えば、冷却型インジウムアンチモン（ＩｎＳｂ）イメージセンサーであり、フィルター５を通過した赤外線を受光する。信号処理部７は、二次元イメージセンサー６から出力されたアナログ信号を、デジタル信号に変換し、公知の画像処理をする。このデジタル信号が、動画データＭＤとなる。
　ガス検知用画像処理装置３は、パーソナルコンピュータ、スマートフォン、タブレット端末等であり、機能ブロックとして、画像データ入力部８、画像処理部９、表示制御部１０、表示部１１及び入力部１２を備える。
　画像データ入力部８は、赤外線カメラ２の通信部（不図示）と通信する通信インターフェイスである。画像データ入力部８には、赤外線カメラ２の通信部から送られてきた動画データＭＤが入力される。画像データ入力部８は、動画データＭＤを画像処理部９へ送る。
　画像処理部９は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及び、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等によって実現され、動画データＭＤに所定の処理をする。所定の処理とは、例えば、動画データＭＤから時系列画素データを生成する処理である。
　時系列画素データを具体的に説明する。図２は、時系列画素データＤ１を説明する説明図である。動画データＭＤで示される動画は、フレームが時系列に複数並べられた構造を有する。複数のフレーム（複数の赤外画像）において、同じ位置にある画素の画素データを時系列に並べたデータを、時系列画素データＤ１とする。赤外画像の動画のフレーム数をＫとする。一つのフレームがＭ個の画素、すなわち、１番目の画素、２番目の画素、・・・、Ｍ－１番目の画素、Ｍ番目の画素で構成されている。画素データ（画素値）を基にして、輝度、温度等の物理量が定められる。
　複数（Ｋ個）のフレームの同じ位置にある画素とは、同じ順番の画素を意味する。例えば、１番目の画素で説明すると、１番目のフレームに含まれる１番目の画素の画素データ、２番目のフレームに含まれる１番目の画素の画素データ、・・・、Ｋ－１番目のフレームに含まれる１番目の画素の画素データ、Ｋ番目のフレームに含まれる１番目の画素の画素データを、時系列に並べたデータが、１番目の画素の時系列画素データＤ１となる。また、Ｍ番目の画素で説明すると、１番目のフレームに含まれるＭ番目の画素の画素データ、２番目のフレームに含まれるＭ番目の画素の画素データ、・・・、Ｋ－１番目のフレームに含まれるＭ番目の画素の画素データ、Ｋ番目のフレームに含まれるＭ番目の画素の画素データを、時系列に並べたデータが、Ｍ番目の画素の時系列画素データＤ１となる。時系列画素データＤ１の数は、一つのフレームを構成する画素の数と同じである。
　図１Ａを参照して、画像処理部９は、第１の処理部９１、第２の処理部９２、算出部９３、及び、判定部９４を備える。これらについては、後で説明する。
　表示制御部１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ及びＨＤＤ等によって実現され、動画データＭＤで示される画像等を、表示部１１に表示させる。表示部１１は、例えば、液晶ディスプレイにより実現される。
　入力部１２は、キーボード、タッチパネル等により実現され、ガス検知に関連する各種入力がされる。実施形態に係るガス検知用画像処理装置３は、表示制御部１０、表示部１１及び入力部１２を備えるが、これらを備えないガス検知用画像処理装置３でもよい。
　図１Ｂは、図１Ａに示すガス検知用画像処理装置３のハードウェア構成を示すブロック図である。ガス検知用画像処理装置３は、ＣＰＵ３ａ、ＲＡＭ３ｂ、ＲＯＭ３ｃ、ＨＤＤ３ｄ、液晶ディスプレイ３ｅ、通信インターフェイス３ｆ、キーボード等３ｇ、及び、これらを接続するバス３ｈを備える。液晶ディスプレイ３ｅは、表示部１１を実現するハードウェアである。液晶ディスプレイ３ｅの替わりに、有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ　ｄｉｓｐｌａｙ）、プラズマディスプレイ等でもよい。通信インターフェイス３ｆは、画像データ入力部８を実現するハードウェアである。キーボード等３ｇは、入力部１２を実現するハードウェアである。
　ＨＤＤ３ｄには、画像処理部９及び表示制御部１０について、これらの機能ブロックをそれぞれ実現するためのプログラムが格納されている。画像処理部９を実現するプログラムは、動画データＭＤを取得し、動画データＭＤに上記所定の処理をする処理プログラムである。表示制御部１０を実現するプログラムは、画像（例えば、動画データＭＤで示される動画）を表示部１１に表示させる表示制御プログラムである。これらのプログラムは、ＨＤＤ３ｄの替わりにＲＯＭ３ｃに格納しても良い。
　ＣＰＵ３ａは、処理プログラム及び表示制御プログラムを、ＨＤＤ３ｄから読み出してＲＡＭ３ｂに展開させ、展開されたプログラムを実行することによって、これらの機能ブロックが実現される。処理プログラム及び表示制御プログラムは、ＨＤＤ３ｄに予め記憶されているが、これに限定されない。例えば、これらのプログラムを記録している記録媒体（例えば、磁気ディスク、光学ディスクのような外部記録媒体）が用意されており、この記録媒体に記憶されているプログラムがＨＤＤ３ｄに記憶されてもよい。また、これらのプログラムは、ガス検知用画像処理装置３とネットワーク接続されたサーバに格納されており、ネットワークを介して、これらのプログラムがＨＤＤ３ｄに送られ、ＨＤＤ３ｄに記憶されても良い。
　なお、ガス検知用画像処理装置３は、次に説明するように、第１態様から第３態様がある。これらの態様は、それぞれ、複数の要素によって構成される。従って、ＨＤＤ３ｄには、これらの要素を実現するためのプログラムが格納されている。例えば、ガス検知用画像処理装置３の第１態様は、要素として、第１の処理部９１、第２の処理部９２、算出部９３、及び、判定部９４を含む。ＨＤＤ３ｄには、第１の処理部９１、第２の処理部９２、算出部９３、判定部９４のそれぞれを実現するためのプログラムが格納されている。これらのプログラムは、第１の処理プログラム、第２の処理プログラム、算出プログラム、判定プログラムと表現される。
　第１の処理プログラムを記憶しているＨＤＤと、第２の処理プログラムを記憶しているＨＤＤと、算出プログラムを記憶しているＨＤＤと、判定プログラムを記憶しているＨＤＤと、が互いに異なっていてもよい。この場合、第１の処理プログラムを記憶しているＨＤＤを有するサーバと、第２の処理プログラムを記憶しているＨＤＤを有するサーバと、算出プログラムを記憶しているＨＤＤを有するサーバと、判定プログラムを記憶しているＨＤＤを有するサーバとが、ネットワーク（例えば、インターネット）を介して接続されていてもよい。又は、少なくとも一つのＨＤＤが、ＵＳＢポートなどに接続された外付けＨＤＤでもよいし、ネットワーク対応のＨＤＤ（ＮＡＳ：Ｎｅｔｗｏｒｋ　Ａｔｔａｃｈｅｄ　Ｓｔｏｒａｇｅ）でもよい。これらのプログラムの少なくとも二以上を同じＨＤＤに記憶させ、残りのプログラムを、このＨＤＤと異なるＨＤＤに記憶させてもよい（例えば、第１の処理プログラム及び第２の処理プログラムを第１のＨＤＤに記憶させ、算出プログラムを第２のＨＤＤに記憶させ、判定プログラムを第３のＨＤＤに記憶させる）。
　これらのプログラムは、要素の定義を用いて表現される。第１の処理部及び第１の処理プログラムを例にして説明する。第１の処理部は、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す第１の領域像を含む第１の画像を取得する第１の処理を、所定期間において時系列に撮像された複数の赤外画像のそれぞれに関して実行し、複数の第１の画像を取得する。第１の処理プログラムは、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す第１の領域像を含む第１の画像を取得する第１の処理を、所定期間において時系列に撮像された複数の赤外画像のそれぞれに関して実行し、複数の第１の画像を取得するプログラムである。
　ＣＰＵ３ａによって実行されるこれらのプログラム（第１の処理プログラム、第２の処理プログラム、算出プログラム、判定プログラム）のフローチャートが、後で説明する図１５である。
　本発明者は、赤外画像を利用したガス検知において、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合、背景の温度変化を考慮しなければ、ガスが漏れている様子を画像で表示できないことを見出した。これについて詳しく説明する。
　図３は、ガス漏れと背景の温度変化とが並行して発生している状態で、屋外の試験場所を撮影した赤外画像を時系列で示す画像図である。これらは、赤外線カメラで動画を撮影して得られた赤外画像である。試験場所には、ガスを噴出させることができる地点ＳＰ１がある。地点ＳＰ１と比較するために、ガスが噴出しない地点ＳＰ２を示している。
　画像Ｉ１は、太陽光が雲で遮られる直前の時刻Ｔ１に撮影された試験場所の赤外画像である。画像Ｉ２は、時刻Ｔ１から５秒後の時刻Ｔ２に撮影された試験場所の赤外画像である。時刻Ｔ２は、太陽光が雲で遮られているので、時刻Ｔ１と比べて背景の温度が下がっている。
　画像Ｉ３は、時刻Ｔ１から１０秒後の時刻Ｔ３に撮影された試験場所の赤外画像である。時刻Ｔ２から時刻Ｔ３まで、太陽光が雲で遮られた状態が継続されているので、時刻Ｔ３は、時刻Ｔ２と比べて背景の温度が下がっている。
　画像Ｉ４は、時刻Ｔ１から１５秒後の時刻Ｔ４に撮影された試験場所の赤外画像である。時刻Ｔ３から時刻Ｔ４まで、太陽光が雲で遮られた状態が継続されているので、時刻Ｔ４は、時刻Ｔ３と比べて背景の温度が下がっている。
　時刻Ｔ１から時刻Ｔ４までの１５秒間で、背景の温度が約４℃下がっている。このため、画像Ｉ４は、画像Ｉ１と比べて全体的に暗くなっており、背景の温度が低下していることが分かる。
　時刻Ｔ１後かつ時刻Ｔ２前の時刻に、地点ＳＰ１において、ガスの噴出を開始させている。噴出されたガスによる温度変化は、わずかである（約０．５℃）。このため、時刻Ｔ２、時刻Ｔ３、時刻Ｔ４では、地点ＳＰ１でガスが噴出しているが、噴出されたガスによる温度変化よりも、背景の温度変化の方がはるかに大きいので、画像Ｉ２、画像Ｉ３、画像Ｉ４を見ても地点ＳＰ１からガスが出ている様子が分からない。
　図４Ａは、試験場所の地点ＳＰ１の温度変化を示すグラフであり、図４Ｂは、試験場所の地点ＳＰ２の温度変化を示すグラフである。これらのグラフの縦軸は、温度を示している。これらのグラフの横軸は、フレームの順番を示している。例えば、４５とは、４５番目のフレームを意味する。フレームレートは、３０ｆｐｓである。よって、１番目のフレームから４５０番目のフレームまでの時間は、１５秒となる。
　地点ＳＰ１の温度変化を示すグラフと地点ＳＰ２の温度変化を示すグラフとは異なる。地点ＳＰ２ではガスが噴出していないので、地点ＳＰ２の温度変化は、背景の温度変化を示している。これに対して、地点ＳＰ１では、ガスが噴出しているので、地点ＳＰ１には、ガスが漂っている。このため、地点ＳＰ１の温度変化は、背景の温度変化と漏れたガスによる温度変化とを加算した温度変化を示している。
　図４Ａに示すグラフからは、地点ＳＰ１でガスが噴出していることが分かる（すなわち、地点ＳＰ１でガス漏れが発生していることが分かる）。しかし、上述したように、図３に示す画像Ｉ２、画像Ｉ３、画像Ｉ４からは、地点ＳＰ１でガスが噴出していることが分からない（すなわち、地点ＳＰ１でガス漏れが発生していることが分からない）。
　このように、噴出されたガス（漏れたガス）による温度変化よりも、背景の温度変化の方がはるかに大きい場合、図３に示す画像Ｉ２、画像Ｉ３、画像Ｉ４を見ても地点ＳＰ１からガスが出ている様子が分からない。
　この原因は、動画データＭＤ（図１Ａ）には、漏れたガスによる温度変化を示す周波数成分データに加えて、この周波数成分データよりも周波数が低く、背景温度の変化を示す低周波成分データＤ２が含まれるからである。低周波成分データＤ２で示される像（背景の明暗の変化）により、前記周波数成分データで示される像が見えなくなるのである。図４Ａ及び図４Ｂを参照して、地点ＳＰ１の温度変化を示すグラフに含まれる細かい変化が、前記周波数成分データに対応する。地点ＳＰ２の温度変化を示すグラフが低周波成分データＤ２に対応する。
　そこで、画像処理部９（図１Ａ）は、画素の位置がそれぞれ異なる複数の時系列画素データＤ１（すなわち、動画データＭＤを構成する複数の時系列画素データＤ１）を、動画データＭＤから生成し、複数の時系列画素データＤ１のそれぞれに対して、低周波成分データＤ２を除く処理をする。画素の位置がそれぞれ異なる複数の時系列画素データとは、図２を参照して、１番目画素の時系列画素データＤ１、２番目画素の時系列画素データＤ１、・・・、Ｍ－１番目画素の時系列画素データＤ１、Ｍ番目画素の時系列画素データＤ１を意味する。
　漏れたガスによる温度変化を示す周波数成分データの周波数よりも周波数が高く、高周波ノイズを示す周波数成分データを、高周波成分データＤ３とする。画像処理部９は、動画データＭＤを構成する複数の時系列画素データＤ１のそれぞれに対して、低周波成分データＤ２を除く処理に加えて、高周波成分データＤ３を除く処理をする。
　このように、画像処理部９は、フレームの単位で低周波成分データＤ２及び高周波成分データＤ３を除く処理をするのではなく、時系列画素データＤ１の単位で低周波成分データＤ２及び高周波成分データＤ３を除く処理をする。
　ガス検知用画像処理装置３は、赤外画像を利用して、監視画像を生成する。ガス漏れが発生している場合、監視画像には、ガス漏れによりガスが出現している領域を示す像が含まれる。ガス検知用画像処理装置３は、監視画像を基にしてガス漏れを検知する。監視画像の生成方法として、様々な方法があるが、ここでは、監視画像の生成方法の一例を説明する。監視画像は、監視対象及び背景の赤外画像を利用して生成される。図５は、監視画像の生成処理を説明するフローチャートである。
　図１Ａ、図２及び図５を参照して、画像処理部９は、動画データＭＤからＭ個の時系列画素データＤ１を生成する（ステップＳ１）。
　画像処理部９は、時系列画素データＤ１に対して、Ｋ個のフレームより少ない第１の所定数のフレームを単位とする単純移動平均を算出することにより時系列画素データＤ１から抽出されたデータを、低周波成分データＤ２とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の低周波成分データＤ２を抽出する（ステップＳ２）。
　第１の所定数のフレームは、例えば、２１フレームである。内訳は、ターゲットとなるフレーム、これより前の連続する１０フレーム、これより後の連続する１０フレームである。第１の所定数は、時系列画素データＤ１から低周波成分データＤ２を抽出できる数であればよく、２１に限らず、２１より多くてもよいし、２１より少なくてもよい。
　画像処理部９は、時系列画素データＤ１に対して、第１の所定数（例えば、２１）より少ない第３の所定数（例えば、３）のフレームを単位とする単純移動平均を算出することにより時系列画素データＤ１から抽出されたデータを、高周波成分データＤ３とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の高周波成分データＤ３を抽出する（ステップＳ３）。
　図６は、地点ＳＰ１（図４Ａ）に対応する画素の時系列画素データＤ１、時系列画素データＤ１から抽出された低周波成分データＤ２、時系列画素データＤ１から抽出された高周波成分データＤ３を示すグラフである。グラフの縦軸及び横軸は、図４Ａのグラフの縦軸及び横軸と同じである。時系列画素データＤ１で示される温度は、比較的急に変化し（変化の周期が比較的短く）、低周波成分データＤ２で示される温度は、比較的緩やかに変化している（変化の周期が比較的長い）。高周波成分データＤ３は、時系列画素データＤ１とほぼ重なって見える。
　第３の所定数のフレームは、例えば、３フレームである。内訳は、ターゲットとなるフレーム、この直前の１フレーム、この直後の１フレームである。第３の所定数は、時系列画素データから第３の周波数成分を抽出できる数であればよく、３に限定されず、３より多くてもよい。
　図１Ａ、図２及び図５を参照して、画像処理部９は、時系列画素データＤ１とこの時系列画素データＤ１から抽出された低周波成分データＤ２との差分を算出して得られるデータを、差分データＤ４とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の差分データＤ４を算出する（ステップＳ４）。
　画像処理部９は、時系列画素データＤ１とこの時系列画素データＤ１から抽出された高周波成分データＤ３との差分を算出して得られるデータを、差分データＤ５とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の差分データＤ５を算出する（ステップＳ５）。
　図７Ａは、差分データＤ４を示すグラフであり、図７Ｂは、差分データＤ５を示すグラフである。これらのグラフの縦軸及び横軸は、図４Ａのグラフの縦軸及び横軸と同じである。差分データＤ４は、図６に示す時系列画素データＤ１と低周波成分データＤ２との差分を算出して得られたデータである。図４Ａに示す地点ＳＰ１でガスの噴出を開始する前において（９０番目くらいまでのフレーム）、差分データＤ４で示される微小な振幅の繰り返しは、主に、二次元イメージセンサー６のセンサーノイズを示している。地点ＳＰ１でガスの噴出を開始した後において（９０番目以降のフレーム）、差分データＤ４の振幅及び波形のばらつきが大きくなっている。
　差分データＤ５は、図６に示す時系列画素データＤ１と高周波成分データＤ３との差分を算出して得られたデータである。
　差分データＤ４は、漏れたガスによる温度変化を示す周波数成分データ及び高周波成分データＤ３（高周波ノイズを示すデータ）を含む。差分データＤ５は、漏れたガスによる温度変化を示す周波数成分データを含まず、高周波成分データＤ３を含む。
　差分データＤ４は、漏れたガスによる温度変化を示す周波数成分データを含むので、地点ＳＰ１でガスの噴出を開始した後において（９０番目以降のフレーム）、差分データＤ４の振幅及び波形のばらつきが大きくなっている。これに対して、差分データＤ５は、漏れたガスによる温度変化を示す周波数成分データを含まないので、そのようなことはない。差分データＤ５は、微小な振幅を繰り返している。これが高周波ノイズである。
　差分データＤ４と差分データＤ５とは、相関しているが、完全に相関していない。すなわち、あるフレームにおいて、差分データＤ４の値がプラス、差分データＤ５の値がマイナスとなり、又は、その逆となる場合がある。このため、差分データＤ４と差分データＤ５との差分を算出しても、高周波成分データＤ３を除去できない。高周波成分データＤ３を除去するには、差分データＤ４及び差分データＤ５を引き算できる絶対値のような値に変換する必要がある。
　そこで、画像処理部９は、差分データＤ４に対して、Ｋ個のフレームより少ない第２の所定数のフレームを単位とする移動標準偏差を算出して得られるデータを、標準偏差データＤ６とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の標準偏差データＤ６を算出する（ステップＳ６）。なお、移動標準偏差の替わりに、移動分散を算出してもよい。
　また、画像処理部９は、差分データＤ５に対して、Ｋ個のフレームより少ない第４の所定数（例えば、２１）のフレームを単位とする移動標準偏差を算出して得られるデータを、標準偏差データＤ７とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の標準偏差データＤ７を算出する（ステップＳ７）。移動標準偏差の替わりに、移動分散を用いてもよい。
　図８は、標準偏差データＤ６及び標準偏差データＤ７を示すグラフである。グラフの横軸は、図４Ａのグラフの横軸と同じである。グラフの縦軸は、標準偏差を示している。標準偏差データＤ６は、図７Ａに示す差分データＤ４の移動標準偏差を示すデータである。標準偏差データＤ７は、図７Ｂに示す差分データＤ５の移動標準偏差を示すデータである。移動標準偏差の算出に用いるフレーム数は、標準偏差データＤ６及び標準偏差データＤ７のいずれの場合も、２１であるが、統計的に意義がある標準偏差が求められる数であればよく、２１に限定されない。
　標準偏差データＤ６及び標準偏差データＤ７は、標準偏差なので、マイナスの値を含まない。このため、標準偏差データＤ６及び標準偏差データＤ７は、差分データＤ４及差分データＤ５を引き算できるように変換したデータと見なすことができる。
　画像処理部９は、同じ時系列画素データＤ１から得られた標準偏差データＤ６と標準偏差データＤ７との差分を算出して得られるデータを、差分データＤ８とし、Ｍ個の時系列画素データＤ１のそれぞれに対応するＭ個の差分データＤ８を算出する（ステップＳ８）。
　図９は、差分データＤ８を示すグラフである。グラフの横軸は、図４Ａのグラフの横軸と同じである。グラフの縦軸は、標準偏差の差分である。差分データＤ８は、図８に示す標準偏差データＤ６と標準偏差データＤ７との差分を示すデータである。差分データＤ８は、低周波成分データＤ２及び高周波成分データＤ３を除く処理がされたデータである。
　画像処理部９は、監視画像を生成する（ステップＳ９）。すなわち、画像処理部９は、ステップＳ８で得られたＭ個の差分データＤ８で構成される動画を生成する。この動画を構成する各フレームが監視画像である。監視画像は、標準偏差の差分を可視化した画像である。画像処理部９は、ステップＳ９で得られた動画を表示制御部１０に出力する。表示制御部１０は、この動画を表示部１１に表示させる。この動画に含まれる監視画像として、例えば、図１０に示す画像Ｉ１２及び図１１に示す画像Ｉ１５がある。
　図１０は、時刻Ｔ１のフレームを基にして生成された、画像Ｉ１０、画像Ｉ１１及び画像Ｉ１２を示す画像図である。画像Ｉ１０は、図５のステップＳ６で得られたＭ個の標準偏差データＤ６で示される動画において、時刻Ｔ１のフレームの画像である。画像Ｉ１１は、図５のステップＳ７で得られたＭ個の標準偏差データＤ７で示される動画において、時刻Ｔ１のフレームの画像である。画像Ｉ１０と画像Ｉ１１との差分が、画像Ｉ１２（監視画像）となる。
　図１１は、時刻Ｔ２のフレームを基にして生成された、画像Ｉ１３、画像Ｉ１４及び画像Ｉ１５を示す画像図である。画像Ｉ１３は、ステップＳ６で得られたＭ個の標準偏差データＤ６で示される動画において、時刻Ｔ２のフレームの画像である。画像Ｉ１４は、ステップＳ７で得られたＭ個の標準偏差データＤ７で示される動画において、時刻Ｔ２のフレームの画像である。画像Ｉ１３と画像Ｉ１４との差分が、画像Ｉ１５（監視画像）となる。図１０及び図１１に示す画像Ｉ１０～画像Ｉ１５のいずれも、標準偏差を５０００倍にした画像である。
　図１０に示す画像Ｉ１２は、図４Ａに示す地点ＳＰ１からガスが噴出される前に撮影された画像なので、画像Ｉ１２には、地点ＳＰ１からガスが出ている様子が現れていない。これに対して、図１１に示す画像Ｉ１５は、地点ＳＰ１からガスが噴出されている時刻で撮影された画像なので、画像Ｉ１５には、地点ＳＰ１からガスが出ている様子が現れている。
　以上説明したように、実施形態によれば、画像処理部９（図１Ａ）が、赤外画像の動画データＭＤに含まれる低周波成分データＤ２を除く処理をして、動画データを生成し、表示制御部１０が、この動画データで示される動画（監視画像の動画）を表示部１１に表示させる。従って、実施形態によれば、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合でも、ガスが漏れている様子を監視画像の動画で表示できる。
　センサーノイズは、温度が高くなるに従って小さくなるので、温度に応じて異なる。二次元イメージセンサー６（図１Ａ）において、画素が感知している温度に応じたノイズが、各画素で発生する。すなわち、全ての画素のノイズが同じではない。実施形態によれば、動画から高周波ノイズを除くことができるので、僅かなガス漏れでも表示部１１に表示させることができる。
　蒸気が原因となるガスの誤検知について説明する。図１２は、赤外画像から切り出された画像１００を示す画像図である。画像１００には、塔の像１０１が含まれる。熱源からの熱が、塔の表面（反射面）で反射されている。塔の表面は、曲面を有する。熱源から塔の途中に蒸気が存在している。塔の付近には、ガスが出現しておらず、塔の表面上の１つ地点ＳＰ３には、ガスが存在しない。地点ＳＰ３は、画像１００の一つの画素と対応する。
　図１３は、地点ＳＰ３の温度変化を示すグラフである。グラフの横軸及び縦軸は、図４Ａのグラフの横軸及び縦軸と同じである。フレームレートは、３０ｆｐｓなので、１０秒間の温度変化のグラフが示されている。図４Ａ及び図１３を参照して、地点ＳＰ３の温度変化と、ガスが漏れている地点ＳＰ１の温度変化とは、温度が細かく変化している点で共通している。
　図１４は、地点ＳＰ３の温度変化を示す時系列画素データＤ１を基にして生成された差分データＤ８を示すグラフである。グラフの横軸は、図４Ａのグラフの横軸と同じである。グラフの縦軸は、標準偏差の差分を示している。この差分データＤ８は、地点ＳＰ３の温度変化を示す時系列画素データＤ１に対して、図５に示すステップＳ２～ステップＳ８の処理がされて生成される。
　図９を参照して、ガスが出ている期間の差分データＤ８は、ガスが出ていない期間の差分データＤ８と比べて大きい。図１４に示す差分データＤ８は、ガスが出ている期間の差分データＤ８と同様に大きい。従って、図１４に示す差分データＤ８が得られた場合、ガス検知用画像処理装置３は、ガスと誤検知する可能性がある。
　熱源から反射面の途中に蒸気が存在する場合を例にして説明したが、光源から反射面の途中に蒸気が存在する場合も同様となる。また、蒸気が存在しなくても、熱源、光源がゆらぐ場合も同様となる。実施形態は、このような場合とガスが出現している場合とを区別できるようにしている。実施形態には、第１態様から第３態様がある。第１態様から説明する。図１５は、実施形態の第１態様で実行される処理のフローチャートである。
　図１Ａ及び図１５を参照して、第１の処理部９１は、動画データＭＤを基にして、監視画像の動画を生成する（ステップＳ１００）。詳しく説明すると、第１の処理部９１は、動画データＭＤに対して、図５に示すステップＳ１～ステップＳ９の処理をする。これにより、動画を構成する各フレームは、赤外画像から監視画像となり、監視画像の動画が生成される。監視画像は、例えば、図１０に示す画像Ｉ１２、図１１に示す画像Ｉ１５である。ガス候補が出現していれば、ガス候補が出現している領域を示す第１の領域像が、監視画像に含まれる。ガスが出現している領域を示す像（以下、ガス領域像）が、第１の領域像になることもあるし、上記場合が原因で発生する像（以下、非ガス領域像）が、第１の領域像になることもある。画像Ｉ１５は、ガス噴出の開始から２秒後の画像である。画像Ｉ１５の中央付近に位置する白領域が第１の領域像である。ここでは、第１の領域像は、ガス領域像である。
　実施形態では、ステップＳ１～ステップＳ９の処理で第１の領域像を得ているが、赤外画像に対して画像処理でガス領域像を得る公知の技術（例えば、特許文献１に開示された画像処理）を用いて第１の領域像を得ても良い。
　以上説明したように、ステップＳ１００の処理は、赤外画像に対して、第１の領域像を抽出する処理である。第１の領域像を抽出する処理がされた赤外画像が、監視画像である。
　ステップＳ１００で生成された動画を構成する各フレーム（各監視画像）に、第１の領域像が含まれているとする。第１の処理部９１は、第１の領域像を含む所定領域を各監視画像に設定し、所定領域を第１の画像として取得する（ステップＳ１０１）。すなわち、第１の処理部９１は、第１の領域像を抽出する処理がされた各赤外画像に、第１の領域像を含む所定領域を設定し、所定領域を第１の画像として取得する。
　図１６は、熱源から反射面の途中に蒸気が存在する場合に、実施形態の第１態様によって生成された第１の画像１Ｉと第２の画像２Ｉとを説明する説明図である。図１６は、監視画像から切り出された第１の画像１Ｉが示されている。第１の処理部９１が、監視画像から第１の画像１Ｉを自動で切り出してもよいし、ユーザーが、ガス検知システム１を実際に動作させ、ガスと誤認識する反射が発生する領域を確認し、マニュアルで切り出してもよい。後者の場合、ユーザーが、第１の画像１Ｉに第１の領域像１ｉが含まれるように、第１の画像１Ｉのサイズを決定する。この決定されたサイズが、第１の処理部９１に予め記憶されている。前者の場合、第１の処理部９１が、例えば、図１０及び図１１に示す監視画像を２値化した後（すなわち、例えば、図９に示す差分データＤ８及び図１４に示す差分データＤ８を所定のしきい値（例えば、０．０２）で２値化した後）、ラベリング処理をして、自動で切り出す。
　ステップＳ１００で生成された動画が、例えば、１０秒間の動画とする。図１６に示す各第１の画像１Ｉは、その動画を構成する各フレーム（各監視画像）に設定された第１の画像１Ｉである。例えば、第１の画像１Ｉ－１は、１番目の監視画像に設定された第１の画像１Ｉであり、第１の画像１Ｉ－２は、２番目の監視画像に設定された第１の画像１Ｉであり、第１の画像１Ｉ－３は、３番目の監視画像に設定された第１の画像１Ｉであり、第１の画像１Ｉ－４は、Ｎ番目の監視画像に設定された第１の画像１Ｉであり、第１の画像１Ｉ－５は、Ｎ＋１番目の監視画像に設定された第１の画像１Ｉであり、第１の画像１Ｉ－６は、Ｎ＋２番目の監視画像に設定された第１の画像１Ｉである。
　第１の画像１Ｉは、監視画像の一部であり、矩形形状を有する。第１の画像１Ｉの形状は、矩形形状に限定されない。第１の画像１Ｉを構成する各画素の値は、標準偏差の差分である。第１の画像１Ｉにおいて、黒画素以外の画素で構成される像が第１の領域像１ｉである。第１の領域像１ｉは、常に同じ形状でなく、時間の経過により変化する。これは、熱源から反射面の途中に蒸気が存在するからである。
　以上説明したように、第１の処理部９１は、２つの所定期間（０秒～５秒、５秒～１０秒）のそれぞれにおいて、時系列に撮像された複数の赤外画像に関して、第１の処理をする（ステップＳ１００及びステップＳ１０１）。第１の処理とは、赤外画像の所定領域から抽出された第１の領域像１ｉを含む第１の画像１Ｉを取得する処理である。第１の処理部９１は、所定期間（０～５秒）において時系列に撮像された複数の赤外画像のそれぞれに関して、第１の処理をして、複数の第１の画像１Ｉ（第１の画像１Ｉ－１、第１の画像１Ｉ－２、第１の画像１Ｉ－３、・・・）を取得し、所定期間（５～１０秒）において時系列に撮像された複数の赤外画像のそれぞれに関して、第１の処理をして、複数の第１の画像１Ｉ（第１の画像１Ｉ－４、第１の画像１Ｉ－５、第１の画像１Ｉ－６、・・・）を取得する。
　実施形態の第１態様において、第１の処理部９１は、各赤外画像に対して、第１の領域像１ｉを抽出する処理をし（ステップＳ１００）、この処理がされた各赤外画像に、第１の領域像１ｉを含む所定領域を設定し、所定領域を第１の画像１Ｉとして取得している（ステップＳ１０１）。しかしながら、変形例として、ユーザーが赤外画像に予め所定領域を設定してもよい。変形例は、ガスが出現する可能性が高い箇所が予め分かっているときに適用される。詳しく説明すると、図１Ａを参照して、入力部１２は、第１の入力部として機能する。表示制御部１０は、動画データＭＤで示される動画（赤外画像の動画）を表示部１１に表示させている。ユーザーは、入力部１２を操作して、表示部１１に表示されている赤外画像に所定領域を設定する。
　第１の処理部９１は、入力部１２が操作されて、赤外画像に所定領域が設定されたとき、赤外画像の全体に対して第１の領域像１ｉを抽出する処理をするのではなく、その所定領域に対して第１の領域像１ｉを抽出する処理をする。第１の処理部９１は、この処理がされた所定領域を第１の画像１Ｉとして取得する。
　変形例によれば、赤外画像の全体でなく、赤外画像に設定された所定領域に対して、第１の領域像１ｉを抽出する処理をするので、画像処理量を減らすことができる。変形例は、後で説明する実施形態の第２態様及び第３態様にも適用できる。
　実施形態の第１態様の説明に戻る。第２の処理部９２は、２つの第２の画像２Ｉ－１，２Ｉ－２を生成する（ステップＳ１０２）。第２の処理部９２は、例えば、０～５秒間（所定期間）の動画を構成する各フレーム（各監視画像）から取得された複数の第１の画像１Ｉ（第１の画像１Ｉ－１、第１の画像１Ｉ－２、第１の画像１Ｉ－３、・・・）を用いて、第２の画像２Ｉ－１を生成する。詳しく説明すると、第２の処理部９２は、複数の第１の画像１Ｉにおいて、同じ順番に位置する画素の中から、画素が示す値（ここでは、標準偏差の差分）の最大値を決定する。第２の処理部９２は、この最大値を、第２の画像２Ｉ－１の上記順番に位置する画素の値とする。具体的に説明すると、第２の処理部９２は、複数の第１の画像１Ｉにおいて、１番目の画素が示す値の最大値を決定し、この値を、第２の画像２Ｉ－１の１番目の画素の値とする。第２の処理部９２は、複数の第１の画像１Ｉにおいて、２番目の画素が示す値の最大値を決定し、この値を、第２の画像２Ｉ－１の２番目の画素の値とする。第２の処理部９２は、３番目以降の画素についても同様の処理をする。
　このようにして、第２の画像２Ｉ－１を構成する画素の値を定めると、第２の画像２Ｉ－１に含まれる像が、所定期間の少なくとも一部においてガス候補が出現していた領域を示す像（第２の領域像２ｉ）になることが分かった。このことは、後で説明する第２の画像２Ｉ－２～第２の画像２Ｉ－６についても言えることである。実施形態の第１態様では、同じ順番に位置する画素の最大値を用いて、第２の画像２Ｉを生成している。第２の画像２Ｉの生成方法は、これ以外もあり、後で説明する実施形態の第２態様では、別の方法で第２の画像２Ｉを生成している。
　第２の処理部９２は、例えば、５～１０秒間（所定期間）の動画を構成する各フレーム（各監視画像）から取得された複数の第１の画像１Ｉ（第１の画像１Ｉ－４、第１の画像１Ｉ－５、第１の画像１Ｉ－６、・・・）を用いて、第２の画像２Ｉ－２を生成する。第２の画像２Ｉ－２の生成方法は、第２の画像２Ｉ－１の生成方法と同じなので、説明を省略する。
　以上説明したように、第２の処理部９２は、２つの所定期間（０～５秒間、５～１０秒間）のそれぞれに対応して生成された複数の第１の画像１Ｉに第２の処理をして、２つの第２の画像２Ｉ－１，２Ｉ－２を生成する。第２の処理は、所定期間の少なくとも一部にガス候補が出現していた領域を示す第２の領域像２ｉを含む第２の画像２Ｉを、複数の第１の画像１Ｉを用いて生成する処理である。
　算出部９３は、式１を用いて、第２の画像２Ｉ－１と第２の画像２Ｉ－２との類似度を算出する（ステップＳ１０３）。式１は、正規化相互相関（ＮＣＣ：Ｎｏｒｍａｌｉｚｅｄ　Ｃｒｏｓｓ　Ｃｏｒｒｅｌａｔｉｏｎ）を示している。
Figure JPOXMLDOC01-appb-M000001
　Ｉ（ｉ，ｊ）は、第２の画像２Ｉ－１上の座標を示す。Ｔ（ｉ，ｊ）は、第２の画像２Ｉ－２上の座標を示す。ｉは、ｘ方向の座標値を示す。ｊは、ｙ方向の座標値を示す。Ｍは、第２の画像２Ｉのｘ方向の画素数を示す。Ｎは、第２の画像２Ｉのｙ方向の画素数を示す。
　正規化相互相関は、－１から＋１の範囲の値である。第２の画像２Ｉ－１と第２の画像２Ｉ－２との相関性がない場合、正規化相互相関は、０となる。第２の画像２Ｉ－１と第２の画像２Ｉ－２とが、正の相関性が強くなるに従って、正規化相互相関は、＋１に近づく。第２の画像２Ｉ－１と第２の画像２Ｉ－２とが、負の相関性が強くなるに従って、正規化相互相関は、－１に近づく。正規化相互相関が、＋１に近づくに従って、第２の画像２Ｉ－１と第２の画像２Ｉ－２との類似度が高くなる。第２の画像２Ｉ－１と第２の画像２Ｉ－２との類似度は、０．９７９である。
　図１７は、ガスが出現している場合に、実施形態の第１態様によって生成された第１の画像１Ｉと第２の画像２Ｉとを説明する説明図である。図１７に示す各第１の画像１Ｉは、図１６と同じく、１０秒間の動画を構成する各フレーム（各監視画像）から取得された第１の画像１Ｉである。
　第２の画像２Ｉ－３は、０～５秒間の動画を構成する各フレーム（各監視画像）から取得された複数の第１の画像１Ｉ（第１の画像１Ｉ－７、第１の画像１Ｉ－８、第１の画像１Ｉ－９、・・・）を用いて生成された第２の画像２Ｉである。第２の画像２Ｉ－４は、５～１０秒間の動画を構成する各フレーム（各監視画像）から取得された第１の画像１Ｉ（第１の画像１Ｉ－１０、第１の画像１Ｉ－１１、第１の画像１Ｉ－１２、・・・）を用いて生成された第２の画像２Ｉである。第２の画像２Ｉ－３と第２の画像２Ｉ－４との類似度は、０．８５５である。
　光源から反射面の途中に蒸気が存在する場合の類似度について説明する。光源は、太陽であり、反射面は、塔の表面である。図１８は、赤外画像から切り出された画像１０２を示す画像図である。画像１０２に塔の像が含まれている。光源から塔の途中に蒸気が存在している。
　図１９は、光源から反射面の途中に蒸気が存在する場合に、実施形態の第１態様によって生成された第１の画像１Ｉと第２の画像２Ｉとを説明する説明図である。図１９に示す各第１の画像１Ｉは、図１６と同じく、１０秒間の動画を構成する各フレーム（各監視画像）から取得された第１の画像１Ｉである。
　第２の画像２Ｉ－５は、０～５秒間の動画を構成する各フレーム（各監視画像）から取得された第１の画像１Ｉ（第１の画像１Ｉ－１３、第１の画像１Ｉ－１４、第１の画像１Ｉ－１５、・・・）を用いて生成された第２の画像２Ｉである。第２の画像２Ｉ－６は、５～１０秒間の動画を構成する各フレーム（各監視画像）から取得された第１の画像１Ｉ（第１の画像１Ｉ－１６、第１の画像１Ｉ－１７、第１の画像１Ｉ－１８、・・・）を用いて生成された第２の画像２Ｉである。第２の画像２Ｉ－５と第２の画像２Ｉ－６との類似度は、０．９１７である。
　図１６、図１７及び図１９を参照して、類似度のしきい値が、例えば、０．９００にすれば、ガス候補について、ガスか否かが識別できることが分かる。判定部９４は、類似度を、しきい値（例えば、０．９００）と比較し、類似度がしきい値を超えていれば、ガス候補をガスでないと判定し、類似度がしきい値以下であれば、ガス候補をガスと判定する（ステップＳ１０４）。
　以上説明したように、実施形態の第１態様によれば、２つの第２の画像２Ｉを生成し、これらの第２の画像２Ｉの類似度を基にして、ガス候補がガスか否かを判定するので、ガス検知の精度を向上させることができる。
　２つの所定期間の長さが、それぞれ５秒間を例に説明したが、５秒間に限定されない（例えば、１０秒間）。２つの所定期間の長さは、同じでもよいし、異なっていてもよい。
　実施形態の第２態様を説明する。実施形態の第２態様では、実施形態の第１態様と別の方法で第２の画像２Ｉを生成する。図２０は、実施形態の第２態様で実行される処理のフローチャートである。図１Ａ及び図２０を参照して、第１の処理部９１は、動画データＭＤを基にして、監視画像の動画を生成する（ステップＳ２００）。これは、図１５に示すステップＳ１００と同じなので、説明を省略する。
　第１の処理部９１は、ステップＳ２００で生成された動画を構成する各フレーム（各監視画像）を二値化処理する（ステップＳ２０１）。この処理で用いられるしきい値について説明する。図２１は、図１４に示すグラフにしきい値を追加したグラフである。このグラフは、ガスが出現していない箇所（地点ＳＰ３）と対応する画素の値の変化を示すグラフである。このグラフは、差分データＤ８を示している。フレームレートは、３０ｆｐｓなので、１０秒間の差分データＤ８が示されている。このグラフの差分データＤ８は、常に、０．０２より大きい。そこで、ここでは、二値化処理のしきい値を０．０２とする。
　ステップＳ２０１で二値化処理された動画を構成する各フレーム（各二値化画像）に、ガス候補が出現している領域を示す第１の領域像１ｉが含まれているとする。図２２は、熱源から反射面の途中に蒸気が存在する場合に、実施形態の第２態様によって生成された第１の画像１Ｉと第２の画像２Ｉとを説明する説明図である。反射面は、塔の表面である。
　第１の処理部９１は、第１態様のステップＳ１０１と同様の処理によって、１０秒間の動画を構成する各フレーム（各二値化画像）から第１の画像１Ｉを取得する（ステップＳ２０２）。
　第２の処理部９２は、２つの第２の画像２Ｉ－７，２Ｉ－８を生成する（ステップＳ２０３）。第２の処理部９２は、例えば、０～５秒間（所定期間）の動画を構成する各フレーム（各二値化画像）から取得された複数の第１の画像１Ｉ（第１の画像１Ｉ－１９、第１の画像１Ｉ－２０、第１の画像１Ｉ－２１、・・・）を用いて、第２の画像２Ｉ－７を生成する。詳しく説明すると、第１の領域像１ｉを構成する画素を白画素とし、この像以外を黒画素とする。第２の処理部９２は、複数の第１の画像１Ｉにおいて、同じ順番の画素の中に、白画素が少なくとも一つ存在すれば、第２の画像２Ｉ－７において、上記順番に位置する画素を白画素とする。具体的に説明すると、第２の処理部９２は、複数の第１の画像１Ｉにおいて、１番目の画素のうち、白画素が少なくとも一つ存在すれば、第２の画像２Ｉ－７において、１番目の画素を白画素とする。第２の処理部９２は、複数の第１の画像１Ｉにおいて、２番目の画素のうち、白画素が少なくとも一つ存在すれば、第２の画像２Ｉ－７において、２番目の画素を白画素とする。第２の処理部９２は、３番目以降の画素についても同様の処理をする。
　このようにして、第２の画像２Ｉ－７を構成する画素の値を定めると、第２の画像２Ｉ－７に含まれる像が、所定期間の少なくとも一部においてガス候補が出現していた領域を示す像（第２の領域像２ｉ）になることが分かった。このことは、後で説明する第２の画像２Ｉ－８～第２の画像２Ｉ－１０についても言えることである。
　第２の処理部９２は、例えば、５～１０秒間（所定期間）の動画を構成する各フレーム（各二値化画像）から取得された複数の第１の画像１Ｉ（第１の画像１Ｉ－２２、第１の画像１Ｉ－２３、第１の画像１Ｉ－２４、・・・）を用いて、第２の画像２Ｉ－８を生成する。第２の画像２Ｉ－８の生成方法は、第２の画像２Ｉ－７の生成方法と同じなので、説明を省略する。
　算出部９３は、式２を用いて、第２の画像２Ｉ－７と第２の画像２Ｉ－８との類似度を算出する（ステップＳ２０４）。
Figure JPOXMLDOC01-appb-M000002
　式２は、第２の画像２Ｉ－７と第２の画像２Ｉ－８とにおいて、同じ順番に位置する画素が一致している割合を示している。式２について詳しく説明する。第２の画像２Ｉは、二値化画像である。算出部９３は、第２の画像２Ｉ－７と第２の画像２Ｉ－８とにおいて、同じ順番に位置する画素が一致するか否かを判定する。一方が黒画素であり、他方が白画素であれば、画素は一致していない。この順番に位置する画素は、一致画素ではない。両方が白画素であれば、画素は一致している。この順番に位置する画素は、一致画素である。両方が黒画素であれば、画素は一致している。この順番に位置する画素は、一致画素である。
　式２の全画素数とは、一つの第２の画像２Ｉの画素数である。一致画素数とは、一致画素の合計である。第２の画像２Ｉ－７と第２の画像２Ｉ－８との類似度は、０．９７である。
　図２３は、ガスが出現している場合に、実施形態の第２態様によって生成された第１の画像１Ｉと第２の画像２Ｉとを説明する説明図である。図２３に示す各第１の画像１Ｉは、図１６と同じく、１０秒間の動画を構成する各フレーム（各監視画像）から取得された第１の画像１Ｉである。
　第２の画像２Ｉ－９は、０～５秒間の動画を構成する各フレーム（各２値化画像）から取得された複数の第１の画像１Ｉ（第１の画像１Ｉ－２５、第１の画像１Ｉ－２６、第１の画像１Ｉ－２７、・・・）を用いて生成された第２の画像２Ｉである。第２の画像２Ｉ－１０は、５～１０秒間の動画を構成する各フレーム（各２値化画像）から取得された第１の画像１Ｉ（第１の画像１Ｉ－２８、第１の画像１Ｉ－２９、第１の画像１Ｉ－３０、・・・）を用いて生成された第２の画像２Ｉである。第２の画像２Ｉ－９と第２の画像２Ｉ－１０との類似度は、０．６９である。
　図２２及び図２３を参照して、類似度のしきい値が、例えば、０．９０にすれば、ガス候補について、ガスか否かを識別できることが分かる。判定部９４は、類似度をしきい値（例えば、０．９０）と比較し、類似度がしきい値を超えていれば、ガス候補をガスでないと判定し、類似度がしきい値以下であれば、ガス候補をガスであると判定する（ステップＳ２０５）。
　実施形態の第２態様では、式２を用いて類似度を算出しているが、式１を用いて類似度を算出してもよい。
　実施形態の第３態様を説明する。実施形態の第１態様及び第２態様は、第２の画像２Ｉの類似度がしきい値を超えていれば、ガス候補がガスでないと判定している。第３態様は、ガス候補がガスか否かの判定精度をさらに高めるために、類似度に加えて、以下の判定処理をする。
　図１を参照して、入力部１２は、第２の入力部として機能する。光及び熱の少なくとも一方を反射する可能性がある反射面の範囲を、ユーザーが、入力部１２を操作して、赤外画像に予め設定する。反射面は、例えば、塔の表面である。図２４は、反射面の範囲１０４が設定された赤外画像１０３を示す画像図である。塔の像１０１に、反射面の範囲１０４が設定されている。反射面の範囲１０４は、動画データＭＤで示される動画を構成する各フレームに設定される（各赤外画像に設定される）。図２５は、図２４に示す赤外画像１０３から生成された第１の画像１Ｉを示す画像図である。
　判定部９４は、第１の画像１Ｉに含まれる第１の領域像１ｉが、反射面の範囲１０４からはみ出しているか否かを判定する。判定部９４は、第１の領域像１Ｉが、反射面の範囲１０４からはみ出しているか否か、及び、第２の画像２Ｉの類似度を基にして、ガス候補がガスか否かを判定する。類似度は、第１態様で算出された類似度でもよいし（図１５のステップＳ１０３）、第２態様で算出された類似度でもよい（図２０のステップＳ２０４）。
　ガスの場合、ガスのゆらぎが小さくても、第１の領域像１ｉが反射面の範囲１０４を超える可能性がある。反射の場合、第１の領域像１ｉが反射面の範囲１０４を超えない。よって、第１の領域像１ｉが反射面の範囲１０４を超える場合、ガス候補がガスである可能性がある。
　ガスのゆらぎが小さい場合、第２の画像２Ｉの類似度が比較的高くなるので、第２の画像２Ｉの類似度だけでは、ガス候補がガスか否かの識別が難しくなる。そこで、実施形態の第３態様は、第２の画像２Ｉの類似度、及び、第１の領域像１ｉが反射面の範囲１０４からはみ出しているか否かを基にして、ガス候補がガスか否かを判定する。従って、実施形態の第３態様によれば、ガス検知の精度をより高めることができる。
　判定部９４が、第１の領域像１ｉが反射面の範囲１０４を超えているか否かを監視する監視期間（言い換えれば、第１の領域像１ｉが反射面の範囲１０４を超えているか否かの判定対象となる第１の画像１Ｉの数）は、任意である。例えば、判定部９４は、監視期間を、２つの所定期間（０～５秒、５秒～１０秒）と並行させてもよい。この場合は、監視期間が１０秒となる。監視期間が長いほど、ゆらぎが小さいガスと反射との区別の精度を高めることができる。監視時間が短ければ、ガスが出現している場合でも第１の領域像１ｉが反射面の範囲１０４を超えない可能性があるからである。
　また、判定部９４は、第２の画像２Ｉの類似度がしきい値を超えており、かつ、１０秒間の監視期間で第１の領域像１ｉが反射面の範囲１０４を超えていないとき、ガス候補は反射が原因で発生した可能性が高いと判定する。そして、判定部９４は、その監視期間より長い期間（例えば、１分間）において、第１の領域像１ｉが反射面の範囲１０４を超えていないとき、ガス候補は反射が原因で発生したと確定してもよい。
（実施形態の纏め）
　実施形態の第１態様に係るガス検知用画像処理装置は、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す第１の領域像を含む第１の画像を取得する第１の処理を、所定期間において時系列に撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得する第１の処理部と、前記所定期間の少なくとも一部において、前記ガス候補が出現していた領域を示す第２の領域像を含む第２の画像を、複数の前記第１の画像を用いて生成する第２の処理をする第２の処理部と、を備える。前記第１の処理部は、２以上の前記所定期間のそれぞれにおいて、時系列に撮像された複数の前記赤外画像に関して、前記第１の処理をする。前記第２の処理部は、２以上の前記所定期間のそれぞれに対応して生成された複数の前記第１の画像に前記第２の処理をして、２以上の前記第２の画像を生成する。実施形態の第１態様に係るガス検知用画像処理装置は、さらに、２以上の前記第２の画像の類似度を基にして、前記ガス候補がガスか否かを判定する判定部を備える。
　第１の領域像は、ガスが出現した場合に発生する以外に、上述した（１）～（４）の場合（例えば、熱源から反射面の途中に蒸気等が存在する）にも発生する。
　第２の画像に含まれる第２の領域像は、所定期間の少なくとも一部において、ガス候補が出現していた領域を示す像である。所定期間の少なくとも一部とは、所定期間が、例えば、５秒間としたとき、所定期間の全期間（５秒間）でもよいし、所定期間の一部（例えば、１秒間）でもよい。
　本発明者は、ガスが出現している場合、第２の画像どうしは類似度が比較的低く、（１）～（４）が原因の場合、第２の画像どうしの類似度が比較的高くなることを見出した。詳しく説明すると、所定期間において、上述した（１）～（４）が原因となる反射が発生している場合、所定期間の個々の時刻どうしを比較すると、反射している箇所が異なる。すなわち、（１）～（４）が原因で第１の領域像が発生している場合、第１の画像どうしの類似度は比較的低い。所定期間の全体どうしを比較すると、反射している箇所が似ている。すなわち、（１）～（４）の場合、第２の画像どうしの類似度は比較的高い。
　ガスは、不規則にゆらぐ。所定期間においてガスが出現している場合、所定期間の個々の時刻どうしを比較すると、ガスが出現している箇所が異なる。すなわち、ガスの出現が原因で第１の領域像が発生している場合、第１の画像どうしの類似度は比較的低い。これは、反射の場合と同様である。所定期間の全体どうしを比較すると、ガスが出現している箇所は似ていない。すなわち、ガスが出現している場合、第２の画像どうしの類似度は比較的低い。
　判定部は、２以上の第２の画像の類似度を基にして、ガス候補がガスか否かを判定する。例えば、判定部は、第２の画像が２つの場合、２つの第２の画像の類似度が、所定のしきい値を超えていれば、ガス候補をガスでないと判定し、その類似度が、所定のしきい値以下であれば、ガス候補をガスであると判定する。例えば、判定部は、第２の画像が３つ以上の場合、一つの第２の画像を基準画像として、基準画像と残りの第２の画像との類似度がいずれもしきい値を超えていれば、ガス候補をガスでないと判定し、それらの類似度の少なくとも一つが、所定のしきい値以下であれば、ガス候補をガスであると判定する。
　以上説明したように、実施形態の第１態様に係るガス検知用画像処理装置によれば、２以上の第２の画像を生成し、これらの第２の画像の類似度を基にして、ガス候補がガスか否かを判定するので、ガス検知の精度を向上させることができる。
　２以上の所定期間は、連続していてもよいし（例えば、ある所定期間が０～５秒の間、別の所定期間が５秒～１０秒の間）、離れていてもよいし（例えば、ある所定期間が０～５秒の間、別の所定期間が１０秒～１５秒の間）、一部が重複していてもよい（例えば、ある所定期間が０～５秒の間、別の所定期間が３秒～８秒の間）。
　類似度の表現の仕方は、様々である。例えば、判定部は、正規化相互相関を用いて類似度を算出してもよいし、２値化された２以上の第２の画像において、同じ順番に位置する画素が一致している割合を類似度として算出してもよい。
　上記構成において、前記第１の処理部は、前記赤外画像に対して、前記第１の領域像を抽出する抽出処理をし、前記抽出処理がされた前記赤外画像に、前記第１の領域像を含む前記所定領域を設定し、前記所定領域を前記第１の画像として取得する。
　この構成は、赤外画像の全体に対して、第１の領域像（すなわち、ガス候補が出現している領域を示す像）を抽出する処理をする。第１の領域像の抽出の仕方は、これに限定されず、赤外画像の一部に対して、第１の領域像を抽出する処理がされてもよい。これを以下に示す。
　上記構成において、第１の入力部をさらに備え、前記第１の処理部は、前記第１の入力部が操作されて、前記赤外画像に前記所定領域が設定されたとき、前記所定領域に対して前記第１の領域像を抽出する抽出処理をし、前記抽出処理がされた前記所定領域を前記第１の画像として取得する。
　この構成は、ガスが出現する可能性が高い箇所が予め分かっているときに適用される。この構成によれば、赤外画像の全体でなく、赤外画像に設定された所定領域に対して、第１の領域像を抽出する処理をするので、画像処理量を減らすことができる。
　上記構成において、前記第２の処理部は、複数の前記第１の画像において、同じ順番に位置する画素が示す値の最大値を、前記第２の画像の前記順番に位置する画素の値として設定して前記第２の画像を生成する。
　この構成によって生成される第２の画像は、第２の画像の第１例である。例えば、複数の第１の画像において、１番目の画素の値の最大値が０．２のとき、第２の画像において、１番目の画素の値が０．２とする。第２の画像の残りの画素の値についても同様にして決められる。このようにして、第２の画像を構成する画素の値を定めると、第２の画像に含まれる像が、所定期間の少なくとも一部においてガス候補が出現していた領域を示す像（第２の領域像）になることが分かった。
　上記構成において、前記第２の処理部は、複数の前記第１の画像において、所定のしきい値を超えている画素を前記第２の領域像を構成する画素として設定して前記第２の画像を生成する。
　この構成によって生成される第２の画像は、第２の画像の第２例である。例えば、複数の第１の画像が２値化され、第１の領域像が白画素で構成されるとする。複数の第１の画像において、同じ順番に位置する画素の少なくとも一つが白画素のとき、第２の画像において、その順番に位置する画素が白画素となる。第２の画像を構成する画素のうち、白画素により第２の領域像が構成される。このようにして、第２の画像を構成する画素の値を定めると、第２の画像に含まれる像が、所定期間の少なくとも一部においてガス候補が出現していた領域を示す像（第２の領域像）になることが分かった。
　上記構成において、第２の入力部をさらに備え、前記判定部は、前記第２の入力部が操作されて、光及び熱の少なくともいずれか一方を反射する可能性がある反射面の範囲が、複数の前記赤外画像に設定されたとき、前記第１の画像に含まれる前記第１の領域像が、前記範囲からはみ出しているか否かを判定し、前記判定部は、前記範囲からはみ出しているか否か、及び、前記類似度を基にして、前記ガス候補がガスか否かを判定する。
　この構成は、光及び熱の少なくともいずれか一方を反射する可能性がある反射面の範囲を、ユーザーが赤外画像に予め設定する。この範囲は、例えば、塔の像の範囲、配管の像の範囲である。ガスの場合、ガスのゆらぎが小さくても、第１の領域像が反射面の範囲を超える可能性がある。反射の場合、第１の領域像が反射面の範囲を超えない。よって、第１の領域像が反射面の範囲を超える場合、ガス候補がガスである可能性がある。
　ガスのゆらぎが小さい場合、第２の画像の類似度が比較的高くなるので、第２の画像の類似度だけでは、ガス候補がガスか否かの識別が難しくなる。そこで、この構成は、第２の画像の類似度、及び、第１の領域像が反射面の範囲からはみ出しているか否かを基にして、ガス候補がガスか否かを判定する。従って、この構成によれば、ガス検知の精度をより高めることができる。
　実施形態の第２態様に係るガス検知用画像処理方法は、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す第１の領域像を含む第１の画像を取得する第１の処理を、所定期間において時系列に撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得する第１の処理ステップと、前記所定期間の少なくとも一部において、前記ガス候補が出現していた領域を示す第２の領域像を含む第２の画像を、複数の前記第１の画像を用いて生成する第２の処理をする第２の処理ステップと、を備える。前記第１の処理ステップは、２以上の前記所定期間のそれぞれにおいて、時系列に撮像された複数の前記赤外画像に関して、前記第１の処理をする。前記第２の処理ステップは、２以上の前記所定期間のそれぞれに対応して生成された複数の前記第１の画像に前記第２の処理をして、２以上の前記第２の画像を生成する。実施形態の第２態様に係るガス検知用画像処理方法は、さらに、２以上の前記第２の画像の類似度を基にして、前記ガス候補がガスか否かを判定する判定ステップを備える。
　実施形態の第２態様に係るガス検知用画像処理方法は、実施形態の第１態様に係るガス検知用画像処理装置を方法の観点から規定しており、実施形態の第１態様に係るガス検知用画像処理装置と同様の作用効果を有する。
　実施形態の第３態様に係るガス検知用画像処理プログラムは、赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す第１の領域像を含む第１の画像を取得する第１の処理を、所定期間において時系列に撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得する第１の処理ステップと、前記所定期間の少なくとも一部において、前記ガス候補が出現していた領域を示す第２の領域像を含む第２の画像を、複数の前記第１の画像を用いて生成する第２の処理をする第２の処理ステップと、をコンピュータに実行させる。前記第１の処理ステップは、２以上の前記所定期間のそれぞれにおいて、時系列に撮像された複数の前記赤外画像に関して、前記第１の処理をする。前記第２の処理ステップは、２以上の前記所定期間のそれぞれに対応して生成された複数の前記第１の画像に前記第２の処理をして、２以上の前記第２の画像を生成する。実施形態の第３態様に係るガス検知用画像処理プログラムは、さらに、２以上の前記第２の画像の類似度を基にして、前記ガス候補がガスか否かを判定する判定ステップをコンピュータに実行させる。
　実施形態の第３態様に係るガス検知用画像処理プログラムは、実施形態の第１態様に係るガス検知用画像処理装置をプログラムの観点から規定しており、実施形態の第１態様に係るガス検知用画像処理装置と同様の作用効果を有する。
　実施形態の第１態様に係るガス検知用画像処理装置は、判定部の替わりに、２以上の前記第２の画像の類似度を算出する算出部を備えてもよい。実施形態の第２態様に係るガス検知用画像処理方法、実施形態の第３態様に係るガス検知用画像処理プログラムについても同様である。
　本発明の実施形態が詳細に図示され、かつ、説明されたが、それは単なる図例及び実例であって限定ではない。本発明の範囲は、添付されたクレームの文言によって解釈されるべきである。
　明細書、クレーム、図面及び要約を含む、２０１６年１２月２７日に提出された日本国特許出願特願２０１６－２５２２６９は、その全体の開示が、その全体において参照によりここに組み込まれる。
　本発明によれば、ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラムを提供することができる。

Claims (11)

  1. 　赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す第１の領域像を含む第１の画像を取得する第１の処理を、所定期間において時系列に撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得する第１の処理部と、
    　前記所定期間の少なくとも一部において、前記ガス候補が出現していた領域を示す第２の領域像を含む第２の画像を、複数の前記第１の画像を用いて生成する第２の処理をする第２の処理部と、を備え、
    　前記第１の処理部は、２以上の前記所定期間のそれぞれにおいて、時系列に撮像された複数の前記赤外画像に関して、前記第１の処理をし、
    　前記第２の処理部は、２以上の前記所定期間のそれぞれに対応して生成された複数の前記第１の画像に前記第２の処理をして、２以上の前記第２の画像を生成し、
    　さらに、２以上の前記第２の画像の類似度を算出する算出部を備える、ガス検知用画像処理装置。
  2. 　前記第１の処理部は、前記赤外画像に対して、前記第１の領域像を抽出する抽出処理をし、前記抽出処理がされた前記赤外画像に、前記第１の領域像を含む前記所定領域を設定し、前記所定領域を前記第１の画像として取得する、請求項１に記載のガス検知用画像処理装置。
  3. 　第１の入力部をさらに備え、
    　前記第１の処理部は、前記第１の入力部が操作されて、前記赤外画像に前記所定領域が設定されたとき、前記所定領域に対して前記第１の領域像を抽出する抽出処理をし、前記抽出処理がされた前記所定領域を前記第１の画像として取得する、請求項１に記載のガス検知用画像処理装置。
  4. 　前記第２の処理部は、複数の前記第１の画像において、同じ順番に位置する画素が示す値の最大値を、前記第２の画像の前記順番に位置する画素の値として設定して前記第２の画像を生成する、請求項１～３のいずれか一項に記載のガス検知用画像処理装置。
  5. 　前記第２の処理部は、複数の前記第１の画像において、所定のしきい値を超えている画素を前記第２の領域像を構成する画素として設定して前記第２の画像を生成する、請求項１～３のいずれか一項に記載のガス検知用画像処理装置。
  6. 　前記算出部は、正規化相互相関を用いて前記類似度を算出する、請求項１～５のいずれか一項に記載のガス検知用画像処理装置。
  7. 　前記算出部は、２値化された２以上の前記第２の画像において、同じ順番に位置する画素が一致している割合を前記類似度として算出する、請求項１～５のいずれか一項に記載のガス検知用画像処理装置。
  8. 　前記類似度を基にして、前記ガス候補がガスか否かを判定する判定部をさらに備える請求項１～７のいずれか一項に記載のガス検知用画像処理装置。
  9. 　第２の入力部をさらに備え、
    　前記判定部は、前記第２の入力部が操作されて、光及び熱の少なくともいずれか一方を反射する可能性がある反射面の範囲が、複数の前記赤外画像に設定されたとき、前記第１の画像に含まれる前記第１の領域像が、前記範囲からはみ出しているか否かを判定し、
    　前記判定部は、前記範囲からはみ出しているか否か、及び、前記類似度を基にして、前記ガス候補がガスか否かを判定する、請求項８に記載のガス検知用画像処理装置。
  10. 　赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す第１の領域像を含む第１の画像を取得する第１の処理を、所定期間において時系列に撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得する第１の処理ステップと、
    　前記所定期間の少なくとも一部において、前記ガス候補が出現していた領域を示す第２の領域像を含む第２の画像を、複数の前記第１の画像を用いて生成する第２の処理をする第２の処理ステップと、を備え、
    　前記第１の処理ステップは、２以上の前記所定期間のそれぞれにおいて、時系列に撮像された複数の前記赤外画像に関して、前記第１の処理をし、
    　前記第２の処理ステップは、２以上の前記所定期間のそれぞれに対応して生成された複数の前記第１の画像に前記第２の処理をして、２以上の前記第２の画像を生成し、
    　さらに、２以上の前記第２の画像の類似度を算出する算出ステップを備える、ガス検知用画像処理方法。
  11. 　赤外画像の所定領域から抽出された、ガス候補が出現している領域を示す第１の領域像を含む第１の画像を取得する第１の処理を、所定期間において時系列に撮像された複数の前記赤外画像のそれぞれに関して実行し、複数の前記第１の画像を取得する第１の処理ステップと、
    　前記所定期間の少なくとも一部において、前記ガス候補が出現していた領域を示す第２の領域像を含む第２の画像を、複数の前記第１の画像を用いて生成する第２の処理をする第２の処理ステップと、をコンピュータに実行させ、
    　前記第１の処理ステップは、２以上の前記所定期間のそれぞれにおいて、時系列に撮像された複数の前記赤外画像に関して、前記第１の処理をし、
    　前記第２の処理ステップは、２以上の前記所定期間のそれぞれに対応して生成された複数の前記第１の画像に前記第２の処理をして、２以上の前記第２の画像を生成し、
    　さらに、２以上の前記第２の画像の類似度を算出する算出ステップをコンピュータに実行させるガス検知用画像処理プログラム。
PCT/JP2017/036579 2016-12-27 2017-10-10 ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム WO2018123196A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018558831A JP6504325B2 (ja) 2016-12-27 2017-10-10 ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
US16/466,267 US10991090B2 (en) 2016-12-27 2017-10-10 Gas detection-use image processing device, gas detection-use image processing method, and gas detection-use image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016252269 2016-12-27
JP2016-252269 2016-12-27

Publications (1)

Publication Number Publication Date
WO2018123196A1 true WO2018123196A1 (ja) 2018-07-05

Family

ID=62707222

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/036579 WO2018123196A1 (ja) 2016-12-27 2017-10-10 ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム

Country Status (3)

Country Link
US (1) US10991090B2 (ja)
JP (1) JP6504325B2 (ja)
WO (1) WO2018123196A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007263829A (ja) * 2006-03-29 2007-10-11 Jfe Steel Kk Ｃｏガスの漏洩監視方法
JP2012058093A (ja) * 2010-09-09 2012-03-22 Mitsubishi Electric Building Techno Service Co Ltd ガス漏れ検出装置
JP2016206139A (ja) * 2015-04-28 2016-12-08 コニカミノルタ株式会社 ガス検出装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10281864A (ja) * 1997-04-03 1998-10-23 Nikon Corp 熱型赤外線カメラ
US9008457B2 (en) * 2010-05-31 2015-04-14 Pesonify, Inc. Systems and methods for illumination correction of an image
US20140002639A1 (en) 2011-03-25 2014-01-02 Joseph M. Cheben Autonomous Detection of Chemical Plumes
US20160284075A1 (en) * 2013-03-14 2016-09-29 Essess, Inc. Methods, apparatus, and systems for structural analysis using thermal imaging
US9460340B2 (en) * 2014-01-31 2016-10-04 Google Inc. Self-initiated change of appearance for subjects in video and images
JP6441546B2 (ja) * 2016-10-31 2018-12-19 株式会社オプティム コンピュータシステム、物体の診断方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007263829A (ja) * 2006-03-29 2007-10-11 Jfe Steel Kk Ｃｏガスの漏洩監視方法
JP2012058093A (ja) * 2010-09-09 2012-03-22 Mitsubishi Electric Building Techno Service Co Ltd ガス漏れ検出装置
JP2016206139A (ja) * 2015-04-28 2016-12-08 コニカミノルタ株式会社 ガス検出装置

Also Published As

Publication number Publication date
JPWO2018123196A1 (ja) 2019-06-27
JP6504325B2 (ja) 2019-04-24
US10991090B2 (en) 2021-04-27
US20200065953A1 (en) 2020-02-27

Similar Documents

Publication Publication Date Title
US10520429B2 (en) Image processing device, image processing method and image processing program
JP6319527B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法、ガス検知用画像処理プログラム、ガス検知用画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び、ガス検知システム
JP6344533B2 (ja) ガス濃度厚み積測定装置、ガス濃度厚み積測定方法、ガス濃度厚み積測定プログラム、及び、ガス濃度厚み積測定プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2017150565A1 (ja) ガス漏れ位置推定装置、ガス漏れ位置推定方法及びガス漏れ位置推定プログラム
JP6493624B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
WO2018123197A1 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
US11393096B2 (en) Gas-detection image processing device, gas-detection image processing method, and gas-detection image processing program
US11302010B2 (en) Gas-detection image processing device, gas-detection image processing method, and gas-detection image processing program
TW201430615A (zh) 光學式指向系統
JP7047638B2 (ja) ガス可視化用画像処理装置、ガス可視化用画像処理方法、ガス可視化用画像処理プログラム、及び、ガス検知システム
WO2018123196A1 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
US20200258267A1 (en) Image processing device for gas detection, image processing method for gas detection, and image processing program for gas detection
US11954839B2 (en) Leak source specification assistance device, leak source specification assistance method, and leak source specification assistance program
JP7036112B2 (ja) ガス漏れ位置推定装置、ガス漏れ位置推定方法及びガス漏れ位置推定プログラム
Choi et al. Steam leak detection by using image signal

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17886792

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018558831

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17886792

Country of ref document: EP

Kind code of ref document: A1

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载