1.文章信息

論文鏈接：https://www.mdpi.com/2071-1050/14/9/4930/htm

2.摘要

針對森林火災(zāi)圖像中小目標(biāo)、類火目標(biāo)和類煙目標(biāo)的檢測，以及不同自然光下的火災(zāi)檢測，提出了一種改進的Fire-YOLO深度學(xué)習(xí)算法。Fire-YOLO檢測模型從三維擴展了特征提取網(wǎng)絡(luò)，增強了火災(zāi)小目標(biāo)識別的特征傳播，提高了網(wǎng)絡(luò)性能，減少了模型參數(shù)。進一步，通過特征金字塔的提升，得到了性能最好的預(yù)測框。與最先進的目標(biāo)檢測網(wǎng)絡(luò)相比，F(xiàn)ire-YOLO取得了優(yōu)異的結(jié)果，尤其是在火災(zāi)和煙霧的小目標(biāo)檢測方面?？傮w而言，F(xiàn)ire-YOLO檢測模型可以有效地處理小火源目標(biāo)、類火和類煙目標(biāo)的檢測。當(dāng)輸入圖像尺寸為416 × 416分辨率時，平均檢測時間為0.04 s /幀，可以提供實時的森林火災(zāi)檢測。此外，文章提出的算法也可以應(yīng)用于其他復(fù)雜情況下的小目標(biāo)檢測。

3.簡介

火災(zāi)探測對于保護森林資源、保護人民生命財產(chǎn)至關(guān)重要。近年來，隨著火災(zāi)圖像探測成為研究熱點，圖像探測具有探測時間早、精度高、系統(tǒng)安裝靈活、能有效探測大空間復(fù)雜建筑結(jié)構(gòu)火災(zāi)等優(yōu)點。一類方法基于火災(zāi)發(fā)生時的顏色識別，但基于顏色的方法對亮度和陰影非常敏感。因此，這些方法產(chǎn)生的假警報數(shù)量很高。

隨著機器學(xué)習(xí)的發(fā)展，深度學(xué)習(xí)技術(shù)已廣泛應(yīng)用于檢測。有學(xué)者提出了一種使用微調(diào)卷積神經(jīng)網(wǎng)絡(luò)（CNN）的早期火災(zāi)探測框架，但該模型具有較高的計算成本。有的學(xué)者使用深度融合CNN進行煙霧探測，它結(jié)合了注意機制、特征級和決策級融合模塊。然而，仍有一些小目標(biāo)未能實現(xiàn)。有的學(xué)者使用了一種基于區(qū)域的快速卷積神經(jīng)網(wǎng)絡(luò)（R-CNN），根據(jù)空間特征檢測可疑火災(zāi)區(qū)域（SRoF）和非火災(zāi)區(qū)域。這可以通過減少錯誤探測成功地提高火災(zāi)探測精度，但探測速度相對較慢。有的學(xué)者提出了一種基于YOLO-V3和YOLO-V4的森林煙霧檢測算法。與YOLO-V4相比，YOLO-V3的模型更小，更易于部署。在此基礎(chǔ)上，文章選擇了YOLO-V3模型作為整體算法，并對其進行了改進。提出了對YOLO-V3算法的改進。網(wǎng)絡(luò)中加入了空心卷積和DenseNet，提高了火災(zāi)早期小規(guī)?；鹧娴奶綔y效果。然而，方法存在火焰定位不準(zhǔn)確和屏蔽性能差的問題。I-YOLOv3-tiny模型通過網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化、多尺度融合和K-均值聚類來提高檢測精度，但檢測速度有待提高。通過提高特征圖的分辨率，它減少了火災(zāi)探測中的誤差，但由于計算量的增加，相應(yīng)的處理時間也增加了。將分類模型和目標(biāo)檢測模型結(jié)合用于火災(zāi)探測的方法降低了計算成本，提高了探測精度。盡管如此，它不適用于火災(zāi)早期小目標(biāo)的探測場景。有的學(xué)者通過將原始網(wǎng)絡(luò)結(jié)構(gòu)中的兩步降采樣卷積網(wǎng)絡(luò)替換為圖像雙分割和雙線性上采樣網(wǎng)絡(luò)，擴大了小目標(biāo)的特征，提高了小目標(biāo)的檢測精度。雖然這會增加參數(shù)的數(shù)量，但計算成本也會增加。對于具有實時性要求的火災(zāi)探測，仍需進一步改進。這些問題給火災(zāi)場景中小目標(biāo)的檢測帶來了巨大的挑戰(zhàn)。

4.模型

A. YOLO-V3

YOLO- v3是由YOLO和YOLOV2網(wǎng)絡(luò)演化而來的對象檢測模型。與Faster R-CNN相比，YOLO- v3是單級檢測算法，這意味著YOLO網(wǎng)絡(luò)不需要Regional Proposal network (RPN)，而是直接檢測圖像中的目標(biāo)。這樣既考慮了檢測速度和檢測精度，又減小了模型參數(shù)的尺寸。

YOLO-V3對每個類別獨立使用邏輯回歸，取代了DarkENT-19到DarkENT-53的特征提取網(wǎng)絡(luò)。YOLO-V3幾乎與其他目標(biāo)檢測算法一樣精確，但速度至少是后者的兩倍。YOLO-V3的特征提取網(wǎng)絡(luò)為Darknet-53。Darknet-53通過不斷地使用卷積、標(biāo)準(zhǔn)化、池化等操作，提取輸入到Y(jié)OLO-V3網(wǎng)絡(luò)的火災(zāi)圖像的特征，并通過卷積不斷地對火災(zāi)圖像進行特征提取。這種方法廣泛應(yīng)用于其他各種網(wǎng)絡(luò)模型中，ResNet也通過增加網(wǎng)絡(luò)的深度來提高網(wǎng)絡(luò)的精度。雖然可以同時縮放兩個或三個維度，但由于深度和寬度之間有一定的關(guān)系，需要進行復(fù)雜的手動調(diào)整，也就是說只能調(diào)整深度和寬度才能達到更好的精度。目前，YOLO-V3模型在火災(zāi)探測中并未得到廣泛應(yīng)用。

B.Fire-YOLO

Fire-YOLO是一種單階段檢測模型。FireYOLO用于火災(zāi)探測的步驟如下所示。首先,網(wǎng)絡(luò)輸入火災(zāi)圖像分為S×S網(wǎng)格,和檢測在每個探測單元格:是否有火焰或者煙霧的中心目標(biāo)是發(fā)現(xiàn)落在S2的網(wǎng)格,網(wǎng)格負(fù)責(zé)檢測目標(biāo)被檢測出來。然后，每個網(wǎng)格預(yù)測3個邊界框，并給出這些邊界框的置信度。置信計算的定義如下。

當(dāng)目標(biāo)落在網(wǎng)格中時Pγ = 1，否則Pγ = 0。IoU表示預(yù)測邊界框與真實邊界框的重合。置信度反映了網(wǎng)格中是否存在對象以及包含對象時預(yù)測邊界框的準(zhǔn)確性。當(dāng)多個包圍盒同時檢測到同一目標(biāo)時，YOLO網(wǎng)絡(luò)將使用非最大抑制(Non-Maximum Suppression, NMS)方法選擇最佳包圍盒。利用卷積神經(jīng)網(wǎng)絡(luò)對視頻中的火情和煙霧進行分類來檢測火情，具有良好的準(zhǔn)確率。文章提出的Fire-YOLO模型從深度、寬度和分辨率三個維度考慮，實現(xiàn)了更加均衡的網(wǎng)絡(luò)架構(gòu)。Fire-YOLO火災(zāi)探測步驟如下圖所示。將輸入圖像劃分為S×S網(wǎng)格，每個網(wǎng)格預(yù)測三個邊界框和置信度分?jǐn)?shù)。然后，使用非最大值抑制方法選擇最佳邊界框。

Effentnet的提出為設(shè)計一種標(biāo)準(zhǔn)化的卷積神經(jīng)網(wǎng)絡(luò)尺度方法提供了可能。通過平衡網(wǎng)絡(luò)深度、寬度和分辨率這三個維度，可以在深度、寬度和分辨率這三個維度上實現(xiàn)更均衡的網(wǎng)絡(luò)架構(gòu)，而無需復(fù)雜的人工調(diào)整。由于火災(zāi)數(shù)據(jù)集中大量的檢測對象為小火焰和煙霧，這種簡單高效的復(fù)合尺度變換方法相對于其他的一維尺度變換方法可以進一步提高火災(zāi)的檢測精度，并能充分節(jié)約計算資源。最終，文章使用的改進后的Effentnet比精度相同的卷積神經(jīng)網(wǎng)絡(luò)速度更快，參數(shù)更少，模型更小，具有明顯的優(yōu)勢。提出的Fire-YOLO火災(zāi)探測模型網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。

與YOLO-V3中特征提取網(wǎng)絡(luò)Darknet53中使用的殘塊不同，F(xiàn)ire-YOLO的特征提取網(wǎng)絡(luò)使用了一個移動倒瓶頸卷積(MBConv)，該卷積由深度卷積和擠壓-激活網(wǎng)絡(luò)(SENet)組成。MBConv塊的結(jié)構(gòu),最重要的是,一個1×1卷積內(nèi)核用于增加圖像的維數(shù),接下來通過切除卷積和SENet反過來,最后用1×1卷積內(nèi)核來減少圖像的維數(shù)輸出。輸入圖像經(jīng)過特征提取網(wǎng)絡(luò)并上采樣后，得到對應(yīng)的特征圖，即圖像對應(yīng)的向量特征矩陣。為了獲得小目標(biāo)的高層特征信息，特征圖將經(jīng)過卷積集處理，卷積集由5個卷積層組成，卷積核交替為1 × 1和3 × 3。然后利用池化層將高維向量扁平化為一維向量，由激活函數(shù)進行處理。將這些向量輸入到激活函數(shù)中，得到相應(yīng)的分類結(jié)果，并選擇最有可能的結(jié)果作為特征提取網(wǎng)絡(luò)輸出。針對Darknet-53特征提取網(wǎng)絡(luò)在深度、寬度和分辨率三個維度平衡方面的性能缺陷，文章在文章提出的fire數(shù)據(jù)集上使用改進的Effecentnet特征提取網(wǎng)絡(luò)，彌補了Darknet-53在小目標(biāo)檢測方面的性能不足，提高了小目標(biāo)檢測的特征提取能力。對于輸入的小目標(biāo)圖像，增強了小目標(biāo)特征的學(xué)習(xí)能力，提高了小目標(biāo)特征提取網(wǎng)絡(luò)的性能。

為了更好地處理小目標(biāo)圖像，F(xiàn)ire-YOLO模型首先將輸入圖像縮放到416 × 416像素，然后使用Effecentnet從圖像中提取特征。經(jīng)過多層的深度可分卷積、全局平均池化、特征壓縮和特征擴展，對深度可分卷積學(xué)習(xí)到的特征映射進行上采樣。通過特征金字塔處理得到不同尺度的預(yù)測框。文章提出的Fire-YOLO模型預(yù)測了13 × 13、26 × 26、52 × 52三種不同尺度的邊界盒。用于小目標(biāo)檢測的深度可分離卷積結(jié)合了逐條通道卷積和逐級點卷積兩種級別，提取不同粒度的小目標(biāo)特征。深度可分卷積的結(jié)構(gòu)如下圖所示。

通過比較YOLO-V3中使用的Darknet-53特征提取網(wǎng)絡(luò)、快速R-CNN中使用的RPN目標(biāo)建議網(wǎng)絡(luò)和Fire YOLO中使用的深度可分離卷積，發(fā)現(xiàn)深度可分離卷積在計算復(fù)雜度方面具有優(yōu)異的性能。這種卷積結(jié)構(gòu)加快了模型的訓(xùn)練速度，提高了模型的檢測精度。在火災(zāi)探測模型的實際應(yīng)用中，可以加快網(wǎng)絡(luò)的處理速度，如果計算量較小，可以達到實時圖像處理的目的，從而實現(xiàn)火災(zāi)危險的實時探測。同時，該模型的硬件要求也降低了，以便于部署。

SENet主要由兩個階段組成。第一個階段是擠壓階段。第二個階段是激發(fā)階段。在獲得擠壓的矢量后，使用完全連接的層，并預(yù)測每個通道的重要性。隨后，將其應(yīng)用于與初始特征映射相對應(yīng)的信道，以便小目標(biāo)的特征信息將被賦予更高的優(yōu)先級。SENet的結(jié)構(gòu)如下圖所示。

在深度學(xué)習(xí)網(wǎng)絡(luò)模型中，激活函數(shù)是一個連續(xù)可導(dǎo)的非線性函數(shù)，可以擬合非線性關(guān)系。激活函數(shù)及其導(dǎo)數(shù)的形式比較簡單，可以加快網(wǎng)絡(luò)的學(xué)習(xí)速度。正確使用激活函數(shù)對模型的訓(xùn)練和模型對目標(biāo)預(yù)測的準(zhǔn)確性都具有重要意義。活化函數(shù)的導(dǎo)數(shù)不宜過大或過小，最好穩(wěn)定在1左右。文章提出的模型使用了Swish激活函數(shù)，其表達式為：

其中β是常數(shù)或可訓(xùn)練參數(shù)。Swish具有無上界、無下界、光滑、非單調(diào)的特點。Swish在深度模式上比ReLU要好。乙狀結(jié)腸的飽和函數(shù)很容易導(dǎo)致梯度的消失,借鑒ReLU的影響,當(dāng)它是非常大的,它將方法,但當(dāng)x→∞,函數(shù)的一般趨勢比ReLU ReLU相似但更復(fù)雜。Swish函數(shù)可以看作是一個介于線性函數(shù)和ReLU函數(shù)之間的平滑函數(shù)。

C. 性能指標(biāo)

文章利用訓(xùn)練后的Fire-YOLO模型對測試圖像進行一系列實驗，驗證算法的性能。評價神經(jīng)網(wǎng)絡(luò)模型有效性的相關(guān)指標(biāo)有:precision, recall, F1, AP值。在二元分類問題中，根據(jù)真類別和預(yù)測類別的組合，樣本可分為四種類型:真陽性(TP)、假陽性(FP)、真陰性(TN)和假陰性(FN)。分類結(jié)果的混淆矩陣如下表所示。

其余指標(biāo)的公式根據(jù)混淆矩陣計算如下：

5.實驗分析

本節(jié)介紹訓(xùn)練網(wǎng)絡(luò)的實驗環(huán)境、數(shù)據(jù)集、模型效果評價指標(biāo)以及實驗結(jié)果分析。通過一系列不同模型的對比實驗，分析了文章提出的新模型的優(yōu)越性。實驗過程中使用了火數(shù)據(jù)集和小目標(biāo)數(shù)據(jù)集。通過fire數(shù)據(jù)集對目標(biāo)檢測網(wǎng)絡(luò)的準(zhǔn)確性進行了驗證和評估，在不同光照條件、類火煙霧目標(biāo)等復(fù)雜環(huán)境下具有良好的檢測效果;在小目標(biāo)火力數(shù)據(jù)集上驗證了該檢測方法。結(jié)果證實，F(xiàn)ire-YOLO更容易檢測到較小的目標(biāo)。Fire-YOLO檢測模型接收416 × 416像素圖像作為輸入，由于GPU性能限制，批處理大小設(shè)為8，每個模型訓(xùn)練100 epoch，初始學(xué)習(xí)速率為10?3，50 epoch后除以10。

A. 數(shù)據(jù)采集

實驗中使用的數(shù)據(jù)集是通過采集消防公益平臺上的消防圖片來構(gòu)建的。將fire數(shù)據(jù)集和小目標(biāo)數(shù)據(jù)集分別劃分為訓(xùn)練集、驗證集和測試集，以便在相同的實驗設(shè)置下對不同的模型進行訓(xùn)練。第一個數(shù)據(jù)集為火焰數(shù)據(jù)集，文章使用的圖像數(shù)據(jù)是公共網(wǎng)站上收集的火災(zāi)和煙霧圖像。這19819張原始圖像包括不同天氣和光線線下的火焰和煙霧。在對以上數(shù)據(jù)集圖像進行編號后，使用LabelImg工具進行手動標(biāo)記，包括繪制邊框和分類類別?？紤]到標(biāo)簽與數(shù)據(jù)的對應(yīng)關(guān)系，為保證數(shù)據(jù)集分布均勻，將數(shù)據(jù)集按70%、20%、10%的比例隨機分為訓(xùn)練集、驗證集和測試集。為了保證實驗環(huán)境相同，最終數(shù)據(jù)集以PASCAL VOC數(shù)據(jù)集格式存儲。為了防止神經(jīng)網(wǎng)絡(luò)中過擬合，對于像素區(qū)域不清晰的陽性樣本不進行標(biāo)記。完成的數(shù)據(jù)集如下表所示。

第二個數(shù)據(jù)集為小目標(biāo)檢測數(shù)據(jù)集，文章自制了370張圖像的數(shù)據(jù)集。數(shù)據(jù)集的內(nèi)容都是包含小目標(biāo)的火焰和煙霧。通過將250 × 250像素的火焰圖像嵌入到1850 × 1850像素的圖像中，可以使被探測目標(biāo)在圖像中的面積非常小。最后使用LabelImg工具手工標(biāo)注小目標(biāo)。

B. 算法的比較分析

為了驗證模型的性能，文章使用火焰和煙霧圖像作為訓(xùn)練集。將所提出的模型與YOLO-V3和Faster R-CNN檢測方法進行了比較。三種模型在試驗過程中的P-R曲線如圖5所示。

準(zhǔn)確率、召回率、F1評分和mAP值如下表所示。

基于以上結(jié)果，文章提出的Fire-YOLO在檢測性能上優(yōu)于YOLO-V3和Faster R-CNN。Fire-YOLO模型的精度為0.915,F1的值為0.73,mAP的值為0.802，高于其他兩個模型，體現(xiàn)了該模型的優(yōu)越性。同時Fire-YOLO降低了計算成本，節(jié)約了資源，更有利于社會的可持續(xù)發(fā)展。

C. 小目標(biāo)的檢測性能

在火災(zāi)探測過程中，由于攝像機離火源太遠，實際的火源位置在捕獲的圖像中只占很小的區(qū)域，這將導(dǎo)致網(wǎng)絡(luò)模型對火焰和煙霧的探測非常差。通過比較三種不同的目標(biāo)檢測模型在小目標(biāo)火災(zāi)數(shù)據(jù)集上的準(zhǔn)確率、召回率和mAP，可以得出文章提出的Fire-YOLO模型對非常小的目標(biāo)對象的檢測效率優(yōu)于Faster R-CNN和未改進的YOLO-V3網(wǎng)絡(luò)。訓(xùn)練于射擊小目標(biāo)數(shù)據(jù)集的Fire-YOLO對待檢測小目標(biāo)圖像在深度、寬度和分辨率三個維度上進行自適應(yīng)調(diào)整，增強了信息之間的交互作用。從而增強了Fire-YOLO提取小目標(biāo)特征的能力，提高了小目標(biāo)物體的檢測精度。下表給出了三種模型方法對小目標(biāo)射擊數(shù)據(jù)集評價指標(biāo)的具體結(jié)果。

三種不同模型對小目標(biāo)火力數(shù)據(jù)集的檢測效率差異較大。文章提出的Fire-YOLO模型的準(zhǔn)確率和召回率比其他模型更顯著。準(zhǔn)確率可達75.48%，可實現(xiàn)對小目標(biāo)的檢測。森林火災(zāi)的早期及時發(fā)現(xiàn)可以大大減少對生態(tài)環(huán)境的破壞，減少火災(zāi)造成的經(jīng)濟損失，促進生態(tài)環(huán)境的可持續(xù)發(fā)展。訓(xùn)練后Fire-YOLO網(wǎng)絡(luò)模型具有良好的火力目標(biāo)探測效率。文章使用Fire-YOLO模型來檢測非常小的火力目標(biāo)，并將檢測結(jié)果圖形化顯示。較小的射擊目標(biāo)是小目標(biāo)射擊數(shù)據(jù)集中驗證數(shù)據(jù)集中的所有圖像。對Fire-YOLO進行了30多個驗證插圖的驗證，最終的圖像檢測結(jié)果如下圖所示。Fire-YOLO可以檢測到圖片中所有的火和煙，而YOLO-V3和Faster R-CNN在檢測結(jié)果中只能檢測到圖像中的部分目標(biāo)。

D. 類火和類煙目標(biāo)的探測性能

通過對比模型對豐富的類火和類煙圖像的檢測性能，可以發(fā)現(xiàn)Fire-YOLO對類火和類煙目標(biāo)具有更好的檢測效率。除了Fire-YOLO，其他模型分別將圖像中的光和云誤判為火和煙。顯然，F(xiàn)ire-YOLO對圖像紋理特征更加敏感，這是由于在特征提取網(wǎng)絡(luò)中結(jié)合了1 × 1卷積核和SE模塊。最后，提高了該模型在探測混淆目標(biāo)時的魯棒性。三種模型的類火和類煙檢測結(jié)果如下圖所示。在上述情況下，F(xiàn)ire-YOLO模型大大減少了誤檢的發(fā)生，減少了勞動力消耗，節(jié)約了社會資源。

E. 模型在不同自然光下的檢測性能

本節(jié)通過對比不同自然光照條件下的多幅火災(zāi)圖像，測試Fire-YOLO在真實環(huán)境中的性能。在實際火災(zāi)探測現(xiàn)場，會出現(xiàn)光線不足或光線很強的情況。在這種場景下，會對火災(zāi)探測產(chǎn)生一定的影響。使用大尺度feature map對模型進行改進，識別小目標(biāo)對象，但在弱光條件下存在誤判。檢測結(jié)果如下圖所示。通過比較FasterR-CNN、YOLO-V3和Fire-YOLO模型的檢測性能，結(jié)果表明該模型在不同光照條件下具有良好的性能，對光照變化具有較強的魯棒性。Fire-YOLO模式的這些優(yōu)勢可以減少火災(zāi)對森林的危害，減少溫室效應(yīng)對人類的影響，促進可持續(xù)發(fā)展。

文章提出的Fire- YOLO模型在小目標(biāo)、類火、類煙探測以及不同明度下的火災(zāi)探測等方面都取得了令人滿意的效果。在實際應(yīng)用中，該方法不僅具有實時性，而且具有良好的魯棒性。然而文章檢測算法仍然存在檢測精度低、檢測半遮擋目標(biāo)具有挑戰(zhàn)性的問題。這可能是由于在實際環(huán)境中探測火焰時，火災(zāi)的可變性和火災(zāi)蔓延的復(fù)雜性，造成了火災(zāi)檢查的困境，如下圖所示。

6.結(jié)論

文章結(jié)合火災(zāi)探測的effentnet方法，對YOLO-V3檢測模型進行改進。新提出的模型可用于探測火焰和煙霧。文章提出的Fire-YOLO模型使用effecentnet對輸入圖像進行特征提取，促進了模型的特征學(xué)習(xí)，提高了網(wǎng)絡(luò)性能，優(yōu)化了YOLO-V3模型對極小目標(biāo)的檢測過程。實驗結(jié)果表明，文章提出的Fire-YOLO模型比YOLO-V3模型性能更好，比FasterR-CNN性能更好。Fire-YOLO模型也能實時探測火力目標(biāo)。森林火災(zāi)的快速準(zhǔn)確檢測可以減少森林火災(zāi)造成的經(jīng)濟損失，提高森林及其生態(tài)環(huán)境的保護，促進資源的可持續(xù)發(fā)展。未來的工作將集中在應(yīng)用現(xiàn)有的模型來探測視頻中火災(zāi)的大小等實際任務(wù)。此外，對小目標(biāo)的檢測和模型進行優(yōu)化，進一步提高檢測模型的精度。

好消息！?

小白學(xué)視覺知識星球

開始面向外開放啦??????