計(jì)算機(jī)視覺方向簡介 | 駕駛員監(jiān)控DMS
點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)
監(jiān)控的目的是發(fā)現(xiàn)駕駛員走神（distraction）、疲勞（fatigue）或者打瞌睡（drowsiness），甚至出現(xiàn)無法駕駛的意外情況，比如欺騙輔助駕駛系統(tǒng)用礦泉水代替雙手在方向盤上，或者與乘客爭吵打架等。另外，如果作為自動(dòng)駕駛的研發(fā)階段，監(jiān)控駕駛員可以提供駕駛行為的第一手?jǐn)?shù)據(jù)，甚至用于仿真模擬系統(tǒng)中。
非侵入式（non-intrusive）方法是監(jiān)測的首選方法，而基于視覺的系統(tǒng)更具有吸引力。主要的視覺線索包括面部特征、手特征或身體特征。許多檢測系統(tǒng)僅使用單個(gè)視覺線索，這種系統(tǒng)魯棒性差，比如出現(xiàn)遮擋或光照變化時(shí)，容易被干擾。所以將多種視覺線索組合才是關(guān)鍵，也是具有挑戰(zhàn)性的。
一個(gè)駕駛員面部監(jiān)控系統(tǒng)是基于駕駛員面部圖像處理來研究駕駛員身心狀況的實(shí)時(shí)系統(tǒng)。可以從眼瞼閉合、眨眼、凝視方向、打哈欠和頭部運(yùn)動(dòng)等，檢測到駕駛員狀態(tài)?；痉殖蓛纱箢悾?/span>
①. 僅從眼部區(qū)域檢測駕駛員；
②. 不僅可以從眼睛中檢測，還可以從臉部和頭部的其他區(qū)域檢測。
下圖是一個(gè)駕駛員臉部監(jiān)控系統(tǒng)框圖：檢測人臉，還有眼睛和其他臉部特征，同時(shí)跟蹤變化，提取癥狀，實(shí)現(xiàn)疲勞和分心檢測。駕駛員面部監(jiān)控系統(tǒng)的主要挑戰(zhàn)是：
①“如何測量疲勞？”第一個(gè)挑戰(zhàn)是如何準(zhǔn)確定義疲勞以及如何測量疲勞; 疲勞與體溫，皮膚電阻，眼球運(yùn)動(dòng)，呼吸頻率，心率和大腦活動(dòng)之間存在關(guān)系;第一個(gè)也是最重要的疲勞跡象會(huì)在眼睛中出現(xiàn)。
②“如何測量注意力？”第二個(gè)挑戰(zhàn)是測量駕駛員對(duì)道路的注意力；可以從駕駛員頭部和注視方向（gaze direction）估計(jì)駕駛員的注意力。
人臉檢測方法可參照一般目標(biāo)檢測的方法，現(xiàn)在深度學(xué)習(xí)也已經(jīng)在這個(gè)領(lǐng)域展示“肌肉”。人臉檢測是一個(gè)老問題，人臉檢測挑戰(zhàn)的情況有以下一些：
面內(nèi)旋轉(zhuǎn);
面外旋轉(zhuǎn);
化妝品，胡須和眼鏡的存在;
表情（快樂，哭泣等）;
照明條件;
臉部遮擋;
實(shí)時(shí)處理要求。
眼部區(qū)域總是先被用于駕駛員癥狀提取，因?yàn)樽钪匾男睦砘顒?dòng)與眼睛活動(dòng)有關(guān)。
眼睛檢測的兩大類：
1) 基于紅外光譜成像的方法；
2) 基于視覺的方法；
除了眼睛，還可以檢測其他面部成分：嘴巴，鼻子和臉部突出（Salient）點(diǎn)。
面部跟蹤是分析駕駛員心理活動(dòng)的主要手段。這種跟蹤任務(wù)和一般單目標(biāo)的跟蹤是相似的，主要挑戰(zhàn)包括：
從三維空間到二維空間的映射而讓一些信息丟失;
具有復(fù)雜的形狀或運(yùn)動(dòng);
部分遮擋;
環(huán)境光線變化;
實(shí)時(shí)跟蹤要求。
與疲勞、分心和打瞌睡有關(guān)的癥狀提取包括：
與眼部區(qū)域有關(guān)的癥狀：閉眼、眼瞼之間的距離、眨眼速度快、凝視方向和跳躍運(yùn)動(dòng)； 與嘴巴區(qū)域有關(guān)的癥狀：開/閉； 與頭部有關(guān)的癥狀：點(diǎn)頭、頭部姿勢和頭固定不變； 與面部有關(guān)的癥狀：主要是表情。
下面分別舉幾個(gè)例子：
如圖是一個(gè)基于深度神經(jīng)網(wǎng)絡(luò)（DNN）的駕駛員監(jiān)控系統(tǒng)。
其基于臉部、雙目和嘴巴三個(gè)區(qū)域的檢測網(wǎng)絡(luò)結(jié)構(gòu)如下：
而基于單目（左眼）區(qū)域加嘴巴區(qū)域的檢測網(wǎng)絡(luò)結(jié)構(gòu)如下：
如圖是一個(gè)基于深度學(xué)習(xí)模型的人臉表情識(shí)別系統(tǒng)：輸入圖像檢測面部和特征，從面部成分提取時(shí)空特征，使用預(yù)訓(xùn)練的分類器（圖像取自CK+數(shù)據(jù)集（d））確定表情。
而整個(gè)深度學(xué)習(xí)模型是CNN和LSTM結(jié)合，如下圖：
下圖一個(gè)身體姿勢（posture）識(shí)別駕駛員分心癥狀的系統(tǒng)。其癥狀類包括：喝酒，調(diào)整收音機(jī)，正確姿勢駕駛，擺弄頭發(fā)或化妝品，面向后面，與乘客交談，用左手打手機(jī)通話，用右手打手機(jī)通話，用左手發(fā)短信， 用右手發(fā)短信。
系統(tǒng)的算法框圖如圖：包括面部檢測器、手部檢測器和皮膚區(qū)域分割。對(duì)于每個(gè)輸出圖像（即皮膚，面部，手），訓(xùn)練AlexNet和InceptionV3網(wǎng)絡(luò)（5個(gè)AlexNet和5個(gè)InceptionV3），最后識(shí)別是一個(gè)加權(quán)組合輸出。
好消息！
小白學(xué)視覺知識(shí)星球
開始面向外開放啦??????
下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程 在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。 下載2：Python視覺實(shí)戰(zhàn)項(xiàng)目52講 在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：Python視覺實(shí)戰(zhàn)項(xiàng)目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計(jì)數(shù)、添加眼線、車牌識(shí)別、字符識(shí)別、情緒檢測、文本內(nèi)容提取、面部識(shí)別等31個(gè)視覺實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺。 下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講 在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。 交流群
歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請(qǐng)按照格式備注，否則不予通過。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~