近日，“大學(xué)生用OCR+正則表達(dá)式快速核查學(xué)生核酸報(bào)告”的新聞火了，細(xì)心觀察我們就能發(fā)現(xiàn)，生活里OCR的身影到處都是：文檔掃描、車牌識(shí)別、證件識(shí)別等等。在這個(gè)信息技術(shù)高速發(fā)展的時(shí)代，越來越多的小事可以“智能化”、“信息化”，曾經(jīng)需要浪費(fèi)諸多人力物力才能完成的事，可以通過新的技術(shù)輕松地解決。文章開頭提到的新聞里，OCR技術(shù)到底解決了什么問題？上圖是一張上海市健康云截圖，復(fù)旦大學(xué)博士生使用OCR技術(shù)監(jiān)測(cè)到文本，再提取其中的文字信息，每次核查數(shù)百人的截圖僅需幾分鐘。抽象的字符讓人感覺技術(shù)深不可測(cè)，但是等讀者們稍作了解之后，會(huì)發(fā)現(xiàn)高科技是非常親切實(shí)用的。OCR中文名叫做“光學(xué)字符識(shí)別”，它可以將名片、票據(jù)、身份證、駕照等文檔資料中的文字和數(shù)字信息轉(zhuǎn)換成文本信息，以電子形式保存，實(shí)現(xiàn)信息采集的快速錄入?，F(xiàn)在有非常多實(shí)現(xiàn)OCR功能的免費(fèi)接口，傳入圖片路徑，就可以調(diào)用接口函數(shù)，識(shí)別圖片中的文字信息。常見OCR方法的具體過程通常分為以下四個(gè)步驟：
預(yù)處理：是對(duì)圖像進(jìn)行初步的處理，目的是減少圖像中的無用信息，方便提取特征。常用的步驟有：灰度化、降噪、二值化、字符切分、歸一化等。特征提取和降維：是識(shí)別文字、數(shù)字的關(guān)鍵步驟之一。特征是識(shí)別文字的關(guān)鍵信息，每個(gè)不同的文字通過特征來和其他文字進(jìn)行區(qū)分。數(shù)字和英文字符相對(duì)中文字符來說更容易區(qū)分。為了提高后續(xù)分類器的效果和效率，往往還要進(jìn)行降維，進(jìn)一步減少特征中的無用信息，同時(shí)把有用信息盡可能多地保留下來。分類器設(shè)計(jì)：對(duì)特征進(jìn)行識(shí)別，是進(jìn)行文字、數(shù)字識(shí)別的關(guān)鍵步驟之一。在這一步中，分類器對(duì)特征進(jìn)行分類，將其識(shí)別成對(duì)應(yīng)的字符。分類器一般需要提前訓(xùn)練，常見的分類器有：支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等。后處理：是對(duì)分類結(jié)果進(jìn)行優(yōu)化處理的步驟。經(jīng)過分類器分類得到的結(jié)果是不完全準(zhǔn)確的，比如對(duì)形近字的識(shí)別錯(cuò)誤率比較高、識(shí)別結(jié)果存在排版錯(cuò)誤，后處理就可以有針對(duì)性地解決這些問題。例如，通過語言模型校正將“存哪里”校正為“在哪里”，并對(duì)識(shí)別結(jié)果進(jìn)行格式化。正則表達(dá)式在人物場(chǎng)景中承擔(dān)的是什么責(zé)任呢？經(jīng)過前面敘述的流程，從圖片中提取出來的文字信息，需要進(jìn)一步整理提取，實(shí)現(xiàn)自動(dòng)化核查。正則表達(dá)式通常被用來檢索、替換符合特定模式的文本。正則表達(dá)式可以提取出文本中的特定文本，即：姓名、證件號(hào)碼、采樣時(shí)間、檢測(cè)結(jié)果等，再輸出到Excel中。目前主流的OCR任務(wù)會(huì)使用深度學(xué)習(xí)方法，這意味著數(shù)據(jù)集是其中的關(guān)鍵。
文本檢測(cè)數(shù)據(jù)集SynthText：https://www.robots.ox.ac.uk/~vgg/data/scenetext/ICDAR是競(jìng)賽數(shù)據(jù)集，2003年、2013年、2015年、2017年分別開放了以下數(shù)據(jù)集：?http://www.iapr-tc11.org/mediawiki/index.php/ICDAR_2003_Robust_Reading_Competitionshttps://rrc.cvc.uab.es/?ch=2https://rrc.cvc.uab.es/?ch=4https://rrc.cvc.uab.es/?ch=5&com=introduction谷歌圖像中收集整理得到的IIIT 5K words數(shù)據(jù)集：http://cvit.iiit.ac.in/projects/SceneTextUnderstanding/IIIT5K.html還有一些公開數(shù)據(jù)集，如：SVT、CUTE等。Github上有一個(gè)OCR數(shù)據(jù)匯總可以查看：https://github.com/WenmuZhou/OCR_DataSet大多數(shù)OCR數(shù)據(jù)集包含的圖像數(shù)量比較少，并不足以訓(xùn)練出一個(gè)模型，需要合成新的數(shù)據(jù)集使用。OCR技術(shù)不算是最新的技術(shù)，早在十年前它就火過，隨著近年深度學(xué)習(xí)的迅速發(fā)展，基于深度學(xué)習(xí)的OCR技術(shù)也逐漸成熟，能夠更好更靈活地應(yīng)對(duì)不同場(chǎng)景，已經(jīng)成為科技公司的能力標(biāo)配。
本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪文。
下載APP