【正文】 含分割、矯正以及字符識(shí)別的CNN網(wǎng)絡(luò)，結(jié)合使用固定詞典的隱馬爾科夫模型（HMM），生成最終的識(shí)別結(jié)果。PhotoOCR系統(tǒng)使用基于HOG特征的神經(jīng)網(wǎng)絡(luò)分類器，對(duì)分割得到的候選結(jié)果進(jìn)行打分，使用結(jié)合N元語(yǔ)言模型（Ngram ）的Beam搜索算法，得到候選字符集合。最后，再沈 陽(yáng) 理 工 大 學(xué) 課 程 設(shè) 計(jì) 專 用 紙沈陽(yáng)理工大學(xué)20進(jìn)一步使用語(yǔ)言模型和形狀模型對(duì)候選字符組合進(jìn)行重新排序。Deep Features for Text Spotting（2022）結(jié)合了文本一非文本分類器、字符分類器、二元語(yǔ)言模型分類器，對(duì)整張圖進(jìn)行稠密的基于滑動(dòng)窗口的掃描。最后結(jié)合固定詞典，對(duì)圖片中的單詞進(jìn)行分析。 基于字符的識(shí)別技術(shù)依賴于使用字符分類器對(duì)圖像進(jìn)行逐字符識(shí)別，最終將識(shí)別得到的字符進(jìn)行集成，得到圖像中的整個(gè)單詞。 基于單詞的識(shí)別Scene Text Recognition using Higher Order Language Priors 以及 LargeLexicon AttributeConsistent Text Recognition in Natural Images 的工作依舊依賴于顯式的字符分類器，但是通過(guò)構(gòu)建一個(gè)圖結(jié)構(gòu)來(lái)推導(dǎo)整個(gè)單詞。這會(huì)遇到和基于字符識(shí)別方法類似的困難。Whole is Greater than Sum of Parts: Recognizing Scene Text Words（2022）使用整張文字圖片來(lái)識(shí)別單詞:他們使用基于梯度的特征圖與預(yù)先制作好的單詞圖像進(jìn)行對(duì)比，利用動(dòng)態(tài) k 近鄰來(lái)判斷當(dāng)前圖片所包含的單詞。該方法依賴于一個(gè)固定詞典以及預(yù)先生成的單詞圖片。 Label embedding for text recognition（2022）使用集成的 Fisher 向量以及結(jié)構(gòu)化的支持向量機(jī)框架來(lái)建立圖片和整個(gè)單詞編碼的關(guān)系。Word Spotting and Recognition with Embedded Attributes（2022）進(jìn)一步探索了單詞編碼的概念，他們?yōu)閳D片和單詞字符串創(chuàng)建了一個(gè)編碼空間。這其實(shí)是 Supervised midlevel features for word image representation（2022）方法的擴(kuò)展:顯式利用字符級(jí)別的訓(xùn)練數(shù)據(jù)來(lái)學(xué)習(xí)中間特征。Multidigit Number Recognition from Street View Imagery using Deep Convolutional Neural Networks（2022）等人使用深度 CNN 對(duì)整張圖片進(jìn)行編碼，并使用多個(gè)位置敏感的字符級(jí)分類器來(lái)進(jìn)行文字識(shí)別。他們?cè)诮志伴T牌號(hào)識(shí)別任務(wù)中取得了極大的成功。他們還將該模型應(yīng)用到長(zhǎng)達(dá) 8 位的驗(yàn)證碼識(shí)別任務(wù)上，并使用了合成的訓(xùn)練數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練。該方法在 goggle 街景門牌號(hào)識(shí)別任務(wù)中獲得了 96%以上的識(shí)別率。同時(shí)還在對(duì)goggle 驗(yàn)證碼識(shí)別任務(wù)中獲得了 99%以上的識(shí)別率。Synthetic Data and Artificial Neural Networks for Natural Scene Text Recognition（ 2022）和 Reading Text in the Wild with Convolutional Neural Networks（2022 ）對(duì)上述模型做了細(xì)微變動(dòng) :取消了預(yù)測(cè)字符長(zhǎng)度的分類器，并引入了結(jié)束符表示文字結(jié)尾。他們隨后證明了，使用合成的訓(xùn)練數(shù)據(jù)訓(xùn)練出的模型，能夠成功應(yīng)沈 陽(yáng) 理 工 大 學(xué) 課 程 設(shè) 計(jì) 專 用 紙沈陽(yáng)理工大學(xué)21用到現(xiàn)實(shí)世界的識(shí)別問(wèn)題中。將單詞編碼為向量是一種可行的詞典單詞識(shí)別方法，但是在無(wú)約束情況下，字符之間可以任意組合。當(dāng)字符數(shù)量足夠多時(shí)，基于固定長(zhǎng)度向量編碼的方法性能會(huì)顯著下降。但是依然存在一些不足:一些研究將深度學(xué)習(xí)技術(shù)用于單個(gè)字符的識(shí)別步驟中，但整體框架依舊遵循傳統(tǒng)處理流程設(shè)計(jì)，因此在其它步驟中依舊會(huì)遇到緒論所述問(wèn)題。Good fellow 等人的研究使用純神經(jīng)網(wǎng)絡(luò)直接完成整個(gè)識(shí)別流程，取得了業(yè)界領(lǐng)先的成績(jī)。但是由于他們需要使用固定大小的圖像作為輸入，并且將輸入圖像編碼為固定長(zhǎng)度的特征向量，在圖片中字符較多的情況下，模型的識(shí)別精度會(huì)顯著下降。另一方面，由于他們的模型沒(méi)有對(duì)圖片進(jìn)行顯式地字符定位和分割，因此無(wú)法得知每個(gè)字符在原圖中所處位置。 現(xiàn)存算法的問(wèn)題 大多文字識(shí)別方法依賴于人工定義的特征雖然有大量工作研究如何定義一組好的文字特征，但是大部分實(shí)際應(yīng)用的特征都不具有通用性。在極端情況下（如圖 10（a）），很多特征幾乎無(wú)效或甚至無(wú)法提取，如筆畫特征，形狀特征，邊緣特征等。另一方面，定義和提取人工特征也是一件極為耗時(shí)耗力的工作。 脫離上下文的字符識(shí)別易造成顯著的歧義基于字符的識(shí)別方法通常以字符為處理單位，通過(guò)分割或者滑動(dòng)窗口搜索的方法，將單個(gè)字符進(jìn)行分離。然后利用字符分類器來(lái)預(yù)測(cè)字符分類。然而，在復(fù)雜情況下，字符的分割非常困難，而強(qiáng)行分割則會(huì)破壞字符結(jié)構(gòu)。另外，字符的識(shí)別需要上下文的參與，如圖 10（b）所示。該圖中的單詞為 defence，若將 d、f、 n 分離后再進(jìn)行字符識(shí)別，識(shí)別成功率會(huì)明顯下降。沈 陽(yáng) 理 工 大 學(xué) 課 程 設(shè) 計(jì) 專 用 紙沈陽(yáng)理工大學(xué)22圖 10 極端情況下的文字識(shí)別 簡(jiǎn)單的單詞整體識(shí)別有著較大的局限性基于整個(gè)單詞的識(shí)別方法直接從整幅圖片中提取特征，然后進(jìn)行識(shí)別。然而， 該類方法面可能臨以下三個(gè)問(wèn)題: a)難以應(yīng)對(duì)無(wú)約束情況下的識(shí)別。多個(gè)字符的組合不一定形成字典中的單詞，有很多時(shí)候，圖像中的文字由隨機(jī)字符組成(如產(chǎn)品型號(hào)、驗(yàn)證碼、商標(biāo)名稱)。以單詞為單位進(jìn)行識(shí)別的方法無(wú)法應(yīng)對(duì)此類情況。 b)長(zhǎng)字符串識(shí)別正確率顯著下降。當(dāng)字符數(shù)量增多時(shí)(如 20 個(gè)左右)，圖片的情況會(huì)變得更為復(fù)雜，一些整體識(shí)別方法的性能會(huì)顯著下降。 c)缺乏字符定位功能。很多時(shí)候，文字識(shí)別不僅僅需要了解圖像中包含的 文字內(nèi)容，還需要了解每個(gè)字符在原圖中的位置?；谧址淖R(shí)別方法天然帶有字符定位功能。而有些整體識(shí)別的方法則缺失了此類性質(zhì)。如 Good fellow 等人的整體識(shí)別方法。 訓(xùn)練樣本制作繁瑣不少算法的訓(xùn)練依賴于詳細(xì)的訓(xùn)練樣本標(biāo)注結(jié)果：不僅需要知道每張訓(xùn)練樣本中包含的文字，還需要知道每個(gè)文字所處的位置。有些算法還需要結(jié)合切分好的單字符訓(xùn)練樣本、多字符訓(xùn)練樣本。有些算法為了進(jìn)行文字區(qū)域非文字區(qū)域檢測(cè)，還需要制作包含文字的正例樣本和反例樣本。為了獲得良好的機(jī)器學(xué)習(xí)效果，大部分的機(jī)器學(xué)習(xí)算法都要求盡量使用豐富、大量、貼近真實(shí)世界的樣本進(jìn)行訓(xùn)練。因此，對(duì)樣本制作要求苛刻的識(shí)別算法會(huì)加大人工工作量，進(jìn)而難以通用。沈 陽(yáng) 理 工 大 學(xué) 課 程 設(shè) 計(jì) 專 用 紙沈陽(yáng)理工大學(xué)237 參考文獻(xiàn)[1] [M].清華大學(xué)出版社，2022：2560[2] 2022 年 12 月[3] ——模糊控制專家控制神經(jīng)網(wǎng)絡(luò)控制 M長(zhǎng)沙湖南大學(xué)出版社,1996.：4678[4] 孫即祥,模式識(shí)別中的特征提取與計(jì)算機(jī)視覺(jué)不變量[M].北京:國(guó)防工業(yè)出版社,2022：70109