【正文】 移除細(xì)小區(qū)域，得到最終的圖像掩模，將原圖與得到的掩膜圖像相乘，得到背景無噪音的圖像，而感興趣區(qū)不變，最后對眼底圖像的尺寸進(jìn)行裁剪，以減少處理時(shí)間，在掩模圖像邊框上下左右各增加20個(gè)像素來進(jìn)行修剪，得到最終的圖像掩模和待處理圖像（一方面縮減了圖像的尺寸提高了算法的運(yùn)行速度，另一方面也突出了感興趣區(qū)域）。l 提取血管特征后的眼底圖像l 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練及數(shù)據(jù)的驗(yàn)證和測試：對于網(wǎng)絡(luò)的選擇，我們現(xiàn)有的網(wǎng)絡(luò)模型有g(shù)oolenet、imagenet和alexnet三個(gè)網(wǎng)絡(luò)（這三個(gè)網(wǎng)絡(luò)分別適應(yīng)于不同大小的數(shù)據(jù)集的分類），對于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，主要是參數(shù)的選擇以及隱含層的設(shè)置（隱含層數(shù)目、傳遞參數(shù)及閾值的選擇我們可以結(jié)合遺傳算法，進(jìn)行最優(yōu)化選取，使實(shí)驗(yàn)效果盡可能的好）；根據(jù)原325幅彩色眼底圖像，經(jīng)篩選后合格的圖像有300幅，訓(xùn)練集我們用150幅圖像，驗(yàn)證集用50幅圖像，測試集用100幅圖像（每類眼底圖像都包含）。對實(shí)驗(yàn)的效果的評估我們用相對準(zhǔn)確率來衡量，即每一類都有TP（把P類正確分類為P類的高概率），F(xiàn)P（把其他類錯(cuò)誤分到P類的概率），Accuracy（總體分類正確的概率），實(shí)驗(yàn)中對于正確率較低一直無法提高其準(zhǔn)確率的類別可以將其單獨(dú)的分離出來，對其他做完分類后再對其進(jìn)行二分類實(shí)驗(yàn)，本次實(shí)驗(yàn)是在caffe框架下用其自身包含的幾個(gè)模型來學(xué)習(xí)訓(xùn)練，由于神經(jīng)網(wǎng)絡(luò)的自適應(yīng)學(xué)習(xí)特點(diǎn)，對特征明顯的數(shù)據(jù)分類一般會(huì)達(dá)到比較好的效果。針對國內(nèi)外眼底病研究的分析和預(yù)研的基礎(chǔ)上，我們發(fā)現(xiàn)目前眼底圖像輔助分析存在以下突出問題： 現(xiàn)有研究多基于一類特定病變進(jìn)行，還未出現(xiàn)一種能夠針對多類眼底病變的輔助診斷模型，在實(shí)際應(yīng)用中自動(dòng)診斷依然無法取得良好效果。 現(xiàn)有研究往往基于一類眼底圖像進(jìn)行，缺乏不同圖像之間的融合信息。不同類型的眼底圖像，在輔助診斷效果上方面也存在著差異。例如，眼底熒光造影獲得的黑白圖像與彩色眼底圖像對于不同病變特征的凸顯作用存在很大的差別。 眼底圖像的質(zhì)量與數(shù)量將在很大程度上影響實(shí)驗(yàn)的結(jié)果，除個(gè)別研究機(jī)構(gòu)外，普遍采用的圖像數(shù)量較少，有較大的提升空間。 眼底病變中有些特征的干擾因素太強(qiáng)，目前還未找到較好的消除方法，導(dǎo)致識(shí)別效果不佳。比如：許多紅色病變特別是出血與血管連通，導(dǎo)致難以到達(dá)完全刪除它們；許多微脈瘤的尺寸都非常小，而且與血管很接近，很難做到很好的分割效果；外來因素造成出血與病變造成出血特征還沒能有具體的區(qū)別； 現(xiàn)有研究多采用二維數(shù)據(jù)進(jìn)行，缺乏立體信息。假如能利用二維圖像，對眼球進(jìn)行三維立體建模，對于眼球病變輔助診斷將非常有益。針對上述問題，我們在預(yù)研的基礎(chǔ)上提出了以下的解決方案及技術(shù)路線。 針對多類常見眼底病變，建立統(tǒng)一眼底模型； 采用不同設(shè)備采集眼底信息，對多通道眼底信息進(jìn)行融合分析；利用多種類眼底影像信息提升輔助診斷的準(zhǔn)確新； 分析眼底相機(jī)成像機(jī)制，采用更適合處理眼底圖像形變的圖像預(yù)處理方法，增強(qiáng)特征； 利用深度學(xué)習(xí)技術(shù)取代傳統(tǒng)機(jī)器學(xué)習(xí)，構(gòu)造針對多類病變的具有高分辨和泛化能力的分類器； 嘗試進(jìn)行眼球病變的三維立體建模。采用合成模型生產(chǎn)樣本的方式，增大深度學(xué)習(xí)訓(xùn)練集樣本數(shù)量，并用真實(shí)樣本矯正的方式建立回歸模型?；蛘呖紤]利用生成對抗網(wǎng)絡(luò)進(jìn)行病變分類的訓(xùn)練和提升； 設(shè)計(jì)并實(shí)現(xiàn)眼底病變輔助診斷系統(tǒng)，以網(wǎng)站或者移動(dòng)端APP的形式，構(gòu)造一個(gè)眼底病變遠(yuǎn)程診斷（預(yù)判）/分級醫(yī)療預(yù)診（咨詢）平臺(tái)。建立統(tǒng)一的眼底模型對不同的眼底信息進(jìn)行多通道融合眼底病變種類繁多不同的設(shè)備采集的眼底信息不同利用三維建模增加深度學(xué)習(xí)訓(xùn)練樣本數(shù)據(jù)集數(shù)據(jù)集過少，數(shù)據(jù)不均衡傳統(tǒng)的分類器無法達(dá)到理想的效果構(gòu)造針對多類病變的具有高分辨和泛化能力的分類器眼底病變輔助診斷系統(tǒng)設(shè)計(jì)用網(wǎng)站或APP構(gòu)造一個(gè)眼底病變遠(yuǎn)程診斷平臺(tái)不同特征的整合建立統(tǒng)一模型利用二維數(shù)據(jù)抽象三維模型型紋理合成三維建模將三維模型從不同角度投影投影圖像與不同的背景融合將融合的新圖片作為訓(xùn)練集現(xiàn)流行的深度學(xué)習(xí)有傳統(tǒng)分類器不可比擬的優(yōu)勢，結(jié)合深度學(xué)習(xí)構(gòu)造分辨能力更強(qiáng)的分類器特征提取解 決方 案眼底相機(jī)采集的眼底照片存在變形采用合適的預(yù)處理方法，增強(qiáng)圖像的特征 預(yù)處理圖像均衡化（歸一化）處理嚴(yán)重影響特征的圖應(yīng)舍棄掩模處理，去除邊緣化等根據(jù)圖像特征提取多維特征向量多通道信息融合分級醫(yī)療預(yù)診遠(yuǎn)程診斷圖示如下：期待獲取的支持與協(xié)助 目前我們的預(yù)研實(shí)驗(yàn)離理想效果還存在著很大的提升空間，迫切的需要得到眼科專業(yè)人員的支持和協(xié)助。根據(jù)前期的工作分析，目前我們需要的協(xié)助主要有以下方面： 需要采集更多的眼底圖像； 需要專業(yè)人員對圖像上的特征區(qū)域進(jìn)行標(biāo)記，并建立圖像類別標(biāo)簽； 需要專業(yè)人員指導(dǎo)選擇23類（常見/有臨床研究意義）的病變種類進(jìn)行研究目前，項(xiàng)目組的人員主要為重慶大學(xué)計(jì)算機(jī)學(xué)院的青年教師，均為計(jì)算機(jī)專業(yè)博士及碩士，項(xiàng)目主要實(shí)施地點(diǎn)為重慶市軟件工程重點(diǎn)實(shí)驗(yàn)室。目前課題組成員負(fù)責(zé)的相關(guān)課題有國家自然科學(xué)基金項(xiàng)目2項(xiàng)，分別是三維建模及植物病害診斷；此外還承擔(dān)及完成省部級項(xiàng)目多項(xiàng)。我們深知，醫(yī)務(wù)工作者工作量大、責(zé)任重大；需要您們在本職工作之外對此項(xiàng)目進(jìn)行支持，我們深表感激，并非常珍惜此次合作機(jī)會(huì)。我們期待，項(xiàng)目的研究能夠有所突破，能夠?qū)鴥?nèi)眼科影像醫(yī)學(xué)的發(fā)展有一點(diǎn)幫助。