【正文】 的分析，使用到的因素還不夠完備。我們將會在更多方面提取能作為惡意軟件檢測的特征，來完善并優(yōu)化本檢測系統(tǒng)。（4）準(zhǔn)確性：在實驗初期，本系統(tǒng)的準(zhǔn)確性高達80%以上。隨著我們對本系統(tǒng)的進一步完善，準(zhǔn)確性一直在不斷提高。（5）虛警率：目前，多數(shù)apk的預(yù)測結(jié)果都是正確的，但在實驗初期，系統(tǒng)市場有誤報惡意軟件的情況，不過隨著系統(tǒng)的不斷完善，我們將努力將判錯的概率控制在比較小的范圍內(nèi)，來提高系統(tǒng)的準(zhǔn)確率。（6）實用性：本系統(tǒng)與用戶的交互能力很強，預(yù)測結(jié)果可靠，且用戶群體眾多，可以應(yīng)用到很多的領(lǐng)域。 作品測試與分析 測試環(huán)境搭建 Windows 1）登錄官網(wǎng)。2）在系統(tǒng)環(huán)境變量path中添加python安裝目錄。 Java SE 8u451）登錄官網(wǎng)。2）在系統(tǒng)環(huán)境變量path中添加JDK安裝目錄。 Matlab 2014a1）下載Matlab 2014a版本并安裝。2）在系統(tǒng)環(huán)境變量path中添加Matlab的安裝目錄。3）在Matlab的命令行窗口使用mex –setup為matlab制定編譯器，本測試中使用的編譯器為Microsoft Visual Studio 2013 Ultimate。 測試目的 本系統(tǒng)使用了三種不同的Android惡意軟件檢測方案。測試目的如下：1） 由于Libsvm機器學(xué)習(xí)算法所得的Model準(zhǔn)確性與所采用的樣本的完備性以及樣本標(biāo)簽的準(zhǔn)確性有很大的關(guān)系，在測試過程中選擇出合適的樣本數(shù)量以及樣本集。2） 由于使用了三種不同檢測方案，通過測試來驗證方案改進方向的正確性和方案改進方法的有效性，得出最優(yōu)的檢測方案。3） 將本系統(tǒng)的測試結(jié)果于已有的檢測方案、工具作對比，評估本系統(tǒng)的完備性、準(zhǔn)確性、虛警率以及實用性。 測試方案 系統(tǒng)方案一的小樣本測試，選取黑白共計334個樣本進行測試，其中白樣本來源于360安卓市場，且為市場上知名度較高，安全性較可靠的應(yīng)用。利用libsvm的交叉驗證得到model的準(zhǔn)確率。 系統(tǒng)方案二的大樣本測試，選取黑白共計1005個樣本進行l(wèi)ibsvm訓(xùn)練，其中白樣本來源于hiapk安卓網(wǎng)隨機下載的應(yīng)用，經(jīng)過360病毒查殺。利用libsvm的交叉驗證得到model的準(zhǔn)確率。 系統(tǒng)方案二測試 系統(tǒng)方案二的無加權(quán)測試，對334個樣本進行權(quán)限篩選后的libsvm訓(xùn)練，將系統(tǒng)方案一中的95個樣本縮減為51個，利用libsvm的交叉驗證得到model的準(zhǔn)確率，將測試結(jié)果于測試方案1進行對比。 測試方案4 系統(tǒng)方案二的加權(quán)測試，對1005個樣本進行權(quán)限篩選、特征加權(quán)、權(quán)值優(yōu)化，并將最后的加權(quán)特征集進行l(wèi)ibsvm訓(xùn)練。利用libsvm的交叉驗證得到model的準(zhǔn)確率，并將結(jié)果于測試方案2的結(jié)果進行對比。 測試方案5 系統(tǒng)方案三的測試，對1005個樣本進行權(quán)限篩選、特征加權(quán)、權(quán)值優(yōu)化，并對權(quán)限進行分類、分級。其中，權(quán)限分類基于權(quán)限的不同功能；權(quán)限分級基于權(quán)限對Model的影響程度。對于不同的類、級設(shè)定一定的閾值，各類、各級權(quán)限的個數(shù)是否超過閾值的邏輯結(jié)果作為額外的特征加入特征矩陣。 實用性測試 測試方案6 360殺毒對比測試，選取一定的樣本，用360殺毒進行檢測，將檢測結(jié)果于測試方案15的結(jié)果進行對比。 測試過程及數(shù)據(jù)1）測試文件 2）測試過程a)反編譯APK文件:使用Apktool將所有apk文件夾中的文件反編譯。b)。將95個權(quán)限作為單個樣本的95個特征，樣本使用的權(quán)限對應(yīng)特征值為1，未使用的對應(yīng)特征值為0。（上圖為特征矩陣）c)在matlab中使用importdata()函數(shù)讀取特征矩陣作為訓(xùn)練集，并根據(jù)樣本黑白屬性建立樣本的標(biāo)簽集。d)使用libersvm工具箱對樣本訓(xùn)練集和標(biāo)簽集進行訓(xùn)練，使用算法自動尋找使得訓(xùn)練集交叉驗證所得準(zhǔn)確率最高的libsvm參數(shù)。（上圖為自動尋找最優(yōu)參的函數(shù)）1)測試文件2）測試過程（與測試方案1相同）1）測試文件（根目錄）（Xmls目錄）2）測試過程a)使用python的zipfile模塊對apk包進行批量解壓縮。b)，使其變?yōu)榭勺x取的形式。c)，得到特征矩陣的過程與系統(tǒng)實驗一種的過程相同。d)使用matlab的importdata()函數(shù)對特征矩陣進行讀取，使用sum()函數(shù)統(tǒng)計本次測試中各權(quán)限出現(xiàn)的次數(shù)，將其中不足1%的項剔除。(上圖為權(quán)限頻數(shù)統(tǒng)計結(jié)果)根據(jù)以上結(jié)果，判斷可刪除的特征項如下：v = [1 7 9 13 14 17 19 24 26 29 31 33 35 36 40 41 43 45 46 50 52 54 55 57 60 61 70:78 80:85 89 91 92]。使用以下代碼去除v所標(biāo)注的特征項 light_apk(:,v)=[]。訓(xùn)練集為 light_apk。e)對篩選特征后的訓(xùn)練集進行l(wèi)ibsvm訓(xùn)練，自動求出最優(yōu)參數(shù)的Model，并將Model的差分驗證準(zhǔn)確率與實驗1進行比較。1）測試文件 文件目錄與測試方案3相同，測試樣本集不同。2）測試過程a)使用python的zipfile模塊對apk包進行批量解壓縮。b)，使其變?yōu)榭勺x取的形式。c)，得到特征矩陣的過程與系統(tǒng)實驗一種的過程相同。d)根據(jù)測試方案3的結(jié)果，直接從訓(xùn)練集中剔除以下序號的特征項v = [1 7 9 13 14 17 19 24 26 29 31 33 35 36 40 41 43 45 46 50 52 54 55 57 60 61 70:78 80:85 89 91 92]。e)對于剔除后的訓(xùn)練集采用以下處理：通過對特征頻數(shù)的統(tǒng)計，將特征分為三類：一類為黑白樣本中均頻數(shù)較高且相差不多的特征；二類為黑白樣本中頻數(shù)差距明顯的特征；剩下的特征為第三類。對于三類特征，在一定區(qū)間內(nèi)自動尋找最優(yōu)的三個加權(quán)參數(shù)，使得加權(quán)后的特征矩陣能夠生成達到最高準(zhǔn)確率的模型。1）測試文件 與測試方案4相同2）測試過程a)使用python的zipfile模塊對apk包進行批量解壓縮。b)，使其變?yōu)榭勺x取的形式。c)，得到特征矩陣的過程與系統(tǒng)實驗一種的過程相同。d)通過對特征頻數(shù)的統(tǒng)計，將特征分為三類：一類為黑白樣本中均頻數(shù)較高且相差不多的特征；二類為黑白樣本中頻數(shù)差距明顯的特征；剩下的特征為第三類。對于三類特征，在一定區(qū)間內(nèi)自動尋找最優(yōu)的三個加權(quán)參數(shù)，使得加權(quán)后的特征矩陣能夠生成達到最高準(zhǔn)確率的模型。e)再次通過對特征頻數(shù)的統(tǒng)計，將特征分為三級:第一級為超過40%樣本使用的特征；第二級為超過10%樣本使用的特征；剩下的特征為第三級。對三級特征的統(tǒng)計結(jié)果提供三個額外的特征項進行表示，通過對于各級設(shè)置閾值，樣本當(dāng)級特征數(shù)量超過閾值，即將特征項值置為1，反之為0。f)通過對apk權(quán)限說明的分析，將其分為三類:第一類為高威脅系統(tǒng)權(quán)限；第二類為高威脅硬件權(quán)限；剩下的權(quán)限為第三類。類似e）中的方法設(shè)置閾值和額外的特征項g)對增加特征、加權(quán)后的特征集，進行l(wèi)ibsvm訓(xùn)練，得到最終的分類模型。對4000個樣本apk，用本系統(tǒng)的方案和360殺毒同時檢測，觀察結(jié)果。 結(jié)果分析結(jié)果：交叉驗證準(zhǔn)確率達到95%結(jié)論：由于樣本較少，尤其是白樣本的普遍性較低，雖然交叉驗證準(zhǔn)確率較高，但是實際應(yīng)用中的準(zhǔn)確率并不理想。結(jié)果：交叉驗證準(zhǔn)確率為87%結(jié)論：由于樣本較多，但樣本質(zhì)量不算最佳，交叉準(zhǔn)確率比測試方案1相對降低，但是實際應(yīng)用中的準(zhǔn)確率更高。結(jié)果：準(zhǔn)確率完全達到測試方案1的水平結(jié)論：篩選特征成功，去除的近一半特征并沒有對模型產(chǎn)生過大影響，但是可能和樣本數(shù)量不多有關(guān)。結(jié)果：交叉驗證準(zhǔn)確率為90%結(jié)論：準(zhǔn)確率較測試方案2有所提升，證明了加權(quán)方案的有效性。結(jié)果：交叉驗證準(zhǔn)確率為87%結(jié)論：準(zhǔn)確率較測試方案4沒有明顯的提升，說明創(chuàng)新性的分級、分類處理尚未達到最佳，也可能是沒有調(diào)整好額外特征權(quán)值以及閾值的因素。有待后續(xù)工作的優(yōu)化和加強。結(jié)果：360殺毒的報警率為5%，本系統(tǒng)為11%結(jié)論：本系統(tǒng)相較360殺毒能檢測出更多的疑似惡意軟件，但是其中可能存在虛報和預(yù)警。創(chuàng)新性說明 對于Android系統(tǒng)下的95個權(quán)限項，其本身在功能性上存在一定差異性。如“允許程序?qū)懚绦拧?、“運行程序訪問聯(lián)系人通訊錄”之類的權(quán)限，顯然在Android應(yīng)用的安全性上具有很大的決定性作用；與此同時，95個權(quán)限項中又有許多權(quán)限很少被使用或者僅有特定的程序才會進行使用。針對Android系統(tǒng)權(quán)限的這一特性，本系統(tǒng)在基于權(quán)限分析的Android惡意軟件監(jiān)測方案中，使用Apk文件的permission特征組成特征矩陣，并且對特征矩陣進行篩選、加權(quán)、優(yōu)化權(quán)值的處理，進而提高了檢測模型的準(zhǔn)確率。 離散的Apk權(quán)限特征所能表達的意義十分有限，雖然機器學(xué)習(xí)算法在對大量樣本進行學(xué)習(xí)后已經(jīng)能夠達到一個較高的判斷準(zhǔn)確率，但是如果不克服Apk權(quán)限特征本身的局限性，僅僅依靠基于權(quán)限的預(yù)測很難進一步提高準(zhǔn)確率。針對這種現(xiàn)象，本系統(tǒng)試圖通過對Apk權(quán)限特征的分類、分級，并增加基于閾值的統(tǒng)計特征，試圖進一步挖掘Apk權(quán)限的深度內(nèi)涵，通過權(quán)限本身的功能獨特性、權(quán)限與權(quán)限之間的相關(guān)聯(lián)系，拓展權(quán)限特征在惡意軟件監(jiān)測中的含義。最終使得利用輕量化的系統(tǒng)，僅僅統(tǒng)計權(quán)限特征就能達到較好的惡意軟件監(jiān)測效果成為可能。 本作品使用libsvm作為主要的樣本分類器。這種監(jiān)督式的機器學(xué)習(xí)算法在最終的學(xué)習(xí)效果上可能不如更加復(fù)雜的深度學(xué)習(xí)。然而本系統(tǒng)在輕量級的機器學(xué)習(xí)上加入了人工的特征處理，一定程度上彌補了基于機器學(xué)習(xí)方案與基于深度學(xué)習(xí)方案的學(xué)習(xí)效果的差距。 總結(jié)一款A(yù)ndroid應(yīng)用是否為惡意軟件其實是一種較為模糊的定義。這種判斷的模糊性源于“惡意行為”其本身就在一定程度上難以進行規(guī)范的定義和量化。Android應(yīng)用的某種行為可能在某些軟件上完全是正常、合理的，而再另一些軟件上就可能成為惡意攻擊的標(biāo)志。加之惡意軟件攻擊手段的不斷變化，其偽裝、混淆能力的不斷加強，想要真正達到或者接近100%準(zhǔn)確率的惡意軟件監(jiān)測方案可謂難上之難。本系統(tǒng)在對Apk文件進行簡單分析的情況下，借助強大的機器學(xué)習(xí)工具以及特征處理方法的創(chuàng)新和改進，能夠在惡意軟件監(jiān)測中達到90%左右的準(zhǔn)確率實屬不易。本作品所提出的Apk權(quán)限加權(quán)、權(quán)限分類分級統(tǒng)計并設(shè)置閾值的方法，具有很強的創(chuàng)新性，并且在合適的操作下可以提升預(yù)測模型的準(zhǔn)確率，是本作品的亮點所在?？上У氖?，由于所掌握的知識有限、小組缺乏團隊開發(fā)經(jīng)驗、時間安排不佳等原因，本系統(tǒng)仍然有許多不足，或者說有巨大的空間可以加以改進，一下列舉：，這使得系統(tǒng)的整體性、高效性、穩(wěn)定性受到一定的影響。 ，這對svm訓(xùn)練得出的model準(zhǔn)確率有較大的影響。若要得到更高的準(zhǔn)確率，需要對樣本進行更精心的選擇。 ，由于其創(chuàng)新性較強，在具體的實現(xiàn)方面（準(zhǔn)確的分類、分級，合適的權(quán)值選擇）仍然存在一定問題尚未解決，使得最終的模型預(yù)測準(zhǔn)確率并沒有得到明顯提升。 4. 盡管進行了大量測試，系統(tǒng)在最終的實現(xiàn)上仍不完善，主要是由于時間因素和知識儲備不足，很多功能沒有添加到最終的程序中。