淺談大數(shù)據(jù)學(xué)習(xí)中工程數(shù)學(xué)的應(yīng)用(編輯修改稿)
2025-05-01 04:44 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 程數(shù)學(xué)邏輯思維能力培養(yǎng)好壞的競(jìng)技平臺(tái)?？梢? 工程數(shù)學(xué)素質(zhì)培養(yǎng)的重要性。二、與大數(shù)據(jù)有關(guān)的主要工程數(shù)學(xué)知識(shí)工程數(shù)學(xué)是好幾門數(shù)學(xué)的總稱。我們本科研究生學(xué)習(xí)的“積分變換”，“復(fù)變函數(shù)”“線性代數(shù)”“概率論”“場(chǎng)論”等數(shù)學(xué)，這些都屬工程數(shù)學(xué)。 工程數(shù)學(xué)是為了讓工科學(xué)生用更加方便的理論工具來處理工程常見問題，在這個(gè)數(shù)學(xué)體系中，與大數(shù)據(jù)技術(shù)有密切關(guān)系的數(shù)學(xué)基礎(chǔ)知識(shí)主要有以下幾類。這部分與大數(shù)據(jù)技術(shù)開發(fā)的關(guān)系非常密切，條件概率、獨(dú)立性等基本概念、隨機(jī)變量及其分布、多維隨機(jī)變量及其分布、方差分析及回歸分析、隨機(jī)過程（特別是Markov）、參數(shù)估計(jì)、Bayes理論等在大數(shù)據(jù)建模、挖掘中就很重要。大數(shù)據(jù)具有天然的高維特征，在高維空間中進(jìn)行數(shù)據(jù)模型的設(shè)計(jì)分析就需要一定的多維隨機(jī)變量及其分布方面的基礎(chǔ)。Bayes定理更是分類器構(gòu)建的基礎(chǔ)之一。除了這些這些基礎(chǔ)知識(shí)外，條件隨機(jī)場(chǎng)CRF、隱Markov模型、ngram等在大數(shù)據(jù)分析中可用于對(duì)詞匯、文本的分析，可以用于構(gòu)建預(yù)測(cè)分類模型。當(dāng)然以概率論為基礎(chǔ)的信息論在大數(shù)據(jù)分析中也有一定作用，比如信息增益、互信息等用于特征分析的方法都是信息論里面的概念。這部分的數(shù)學(xué)知識(shí)與大數(shù)據(jù)技術(shù)開發(fā)的關(guān)系也很密切，矩陣、轉(zhuǎn)置、秩 分塊矩陣、向量、正交矩陣、向量空間、特征值與特征向量等在大數(shù)據(jù)建模、分析中也是常用的技術(shù)手段。在互聯(lián)網(wǎng)大數(shù)據(jù)中，許多應(yīng)用場(chǎng)景的分析對(duì)象都可以抽象成為矩陣表示，大量Web頁(yè)面及其關(guān)系、微博用戶及其關(guān)系、文本集中文本與詞匯的關(guān)系等等都可以用矩陣表示。比如對(duì)于Web頁(yè)面及其關(guān)系用矩陣表示時(shí)，矩陣元素就代表了頁(yè)面a與另一個(gè)頁(yè)面b的關(guān)系，這種關(guān)系可以是指向關(guān)系，1表示a和b之間有超鏈接，0表示a,b之間沒有超鏈接。著名的PageRank算法就是基于這種矩陣進(jìn)行頁(yè)面重要性的量化，并證明其收斂性。以矩陣為基礎(chǔ)的各種運(yùn)算，如矩陣分解則是分析對(duì)象特征提取的途徑，因?yàn)榫仃嚧砹四撤N變換或映射，因此分解后得到的矩陣就代表了分析對(duì)象在新空間中的一些新特征。所以，奇異值分解SVD、PCA、NMF、MF等在大數(shù)據(jù)分析中
數(shù)學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1