淺談大數(shù)據(jù)學習中工程數(shù)學的應用(編輯修改稿)
2025-05-01 04:44 本頁面
【文章內(nèi)容簡介】 程數(shù)學邏輯思維能力培養(yǎng)好壞的競技平臺。可見, 工程數(shù)學素質(zhì)培養(yǎng)的重要性。二、與大數(shù)據(jù)有關的主要工程數(shù)學知識工程數(shù)學是好幾門數(shù)學的總稱。我們本科研究生學習的“積分變換”，“復變函數(shù)”“線性代數(shù)”“概率論”“場論”等數(shù)學，這些都屬工程數(shù)學。 工程數(shù)學是為了讓工科學生用更加方便的理論工具來處理工程常見問題，在這個數(shù)學體系中，與大數(shù)據(jù)技術有密切關系的數(shù)學基礎知識主要有以下幾類。這部分與大數(shù)據(jù)技術開發(fā)的關系非常密切，條件概率、獨立性等基本概念、隨機變量及其分布、多維隨機變量及其分布、方差分析及回歸分析、隨機過程（特別是Markov）、參數(shù)估計、Bayes理論等在大數(shù)據(jù)建模、挖掘中就很重要。大數(shù)據(jù)具有天然的高維特征，在高維空間中進行數(shù)據(jù)模型的設計分析就需要一定的多維隨機變量及其分布方面的基礎。Bayes定理更是分類器構建的基礎之一。除了這些這些基礎知識外，條件隨機場CRF、隱Markov模型、ngram等在大數(shù)據(jù)分析中可用于對詞匯、文本的分析，可以用于構建預測分類模型。當然以概率論為基礎的信息論在大數(shù)據(jù)分析中也有一定作用，比如信息增益、互信息等用于特征分析的方法都是信息論里面的概念。這部分的數(shù)學知識與大數(shù)據(jù)技術開發(fā)的關系也很密切，矩陣、轉置、秩 分塊矩陣、向量、正交矩陣、向量空間、特征值與特征向量等在大數(shù)據(jù)建模、分析中也是常用的技術手段。在互聯(lián)網(wǎng)大數(shù)據(jù)中，許多應用場景的分析對象都可以抽象成為矩陣表示，大量Web頁面及其關系、微博用戶及其關系、文本集中文本與詞匯的關系等等都可以用矩陣表示。比如對于Web頁面及其關系用矩陣表示時，矩陣元素就代表了頁面a與另一個頁面b的關系，這種關系可以是指向關系，1表示a和b之間有超鏈接，0表示a,b之間沒有超鏈接。著名的PageRank算法就是基于這種矩陣進行頁面重要性的量化，并證明其收斂性。以矩陣為基礎的各種運算，如矩陣分解則是分析對象特征提取的途徑，因為矩陣代表了某種變換或映射，因此分解后得到的矩陣就代表了分析對象在新空間中的一些新特征。所以，奇異值分解SVD、PCA、NMF、MF等在大數(shù)據(jù)分析中
數(shù)學相關推薦
鄂ICP備17016276號-1