大數(shù)據(jù)挖掘技術(shù)之dm經(jīng)典模型-在線瀏覽
2024-08-23 22:22本頁(yè)面
【正文】 示了一個(gè)知名博主發(fā)表的一篇文章日瀏覽率隨著時(shí)間和被關(guān)注度之間的關(guān)系。例如，在較短時(shí)間內(nèi)用戶的關(guān)注度分布非常密集。隨著時(shí)間的增加，博客的日訪問量會(huì)越來越低，最后維持到一個(gè)水平。根據(jù)X軸，時(shí)間的遞增。我們可以模擬出這個(gè)博主的訪問量隨時(shí)間變化的曲線。可能這里有很多的誤差或不精確的地方。如果曲線更精確的化，我們甚至可以模擬出曲線的函數(shù)表達(dá)式。最佳擬合曲線的性質(zhì)：在所有可能的曲線中，最佳擬合曲線指的是從觀察點(diǎn)到曲線垂直距離的平方最下的那條曲線，散點(diǎn)圖顯示了每個(gè)點(diǎn)到曲線之間的距離。歐式距離公式對(duì)該值進(jìn)行了開方，在沒有計(jì)算機(jī)的年代，計(jì)算歐式距離非常困難。這樣做的目的，就使最佳擬合曲線系數(shù)很容易計(jì)算。在現(xiàn)實(shí)之中，更多線性回歸的模型很少見，更多的是曲線擬合。但是，存在很多條曲線，哪條才是最佳的。還有一個(gè)標(biāo)準(zhǔn)方法，成為，用來衡量描述曲線對(duì)觀測(cè)數(shù)據(jù)的擬合程度。一個(gè)無偏模型在丟失高值點(diǎn)方面應(yīng)與丟失低值點(diǎn)類似。從圖中我們也可以看到在曲線上與在曲線下的樣本點(diǎn)是不一樣的。如圖中也是可以看到拋離曲線的一些孤立點(diǎn)。在統(tǒng)計(jì)學(xué)中，殘差在回歸方程中要考慮誤差項(xiàng)。統(tǒng)計(jì)人員會(huì)將模型方程表示為：ε代表誤差項(xiàng)，因?yàn)閄并不能完美的展示Y。Y=aX +b+ε（2）R(R這里代表是R的平方)對(duì)于最佳擬合曲線，R的取值始終在0~1之間。若接近于0，則說明最佳擬合曲線的表現(xiàn)很差。相比于隨機(jī)猜測(cè)的平均值，模型的估計(jì)值有多好。R要比較最佳擬合曲線與y平均值的水平線。分子式最佳擬合曲線殘差的平方和。R度量了最佳擬合曲線優(yōu)于均值作為估計(jì)的程度。同一數(shù)據(jù)集中不同的樣本是否會(huì)生成相似的模型。或者，在此基礎(chǔ)上，再加入少量觀察值可能會(huì)極大地改變模型的系數(shù)?；貧w方程能發(fā)現(xiàn)數(shù)據(jù)中的全局模式。這表明回歸模型善于捕獲那些總是正確的模式，不是產(chǎn)于處理局部模式。年輕司機(jī)的風(fēng)險(xiǎn)較高。而對(duì)年齡很大的駕駛者，風(fēng)險(xiǎn)又會(huì)增加。因?yàn)闆]有全局模式，對(duì)于不同的年齡組，年齡的影響變化又會(huì)不同。但是，回歸方程本身不會(huì)發(fā)現(xiàn)局部模式。當(dāng)一個(gè)回歸模型有多個(gè)輸入時(shí)，就稱其為多元回歸。這個(gè)方程通過添加更多變量，并為每個(gè)變量選定系數(shù)，對(duì)最佳曲線方程進(jìn)行了擴(kuò)展。考慮到每個(gè)字變量對(duì)因變量估計(jì)值的貢獻(xiàn)會(huì)更容易些，即可以由系數(shù)決定自變量貢獻(xiàn)的大小和方向。如果對(duì)X沒有限制，那么Y也是沒有限制的。但實(shí)際情況非如此。對(duì)于這些情況，統(tǒng)計(jì)學(xué)家引入了一個(gè)鏈接函數(shù)將回歸方程產(chǎn)生的Y值映射到目標(biāo)變量的一個(gè)適合的范圍。即使不知道確切的分布，也可以引入鏈接函數(shù)將估計(jì)映射到目標(biāo)的一個(gè)適當(dāng)?shù)姆秶?。、使用多元回歸的其他注意事項(xiàng)回歸模型中有多個(gè)輸入變量時(shí)，會(huì)產(chǎn)生一些在單一輸入中不存在的問題。被模型顯示地包含的輸入之間可能存在相互。（1）線性無關(guān)與樸素貝葉斯類似，多元模型的輸入之間應(yīng)該線性無關(guān)。實(shí)際情況很難實(shí)現(xiàn)真正獨(dú)立性。如果包含這些變量，往往會(huì)導(dǎo)致模型的一個(gè)輸入變量有較大的正系數(shù)而另一個(gè)輸入變量有較大的負(fù)系數(shù)。（2）交互即使兩個(gè)變量是完全獨(dú)立的，它們對(duì)目標(biāo)的影響也可能是相關(guān)的。這些變量可以認(rèn)為是獨(dú)立的（當(dāng)然，冰淇淋的價(jià)格并不取決于溫度，溫度可能會(huì)影響冰淇淋的價(jià)格，但是這里假設(shè)不會(huì)）。當(dāng)天氣炎熱的時(shí)候，人民不是在意冰淇淋的價(jià)額都會(huì)購(gòu)買。類似的，價(jià)格的變化對(duì)住戶率的影響可能會(huì)隨著距離市中心的遠(yuǎn)近不同而不同。當(dāng)認(rèn)為交互很重要時(shí)，一般情況下，可以通過添加新變量引入這些交互，而這些新變量是標(biāo)準(zhǔn)化交互中涉及變量值的產(chǎn)物。如果所有輸入變量都是完全獨(dú)立的，那么添加或刪除其中一個(gè)變量不會(huì)更改模型中的其他變量的系數(shù)。、多元回歸的變量選擇多元回歸模型在有大量輸入時(shí)，它的表現(xiàn)并不理想。這里談到“領(lǐng)域知識(shí)”，就
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1