大數(shù)據(jù)統(tǒng)計(jì)學(xué)實(shí)踐報(bào)告-資料下載頁
2025-08-03 02:56本頁面
【正文】 的本 地文件系統(tǒng)，如OS/2 的文件系統(tǒng)。多處理器多用戶的文件系統(tǒng)，如Unix 的本地文件系統(tǒng)。 多處理器多用戶的分布式文件系統(tǒng)。 本地文件系統(tǒng)(Local File System)是指文件系統(tǒng)管理 的物理存儲(chǔ)資源直接連接在本地節(jié)點(diǎn)上，處理器通過系統(tǒng)總線可以直接訪問。分布式文件系統(tǒng)(Distributed File System)是指文件系統(tǒng)管理的物理存儲(chǔ)資源不一定直接連接在本地節(jié)點(diǎn) 上，而是通過計(jì)算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)相連。高層次的文件系統(tǒng)都是以低層次的文件系統(tǒng)為基礎(chǔ)， 實(shí)現(xiàn)了更高級的功能。 隨著層次的提高，文件系統(tǒng)在設(shè)計(jì)和實(shí)現(xiàn)方面的難度也會(huì)成倍提高。 但是，現(xiàn)在的分布式文件系統(tǒng)一般還是保持與最基本的本地文件系統(tǒng)幾乎相同的訪問接口和 對象模型，這主要是為了向用戶提供向后的兼容性，同時(shí)保持原來的簡單對象模型和訪問接 口。但這并不說明文件系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)的難度沒有增加。正是由于對用戶透明地改變了結(jié)構(gòu)， 滿足用戶的需求，以掩蓋分布式文件操作的復(fù)雜性，才大大增加了分布式文件系統(tǒng)的實(shí)現(xiàn)難 在計(jì)算機(jī)性能不斷提升的同時(shí)，計(jì)算機(jī)部件的平均價(jià)格卻在不斷下降。用戶可以用更低的成本，購買更好、更快、更穩(wěn)定的設(shè)備。存儲(chǔ)系統(tǒng)、文件系統(tǒng)面臨的新挑戰(zhàn)也隨 之而來: 如何管理更多的設(shè)備，提供更好的性能，更加有效地降低管理成本等。各種新的存儲(chǔ)技術(shù)和 分布式文件技術(shù)層出不窮，以滿足用戶日益增長的需求。因此，有必要分析對比當(dāng)前主流的 分布式文件系統(tǒng)在體系結(jié)構(gòu)、緩存一致性、可擴(kuò)展性、安全等方面的長處和不足。 分布式存儲(chǔ)系統(tǒng) 分布式存儲(chǔ)系統(tǒng)，就是將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的設(shè)備上。傳統(tǒng)的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用 集中的存儲(chǔ)服務(wù)器存放所有數(shù)據(jù)，存儲(chǔ)服務(wù)器成為系統(tǒng)性能的瓶頸，也是可靠性和安全性的 焦點(diǎn)，不能滿足大規(guī)模存儲(chǔ)應(yīng)用的需要。分布式網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用 多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷，利用位置服務(wù)器定位存儲(chǔ)信息，它不但提高了系統(tǒng)的可靠性、 可用性和存取效率，還易于擴(kuò)展。 在一個(gè)視頻監(jiān)控系統(tǒng)中，選擇什么樣的存儲(chǔ)解決方案直接決定了整個(gè)系統(tǒng)的系統(tǒng)架構(gòu)以 及系統(tǒng)的性能和穩(wěn)定程度，目前視頻監(jiān)控系統(tǒng)中的存儲(chǔ)方案大致上有兩種。視頻監(jiān)控系統(tǒng)存 儲(chǔ)方案 一種是在攝像監(jiān)控前端采用有一定存儲(chǔ)容量()的DVR 設(shè)備，所有需要的數(shù)據(jù) 均保存在前端DVR 的存儲(chǔ)設(shè)備中，比較好的方案中，后臺(tái)軟件可以管理和維護(hù)多臺(tái)的DVR 設(shè)備，包括這些DVR 設(shè)備的存儲(chǔ)數(shù)據(jù)，如錄像的轉(zhuǎn)存、刪除和回放等功能。這種方案中所 有數(shù)據(jù)主要保存在DVR 中，后臺(tái)主要負(fù)責(zé)維護(hù)和必要的存儲(chǔ)。 另一種是在攝像監(jiān)控前端采用DVR 或者網(wǎng)絡(luò)視頻服務(wù)器，而存儲(chǔ)主要在遠(yuǎn)端通過后臺(tái) 的PC 或者服務(wù)器軟件來將數(shù)據(jù)保存在后臺(tái)的存儲(chǔ)設(shè)備上。 上述兩種存儲(chǔ)方案均有很多弊端，尤其當(dāng)監(jiān)控點(diǎn)很多，需要的存儲(chǔ)量又很大的情況下， 這些可能的弊端包括:由于存儲(chǔ)分散導(dǎo)致難以維護(hù)。由于存儲(chǔ)的專業(yè)程度不高導(dǎo)致存儲(chǔ)的可 靠性不高，進(jìn)而導(dǎo)致整個(gè)系統(tǒng)的可靠性不高。存儲(chǔ)的利用率不高。存儲(chǔ)的擴(kuò)展性不好。 為了克服這些弊端，現(xiàn)在有推薦使用基于分布式存儲(chǔ)、集中管理思路的、以及基于iSCSI 技術(shù)的IPSAN 來作為視頻監(jiān)控的存儲(chǔ)解決方案，這個(gè)方案的主要特點(diǎn)包括:(1)分布式存 儲(chǔ)，集中管理。(2)基于iSCSI 技術(shù)的IPSAN(STorageAreaNetwork)。(3)流媒體網(wǎng)關(guān)可以 作為存儲(chǔ)解決方案的核心設(shè)備。 隨著現(xiàn)代IT系統(tǒng)的發(fā)展,數(shù)據(jù)的規(guī)模越來越龐大,并且增速也越來越快, 根據(jù)市場研究公 司IDC 的一項(xiàng)調(diào)查顯示，全球數(shù)字?jǐn)?shù)據(jù)量每2 年便翻一番。2011 年的數(shù)據(jù)量已經(jīng)8 澤字節(jié) (ZB)，也就是 萬億 字節(jié)，此傳統(tǒng)的存儲(chǔ)系統(tǒng)遇到了前所未有的挑戰(zhàn)。目前,已經(jīng)有很多公司和組織使用分布式存儲(chǔ)系統(tǒng)對其海量數(shù)據(jù)進(jìn)行存儲(chǔ)和管理,并且越來越多的其他用戶 也希望能夠?qū)⑵鋺?yīng)用于云存儲(chǔ)系統(tǒng)中,從而獲得更好的性能和更低廉的價(jià)格。分布式存儲(chǔ)系 統(tǒng)作為云存儲(chǔ)技術(shù)的基礎(chǔ)得到了越來越廣泛的應(yīng)用,其中存儲(chǔ)虛擬化常常被用于私有云存儲(chǔ) 的方案中,而面向?qū)ο蟮拇鎯?chǔ)和分布式文件系統(tǒng)被更多地應(yīng)用于公有云的系統(tǒng)中。架構(gòu)大數(shù)據(jù):挑戰(zhàn)、現(xiàn)狀與展望計(jì)算機(jī)學(xué)報(bào)20111015大數(shù)據(jù)分析RDBMS與MapReduce的競爭與共生軟件學(xué)基于粗糙集的大數(shù)據(jù)集挖掘算法研究與實(shí)現(xiàn)江蘇大學(xué)20100501大數(shù)據(jù)量GIS網(wǎng)絡(luò)分析算法的實(shí)現(xiàn)和優(yōu)化研究中國科學(xué)院研究生20060401大數(shù)據(jù)時(shí)代智謀未來信息化建設(shè)20120115大數(shù)據(jù)時(shí)代及數(shù)據(jù)挖掘的應(yīng)用國家電網(wǎng)報(bào)20120515分布式文件系統(tǒng)在云存儲(chǔ)環(huán)境下若干問題研究中國科學(xué)技術(shù)大學(xué)20110401面向云存儲(chǔ)的分布式文件系統(tǒng)關(guān)鍵技術(shù)研究西安電子科大學(xué)20110101【9】魏青松大規(guī)模分布式存儲(chǔ)技術(shù)研究電子科技學(xué)20040301【10】高國強(qiáng)對等網(wǎng)絡(luò)分布式緩存機(jī)制研究華中科技大學(xué)20110501【11】蔡小龍基于分布式緩存技術(shù)的文檔管理系統(tǒng)應(yīng)用研究安徽大學(xué)20100301【12】李想分布式數(shù)據(jù)庫數(shù)據(jù)分配策略研究大連理工大學(xué)20091201【13】張楊分布式數(shù)據(jù)庫查詢優(yōu)化算法的研究中國石油大學(xué)20100501大數(shù)據(jù)時(shí)代對傳統(tǒng)統(tǒng)計(jì)學(xué)變革的思考*朱建平 張悅涵報(bào)告主要內(nèi)容可在主要內(nèi)容講述中自選穿插以下內(nèi)容： 數(shù)據(jù)搜集/來源、預(yù)處理 軟件數(shù)據(jù)處理路徑 輸出截圖 模型分析與檢驗(yàn)相關(guān)內(nèi)容 其他應(yīng)用框架報(bào)告主要內(nèi)容實(shí)踐總結(jié)1. 若不給自己設(shè)限，則人生中就沒有限制你發(fā)揮的藩籬。2. 若不是心寬似海，哪有人生風(fēng)平浪靜。在紛雜的塵世里，為自己留下一片純靜的心靈空間，不管是潮起潮落，也不管是陰晴圓缺，你都可以免去浮躁，義無反顧，勇往直前，輕松自如地走好人生路上的每一步3. 花一些時(shí)間，總會(huì)看清一些事。用一些事情，總會(huì)看清一些人。有時(shí)候覺得自己像個(gè)神經(jīng)病。既糾結(jié)了自己，又打擾了別人。努力過后，才知道許多事情，堅(jiān)持堅(jiān)持，就過來了。4. 歲月是無情的，假如你丟給它的是一片空白，它還給你的也是一片空白。歲月是有情的，假如你奉獻(xiàn)給她的是一些色彩，它奉獻(xiàn)給你的也是一些色彩。你必須努力，當(dāng)有一天驀然回首時(shí)，你的回憶里才會(huì)多一些色彩斑斕，少一些蒼白無力。只有你自己才能把歲月描畫成一幅難以忘懷的人生畫卷。
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1