【正文】 整個行業(yè)大部分重要企業(yè)的大量信息，并且這種信息是可以實時更新的，我們就會發(fā)現，通過各種數據的分析排名，我們可以了解到數據背后的東西，例如可以根據工人的平均工資來了解到某個行業(yè)中工人待遇的企業(yè)排名。21世紀是信息時代，掌握了迅速便捷的信息就能在激烈的競爭中占取主動，而正是信息的這種金子般的價值也注定了信息本身就是一個行業(yè)一個產業(yè)。這些研究成果對于我們認識了解信息價值的確定和市場經濟條件下人們對信息的需求特性，具有重要的啟示作用。信息集中度取決于對信息的需求以及此需求被滿足的程度。 Universal news collector。因此，信息的采集至關重要。. . . .. .**大學學院工學學士學位論文（設計）題目：基于Web的行業(yè)新聞采集系統(tǒng)學 號： 姓 名： 　　 院 (系)： 　 信息工程學院 　 專 業(yè)： 信息管理與系統(tǒng) 　 完成日期： 　　 指導老師： 　　　 　　　 學習好幫手. . . .. .摘 要隨著互聯網的飛速發(fā)展，信息時代的到來，面對網絡上泛濫的新聞信息，而采集和過濾一些有用的信息對于我們來說是十分重要的。一般的網站新聞發(fā)布平臺都是采用人工輸入信息，對于中小型網站這樣的工作量很算可以，但是網站大了，信息就很龐大了，像那種分類信息網，更新的工作就變得很復雜，如果有專門的類似搜索引擎能檢索采集到最新的相關信息然后發(fā)布在自己的網站上，因此建立專門的行業(yè)新聞采集系統(tǒng)，從相關網站采集有效的新聞信息可以減少很多工作量，而且可以有效的進行修改和過濾工作。 Sina news collector.Keywords: news collection；Information collection；.net；SQL server. . . .. .目　錄摘 要 IAbstract II摘 要 IAbstract II第一章 引 言 1 課題背景 1 開發(fā)系統(tǒng)的意義 1 課題名稱 2 問題描述 2第二章 可行性研究 3 經濟可行性 3 技術可行性 3 開發(fā)工具簡介 4 工廠模式三層架構介紹 6第三章 系統(tǒng)分析 10 功能需求 10 性能需求 10 運行需求 10 數據流圖 11 用例圖 12 數據字典 16 概念結構設計 18 邏輯結構設計 20 數據庫主要表結構說明 22 物理結構設計 23第四章 總體設計 26 總體功能模塊設計 26 模塊功能細化 26第五章 詳細設計 29 活動圖 29 序列圖 34 類圖 39第六章 編碼 46 46 56 61 采集管理功能實現 62 入庫管理功能實現 66 新聞管理實現 68 新聞類別管理 69 用戶管理實現 71 權限管理 72第七章 系統(tǒng)測試 76 測試目的 76 測試方案 76總 結 78參考文獻 79致 謝 80附 錄 81附錄一 系統(tǒng)使用說明書 81附錄二：信息采集 83 學習好幫手. . . .. .第一章 引 言 課題背景信息自古就有無限的價值，隨著時代的不斷發(fā)展，人類不知不覺已經來到了信息時代，各行各業(yè)都充斥了無數的信息，而信息的價值就在于信息的流通，如果信息能夠及時的流通和傳遞起來，才能發(fā)揮信息真正的不可比擬的價值。因此，一種看待信息社會是否形成的方法是評價信息的交換強度及信息內部流動的持久性。 如何從海量信息中收集有價值的信息資料，并進行分析研究，形成企業(yè)各種決策的依據，是信息人員及市場研究人員所面臨的一個問題。而這種行業(yè)將為社會做出巨大的貢獻，所以我這個課題就是關于收集共享信息的?？梢愿鶕髽I(yè)的總產值的排名來大概了解在這個行業(yè)中企業(yè)的競爭力的排名。因為它架設起來容易，復雜的使我們具體去操作，例如收集企業(yè)信息，我們可以通過與政府的合作來收集，也可以通過問卷調查來收集，還可以讓企業(yè)自己登陸我們的網站來添加信息。 問題描述本課題所設計的目標是行業(yè)新聞采集系統(tǒng)（Web News collection System），采用Internet/Intranet方式，是基于瀏覽器/服務器的管理系統(tǒng)，它由客戶在客戶端通過瀏覽器訪問服務器上的系統(tǒng)的應用程序，進行網頁信息采集，帥選，審核，入庫等一系列操作。其次，如果說建設大型的專業(yè)性的網站平臺，需要企業(yè)斥資聘請專業(yè)的團隊定制和管理，那么對于功能需求相對普及化的中小型站點，就沒有能力也沒有必要付出這么昂貴的代價。從經濟上考慮，本采集系統(tǒng)是可行的。 本系統(tǒng)將很好地和各種類型的信息網站整合，并且可以二次開發(fā)，自定義功能配置 。 采用本系統(tǒng)不會對現有軟件會產生沖突。 利用好現有技術和人員，完全可以實現預期目標。 開發(fā)人員能夠利用這些豐富的客戶端和服務器端框架輕松構建以客戶為中心的 Web 應用程序，這些應用程序可以集成任何后端數據提供程序、在任何當前瀏覽器內運行并完全訪問 應用程序服務和 Microsoft 平臺。 突破性的用戶體驗Visual Studio 2010 為開發(fā)人員提供了在最新平臺上加速創(chuàng)建緊密聯系的應用程序的新工具，這些平臺包括 Web、Windows Vista、Office 200SQL Server 2008 和 Windows Server 2008。與ASP程序是解釋執(zhí)行的不同，所有的程序執(zhí)行都是經過服務器編譯的，在執(zhí)行效率上有很大的提高，也更穩(wěn)定。SQL Server 2005憑借其高度的可靠性和可伸縮性，已成為建立企業(yè)級應用系統(tǒng)的優(yōu)秀平臺。 圖21 文檔結構圖Chart22 document architecture三、分層式結構缺陷： 降低了系統(tǒng)的性能。這種修改尤其體現在自上而下的方向。運用三層架構可以讓代碼的可讀性和功能的擴展性有很好的提高。 能夠實現文章（包括分類新聞）的發(fā)布，并實現查詢、修改、刪除等功能；216。 能夠添加采集項目，設置采集參數，并能修改和添加；216。 時間特性一般操作的響應時間應在12秒內，對軟磁盤響應時間也應在可接受的時間內完成。 用戶界面使用BrowserServer架構，在客戶端不需要安裝專門的程序，用戶使用時就像在瀏覽網頁一般，非常容易上手。 軟件接口 運行在Microsoft Windows系列平臺上216。入庫完成之后就進入了新聞管理欄目，可以對新聞進行更新，刪除操作。圖31 總體數據流圖Chart31 Whole DFD 用例圖管理員輸入賬號密碼之后登陸系統(tǒng)，根據權限可以進行查看添加刪除，修改類別的操作。圖34 入庫管理用例圖Chart34 import dataBase illustration系統(tǒng)用戶登錄之后，首先判斷權限，然后根據擁有的權限可以進行添加采集站點，添加采集列表，添加采集鏈接地址，編輯列表，編輯站點，采集測試，刪除采集項目操作。下面舉例說明數據字典的定義。現就各個模塊的主要功能分析如下： 新聞類別管理類別管理主要提供文章信息的錄入、查詢、修改、刪除等功能。 權限管理權限管理主要是當前所有用戶的權限進行查看和分配功能。用戶管理是高級管理員對初級管理員的修改或者刪除，修改密碼是管理員修改自己密碼。而且，程序流程圖歷史悠久，為最廣泛的人所熟悉。圖513 工廠類圖Chart513 factory Class diagram對接口層的具體實現，包括6個類，還有一個是數據庫鏈接字符串獲取的類，提供其他類的調用圖514 數據訪問類圖Chart514 Data Access Class diagram是對數據庫訪問層得進一步封裝調用，包括6個類圖515 業(yè)務訪問類圖Chart515 Business Access Class diagram圖516 數據公用模塊訪問類圖Chart516 DBUtility Class diagram其中DbhelperSQL是對sql server 2005數據庫的具體訪問實現，是抽象類，不能實例化，但可以作為其他類得基類進行繼承。 Server設定的命名空間。pwd=123456//// summary /// 獲取連接字符串 /// /summary public static string ConnectionString { get { string_connectionString = [ConnectionString]。 } }其中對連接字符串進行了加密處理，防止sql 數據庫的注入本系統(tǒng)采用工廠模式三層架構，在建立數據庫連接后，數據庫的增加刪除修改等一系列操作封裝在DBUtility下面，由于我們這里采用sqlserver 數據庫， 一般進行數據庫的操作前，防止邏輯錯誤，需要判斷，某些字段和表是否存在，保持數據的完整性。 + columnName + 39。 } public static int GetMaxID(string FieldName, string TableName) { string strsql = select top 1 + FieldName + from + TableName + order by + FieldName + desc。 } } public static bool Exists(string strSql) { object obj = GetSingle(strSql)。 } if (cmdresult == 0) { return false。) and OBJECTPROPERTY(id, N39。[dbo].[ + TableName + ]39。 object obj = GetSingle(strsql)。 } if (cmdresult == 0) { return false。 if (((obj, null)) || ((obj, ))) { cmdresult = 0。 } } endregion1. 系統(tǒng)采用了流行的javascript,ajax框架jQuery類庫 ，然后其他類文件才可以運行正常。 //輸入框提示,獲取擁有HintTitle,HintInfo屬性的對象 $([HintTitle],[HintInfo]).focus(function(event) { $(*).stop()。 //取得事件對象的位置 $(body).append(HintHtml)。 }).blur(function(event) { $(HintMsg).remove()。 function createXMLHttpRequest() { if () xmlHttp = new ActiveXObject()。 if ((該用戶已經存在!) = 0) //如果用戶名已被占用 (color, red).css(fontsize, 22px).html(div id=\error\/div + sText)。timestamp= + new Date().getTime()。 == 200) showResult()。, items_per_page:%=pagesize %, num_display_entries:3, current_page:%=page %, num_edge_entries:2, link_to:?%=CombUrlTxt(, ) %page=__id__ })。