電信運營數據采集與整合(編輯修改稿)
2025-06-19 22:18 本頁面
【文章內容簡介】 采集前的補充說明 22 用戶登錄數據記錄源 wtmpx格式 ?在 Unix中用戶登錄的記錄存放的一個系統(tǒng)歷史記錄文件wtmpx中 ,該文件是二進制文件 . ?該文件的讀取有兩種方式 : ?通過 C讀取 . ?通過 Java讀取 .本設計中采用的方式 . ?讀取文件的關鍵是理解二進制記錄格式 ,在 C中有一個結構提 utmpx,只要理解該結構體就可以理解記錄格式 . 23 理解 utmpx結構體 24 Wtmpx記錄字節(jié) 位置范圍 字節(jié)長度 含義 000031 32 /* user login name */ 032035 4 /* inittab id */ 036067 32 /* device name (console, lnxx) */ 068071 4 /* process id */ 072073 2 /* type of entry */ 074075 2 /* process termination*/ 076077 2 /* exit status*/ 2 /* 這是 C數據類型補齊產生的空位 */ 080083 4 /* time entry was made *//* seconds */ 084087 4 /* and microseconds */ 088091 4 /* session ID, used for windowing */ 092111 20 /* reserved for future use */ 112113 2 /* significant length of ut_host */ 114371 257 /* remote host name */ 25 詳細說明 wtmpx 26 Type含義 ?define EMPTY 0 ?define RUN_LVL 1 ?define BOOT_TIME 2 ?define OLD_TIME 3 ?define NEW_TIME 4 ?define INIT_PROCESS 5 ?define LOGIN_PROCESS 6 登錄進程 ?define USER_PROCESS 7 用戶進程 ?define DEAD_PROCESS 8 終止進程 27 Copyright Tarena Technologies Inc., 2021. All rights reserved. Tarena HighEnd IT Training 中國北京 電話：（ 010） 6213568 62136369 地址：北京市海淀區(qū)北三環(huán)西路甲 18號 中鼎大廈 B座 7層 中國上海 電話：（ 021） 612026 61202603 地址：上海市北京東路 668號 上海科技京城 B區(qū) 9層 加拿大多倫多 電話：（ 416） 4916456 地址： Suite 1208, Deerford Road, Toronto, Ontario, Canada 郵編： M2J 3J3 中國廣州 電話： （ 020） 8551886 85518898 地址： 廣州天河區(qū)崗頂僑鑫教育主樓三層 數據采集分析設計 客戶端 28 數據采集分析設計 ?分析設計的思路 ? 按用例場景為單位進行分析設計 . ? 以時序圖為主要手段 ,以類圖為主要目的的分析模式分析設計 . ? 分析中重點關注 :數據源 處理過程 數據結構 ?分析中的三個階段 : ? 第一階段 :數學模型建立階段 ? 實體類 ? 功能類 ? 第二階段 :業(yè)務邏輯模型建立階段 ? DAO層類 , ? 功能類責任分配 . ? 第三階段 :模型整合與完善階段 ? 利用 J ava的設計模式 ,產生輔助類 ,降低系統(tǒng)的耦合程度 . 29 數據實體類圖設計 數據源 30 實體類 LogRecord說明 ?LogRecord: ? 把數據源的數據讀取后以對象形式保存 . ? 在該系統(tǒng)中 ,采用把登錄 /登出分開存放 ,便于分析 . ? 負責封裝日志中數據 ? user：登錄用戶帳號 ? type：登錄類型 ,登錄 7/登出 8 ? visittime：登錄 /登出的時間 ? labip：采集的服務器 IP ? userip：用戶 IP ? pid:登錄進程 ID，主要識別同用戶的登錄。 ?MatchedRecord ? 負責存放匹配處理好的數據 .就是把用戶登錄 /登出整合成一條數據 . ? 在數據發(fā)送 ,本地存儲都以該類型的形式使用 . 31 根據實體類設計成表結果 ?原始采集用戶登錄時長明細表 (details_x) 其中 x 是 131MatchedRecord類 字段英文名 字段漢字名 類型 約束條件 說明 loginname 登錄名 Varchar(20) loginip 登錄 IP Varchar(24) logintime 登錄時間 Timestamp logouttime 登出時間 Timestamp labip 實驗室 IP Varchar(24) duration 登錄時長 long 32 數據實體類圖設計 數據存儲目標 33 數據實體類說明 ?在采集數據的存儲方式 ,根據客戶需求與系統(tǒng)性能的考慮 ,設計的時候把數據存儲表結構分為三類 : ?采集的原始登錄數據記錄表。 ?按不同用戶在不同實驗室上的數據整合表。 ?按不同實驗室的數據整合表。 ?注意：按實驗室整合與按用戶在不同實驗室上整合的存儲因為數據量的問題在設計上有區(qū)別。其中前者的表按天，月，年各一張，后者的天表 31張，月表 12張，年表根據年份一年一張。 34 采集的原始登錄數據記錄表 ?該表特點： ?該類表一張。該表設計成一個，主要是原始數據很少被查詢。 ?數據量很大。 ?可能為用戶查詢使用業(yè)務的明細的時候查詢。 ?登錄 /登出構成一條記錄 ,不存儲時長。 ?可能幾個小時一條記錄，也可能一小時內若干條記錄。 35 按不同用戶在不同實驗室上的數據整合表 ?該類表主要存儲整合后的數據。其中存儲時長，按時間間隔分三種： ?一小時內的數據整合成一條記錄。單獨存放在一張表中 天表。 ?一天內的數據整合成一條記錄。單獨存放在一張表中 月表。 ?一個月內的數據整合成一條記錄。單獨存放在一張表中 年表。 ?注意： ?這三張表結構完全一樣，除時間范圍具體的值不同。 ?因為該表查詢的頻繁度很高，在設計的時候設計成天表 31張，月表 12張，年表根據年份一年一張。 36 按不同實驗室的數據整合表 ?該
畢業(yè)設計相關推薦
鄂ICP備17016276號-1