【文章內(nèi)容簡(jiǎn)介】 率進(jìn) 行 評(píng) 價(jià) ， 顯 得 片 面 、 缺 乏 科 學(xué) 性 。在 現(xiàn) 實(shí) 實(shí) 際 中 ， 所 謂 名 校 ， 熱 門 專 業(yè) 等 等 ， 并 不 能 保 證 畢 業(yè) 生 絕 對(duì) 能 就 業(yè) 。 從 微觀 上 看 ， 學(xué) 生 自 身 的 素 質(zhì) 和 某 些 硬 性 條 件 是 影 響 就 業(yè) 的 關(guān) 鍵 。 根 據(jù) 這 一 情 況 ， 借 助 計(jì)算 機(jī) 對(duì) 畢 業(yè) 生 的 就 業(yè) 信 息 進(jìn) 行 挖 掘 ， 可 以 對(duì) 目 前 的 教 學(xué) 質(zhì) 量 進(jìn) 行 科 學(xué) 的 綜 合 分 析 ， 尋找 影 響 畢 業(yè) 生 就 業(yè) 的 因 素 ， 以 便 對(duì) 我 們 今 后 的 教 學(xué) 和 學(xué) 生 工 作 提 出 指 導(dǎo) 性 建 議 。 本 課題 正 是 在 這 一 背 景 下 提 出 ， 利 用 數(shù) 據(jù) 挖 掘 任 務(wù) 之 一 的 分 類 ， 對(duì) 過 往 的 畢 業(yè) 生 就 業(yè) 信 息建 立 預(yù) 測(cè) 模 型 ， 同 時(shí) 應(yīng) 用 該 模 型 對(duì) 即 將 的 畢 業(yè) 生 的 就 業(yè) 狀 況 進(jìn) 行 預(yù) 測(cè) ， 以 便 為 學(xué) 校 招生 就 業(yè) 部 門 的 工 作 提 供 參 考 與 建 議 。《 畢 業(yè) 生 就 業(yè) 數(shù) 據(jù) 分 析 系 統(tǒng) 開 發(fā) 》 就 是 為 了 解 決 這 個(gè) 就 業(yè) 預(yù) 測(cè) 問 題 而 開 發(fā) 的 ， 它采 用 數(shù) 據(jù) 挖 掘 方 法 ， 通 過 統(tǒng) 計(jì) 分 析 ， 應(yīng) 用 貝 葉 斯 定 理 對(duì) 未 來 即 將 就 業(yè) 的 畢 業(yè) 生 的 就 業(yè)趨 勢(shì) 進(jìn) 行 了 預(yù) 測(cè) 。 可 以 預(yù) 測(cè) 到 他 們 的 就 業(yè) 情 況 和 就 業(yè) 的 概 率 。 該 系 統(tǒng) 要 求 用 戶 錄 入 畢業(yè) 生 的 各 項(xiàng) 相 關(guān) 數(shù) 據(jù) ， 同 時(shí) 在 錄 入 后 可 以 對(duì) 錄 入 的 數(shù) 據(jù) 進(jìn) 行 抽 樣 分 析 ， 得 到 相 應(yīng) 的 計(jì)算 模 型 ， 并 測(cè) 試 該 模 型 的 可 靠 性 及 精 確 度 ， 根 據(jù) 該 計(jì) 算 模 型 對(duì) 畢 業(yè) 生 就 業(yè) 情 況 進(jìn) 行 預(yù)測(cè) ， 得 出 就 業(yè) 統(tǒng) 計(jì) 分 析 圖 和 就 業(yè) 概 率 統(tǒng) 計(jì) 圖 。 國(guó)內(nèi)外發(fā)展概況計(jì) 算 機(jī) 信 息 工 程 學(xué) 院 畢 業(yè) 設(shè) 計(jì) 說 明 書2 國(guó)外研究和發(fā)展現(xiàn)狀與 數(shù) 據(jù) 挖 掘 (Data Mining)極 為 相 似 的 術(shù) 語 一 一 從 數(shù) 據(jù) 庫 中 發(fā) 現(xiàn) 知 識(shí) (KDD)一 詞 ，首 次 出 現(xiàn) 在 1989 年 8 月 在 美 國(guó) 底 特 律 召 開 的 第 1l 屆 國(guó) 際 人 工 智 能 聯(lián) 合 會(huì) 議 的 專 題 討論 會(huì) 上 。 1993 年 以 后 ， 美 國(guó) 計(jì) 算 機(jī) 協(xié) 會(huì) (ACM)每 年 都 舉 行 了 專 門 的 會(huì) 議 研 究 探 討 數(shù) 據(jù)挖 掘 技 術(shù) 。 會(huì) 議 名 稱 為 ACM SIGKDD Intemational Conference on Knowledge Discovery and Data Mining， 簡(jiǎn) 稱 KDD 會(huì) 議 。 KDD 會(huì) 議 的 規(guī) 模 由 原 來 的 專 題 討 論 會(huì) 發(fā)展 到 國(guó) 際 學(xué) 術(shù) 大 會(huì) 。 研 究 重 點(diǎn) 也 逐 漸 從 發(fā) 現(xiàn) 方 法 轉(zhuǎn) 向 系 統(tǒng) 應(yīng) 用 。 并 且 注 重 多 種 發(fā) 現(xiàn) 策略 和 技 術(shù) 的 集 成 ， 以 及 多 種 學(xué) 科 之 問 的 相 互 滲 透 。國(guó) 外 的 研 究 重 點(diǎn) 從 發(fā) 現(xiàn) 方 法 逐 漸 向 系 統(tǒng) 應(yīng) 用 直 到 專 享 大 規(guī) 模 的 綜 合 系 統(tǒng) 開 發(fā) ， 并且 注 重 多 種 發(fā) 現(xiàn) 策 略 和 技 術(shù) 的 集 成 。 國(guó)內(nèi)研究和發(fā)展現(xiàn)狀與 國(guó) 外 相 比 ． 國(guó) 內(nèi) 對(duì) DMKD 的 研 究 稍 晚 ， 沒 有 形 成 整 體 力 量 。 1993 年 國(guó) 家 自 然 科學(xué) 基 金 首 次 支 持 中 科 院 合 肥 分 院 對(duì) 該 領(lǐng) 域 的 研 究 項(xiàng) 目 。 目 前 從 事 數(shù) 據(jù) 挖 掘 研 究 的 人 員主 要 在 大 學(xué) ， 也 有 部 分 在 研 究 所 或 公 司 。 研 究 領(lǐng) 域 一 般 集 中 于 學(xué) 習(xí) 算 法 的 研 究 、 數(shù) 據(jù)挖 掘 的 實(shí) 際 應(yīng) 用 以 及 有 關(guān) 數(shù) 據(jù) 挖 掘 理 論 方 面 的 研 究 。 國(guó) 內(nèi) 的 許 多 科 研 單 位 和 高 等 院 校也 競(jìng) 相 開 展 知 識(shí) 發(fā) 現(xiàn) 的 基 礎(chǔ) 理 論 及 其 應(yīng) 用 研 究 。 指導(dǎo)思想本 設(shè) 計(jì) 主 要 采 用 數(shù) 據(jù) 挖 掘 技 術(shù) 對(duì) 畢 業(yè) 生 就 業(yè) 情 況 進(jìn) 行 預(yù) 測(cè) 。 整 個(gè) 設(shè) 計(jì) 關(guān) 鍵 在 于 貝葉 斯 定 理 的 分 類 算 法 實(shí) 現(xiàn) 。 該 設(shè) 計(jì) 方 案 主 要 采 用 數(shù) 據(jù) 挖 掘 技 術(shù) ， 通 過 對(duì) 往 屆 畢 業(yè) 生 就業(yè) 數(shù) 據(jù) 的 導(dǎo) 入 ， 對(duì) 其 進(jìn) 行 統(tǒng) 計(jì) 分 析 ， 應(yīng) 用 貝 葉 斯 定 理 建 立 預(yù) 測(cè) 模 型 ， 并 應(yīng) 用 該 模 型 對(duì)未 來 即 將 就 業(yè) 的 畢 業(yè) 生 的 就 業(yè) 趨 勢(shì) 進(jìn) 行 預(yù) 測(cè) 。 可 以 預(yù) 測(cè) 到 他 們 的 就 業(yè) 情 況 和 就 業(yè) 的 概率 。 數(shù)據(jù)挖掘技術(shù) 數(shù)據(jù)挖掘技術(shù)的產(chǎn)生背景 隨 著 信 息 技 術(shù) 的 高 速 發(fā) 展 ， 人 們 積 累 的 數(shù) 據(jù) 量 急 劇 增 長(zhǎng) ， 如 何 從 海 量 的 數(shù) 據(jù) 中 提取 有 用 的 知 識(shí) 成 為 當(dāng) 務(wù) 之 急 。 數(shù) 據(jù) 挖 掘 就 是 為 順 應(yīng) 這 種 需 要 應(yīng) 運(yùn) 而 生 發(fā) 展 起 來 的 數(shù) 據(jù)處 理 技 術(shù) 。 其 主 要 任 務(wù) 是 關(guān) 聯(lián) 分 析 、 分 類 、 預(yù) 測(cè) 時(shí) 序 模 式 和 偏 差 分 析 等 。 是 知 識(shí) 發(fā) 現(xiàn)(knowledge discovery in database)的 關(guān) 鍵 步 驟 。數(shù) 據(jù) 挖 掘 技 術(shù) 是 人 們 長(zhǎng) 期 對(duì) 數(shù) 據(jù) 庫 技 術(shù) 進(jìn) 行 研 究 和 開 發(fā) 的 結(jié) 果 。 起 初 各 種 商 業(yè) 數(shù)據(jù) 是 存 儲(chǔ) 在 計(jì) 算 機(jī) 的 數(shù) 據(jù) 庫 中 的 ， 然 后 發(fā) 展 到 可 以 對(duì) 數(shù) 據(jù) 庫 進(jìn) 行 查 詢 和 訪 問 ， 進(jìn) 而 發(fā)展 到 對(duì) 數(shù) 據(jù) 庫 的 即 時(shí) 遍 歷 。 數(shù) 據(jù) 挖 掘 使 數(shù) 據(jù) 庫 技 術(shù) 進(jìn) 入 了 一 個(gè) 更 高 級(jí) 的 階 段 ， 它 不 僅能 對(duì) 過 去 的 數(shù) 據(jù) 進(jìn) 行 查 詢 和 遍 歷 ， 并 且 能 夠 找 出 過 去 數(shù) 據(jù) 之 間 的 潛 在 聯(lián) 系 ， 從 而 促 進(jìn)信 息 的 傳 遞 。計(jì) 算 機(jī) 信 息 工 程 學(xué) 院 畢 業(yè) 設(shè) 計(jì) 說 明 書3 數(shù)據(jù)挖掘技術(shù)的定義及含義數(shù) 據(jù) 挖 掘 （ Data Mining） 就 是 從 大 量 的 、 不 完 全 的 、 有 噪 聲 的 、 模 糊 的 、 隨 機(jī) 的實(shí) 際 應(yīng) 用 數(shù) 據(jù) 中 ， 提 取 隱 含 在 其 中 的 、 人 們 事 先 不 知 道 的 、 但 又 是 潛 在 有 用 的 信 息 和知 識(shí) 的 過 程 。從 廣 義 上 講 ， 數(shù) 據(jù) 、 信 息 也 是 知 識(shí) 的 表 現(xiàn) 形 式 ， 但 是 人 們 更 把 概 念 、 規(guī) 則 、 模 式 、規(guī) 律 和 約 束 等 看 作 知 識(shí) 。 人 們 把 數(shù) 據(jù) 看 作 是 形 成 知 識(shí) 的 源 泉 ， 不 斷 地 挖 掘 。 原 始 數(shù)據(jù) 可 以 是 結(jié) 構(gòu) 化 的 ， 如 關(guān) 系 數(shù) 據(jù) 庫 中 的 數(shù) 據(jù) ； 也 可 以 是 半 結(jié) 構(gòu) 化 的 ， 如 文 本 、 圖 形 和圖 像 數(shù) 據(jù) ； 甚 至 是 分 布 在 網(wǎng) 絡(luò) 上 的 異 構(gòu) 型 數(shù) 據(jù) 。 發(fā) 現(xiàn) 知 識(shí) 的 方 法 可 以 是 數(shù) 學(xué) 的 ， 也 可以 是 非 數(shù) 學(xué) 的 ； 可 以 是 演 繹 的 ， 也 可 以 是 歸 納 的 。 發(fā) 現(xiàn) 的 知 識(shí) 可 以 被 用 于 信 息 管 理 ，查 詢 優(yōu) 化 ， 決 策 支 持 和 過 程 控 制 等 ， 還 可 以 用 于 數(shù) 據(jù) 自 身 的 維 護(hù) 。 因 此 ， 數(shù) 據(jù) 挖 掘 是一 門 交 叉 學(xué) 科 ， 它 把 人 們 對(duì) 數(shù) 據(jù) 的 應(yīng) 用 從 低 層 次 的 簡(jiǎn) 單 查 詢 ， 提 升 到 從 數(shù) 據(jù) 中 挖 掘 知識(shí) ， 提 供 決 策 支 持 。 在 這 種 需 求 牽 引 下 ， 匯 聚 了 不 同 領(lǐng) 域 的 研 究 者 ， 尤 其 是 數(shù) 據(jù) 庫 技術(shù) 、 人 工 智 能 技 術(shù) 、 數(shù) 理 統(tǒng) 計(jì) 、 可 視 化 技 術(shù) 、 并 行 計(jì) 算 等 方 面 的 學(xué) 者 和 工 程 技 術(shù) 人 員 ，投 身 到 數(shù) 據(jù) 挖 掘 這 一 新 興 的 研 究 領(lǐng) 域 ， 形 成 新 的 技 術(shù) 熱 點(diǎn) 。數(shù) 據(jù) 挖 掘 也 是 一 種 新 的 商 業(yè) 信 息 處 理 技 術(shù) ， 其 主 要 特 點(diǎn) 是 對(duì) 商 業(yè) 數(shù) 據(jù) 庫 中 的 大 量業(yè) 務(wù) 數(shù) 據(jù) 進(jìn) 行 抽 取 、 轉(zhuǎn) 換 、 分 析 和 其 他 模 型 化 處 理 ， 從 中 提 取 輔 助 商 業(yè) 決 策 的 關(guān) 鍵 性數(shù) 據(jù) 。 簡(jiǎn) 而 言 之 ， 數(shù) 據(jù) 挖 掘 其 實(shí) 是 一 類 深 層 次 的 數(shù) 據(jù) 分 析 方 法 。 商 業(yè) 領(lǐng) 域 產(chǎn) 生 了 大 量的 業(yè) 務(wù) 數(shù) 據(jù) ， 這 些 數(shù) 據(jù) 不 再 是 為 了 分 析 的 目 的 而 收 集 的 ， 而 是 由 于 純 機(jī) 會(huì) 的（ Opportunistic） 商 業(yè) 運(yùn) 作 而 產(chǎn) 生 。 分 析 這 些 數(shù) 據(jù) 也 不 再 是 單 純 為 了 研 究 的 需 要 ， 更主 要 是 為 商 業(yè) 決 策 提 供 真 正 有 價(jià) 值 的 信 息 ， 進(jìn) 而 獲 得 利 潤(rùn) 。 但 所 有 企 業(yè) 面 臨 的 一 個(gè) 共同 問 題 是 ： 企 業(yè) 數(shù) 據(jù) 量 非 常 大 ， 而 其 中 真 正 有 價(jià) 值 的 信 息 卻 很 少 ， 因 此 從 大 量 的 數(shù) 據(jù)中 經(jīng) 過 深 層 分 析 ， 獲 得 有 利 于 商 業(yè) 運(yùn) 作 、 提 高 競(jìng) 爭(zhēng) 力 的 信 息 ， 就 像 從 礦 石 中 淘 金 一 樣 ，數(shù) 據(jù) 挖 掘 也 因 此 而 得 名 。 貝葉斯分類算法 貝葉斯算法的介紹貝 葉 斯 分 類 算 法 是 統(tǒng) 計(jì) 學(xué) 的 一 種 分 類 方 法 ， 它 是 一 類 利 用 概 率 統(tǒng) 計(jì) 知 識(shí) 進(jìn) 行 分 類的 算 法 。 在 許 多 場(chǎng) 合 ， 樸 素 貝 葉 斯 (Naive Bayes， NB)分 類 算 法 可 以 與 決 策 樹 和 神 經(jīng)網(wǎng) 絡(luò) 分 類 算 法 相 媲 美 ， 該 算 法 能 運(yùn) 用 到 大 型 數(shù) 據(jù) 庫 中 ， 而 且 方 法 簡(jiǎn) 單 、 分 類 準(zhǔn) 確 率 高 、速 度 快 。由 于 貝 葉 斯 定 理 假 設(shè) 一 個(gè) 屬 性 值 對(duì) 給 定 類 的 影 響 獨(dú) 立 于 其 它 屬 性 的 值 ， 而 此 假 設(shè)在 實(shí) 際 情 況 中 經(jīng) 常 是 不 成 立 的 ， 因 此 其 分 類 準(zhǔn) 確 率 可 能 會(huì) 下 降 。 為 此 ， 就 衍 生 出 許 多降 低 獨(dú) 立 性 假 設(shè) 的 貝 葉 斯 分 類 算 法 ， 如 TAN(tree augmented Bayes work)算 法 。 貝葉斯定理計(jì) 算 機(jī) 信 息 工 程 學(xué) 院 畢 業(yè) 設(shè) 計(jì) 說 明 書4貝 葉 斯 定 理 （ Bayes39。 theorem） 是 概 率 論 中 的 一 個(gè) 結(jié) 論 ， 它 跟 隨 機(jī) 變 量 的 條 件 概率 以 及 邊 緣 概 率 分 布 有 關(guān) 。 在 有 些 關(guān) 于 概 率 的 解 說 中 ， 貝 葉 斯 定 理 能 夠 告 知 我 們 如 何利 用 新 證 據(jù) 修 改 已 有 的 看 法 。通 常 ， 事 件 A 在 事 件 B（ 發(fā) 生 ） 的 條 件 下 的 概 率 ， 與 事 件 B 在 事 件 A 的 條 件 下 的概 率 是 不 一 樣 的 ； 然 而 ， 這 兩 者 是 有 確 定 的 關(guān) 系 ， 貝 葉 斯 定 理 就 是 這 種 關(guān) 系 的 陳 述 。貝 葉 斯 公 式 的 用 途 在 于 通 過 己 知 三 個(gè) 概 率 函 數(shù) 推 出 第 四 個(gè) 。 它 的 內(nèi) 容 是 :在 B 出 現(xiàn) 的前 提 下 ,A 出 現(xiàn) 的 概 率 等 于 A 出 現(xiàn) 的 前 提 下 B 出 現(xiàn) 的 概 率 乘 以 A 出 現(xiàn) 的 概 率 再 除 以 B 出現(xiàn) 的 概 率 。 通 過 聯(lián) 系 A 與 B,計(jì) 算 從 一 個(gè) 事 件 產(chǎn) 生 另 一 事 件 的 概 率 ,即 從 結(jié) 果 上 溯 原 。作 為 一 個(gè) 普 遍 的 原 理 ， 貝 葉 斯 定 理 對(duì) 于 所 有 概 率 的 解 釋 是 有 效 的 ； 然 而 ， 頻 率 主義 者 和 貝 葉 斯 主 義 者 對(duì) 于 在 應(yīng) 用 中 ， 某 個(gè) 隨 機(jī) 事 件 的 概 率 該 如 何 被 賦 值 ， 有 著 不 同 的看 法 ： 頻 率 主 義 者 根 據(jù) 隨 機(jī) 事 件 發(fā) 生 的 頻 率 ， 或 者 總 體 樣 本 里 面 的 發(fā) 生 的 個(gè) 數(shù) 來 賦 值概 率 ； 貝 葉 斯 主 義 者 則 根 據(jù) 未 知 的 命 題 來 賦 值 概 率 。 這 樣 的 理 念 導(dǎo) 致 貝 葉 斯 主 義 者 有更 多 的 機(jī) 會(huì) 使 用 貝 葉 斯 定 理 。貝 葉 斯 定 理 是 關(guān) 于 隨 機(jī) 事 件 A 和 B 的 條 件 概 率 （ 或 邊 緣 概 率 ） 的 一 則 定 理 。()其 中 P(A|B)是 在 B 發(fā) 生 的 情 況 下 A 發(fā) 生 的 可 能 性 。在 貝 葉 斯 定 理 中 ， 每 個(gè) 名 詞 都 有 約 定 俗 成 的 名 稱 ：(1)P(A)是 A 的 先 驗(yàn) 概 率 或 邊 緣 概 率 。 之 所 以 稱 為 先 驗(yàn) 是 因 為 它 不 考 慮 任 何 B方