機械學習自然言語処理ー-資料下載頁
2025-02-07 17:20本頁面
【正文】 –組み合わせもできる %x[2,1]/%x[1,1] //2つ前の品詞と 1つ前の品詞の組み合わせ ? 先頭の U/B ラベル情報 ? Example中にあるテンプレートを使うと簡単です Unigram U00:%x[2,0] U01:%x[1,0] U02:%x[0,0] U03:%x[1,0] U04:%x[2,0] U05:%x[1,0]/%x[0,0] U06:%x[0,0]/%x[1,0] U10:%x[2,1] U11:%x[1,1] U12:%x[0,1] U13:%x[1,1] U14:%x[2,1] U15:%x[2,1]/%x[1,1] U16:%x[1,1]/%x[0,1] U17:%x[0,1]/%x[1,1] U18:%x[1,1]/%x[2,1] U20:%x[2,1]/%x[1,1]/%x[0,1] U21:%x[1,1]/%x[0,1]/%x[1,1] U22:%x[0,1]/%x[1,1]/%x[2,1] U30:%x[2,2] U31:%x[1,2] U32:%x[0,2] U33:%x[1,2] U34:%x[2,2] U35:%x[2,2]/%x[1,2] U36:%x[1,2]/%x[0,2] U37:%x[0,2]/%x[1,2] U38:%x[1,2]/%x[2,2] U40:%x[2,2]/%x[1,2]/%x[0,2] U41:%x[1,2]/%x[0,2]/%x[1,2] U42:%x[0,2]/%x[1,2]/%x[2,2] U50:%x[0,1]/%x[0,2] Bigram B CRF++の日本語固有表現のテンプレート例 U=ラベル 1個 B=ラベル 2個の組み合わせ 固有表現を作ってみる (1/4) ? CRF++をダウンロードしてくる tar xvzf CRF++ cd CRF++。 ./configure。 make。 (make install) cd example/JapaneseNE ./ 學習とテストをしてくれる ../../crf_learn f 3 c template model ../../crf_test m model 実際にモデルを適用する 固有表現を作ってみる (2/４ ) ? 自分で 1から作るなら mecabなどと組み合わせてやる 西東京 名詞 ,固有名詞 ,地域 ,一般 ,*,*,西東京 ,ニシトウキョウ ,ニシトーキョー 市 名詞 ,接尾 ,地域 ,*,*,*,市 ,シ ,シ は 助詞 ,係助詞 ,*,*,*,*,は ,ハ ,ワ 暑い 形容詞 ,自立 ,*,*,形容詞?アウオ段 ,基本形 ,暑い ,アツイ ,アツイ です 助動詞 ,*,*,*,特殊?デス ,基本形 ,です ,デス ,デス ね 助詞 ,終助詞 ,*,*,*,*,ね ,ネ ,ネ EOS ? 使えそうな最初の 2つをくっけるプログラムを作る 八丁堀 名詞 固有名詞 地域 O 店 名詞 接尾 一般 O 【 記號 括弧開 * O 八丁堀 名詞 固有名詞 地域 O 】 記號 括弧閉 * O 17 名詞 數 * O 時 名詞 接尾 助數詞 O ? 記號 一般 * O 翌 接頭詞 數接続 * O 固有表現を作ってみる (3/４ ) 正解データを頑張って作る 100例ぐらい作れば結構いい精度出る 八丁堀 名詞 固有名詞 地域 O で 助詞 格助詞 一般 O 連日 名詞 副詞可能 * O 人気 名詞 一般 * O の 助詞 連體化 * O 和食 名詞 一般 * BSTORE 居酒屋 名詞 一般 * ISTORE 。 記號 句點 * O 學習と推定 (4/4) ? templateをそのまま使う –3列構成ならそのまま使える ../../crf_learn f 3 c template model ../../crf_test m model 適當に整形すればうまくみえます 質問 /回答 (1/4) ? Q. パーセプトロンの更新式では発散することはないのか ? A. 収束定理が示すとおり線形分離可能なら有限回數で終わる。また線形分離可能で無い場合でも一定の収束性能は示せる ? Q. カーネルトリックをパーセプトロンでどのように使えるのか ? A. 重みベクトルを wの代わりに各訓練データで間違えた回數を αiでもっていて wTxの代わりに Σi αiyiK(xi, x)を使えばできる 質問 /回答 (2/4) ? Q. 多クラス分類をこれ以外の手法で実現できないか ? A. 全てのクラスの組み合わせで二値分類の問題を作って多數決を取る方法、（１個のクラス対殘り全部）を全部作って一番スコアが高いのを選ぶ方法（ one versus rest) 、トーナメント方式にする方法、エラー符號を作って、それでハミング距離が一番近いのを選ぶ方法などいろいろある。 質問 /回答 (３ /4) ? Q. MEMMと CRFはどちらの方が速いのか ? A. MEMMでは各 Stateで正規(guī)化が必要なのでその分遅い。ただ MEMMでは前から greedyに展開など工夫はいくらでもできる ? Q. MEMMは良く出る系列の周辺だけ集中して學習しているので MEMMの方がよいのではないか ? A. 一概に言えないが一般的なラベル數では CRFでも學習としては問題ない。ただラベル數や系列數が非常に大きい場合は周辺パスのノイズの影響が無視できない。 Searn [Daume06]などが対処している 質問 /回答 (4/4) ? Q. CRFで利用する素性の種類數は爆発するのでは ? A. CRFでは枝素性が隣接するラベルの組み合わせ入力に関する素性種類數なので、ラベル數が k、入力種類素性數が mの時k2m個の素性が使われる。ラベル種類數が多い場合は非常に大きいので、頂點に付く素性しか使わないことが多い 謝謝觀看 /歡迎下載 BY FAITH I MEAN A VISION OF GOOD ONE CHERISHES AND THE ENTHUSIASM THAT PUSHES ONE TO SEEK ITS FULFILLMENT REGARDLESS OF OBSTACLES. BY FAITH I BY FAIT
教學課件相關推薦
鄂ICP備17016276號-1