單擊此處輸入中文題名不超過20個漢字(編輯修改稿)
2025-07-04 17:40 本頁面
【文章內容簡介】 LINE文章標題TEXT…/TEXT文章內容P…/P段落標記下面是EPCQA對一篇文檔的標注實例。DOCDOCNO /DOCNOSOURCE INTERNET /SOURCEPUBLISHER ChineseLDC /PUBLISHERBODYHEADLINE 1987諾貝爾文學獎/HEADLINETEXTP約瑟夫布羅茨基（Joseph Brodsky， 1940～1996）蘇裔美籍詩人。生于列寧格勒一個猶太家庭，父親是攝影師，布羅茨基自小酷愛自由，因不滿學校的刻板教育，15歲便退學進入社會。他先后當過火車司爐工、板金工、醫(yī)院陳尸房工人、地質勘探隊的雜務工等。業(yè)余時間堅持寫詩，譯詩。/P……P1987年，由于他的作品“超越時空限制，無論在文學上及敏感問題方面，都充分顯示出他廣闊的思想和濃郁的詩意”，獲得諾貝爾文學獎。/P/TEXT/BODY/DOC4 建立測試集EPCQA已從多個不同的渠道（例如，自然語言搜索網站日志、百科知識問答題庫、實驗室工作人員，對英語提問的翻譯等）收集了4250個基于事實的測試問題，以及這些提問在EPCQA語料庫中的答案。 EPCQA建立原則和步驟EPCQA測試集的建立遵循全面性、真實性和無歧義性三個原則。其中，全面性指測試集中的提問要盡量涵蓋多個主題，避免千篇一律地全是提問人物或者地點等。真實性指測試集中的提問應盡量反映用戶使用疑問句的習慣，避免千篇一律的疑問句法。TREC8在測試集的真實性方面做得不夠，因為測試集中的一部分提問是通過逆構法問題設計者先找一個自己感興趣的topic，然后根據檢索到的文本把陳述句改為疑問句。產生的。這樣的問句通常會包括較多的提示信息，比較容易回答[Ellen M. Voorhees, 1999]。從TREC9開始，測試集都是從自然語言檢索系統(tǒng)的搜索日志（例如MSNSearch和AskJeeves的搜索日志）中提取出來的。無歧義性指測試集中的每個提問都不能有歧義。按照上述三個原則，我們分三步完成了漢語問答系統(tǒng)測試集的建立：第一步、自動過濾過濾原則是問句中應該包括一個疑問詞（誰,哪，什么時候等）；或者以情態(tài)詞或動詞開始；或者以問號結束。第二步、人工過濾過濾掉的問題包括非事實問題，程序問題，某物在網絡中位置問題，模糊性的問題等。第三步、人工修正對測試集進行的人工修正的工作主要包括拼寫檢查，標點符號檢查和語法規(guī)則的檢查等。EPCQA從自然語言搜索網站的日志中共提取5400多個提問。但是，其中很多提問還不是現階段問答系統(tǒng)研究的重點，例如：非基于事實的提問、省略了疑問詞的提問、表達模糊的提問、要求回答的是完成某件事的程序而非簡短答案的提問，等等。我們對這些提問進行人工剔除。例如提問：如何網上賺錢？ 女朋友過生日送什么禮物？如何申請免費空間？成龍的近況如何？等等。還有一些符合要求但表達不當的提問，我們對它們進行了一定的修改。百科知識問答題庫中的提問相對比較書面化，不能夠反映用戶使用問句的方式。對此我們進行了一些口語化的處理。例如提問：香港電影《花樣年華》最近在第５３屆戛納國際電影節(jié)上獲最佳男主角獎，在該片中飾演男主角的哪一位演員？中國第一次派運動員參加的奧運會和中國奪得第一枚金牌的奧運會是在同一城市舉行，它是什么城市？我們分別把它們修改成：誰在香港電影《花樣年華》中飾演男主角？中國奪得第一枚金牌的奧運會是在哪個城市舉辦的？我們認為這樣更能反映系統(tǒng)在使用中的實際情況。實驗室工作人員可以提出任何他們感興趣的問題，我們只是要求對提問的表達要盡可能的多樣化，不要總是用是同一種提問方式。對英語提問句的翻譯是我們獲取漢語問答系統(tǒng)測試集的另一個非常重要的途徑。其中，英語提問句的來源主要是往屆的TREC比賽的測試集。我們這里的“翻譯”不全是對英語提問句的直接翻譯，而是對于部分可能在中文中找不出答案的提問在不改變提問類型的情況下，進行了適當的修改，例如：英語提問：Who wrote East is east, west is west and never the twain shall meet?中文提問：名著《紅樓夢》是誰的作品？英語提問：What is the name of CEO of Apricot Computer? 中文提問：聯(lián)想公司的CEO叫什么名字？目前，我們通過上述四個途徑已建立了一個有4250個提問的漢語問答系統(tǒng)測試集。很顯然，這個測試規(guī)模還很小。我們希望能夠在以后的工作中逐步擴大、完善測試集。 測試集類型EPCQA的4250個測試集問題可以分為三大類，即事實問題、列表問題和描述問題。事實問題是指用戶的提問基本上是客觀事實，不是個人的主觀想法或者意見，其答案通常都是一個組塊（包括詞和短語）。列表問題實際上是事實問題的一個子類，不同的是系統(tǒng)返回的答案是不少于提問指定數目的實例。描述問題則是要求系統(tǒng)給出對一個人、一件事物或組織的簡短描述。 漢語問答系統(tǒng)測試集的部分實例Table Some Test Examples of Chinese Question Answering提問類型例子答案事實問題氧氣占空氣體積的百分之多少？%/21%/五分之一目前國際奧委會總部在哪里？瑞士洛桑非洲第一高峰乞力馬扎羅山的海拔高度是多少？５８９２米誰獲得1987年的諾貝爾文學獎？約瑟夫布羅茨基被稱為我國“瓷都”的是指哪一城市？景德鎮(zhèn)中國最大的商業(yè)銀行是什么銀行？中國工商銀行布什是誰？美國總統(tǒng)林肯是怎么
教學教案相關推薦
鄂ICP備17016276號-1