【正文】 及數(shù)據(jù)處理工作中原始資料的登記交接工作。 根據(jù)農普工作要求，市農普辦從各成員單位抽調了一批年紀輕、學歷高、業(yè)務精的同志充實到農普數(shù)據(jù)處理工作中來，在數(shù)據(jù)處理工作各環(huán)節(jié)擔當監(jiān)督員、審核員等重要角色。購置了17臺PC機，在機房安裝了一臺格力5P天井式空調，給機房配備了打印機，調配5臺電腦和2臺服務器用于Apras邏輯審核工作，并更新了機房的兩臺UPS。 （三）密切配合，做好農普清查數(shù)據(jù)處理工作，為普查正式開展夯實基礎。 根據(jù)南農普辦字11號文《南寧市第二次全國農業(yè)普查領導小組辦公室成員職責分工方案》的要求，在市農業(yè)普查領導小組辦公室專門設立數(shù)據(jù)處理組，并以文件形式明確了數(shù)據(jù)處理組的工作職責，處理組成員由市統(tǒng)計局計算站業(yè)務骨干組成。 數(shù)據(jù)處理作為整個農普工作的重要環(huán)節(jié)，關系到農普工作的好壞，我市農普數(shù)據(jù)處理工作之所以順利開展，與市農普辦領導密切關心分不開的。市農普辦先后組織了20批約400人次參加了農普Apras邏輯審核工作，整個審核工作于7月下旬結束。我市光電錄入工作開始于20XX年4月上旬，采取外聘實習生和市農普辦工作人員相結合操作的方式，由實習生進行掃描、校驗、審核整個流程的操作，農普辦人員在旁監(jiān)督以保證掃描錄入的質量。現(xiàn)將全市農業(yè)普查數(shù)據(jù)處理工作總結如下： 一、數(shù)據(jù)處理基本情況 我市共有1602個普查區(qū)、17010個普查小區(qū)，涉農單位1960家，需要錄入的普查表有200多萬張。還有個別實驗做得不夠熟練，不夠完善，這有待于在今后的工作中加以改進。在作風上，能遵章守紀、團結同事、務真求實、樂觀上進，始終保持嚴謹認真的工作態(tài)度和一絲不茍的工作作風。同時注意到實驗室的通風和各種化學試劑及油樣的擺放問題。所以我工作投入，能夠正確認真對待每一項工作，熟記各項安全措施，遇事不能慌?；灩ぷ骶毈嵥?，而且由于我們主要是搞研發(fā)，所以不像煉油廠的化驗工作很有規(guī)律性。同時也對相關工作有了進一步的認識。數(shù)據(jù)員工作總結（必備6篇） 一、努力學習，完善自我：隨著公司的發(fā)展，實驗室儀器的增加。 二、工作內容與體會：我的工作主要是配合研發(fā)一部的其它幾個崗位做相應的分析。我們會經常遇到不同的新問題。環(huán)保也是相當重要，做到每種化學試劑和需要處理的油樣，集中分類處理，不隨意亂倒。 三、工作態(tài)度與勤奮敬業(yè)：我熱愛自己的本職工作，正確認真對待每一項工作，在開展工作之前做好個人，有主次的先后及時完成各項工作。積極參加公司組織的各項活動，如春游，秋季五項全能體育比賽等。通過這段時間的工作實踐，讓我懂得從事實驗分析工作一定要細心，不能放過一個疑點，有問題多請示，多匯報。我市農普數(shù)據(jù)處理工作全部安排在市一級開展，分為光電錄入和Apras邏輯審核兩個階段，兩個階段同時進行。全面的光電錄入工作于6月12日結束，期間共掃描普查表2300579張，平均每天掃描3萬張左右，最高一天掃描約7萬張的普查表。市農普辦還結合我市的實際，發(fā)揮創(chuàng)新能力，在國家下發(fā)的Apras程序制度基礎上，新增了19條審核公式和10張匯總表用于數(shù)據(jù)質量控制。農普辦領導經常對數(shù)據(jù)處理工作進行檢查指導，及時糾正數(shù)據(jù)處理工作錯誤，協(xié)調解決數(shù)據(jù)處理工作遇到的困難。 根據(jù)國家和自治區(qū)的普查數(shù)據(jù)處理實施方案要求，結合南寧市的實際情況，我們制定了農普數(shù)據(jù)處理實施方案。市農普數(shù)據(jù)處理組積極配合業(yè)務組開展農普清查摸底工作，協(xié)助業(yè)務組完成清查快速匯總工作。 及時接收自治區(qū)下發(fā)的數(shù)據(jù)處理軟、硬件，及時組織數(shù)據(jù)處理組人員組裝設備、安裝程序、調試網絡、測試系統(tǒng)集成，搭建了與外部隔絕的農普數(shù)據(jù)處理專用網絡，保障了數(shù)據(jù)處理按時開展。并從南寧市有關院校挑選出39名學生參加光電錄入和Apras邏輯審核工作。 制定原始資料交接流程，制作了交接登記表，規(guī)定各縣區(qū)上交普查表的時間，指定專人負責資料的交接工作，原始資料有專門地點存放，專人進行管理，已錄入和未錄入的資料分開存放，避免了在資料管理上出現(xiàn)混亂。 在自治區(qū)下發(fā)的12臺PC機的基礎上，我市又購置一批PC機用于光電錄入工作。 數(shù)據(jù)處理組負責把光電掃描的數(shù)據(jù)從光電錄入系統(tǒng)導出，再導入到Apras邏輯審核中，并進行審核，記錄好審核出來的錯誤筆數(shù)。為進一步控制好我市的數(shù)據(jù)質量，市農普辦結合我市的實情，發(fā)揮創(chuàng)新能力，在國家下發(fā)的Apras程序制度基礎上，新增了19條審核公式和10張匯總表。接入農普數(shù)據(jù)處理專用網絡的每臺電腦上均裝有國家下發(fā)的VRV北信源殺毒軟件，并對其設置了定時自動查殺病毒。當掃描儀出現(xiàn)故障超出能力范圍時，數(shù)據(jù)處理組均能及時與贊華公司聯(lián)系，請技術人員上門維護處理故障。 （九）服從調配，積極配合全區(qū)農普數(shù)據(jù)處理工作的開展。 市農普辦安排有專人負責統(tǒng)計每天的光電錄入進度，并按照要求及時向自治區(qū)上報光電錄入進度。 （十一）密切配合，做好普查數(shù)據(jù)事后質量抽查工作。 三、今后工作計劃 下一步數(shù)據(jù)處理工作的重心將轉移到數(shù)據(jù)資料的開發(fā)上。 二、軟硬件要求高，系統(tǒng)資源占用率高。 這也是本文的寫作目的所在，好的處理方法是一位工程師長期工作經驗的積累，也是個人的經驗的總結。筆者在實際數(shù)據(jù)分析項目中，對每天6000萬條的39。良好的程序代碼應該包含好的算法，包含好的處理流程，包含好的效率，包含好的異常處理機制等。 五、建立緩存機制 當數(shù)據(jù)量增加時，一般的處理工具都要考慮到緩存問題。 七、分批處理 海量數(shù)據(jù)處理難因為數(shù)據(jù)量大，那么解決海量數(shù)據(jù)處理難的問題其中一個技巧是減少數(shù)據(jù)量。這樣做的目的是化整為零，大表變小表，分塊處理完成后，再利用一定的規(guī)則進行合并，處理過程中的臨時表的使用和中間結果的保存都非常重要，如果對于超海量的數(shù)據(jù)，大表處理不了，只能拆分為多個小表。 十、使用文本格式進行處理 對一般的數(shù)據(jù)處理可以使用數(shù)據(jù)庫，如果對復雜的數(shù)據(jù)處理，必須借助程序，那么在程序操作數(shù)據(jù)庫和程序操作文本之間選擇，是一定要選擇程序操作文本的，原因為：程序操作文本速度快；對文本進行處理不容易出錯；文本的存儲不受限制等。 十二、建立視圖或者物化視圖 視圖中的數(shù)據(jù)來源于基表，對海量數(shù)據(jù)的處理，可以將數(shù)據(jù)按一定的規(guī)則分散到各個基表中，查詢或處理過程中可以基于視圖進行，這樣分散了磁盤I/O，正如10根繩子吊著一根柱子和一根吊著一根柱子的區(qū)別。 十五、使用數(shù)據(jù)倉庫和多維數(shù)據(jù)庫存儲 數(shù)據(jù)量加大是一定要考慮OLAP的，傳統(tǒng)的報表可能6個小時出來結果，而基于Cube的查詢可能只需要幾分鐘，因此處理海量數(shù)據(jù)的利器是OLAP多維分析，即建立數(shù)據(jù)倉庫，建立多維數(shù)據(jù)集，基于多維數(shù)據(jù)集進行報表展現(xiàn)和數(shù)據(jù)挖掘等。 還有一些方法，需要在不同的情況和場合下運用，例如使用代理鍵等操