【正文】 人是不是覺得問卷問題晦澀難懂？在試調(diào)查之后，可以詢問被調(diào)查人的感想，比如，是否不理解題項的意思？題目是否太長？有沒有歧義？有沒有不好回答的題項？通過試調(diào)查，對以下題目做出了語言上的修改，如表 14所示：表 14 問題問法修改前后對比修改前修改后修改原因公司做可用性測試中，基本一直使用“有效、效率、滿意度”這三條測試標(biāo)準(zhǔn)。可用性測試使用“有效、效率、滿意度”這三條測試標(biāo)準(zhǔn)。原問題太長，增加被調(diào)查人的負(fù)擔(dān)。部門內(nèi)很少組織進(jìn)行用戶研究和可用性測試的理論方法研究。部門內(nèi)很少組織可用性的理論方法研究。原問題太長，增加被調(diào)查人的負(fù)擔(dān)。有時候客戶會找?guī)准夜就瑫r做一個項目的用戶研究，每份調(diào)查報告都只作為參考。有時候客戶會找好幾家公司同時幫他們做同一個項目的用戶研究。原問題實際問了兩個問題。以前做過的同類項目的數(shù)據(jù)，在另外一個項目中，我會查詢翻看。以前做過的同類項目數(shù)據(jù)，在另外一個項目中會查詢翻看。原問題拗口、不通順。從事用戶研究和可用性測試的人不必和程序員有交涉。從事用戶研究和可用性測試的人很少和程序員有交涉。原問題有個人態(tài)度傾向性。在調(diào)查之前我們可能已經(jīng)想好了結(jié)果。我認(rèn)為很難避免這種主觀傾向的干擾。在調(diào)查之前可能已經(jīng)想好了結(jié)果。原問題實際問了兩個問題。我認(rèn)為調(diào)查中我設(shè)計的訪談提綱和問卷的品質(zhì)很高。訪談提綱和問卷問題的品質(zhì)很高。原問題有個人態(tài)度傾向性。這里希望了解整體水準(zhǔn)。上級或者客戶不懂用戶體驗，但是喜歡亂提要求。上級或者客戶不懂用戶體驗，但是喜歡亂提要求，我們常覺得很為難。原問題實際問了兩個問題。最后變成了主觀描述。我們有力的證據(jù)支持是：用戶說…而不是數(shù)據(jù)分析。我們有力的證據(jù)支持是：用戶說…原問題實際問了兩個問題。 分析效度分析效度（Analysis validity）包含認(rèn)知效度和分類效度。認(rèn)知效度指對調(diào)查方法和試驗方法的認(rèn)識程度，你對調(diào)查數(shù)據(jù)的理解程度和分析概括程度。分類效度指從調(diào)查數(shù)據(jù)進(jìn)行分類的有效程度[1]。本文就從這兩個方面來分析調(diào)查的分析效度。首先，對認(rèn)知效度的分析。對本次調(diào)查方法的分析有哪些？本調(diào)查的分析方法是對比分析，對比了中國企業(yè)與外國企業(yè)在用戶調(diào)查與可用性測試過程中的差距。其次，對于分類效度，為了更客觀的衡量用戶體驗部門的部門協(xié)作力，還把被調(diào)查者分為了行內(nèi)人員與行外人員。 信度分析信度（reliability）是指使用相同研究技術(shù)重復(fù)測量同一個對象時得到相同研究結(jié)果的可能性[10]。內(nèi)部一致性（internal consistency），與一個量表中的題項的同質(zhì)性有關(guān)。內(nèi)部一致通常等價于克若恩巴齊（Cronbach,1951）的阿爾法系數(shù)，α（Scale Development）。在試調(diào)查和調(diào)查過程中，本文在以下幾個步驟中進(jìn)行了信度分析： 通過試調(diào)查信度分析來修改問卷對于30份試調(diào)查問卷數(shù)據(jù)，先進(jìn)行聚類分析，剔除掉和所有問項相關(guān)度都很低的問題，然后進(jìn)行內(nèi)部一致性檢驗，用Cronbach α系數(shù)檢驗重新聚類后的各類的內(nèi)部一致性。再逐條刪減問題，發(fā)現(xiàn)假若刪減一道問題，Cronbach α系數(shù)升高，則應(yīng)從類里剔除這個問題。如果這道問題放在別的類里會升高Cronbach α系數(shù)的值，則可以考慮將它歸到別的類里。聚類結(jié)果發(fā)現(xiàn)，聚成8類時，第四類和第七類都只包含一個問題，并且這個問題放在哪個類里都會降低其Cronbach α系數(shù)值，說明它和所有問項相關(guān)度都很低。應(yīng)該予以刪除。 cluster功能，選用華生法（ward’s method），聚類樹狀圖如所示：圖 11 聚類樹狀圖通過計算Cronbach α系數(shù)刪減問題的結(jié)果如表 15所示，刪減或轉(zhuǎn)移問題的原因如表 16所示：表 15 內(nèi)部一致性檢驗過程類和α值序號問題處理之后α值第一類Q1公司做可用性測試時，基本一直使用“有效、效率、滿意度”這三條測試標(biāo)準(zhǔn)。保留Q9有時候客戶會找好幾家公司同時幫他們做同一個項目的用戶研究，每份調(diào)查報告都只作為參考。保留Q12從事用戶研究和可用性測試的人不必和程序員有交涉。刪除Q16我覺得工作流程是怎樣的不重要，只要做好了項目既可。保留Q18我做用戶調(diào)查時，很多時候在套用市場調(diào)查的辦法。保留Q20我們只儲存那些長期調(diào)查的、重要的用戶信息。刪除Q24我們很少做定量數(shù)據(jù)分析。刪除Q2部門內(nèi)很少組織進(jìn)行用戶研究和可用性測試的理論方法研究。添加第二類Q2部門內(nèi)很少組織進(jìn)行用戶研究和可用性測試的理論方法研究。刪除Q8在調(diào)查之前我們可能已經(jīng)想好了結(jié)果。我認(rèn)為很難避免這種主觀傾向的干擾。保留Q21我們有時招募用戶會忽略先前制定的比例。保留Q25我們有力的證據(jù)支持是：用戶說…而不是數(shù)據(jù)統(tǒng)計分析。保留Q32時常能聽到部門內(nèi)員工對客戶或其他部門人員的抱怨。保留第三類Q4有時我也不太清楚一份用戶研究報告怎么具體指導(dǎo)產(chǎn)品設(shè)計。保留Q7有些產(chǎn)品經(jīng)理和程序員不是很認(rèn)可我們部門的工作。保留Q10UI設(shè)計師覺得他們的設(shè)計方案實際并不取決于用戶研究的結(jié)果。保留Q11上級或者客戶不懂用戶體驗，但是喜歡亂提要求，我們常覺得很為難。保留Q23對于數(shù)據(jù)分析，我們經(jīng)常做定性分析。刪除Q12從事用戶研究和可用性測試的人不必和程序員有交涉。增加第四類Q29我認(rèn)為現(xiàn)階段應(yīng)該先提高研究質(zhì)量，而不是先考慮效率。刪除第五類Q3大家經(jīng)常把外國出的新理論套用在實際項目上。保留Q17我認(rèn)為調(diào)查中設(shè)計的訪談提綱和問卷的品質(zhì)很高。保留Q19部門內(nèi)有一個詳盡龐大的用戶信息庫。保留Q22我主持訪談和挖掘用戶需求的能力很棒。保留Q20我們只儲存那些長期調(diào)查的、重要的用戶信息。添加第六類Q5多用一些名詞術(shù)語能讓別人覺得我更專業(yè)。保留Q6我注重去“感覺”用戶需求是什么，并不一定需要數(shù)據(jù)和論據(jù)。保留Q26平時報告中的結(jié)論分析占篇幅一半左右。保留Q28部門內(nèi)很注重數(shù)據(jù)的積累保存。保留第七類Q13我在為用戶爭取利益的時候總需要對其他部門進(jìn)行很多解釋。刪除第八類Q31新員工在上崗前需要經(jīng)過一周以上的培訓(xùn)。保留Q30項目執(zhí)行人的水準(zhǔn)對項目影響很大。保留Q27以前做過的同類項目的數(shù)據(jù)，在另外一個項目中，我會查詢翻看。保留Q15部門內(nèi)部有一套固定的工作流程。保留Q14項目管理好壞對我的工作影響很大。保留表 16 刪減問題的原因序號問題處理原因Q12從事用戶研究和可用性測試的人不必和程序員有交涉。和第一類不屬于一類問題。放置在第三類中會使信度升高。觀察后發(fā)現(xiàn)和第三類問題都屬于協(xié)作方面。Q20我們只儲存那些長期調(diào)查的、重要的用戶信息。和第二類不屬于一類問題。放置在第五類中會使信度升高。觀察后發(fā)現(xiàn)和第五類都屬于數(shù)據(jù)庫問題。Q24我們很少做定量數(shù)據(jù)分析。無法從中得到設(shè)計信息。Q23對于數(shù)據(jù)分析，我們經(jīng)常做定性分析。無法從中得到設(shè)計信息。Q29我認(rèn)為現(xiàn)階段應(yīng)該先提高研究質(zhì)量，而不是先考慮效率。單獨聚為一類，和其他問項相關(guān)度都低。兩重問題。也無法得出設(shè)計信息。Q13我在為用戶爭取利益的時候總需要對其他部門進(jìn)行很多解釋。單獨聚為一類，和其他問項相關(guān)度都低。無法得出設(shè)計信息。問題模糊，沒說清楚要解釋什么。 驗證正式問卷內(nèi)部一致性正式問卷共發(fā)放86份，回收有效數(shù)據(jù)72份。數(shù)據(jù)使用SPSS 。聚類后發(fā)現(xiàn)，第一、二、三類分別包含的題目數(shù)量只有1個，去掉這四個題之后，整體Cronbach ，說明這四個題和其它問題相關(guān)度都不高。聚類樹狀圖如圖 12所示：圖 12 正式問卷數(shù)據(jù)聚類樹狀圖剩下三個類包含的問題和每一類的內(nèi)部一致性如表 17所示：表 17 驗證正式問卷的內(nèi)部一致性因素序號問題內(nèi)部一致性檢驗部門協(xié)作Q5我做用戶調(diào)查時，很多時候在套用市場調(diào)查的辦法。Q6在調(diào)查之前我們可能已經(jīng)想好了結(jié)果。我認(rèn)為很難避免這種主觀傾向的干擾。Q7我們有時招募用戶會忽略先前制定的比例。Q8我們有力的證據(jù)支持是：用戶說…而不是數(shù)據(jù)統(tǒng)計分析。Q9時常能聽到部門內(nèi)員工對客戶或其他部門人員的抱怨。Q10有時我也不太清楚一份用戶研究報告怎么具體指導(dǎo)產(chǎn)品設(shè)計。Q11有些產(chǎn)品經(jīng)理和程序員不是很認(rèn)可我們部門的工作。Q12UI設(shè)計師覺得他們的設(shè)計方案實際并不取決于用戶研究的結(jié)果。Q13上級或者客戶不懂用戶體驗，但是喜歡亂提要求，我們常覺得很為難。Q14從事用戶研究和可用性測試的人不必和程序員有交涉。數(shù)據(jù)積累Q15大家經(jīng)常把外國出的新理論套用在實際項目上。Q16我認(rèn)為調(diào)查中設(shè)計的訪談提綱和問卷的品質(zhì)很高。Q17部門內(nèi)有一個詳盡龐大的用戶信息庫。Q18我主持訪談和挖掘用戶需求的能力很棒。Q19我們只儲存那些長期調(diào)查的、重要的用戶信息。Q20多用一些名詞術(shù)語能讓別人覺得我更專業(yè)。Q21平時報告中的結(jié)論分析占篇幅一半左右。Q22部門內(nèi)很注重數(shù)據(jù)的積累保存。資源管理Q23項目執(zhí)行人的水準(zhǔn)對項目影響很大。Q24以前做過的同類項目的數(shù)據(jù)，在另外一個項目中，我會查詢翻看。Q25部門內(nèi)部有一套固定的工作流程。Q26項目管理好壞對我的工作影響很大。如表所示，假若刪去前三類，即14題。進(jìn)行內(nèi)部一致性檢測后，Cronbach 、。第2章 數(shù)據(jù)分析與結(jié)果本章通過對調(diào)查數(shù)據(jù)的聚類分析和對比分析，得出兩個結(jié)論。第一，什么因素影響企業(yè)設(shè)計調(diào)查過程。第二，外國企業(yè)和中國企業(yè)的用戶體驗部門的差距何在。 樣本比例本次調(diào)查共發(fā)放兩套問卷。第一套是發(fā)給用戶體驗行業(yè)工作人員的，第二套是發(fā)給程序員、美工、產(chǎn)品經(jīng)理的。第一套問卷共發(fā)放86份，回收有效數(shù)據(jù)71份；第二套問卷共發(fā)放73份，回收有效數(shù)據(jù)57份。針對第一套問卷的調(diào)查樣本比例，如表 2表 2表 2表 24所示：表 21所屬單位類型單位類型外企國企民營其他未填寫人數(shù)2193650百分比%%%7%0%表 22從事的項目類型項目類型手機互聯(lián)網(wǎng)行業(yè)軟件操作系統(tǒng)游戲軟件其他未填寫人數(shù)242191457百分比%%%%%%%表 23職業(yè)狀況職位類型用戶研究交互設(shè)計可用性測試產(chǎn)品經(jīng)理其他未填寫人數(shù)231322841百分比%%%%%%表 24 工作年限工作時間1年以下13年45年5年以上未填寫人數(shù)1550411百分比%%%%%針對第二套問卷的調(diào)查樣本比例，如表 2表 2表 2表 28所示：表 25所屬單位類型單位類型外企國企民營其他未填寫人數(shù)12142470百分比%%%0%表 26從事的項目類型項目類型手機互聯(lián)網(wǎng)行業(yè)軟件操作系統(tǒng)游戲軟件其他未填寫人數(shù)98247522百分比%%%%%表 27職業(yè)狀況職位類型視覺設(shè)計產(chǎn)品經(jīng)理程序員市場營銷戰(zhàn)略策劃其他未填寫人數(shù)515177256百分比%%%%%%%表 28工作年限工作時間1年以下13年45年5年以上未填寫人數(shù)2329320百分比%%%%0% 聚類分析本文提出一項結(jié)論，即從五個方面可以評價一個用戶體驗部門或用戶體驗咨詢公司的好壞，它們分別是理論發(fā)展、執(zhí)行水準(zhǔn)、部門協(xié)作、數(shù)據(jù)積累、資源管理。這個結(jié)論是通過聚類分析得到的。聚類分析是根據(jù)研究對象的相關(guān)程度，把相關(guān)程度比較強的對象歸為一類[1]。本文所采用的聚類方法，是層級聚類（hierarchical clustering）方法。通過試調(diào)查，回收了31份有效數(shù)據(jù)。對這些數(shù)據(jù)進(jìn)行聚類和信度分析，刪減了一些降低Cronbach α系數(shù)值的問題，按聚類結(jié)果重新排布了題項順序。將修改過后的問卷正式發(fā)放，回收72份有效數(shù)據(jù)。再進(jìn)行聚類，聚類后對應(yīng)的類和題項如所表 29示：表 29 聚類后的問題對應(yīng)因素序號題項第一類Q1可用性測試使用“有效、效率、滿意度”這三條測試標(biāo)準(zhǔn)。第二類Q2部門內(nèi)很少組織可用性的理論方法研究。Q4工作流程不重要，只要做好了項目既可。第三類Q3有時候客戶會找好幾家公司同時幫他們做同一個項目的用戶研究。第四類Q5我做用戶調(diào)查時，很多時候在套用市場調(diào)查的辦法。Q6在調(diào)查之前我們可能已經(jīng)想好了結(jié)果。我認(rèn)為很難避免這種主觀傾向的干擾。Q7我們有時招募用戶會忽略先前制定的比例。Q8我們有力的證據(jù)支持是：用戶說…而不是數(shù)據(jù)統(tǒng)計分析。Q9時常能聽到部門內(nèi)員工對客戶或其他部門人員的抱怨。Q10有時我也不太清楚一份用戶研究報告怎么具體指導(dǎo)產(chǎn)品設(shè)計。Q11有些產(chǎn)品經(jīng)理和程序員不是很認(rèn)可我們部門的工作。Q12UI設(shè)計師覺得他們的設(shè)計方案實際并不取決于用