數(shù)據(jù)收集需要成本，一項(xiàng)調(diào)查動(dòng)輒花費(fèi)十幾萬(wàn)或幾十萬(wàn)，有些追蹤調(diào)查長(zhǎng)期積累下來(lái)的花費(fèi)甚至過(guò)億。正因?yàn)槿绱耍芏囗?xiàng)目負(fù)責(zé)人在實(shí)地調(diào)查前不免忐忑不安：我設(shè)計(jì)的問(wèn)卷能不能收集到我真正所需要的信息？流程會(huì)不會(huì)出錯(cuò)？在數(shù)據(jù)回收后，也經(jīng)常會(huì)發(fā)生因?yàn)樵O(shè)計(jì)上的失誤而導(dǎo)致數(shù)據(jù)缺失、錯(cuò)誤等問(wèn)題然而悔之晚矣的情況。更糟糕的是，有些數(shù)據(jù)上的錯(cuò)誤由于未能及時(shí)得以發(fā)現(xiàn)和調(diào)整，給人們的認(rèn)知或決策帶來(lái)極其負(fù)面的影響和不可挽回的損失。

好的數(shù)據(jù)貴得是有道理的，數(shù)據(jù)收集的每一個(gè)環(huán)節(jié)都需要采取有效的質(zhì)量控制措施，才能規(guī)避錯(cuò)誤，避免項(xiàng)目投入的錢財(cái)和人力付諸東流。其中，在調(diào)查項(xiàng)目投放實(shí)地之前非常重要的一項(xiàng)質(zhì)量控制措施就是對(duì)設(shè)計(jì)好的問(wèn)卷進(jìn)行測(cè)試。遵循一定的程序和技巧，問(wèn)卷測(cè)試可以有效地發(fā)現(xiàn)問(wèn)卷在內(nèi)容、邏輯、流程等各方面的問(wèn)題。


 下面我們重點(diǎn)介紹常見(jiàn)的幾種問(wèn)卷測(cè)試的方法：


1. 專家評(píng)審（expert review）


專家評(píng)審指邀請(qǐng)各方面的專家基于其專業(yè)領(lǐng)域的知識(shí)和經(jīng)驗(yàn)對(duì)問(wèn)卷可能存在的問(wèn)題進(jìn)行評(píng)估和提出解決方案。一般來(lái)說(shuō)，專家評(píng)審應(yīng)至少包括四個(gè)方面的專家：一是與項(xiàng)目主題相關(guān)的領(lǐng)域的專家，主要評(píng)估問(wèn)卷對(duì)專業(yè)概念的表述是否準(zhǔn)確、測(cè)量的維度是否全面等；二是調(diào)查方法專家，主要評(píng)估問(wèn)卷在設(shè)計(jì)上的科學(xué)性與可行性，如問(wèn)題是否準(zhǔn)確、流程是否適用、數(shù)據(jù)結(jié)構(gòu)是否合理等；三是項(xiàng)目執(zhí)行專家，主要評(píng)估執(zhí)行過(guò)程中可能遇到哪些潛在的問(wèn)題，如預(yù)算的控制、進(jìn)度的控制、訪員的管理等；四是計(jì)算機(jī)方面的專家，主要評(píng)估計(jì)算機(jī)輔助訪問(wèn)或網(wǎng)絡(luò)訪問(wèn)中程序?qū)崿F(xiàn)的難度以及可能存在的問(wèn)題。


優(yōu)勢(shì)：


?   各方專家對(duì)問(wèn)卷存在的潛在問(wèn)題的識(shí)別范圍較廣，可以覆蓋錯(cuò)別字、語(yǔ)病、跳轉(zhuǎn)錯(cuò)誤、概念表述錯(cuò)誤、數(shù)據(jù)結(jié)構(gòu)等各方面的錯(cuò)誤。


?   快速且成本較低。


劣勢(shì)：


?   測(cè)試的效果取決于專家的水平。


?   只涉及來(lái)自專家的意見(jiàn), 而并無(wú)來(lái)自實(shí)際被訪者的意見(jiàn)。

2. 焦點(diǎn)小組訪談（focus group）

焦點(diǎn)小組訪談?dòng)梢粋€(gè)受過(guò)訓(xùn)練的主持人帶領(lǐng)5-10個(gè)被訪者組成小組，對(duì)特定的調(diào)查主題和核心概念進(jìn)行無(wú)結(jié)構(gòu)化的輪流發(fā)言及深入討論，以了解不同被訪者對(duì)測(cè)量概念的理解的差異。舉例來(lái)說(shuō)，一項(xiàng)研究希望了解人們觀看和體驗(yàn)藝術(shù)表演的情況。在焦點(diǎn)小組訪談中，被訪者對(duì)如何界定“觀看和體驗(yàn)藝術(shù)表演”產(chǎn)生了爭(zhēng)議，比如，在飯店吃飯時(shí)順便聽(tīng)到了飯店的鋼琴演奏算不算？在電視上看藝術(shù)表演算不算？調(diào)研者可以基于這些發(fā)現(xiàn)改進(jìn)問(wèn)卷，使問(wèn)卷中的相關(guān)概念的界定和表述更加明確。

焦點(diǎn)小組訪談應(yīng)盡可能地確保所招募的被訪者在背景、經(jīng)歷和認(rèn)知上的多樣性，以發(fā)現(xiàn)盡可能多的問(wèn)題。在訪談過(guò)程中，主持人應(yīng)營(yíng)造輕松的討論環(huán)境，確保在不偏離主題的前提下所有人都有機(jī)會(huì)暢所欲言。

優(yōu)勢(shì)：

?   方法靈活，成本較低，效率較高。小組的形式可以節(jié)省時(shí)間，成員間的頭腦風(fēng)暴與深入討論有利于產(chǎn)生更多意想不到的發(fā)現(xiàn)。而當(dāng)意料之外的想法出現(xiàn)時(shí)，小組主持人還可以立馬跟進(jìn)。這種方式可以幫助調(diào)研員在短的時(shí)間內(nèi)獲取更多的信息。

?   收集的信息直接來(lái)自于與實(shí)際調(diào)查中的被訪者相似的群體。

劣勢(shì)：

?   測(cè)試的效果受到主持人的專業(yè)素養(yǎng)、溝通技巧及其在現(xiàn)場(chǎng)的引導(dǎo)與控制的影響。

?   訪談結(jié)論僅僅來(lái)自一小部分人群，其在多大程度上適用于更廣泛的人群需謹(jǐn)慎考慮。

3. 認(rèn)知訪談（cognitive interview）

在認(rèn)知訪談中，訪員基于設(shè)計(jì)好的問(wèn)卷對(duì)測(cè)試期選定的被訪者進(jìn)行一對(duì)一的訪問(wèn)，以了解被訪者如何理解問(wèn)題和如何完成回答問(wèn)題的任務(wù)。認(rèn)知訪談通常使用出聲思維的方法（think aloud）鼓勵(lì)被訪者用自述的方式將回答問(wèn)題時(shí)頭腦中的思考過(guò)程描述出來(lái)，或是使用口頭盤(pán)問(wèn)的方法（verbal probing），由訪員根據(jù)被訪者的回答進(jìn)行引導(dǎo)式的、循序漸進(jìn)式的提問(wèn)，如要求被訪者按照其對(duì)問(wèn)題的理解重新描述一下問(wèn)題或解釋一下問(wèn)題中的某一個(gè)詞語(yǔ)、提問(wèn)被訪者在回答過(guò)程中有什么困惑、提問(wèn)被訪者是如何得到答案的等?；谡J(rèn)知訪談，調(diào)研者可以評(píng)估現(xiàn)有問(wèn)卷的敘述和邏輯是否合理，或被訪者在題意理解上是否會(huì)出現(xiàn)偏差等，并基于此對(duì)問(wèn)卷做出改進(jìn)。

認(rèn)知訪談與焦點(diǎn)小組訪談的目標(biāo)非常相似，而且與焦點(diǎn)小組訪談一樣要求所招募的被訪者在在背景、經(jīng)歷、認(rèn)知上盡可能的多樣化。但二者不同的是，焦點(diǎn)小組訪談側(cè)重于與被訪者綜合地、整體地探討問(wèn)卷中的一些核心概念，而認(rèn)知訪談則側(cè)重于發(fā)現(xiàn)被訪者在回答一道道具體問(wèn)題時(shí)的思維過(guò)程與答題策略。

優(yōu)勢(shì)：

?   收集的信息直接來(lái)自于與實(shí)際調(diào)查中的被訪者相似的群體。

?   通過(guò)了解被訪者在理解和回答問(wèn)題時(shí)的思維過(guò)程，可以有效地發(fā)現(xiàn)問(wèn)卷設(shè)計(jì)中的問(wèn)題和導(dǎo)致問(wèn)題的原因。

劣勢(shì)：

?   成本較高。

?   被訪者負(fù)擔(dān)很重，而且并不是所有被訪者都能夠適應(yīng)出聲思維的方法，也不是所有的問(wèn)題都能夠描述出思維的過(guò)程。

?   被訪者可能因?yàn)樾枰陬^描述其思維過(guò)程而有意無(wú)意改變?cè)镜拇鸢浮?br />
?   訪談的實(shí)驗(yàn)室環(huán)境與實(shí)際收集數(shù)據(jù)的環(huán)境有差異，不一定能發(fā)現(xiàn)實(shí)際環(huán)境中的問(wèn)題。

?   訪談結(jié)論僅僅來(lái)自一小部分人群，其在多大程度上適用于更廣泛的人群需謹(jǐn)慎考慮。
4. 預(yù)調(diào)查（field pretest / pilot）

預(yù)調(diào)查指在實(shí)際調(diào)查前小范圍地對(duì)整個(gè)訪問(wèn)的過(guò)程進(jìn)行預(yù)演。預(yù)調(diào)查通常選用有經(jīng)驗(yàn)的訪員進(jìn)行訪問(wèn)，訪問(wèn)的數(shù)量在15-35人之間，被訪者多為方便樣本，但盡量保證與實(shí)際調(diào)查中的被訪者的背景相似。除了被訪者不是基于概率抽樣的方法選出，預(yù)調(diào)查所使用的問(wèn)卷以及所有的流程都與即將進(jìn)行的實(shí)際調(diào)查一致，這樣有利于發(fā)現(xiàn)實(shí)際數(shù)據(jù)收集過(guò)程中被訪者或訪員可能出現(xiàn)的問(wèn)題。

大體來(lái)說(shuō)，預(yù)調(diào)查的優(yōu)勢(shì)是能夠模擬真實(shí)的數(shù)據(jù)收集過(guò)程，發(fā)現(xiàn)真實(shí)環(huán)境下可能出現(xiàn)的問(wèn)題，并可以提供定量的可供分析的信息；劣勢(shì)是成本相對(duì)較高，而且數(shù)據(jù)同樣不具有代表性，測(cè)試的效果很大程度上取決于被訪者多大程度上與實(shí)際調(diào)查中的被訪者相似。

預(yù)調(diào)查的結(jié)果可以通過(guò)以下三種方式來(lái)進(jìn)行評(píng)估，我們下面依次介紹以下三種方法：

（1）訪員匯報(bào)（interviewer debriefing）

調(diào)研者通過(guò)訪員問(wèn)卷調(diào)查或者訪員間小組討論來(lái)獲取來(lái)自訪員的意見(jiàn)。訪員匯報(bào)的主要內(nèi)容是他們?cè)谡麄€(gè)訪問(wèn)過(guò)程中的體驗(yàn)，以及他們實(shí)際遇到的或者他們認(rèn)為可能存在的各種問(wèn)題。

優(yōu)勢(shì)：

?   可以反映問(wèn)卷給受訪者帶來(lái)的體驗(yàn)和困難，以及訪員對(duì)導(dǎo)致問(wèn)題的原因的評(píng)估。 

劣勢(shì)：

?   僅適用于有訪員參與的面訪或者電訪調(diào)查。

?   信息往往是主觀和非系統(tǒng)性的，如對(duì)于什么樣的問(wèn)題可以稱之為問(wèn)題，不同的訪員的評(píng)判標(biāo)準(zhǔn)是不一樣的。

?   訪員發(fā)現(xiàn)問(wèn)題的能力有差異。比如說(shuō)，有經(jīng)驗(yàn)的訪員可能會(huì)無(wú)意識(shí)地修正問(wèn)題中的錯(cuò)誤，因而可能根本意識(shí)不到問(wèn)題的存在。

（2）被訪者匯報(bào)（respondent debriefing）

調(diào)研者通過(guò)在原問(wèn)卷上添加額外問(wèn)題或再次聯(lián)系被訪者的方式獲取來(lái)自被訪者的意見(jiàn)。被訪者匯報(bào)主要用于了解實(shí)際訪問(wèn)場(chǎng)景下被訪者理解和回答問(wèn)題的思維過(guò)程，以評(píng)估所收集的數(shù)據(jù)在多大程度上符合設(shè)計(jì)的預(yù)期。被訪者匯報(bào)還可以了解被訪者答題的主觀體驗(yàn)以及對(duì)調(diào)查的整體反饋，如問(wèn)題內(nèi)容是否太過(guò)敏感、調(diào)查時(shí)間是否太長(zhǎng)等。

優(yōu)勢(shì)：

?   可以有效地了解實(shí)際訪問(wèn)過(guò)程中被訪者回答問(wèn)題的思維過(guò)程，評(píng)估他們?cè)诶斫夂突卮饐?wèn)題時(shí)可能出現(xiàn)的問(wèn)題并進(jìn)行改進(jìn)。 

劣勢(shì)：

?   添加太多的額外問(wèn)題會(huì)實(shí)際改變測(cè)量的工具并影響到預(yù)調(diào)查的流程，使得預(yù)調(diào)查并不能真正地模擬真實(shí)調(diào)查的情景。因而這種方法只適用于對(duì)一小部分問(wèn)題進(jìn)行評(píng)估（一般不超過(guò)6道問(wèn)題）。


?   再次聯(lián)系被訪者獲取的信息的準(zhǔn)確程度依賴于被訪者的記憶能力。

（3）行為編碼（behavior coding）

調(diào)研者在獲得被訪者同意的前提下，通過(guò)音頻的方式全程記錄訪問(wèn)的過(guò)程，然后對(duì)這些音頻記錄中訪員和被訪者詢問(wèn)和回答問(wèn)題的行為進(jìn)行編碼，并統(tǒng)計(jì)出調(diào)查過(guò)程中出現(xiàn)各種問(wèn)題的頻率。其中，對(duì)訪員行為的編碼包括是否正確讀出問(wèn)題、是否對(duì)問(wèn)題進(jìn)行了改動(dòng)以及改動(dòng)程度如何、是否出現(xiàn)跳轉(zhuǎn)錯(cuò)誤等，對(duì)被訪者行為的編碼包括是否要求重讀問(wèn)題、是否要求解釋問(wèn)題、是否提供了選項(xiàng)之外的答案、是否打斷問(wèn)題、回答問(wèn)題的語(yǔ)氣是否不太確定等。對(duì)于出現(xiàn)頻率特別高的問(wèn)題，調(diào)研者應(yīng)該考慮進(jìn)行改進(jìn)。 

優(yōu)勢(shì)：


 ?  客觀、系統(tǒng)、可復(fù)制、可量化的測(cè)試結(jié)果可以為研究者提供更可信的證據(jù)。

劣勢(shì)：

?   編碼只能反映訪問(wèn)過(guò)程中出現(xiàn)的問(wèn)題，卻很少能提示問(wèn)題出現(xiàn)的原因，通常需要結(jié)合訪員或被訪者匯報(bào)來(lái)識(shí)別出產(chǎn)生問(wèn)題的原因。

?   有些問(wèn)題不能被很好的觀察到，比如只要被訪者自己認(rèn)為自己能夠正確理解問(wèn)卷中問(wèn)題，他們?cè)诖痤}行為上便不會(huì)有任何異常的體現(xiàn)。

5. 統(tǒng)計(jì)方法（statistical methods）

統(tǒng)計(jì)方法建立在預(yù)調(diào)查的基礎(chǔ)上。當(dāng)預(yù)調(diào)查的數(shù)據(jù)量足夠大時(shí)（一般30人以上），可以采用統(tǒng)計(jì)的方法并結(jié)合計(jì)算機(jī)技術(shù)來(lái)對(duì)問(wèn)卷結(jié)果進(jìn)行客觀的評(píng)估。

通常來(lái)說(shuō)，檢查答案的分布可以得到一些有益的啟示。比如說(shuō)，如果一道問(wèn)題的大部分的答案都集中在一兩個(gè)選項(xiàng)，那么這道問(wèn)題所收集的信息其實(shí)是非常有限的，選項(xiàng)的設(shè)置很有可能需要重新調(diào)整；再比如說(shuō)，如果一道問(wèn)題沒(méi)有人問(wèn)答，那么研究者可能需要考慮這道問(wèn)題是否在跳轉(zhuǎn)上存在錯(cuò)誤，或者這道問(wèn)題是否太難以致于被訪者無(wú)法回答等。此外，變量間的相關(guān)關(guān)系是否符合預(yù)期也是評(píng)估問(wèn)卷設(shè)計(jì)的一個(gè)依據(jù)。

如果是網(wǎng)絡(luò)調(diào)查，那么對(duì)并行數(shù)據(jù)（paradata）（如擊鍵行為、鼠標(biāo)的移動(dòng)、答題時(shí)間、中途退出等信息）的統(tǒng)計(jì)分析也能發(fā)現(xiàn)一些問(wèn)題。比如說(shuō)，如果大量受訪者在某一道題退出訪問(wèn)，那么這道題有可能太過(guò)敏感以致于很多人都放棄答題，或者這道題在編程上存在問(wèn)題以致于很多人在答到此題時(shí)主動(dòng)或被迫退出（如加載速度過(guò)慢）。再比如說(shuō)，如果某道題的答題時(shí)間過(guò)長(zhǎng)，那么這道題可能回答的難度過(guò)大。

優(yōu)勢(shì)：

?   對(duì)于調(diào)研者評(píng)估問(wèn)卷數(shù)據(jù)的質(zhì)量能夠提供非常有用的信息。

?   基于已有的預(yù)調(diào)查數(shù)據(jù)進(jìn)行統(tǒng)計(jì)方法的評(píng)估，成本是相對(duì)低廉的。

劣勢(shì)：

?   數(shù)據(jù)不具有代表性，其所提供的信息的價(jià)值取決于被訪者多大程度上與實(shí)際調(diào)查中的被訪者相似。

除以上5種常用的問(wèn)卷測(cè)試方法外，針對(duì)一些具體的測(cè)試目標(biāo)我們還有別的一些具體的測(cè)試方法，此處不再一一介紹?？偟膩?lái)說(shuō)，各種方法有各自的側(cè)重點(diǎn)，我們可以根據(jù)項(xiàng)目的具體情況著重選擇其中一種或幾種測(cè)試方法。同時(shí)，由于各種方法都有其局限性，我們建議在經(jīng)費(fèi)許可的條件下，盡可能地采取多種測(cè)試方法，以互相補(bǔ)充，盡可能多地發(fā)現(xiàn)問(wèn)題。