
調(diào)查表的的信度與效度評(píng)價(jià)方法
問(wèn)卷調(diào)查法是教育研究中廣泛采用的一種調(diào)查方法,根據(jù)調(diào)查目的設(shè)計(jì)的調(diào)查問(wèn)卷是問(wèn)卷調(diào)查法獲取信息的工具,其質(zhì)量高低對(duì)調(diào)查結(jié)果的真實(shí)性、適用性等具有決定性的作用。為了保證問(wèn)卷具有較高的可靠性和有效性,在形成正式問(wèn)卷之前,應(yīng)當(dāng)對(duì)問(wèn)卷進(jìn)行試測(cè),并對(duì)試測(cè)結(jié)果進(jìn)行信度和效度分析,根據(jù)分析結(jié)果篩選問(wèn)卷題項(xiàng),調(diào)整問(wèn)卷結(jié)構(gòu),從而提高問(wèn)卷的信度和效度。
一、信度分析
信度(Reliability)即可靠性,是指采用同一方法對(duì)同一對(duì)象進(jìn)行調(diào)查時(shí),問(wèn)卷調(diào)查結(jié)果的穩(wěn)定性和一致性,即測(cè)量工具(問(wèn)卷或量表)能否穩(wěn)定地測(cè)量所測(cè)的事物或變量。信度指標(biāo)多以相關(guān)系數(shù)表示,具體評(píng)價(jià)方法大致可分為三類(lèi):穩(wěn)定系數(shù)(跨時(shí)間的一致性),等值系數(shù)(跨形式的一致性)和內(nèi)在一致性系數(shù)(跨項(xiàng)目的一致性)。信度分析的方法主要有以下四種:
1、重測(cè)信度法
同樣的問(wèn)卷,對(duì)同一組訪問(wèn)對(duì)象在盡可能相同的情況下,在不同時(shí)間進(jìn)行兩次測(cè)量。兩次測(cè)量相距一般在兩到四周之內(nèi)。用兩次測(cè)量結(jié)果間的相關(guān)分析或差異的顯著性檢驗(yàn)方法,評(píng)價(jià)量表信度的高低。
2、折半法。折半法是將上述兩份問(wèn)卷合成一份問(wèn)卷(通常要求
這兩份問(wèn)卷的問(wèn)題數(shù)目相等),每一份作為一部分,然后考察這兩個(gè)部分的測(cè)量結(jié)果之間的相關(guān)性。
3、折半信度法折半信度法是將調(diào)查項(xiàng)目分為兩半,計(jì)算兩半得分的相關(guān)系數(shù),進(jìn)而估計(jì)整個(gè)量表的信度。折半信度屬于內(nèi)在一致性系數(shù),測(cè)量的是兩半題項(xiàng)得分間的一致性。這種方法一般不適用于事實(shí)式問(wèn)卷(如年齡與性別無(wú)法相比),常用于態(tài)度、意見(jiàn)式問(wèn)卷的信度分析。在問(wèn)卷調(diào)查中,態(tài)度測(cè)量最常見(jiàn)的形式是5級(jí)李克特(Likert)量表。進(jìn)行折半信度分析時(shí),如果量表中含有反意題項(xiàng),應(yīng)先將反意題項(xiàng)的得分作逆向處理,以保證各題項(xiàng)得分方向的一致性,然后將全部題項(xiàng)按奇偶或前后分為盡可能相等的兩半,計(jì)算二者的相關(guān)系數(shù)(rhh,即半個(gè)量表的信度系數(shù)),最后用斯皮爾曼-布朗(Spearman-Brown)公式:
求出整個(gè)量表的信度系數(shù)(ru)。
4、α信度系數(shù)法
Cronbach α信度系數(shù)是目前最常用的信度系數(shù),其公式為:
其中,K為量表中題項(xiàng)的總數(shù),為第i題得分的題內(nèi)方差,為全部題項(xiàng)總得分的方差。從公式中可以看出,α系數(shù)評(píng)價(jià)的是量表中各題項(xiàng)得分間的一致性,屬于內(nèi)在一致性系數(shù)。這種方法適用于態(tài)度、意見(jiàn)式問(wèn)卷(量表)的信度分析。
二、效度分析
效度(Validity)即有效性,它是指測(cè)量工具或手段能夠準(zhǔn)確測(cè)出所需測(cè)量的事物的程度。效度分為三種類(lèi)型:內(nèi)容效度、準(zhǔn)則效度
和結(jié)構(gòu)效度。效度分析有多種方法,其測(cè)量結(jié)果反映效度的不同方面。常用于調(diào)查問(wèn)卷效度分析的方法主要有以下幾種。
1、單項(xiàng)與總和相關(guān)效度分析
表面效度(Face Validity)。也稱(chēng)為內(nèi)容效度或邏輯效度,指的是測(cè)量的內(nèi)容與測(cè)量目標(biāo)之間是否適合,也可以說(shuō)是指測(cè)量所選擇的項(xiàng)目是否“看起來(lái)”符合測(cè)量的目的和要求。主要依據(jù)調(diào)查設(shè)計(jì)人員的主觀判斷。這種方法用于測(cè)量量表的內(nèi)容效度。內(nèi)容效度又稱(chēng)表面效度或邏輯效度,它是指所設(shè)計(jì)的題項(xiàng)能否代表所要測(cè)量的內(nèi)容或主題。對(duì)內(nèi)容效度常采用邏輯分析與統(tǒng)計(jì)分析相結(jié)合的方法進(jìn)行評(píng)價(jià)。邏輯分析一般由研究者或?qū)<以u(píng)判所選題項(xiàng)是否“看上去”符合測(cè)量的目的和要求。統(tǒng)計(jì)分析主要采用單項(xiàng)與總和相關(guān)分析法獲得評(píng)價(jià)結(jié)果,即計(jì)算每個(gè)題項(xiàng)得分與題項(xiàng)總分的相關(guān)系數(shù),根據(jù)相關(guān)是否顯著判斷是否有效。若量表中有反意題項(xiàng),應(yīng)將其逆向處理后再計(jì)算總分。
2、準(zhǔn)則效度分析
準(zhǔn)則效度(Criterion Validity)。又稱(chēng)為效標(biāo)效度或預(yù)測(cè)效度。準(zhǔn)則效度是指量表所得到的數(shù)據(jù)和其他被選擇的變量(準(zhǔn)則變量)的值相比是否有意義。根據(jù)時(shí)間跨度的不同,準(zhǔn)則效度可分為同時(shí)效度和預(yù)測(cè)效度。準(zhǔn)則效度分析是根據(jù)已經(jīng)得到確定的某種理論,選擇一種指標(biāo)或測(cè)量工具作為準(zhǔn)則(效標(biāo)),分析問(wèn)卷題項(xiàng)與準(zhǔn)則的聯(lián)系,若二者相關(guān)顯著,或者問(wèn)卷題項(xiàng)對(duì)準(zhǔn)則的不同取值、特性表現(xiàn)出顯著差異,則為有效的題項(xiàng)。評(píng)價(jià)準(zhǔn)則效度的方法是相關(guān)分析或差異顯著性檢驗(yàn)。在調(diào)查問(wèn)卷的效度分析中,選擇一個(gè)合適的準(zhǔn)則往往十分困難,
使這種方法的應(yīng)用受到一定限制。
3、結(jié)構(gòu)效度分析
結(jié)構(gòu)效度(Construct Validity)。是指測(cè)量結(jié)果體現(xiàn)出來(lái)的某種結(jié)構(gòu)與測(cè)值之間的對(duì)應(yīng)程度。結(jié)構(gòu)效度分析所采用的方法是因子分析。最關(guān)心的問(wèn)題是:量表實(shí)際測(cè)量的是哪些特征?在評(píng)價(jià)建構(gòu)效度時(shí),調(diào)研人員要試圖解釋“量表為什么有效”這一理論問(wèn)題以及考慮從這一理論問(wèn)題中能得出什么推論。建構(gòu)效度包括同質(zhì)效度、異質(zhì)效度和語(yǔ)意邏輯效度。有的學(xué)者認(rèn)為,效度分析最理想的方法是利用因子分析測(cè)量量表或整個(gè)問(wèn)卷的結(jié)構(gòu)效度。因子分析的主要功能是從量表全部變量(題項(xiàng))中提取一些公因子,各公因子分別與某一群特定變量高度關(guān)聯(lián),這些公因子即代表了量表的基本結(jié)構(gòu)。通過(guò)因子分析可以考察問(wèn)卷是否能夠測(cè)量出研究者設(shè)計(jì)問(wèn)卷時(shí)假設(shè)的某種結(jié)構(gòu)。在因子分析的結(jié)果中,用
于評(píng)價(jià)結(jié)構(gòu)效度的主要指標(biāo)有累積貢獻(xiàn)率、共同度和因子負(fù)荷。累積貢獻(xiàn)率反映公因子對(duì)量表或問(wèn)卷的累積有效程度,共同度反映由公因子解釋原變量的有效程度,因子負(fù)荷反映原變量與某個(gè)公因子的相關(guān)程度。