
調(diào)查問(wèn)卷的信度效度分析方法 問(wèn)卷調(diào)查法是教育研究中廣泛采用的一種調(diào)查方法, 根據(jù)調(diào)查目的設(shè) 計(jì)的調(diào)查問(wèn)卷是問(wèn)卷調(diào)查法獲取訊息的工具, 其質(zhì)量高低對(duì)調(diào)查結(jié)果 的真實(shí)性、 適用性等具有決定性的作用。 為了保證問(wèn)卷具有較高的可 靠性和有效性,在形成正式問(wèn)卷之前,應(yīng)當(dāng)對(duì)問(wèn)卷進(jìn)行試測(cè),并對(duì)試 測(cè)結(jié)果進(jìn)行信度和效度分析, 根據(jù)分析結(jié)果篩選問(wèn)卷題項(xiàng), 調(diào)整問(wèn)卷 架構(gòu),從而提升問(wèn)卷的信度和效度。 信度和效度分析的方法包括邏輯 分析和統(tǒng)計(jì)分析,本文主要討論后者。
一、信度分析 信度( Reliability )即可靠性,它是指采用同樣的 方法對(duì)同一對(duì)象重復(fù)測(cè)量時(shí)所得結(jié)果的一致性程度。 信度指標(biāo)多以相 關(guān)系數(shù)來(lái)表示:大致可分為三類(lèi):穩(wěn)定系數(shù)(跨時(shí)間的一致性) 、等 值系數(shù)(跨形式的一致性)和內(nèi)在一致性系數(shù)(跨項(xiàng)目的一致性) 。 若以信度系數(shù)來(lái)表示信度的大小。 信度系數(shù)越大, 表示測(cè)量的可信程 度越大。究竟信度系數(shù)要多少才算有高的信度。 學(xué)者 DeVellis(1991) 認(rèn)為,0.60?0.65 (最好不要);0.65?0.70 (最小可接受值);0.70? 0.80 (相當(dāng)好);0.80?0.90 (非常好)。由此,一份信度系數(shù)好的量 表或問(wèn)卷,最好在 0.80以上, 0.70至 0.80之間還算是可以接受的范 圍;分量表最好在 0.70以上, 0.60至 0.70之間可以接受。若分量表
的內(nèi)部一致性系數(shù)在 0.60 以下或者總量表的信度系數(shù)在 0.80以下,
應(yīng)考慮重新修訂量表或增刪題項(xiàng)
信度分析的方法主要有以下四種:
1、 重測(cè)信度法 這一方法是用同樣的問(wèn)卷對(duì)同一組被調(diào)查者間隔 一定時(shí)間重復(fù)施測(cè),計(jì)算兩次施測(cè)結(jié)果的相關(guān)系數(shù)。顯然,重測(cè)信度 屬于穩(wěn)定系數(shù)。重測(cè)信度法特別適用于事實(shí)式問(wèn)卷,如性別、出生年 月等在兩次施測(cè)中不應(yīng)有任何差異,大多數(shù)被調(diào)查者的興趣、愛(ài)好、 習(xí)慣等在短時(shí)間內(nèi)也不會(huì)有十分明顯的變化。 如果沒(méi)有突發(fā)事件導(dǎo)致 被調(diào)查者的態(tài)度、意見(jiàn)突變,這種方法也適用于態(tài)度、意見(jiàn)式問(wèn)卷。 由于重測(cè)信度法需要對(duì)同一樣本試測(cè)兩次, 被調(diào)查者容易受到各種事 件、活動(dòng)和他人的影響,而且間隔時(shí)間長(zhǎng)短也有一定限制,因此在實(shí) 施中有一定困難。
2、 復(fù)本信度法 復(fù)本信度法是讓同一組被調(diào)查者一次填答兩份問(wèn) 卷復(fù)本,計(jì)算兩個(gè)復(fù)本的相關(guān)系數(shù)。復(fù)本信度屬于等值系數(shù)。復(fù)本信 度法要求兩個(gè)復(fù)本除表述模式不同外,在內(nèi)容、格式、難度和對(duì)應(yīng)題 項(xiàng)的提問(wèn)方向等方面要完全一致, 而在實(shí)際調(diào)查中, 很難使調(diào)查問(wèn)卷 達(dá)到這種要求,因此采用這種方法者較少。
3、 折半信度法 折半信度法是將調(diào)查項(xiàng)目分為兩半,計(jì)算兩半得 分的相關(guān)系數(shù), 進(jìn)而估計(jì)整個(gè)量表的信度。 折半信度屬于內(nèi)在一致性 系數(shù),測(cè)量的是兩半題項(xiàng)得分間的一致性。 這種方法一般不適用于事 實(shí)式問(wèn)卷(如年齡與性別無(wú)法相比),常用于態(tài)度、意見(jiàn)式問(wèn)卷的信 度分析。在問(wèn)卷調(diào)查中,態(tài)度測(cè)量最常見(jiàn)的形式是5級(jí)李克特(Likert) 量表。進(jìn)行折半信度分析時(shí),如果量表中含有反意題項(xiàng),應(yīng)先將反意 題項(xiàng)的得分作逆向處理,以確保各題項(xiàng)得分方向的一致性,然后將全 部題項(xiàng)按奇偶或前后分為盡可能相等的兩半,計(jì)算二者的相關(guān)系數(shù)
(rhh,即半個(gè)量表的信度系數(shù)),最后用斯皮爾曼-布朗
(Spearman-Brown)公式:ru=2rhh/(1+rhh)求出整個(gè)量表的信度系數(shù)
(ru)
4、a信度系數(shù)法 Cron bach a信度系數(shù)是目前最常用的信度系數(shù),
其公式為:
a =(n/n1)*(1-(刀 S)/St2)
其中,n為量表中題項(xiàng)的總數(shù),Si2為第i題得分的題內(nèi)方差,St2為 全部題項(xiàng)總得分的方差。從公式中可以看出,a系數(shù)評(píng)價(jià)的是量表中 各題項(xiàng)得分間的一致性,屬于內(nèi)在一致性系數(shù)。這種方法適用于態(tài)度、 意見(jiàn)式問(wèn)卷(量表)的信度分析。
二、效度分析 效度(Validity )即有效性,它是指測(cè)量工具或手
段能夠準(zhǔn)確測(cè)出所需測(cè)量的事物的程度。效度分為三種類(lèi)型:內(nèi)容效
度(Face Validity)、準(zhǔn)則效度(Criterion Validity)和架構(gòu)效度 Construct
Validity)。效度分析有多種方法,其測(cè)量結(jié)果反映效度的不同方面。 常用于調(diào)查問(wèn)卷效度分析的方法主要有以下幾種。
1、單項(xiàng)與總和相關(guān)效度分析 這種方法用于測(cè)量量表的內(nèi)容效度。
內(nèi)容效度又稱(chēng)表面效度或邏輯效度, 它是指所設(shè)計(jì)的題項(xiàng)能否代表所 要測(cè)量的內(nèi)容或主題。 對(duì)內(nèi)容效度常采用邏輯分析與統(tǒng)計(jì)分析相結(jié)合 的方法進(jìn)行評(píng)價(jià)。邏輯分析一般由研究者或?qū)<以u(píng)判所選題項(xiàng)是否 “看上去” 符合測(cè)量的目的和要求。 統(tǒng)計(jì)分析主要采用單項(xiàng)與總
和相 關(guān)分析法獲得評(píng)價(jià)結(jié)果,即計(jì)算每個(gè)題項(xiàng)得分與題項(xiàng)總分的相關(guān)系 數(shù),根據(jù)相關(guān)是否顯著判斷是否有效。若量表中有反意題項(xiàng),應(yīng)將其 逆向處理后再計(jì)算總分。
2、準(zhǔn)則效度分析 準(zhǔn)則效度又稱(chēng)為效標(biāo)效度或預(yù)測(cè)效度。準(zhǔn)則效
度分析是根據(jù)已經(jīng)得到確定的某種理論, 選擇一種指標(biāo)或測(cè)量工具作 為準(zhǔn)則(效標(biāo)),分析問(wèn)卷題項(xiàng)與準(zhǔn)則的聯(lián)系,若二者相關(guān)顯著,或 者問(wèn)卷題項(xiàng)對(duì)準(zhǔn)則的不同取值、 特性表現(xiàn)出顯著差異, 則為有效的題 項(xiàng)。評(píng)價(jià)準(zhǔn)則效度的方法是相關(guān)分析或差異顯著性檢驗(yàn)。 在調(diào)查問(wèn)卷 的效度分析中, 選擇一個(gè)合適的準(zhǔn)則往往十分困難, 使這種方法的應(yīng) 用受到一定限制。
3、結(jié)構(gòu)效度分析 結(jié)構(gòu)效度是指測(cè)量結(jié)果體現(xiàn)出來(lái)的某種結(jié)構(gòu)與
測(cè)值之間的對(duì)應(yīng)程度。 架構(gòu)效度分析所采用的方法是因子分析。 有的 學(xué)者認(rèn)為,效度分析最理想的方法是利用因子分析測(cè)量量表或整個(gè)問(wèn)
卷的架構(gòu)效度。因子分析的主要功能是從量表全部變量(題項(xiàng))中提 取一些公因子,各公因子分別與某一群特定變量高度關(guān)聯(lián), 這些公因 子即代表了量表的基本架構(gòu)。透過(guò)因子分
析可以考察問(wèn)卷是否能夠測(cè) 量出研究者設(shè)計(jì)問(wèn)卷時(shí)假設(shè)的某種架構(gòu)。 在因子分析的結(jié)果中,用于 評(píng)價(jià)架構(gòu)效度的主要指標(biāo)有累積貢獻(xiàn)率、共同度和因子負(fù)荷。累積貢 獻(xiàn)率反映公因子對(duì)量表或問(wèn)卷的累積有效程度, 共同度反映由公因子 解釋原變量的有效程度,因子負(fù)荷反映原變量與某個(gè)公因子的相關(guān)程 度。為了提升調(diào)查問(wèn)卷的質(zhì)量,進(jìn)而提升整個(gè)研究的價(jià)值,問(wèn)卷的信 度和效度分析絕非贅疣蛇足,而是研究過(guò)程中必不可少的重要環(huán)節(jié)。
Cron bach a 系數(shù) 柯隆巴哈(Cron bach 1951)提出計(jì)算一個(gè)測(cè)量系統(tǒng)(問(wèn)卷或測(cè)驗(yàn))的 信度稱(chēng)為Cron bach a系數(shù)(簡(jiǎn)稱(chēng)a系數(shù)),是目前社會(huì)科會(huì)研究最常 使用的信度。當(dāng)一個(gè)研究主題(或構(gòu)面)由很多項(xiàng)目組合,每個(gè)問(wèn)項(xiàng) 都與主題相關(guān),由總分的變異數(shù)與問(wèn)項(xiàng)的變異數(shù)做為評(píng)量信度的指標(biāo) 即為a系數(shù)。
01. Cron bach a系數(shù)的定義
利用各問(wèn)項(xiàng)變異數(shù)之和與整份量表分?jǐn)?shù)的變異數(shù)的比值, 可用來(lái)估計(jì) 一份量表的信度,柯隆巴哈(Cron bach)提出a系數(shù)為:
此式為最常作為信度指標(biāo),其中s2i表示第i個(gè)問(wèn)項(xiàng)Xi的變異數(shù),s2h表 所有問(wèn)項(xiàng)總和(H= X1+X2+…+Xn)的變異數(shù)(即整份測(cè)驗(yàn)分?jǐn)?shù)的變異
數(shù)),n是問(wèn)項(xiàng)個(gè)數(shù)。
02. Cron bach a系數(shù)的實(shí)施技巧
要做信度分析需先檢查每個(gè)問(wèn)項(xiàng)是否都是同方向的(即都是正面問(wèn)
法,也就是題間的相關(guān)系數(shù)都是正的),如有一題與其它題相關(guān)系數(shù)
都是負(fù)的,應(yīng)考慮將此題先“變號(hào)”或“刪除”后再進(jìn)行計(jì)算a系數(shù)
如有受測(cè)者亂答,可將它的數(shù)據(jù)刪除后再算 a值
對(duì)問(wèn)卷調(diào)查當(dāng)有題目與其它題目是負(fù)相關(guān)時(shí)須注意是否反向問(wèn)法。 如 是,則應(yīng)先將得分反向,再計(jì)算 a信度或是刪除該題。若為測(cè)驗(yàn),則 不能做反向處理,只能做刪除題目。
03標(biāo)準(zhǔn)化Cron bach a系數(shù)的定義
若一份量表有n題,題間的平均相關(guān)系數(shù)為r,則此量表的標(biāo)準(zhǔn)化a 系數(shù)為
nr
(X —
1 + (w - l)r
04.利用SPSS進(jìn)行信度分析
在SPSS中,專(zhuān)門(mén)用來(lái)進(jìn)行測(cè)驗(yàn)信度分析的模塊為 Scale下的
Reliability Analysis ;使用 Data Reduction之下的 Factor模塊。
Reliability Analysis模塊主要功能是檢驗(yàn)測(cè)驗(yàn)的信度,主要用來(lái)檢驗(yàn) 折半信度、庫(kù)李及a系
數(shù)以及Hoyt信度系數(shù)值。至于重測(cè)信度和復(fù) 本信度,只需將樣本在二次(份)測(cè)驗(yàn)的分?jǐn)?shù)的數(shù)據(jù)合并到同一數(shù)據(jù) 文件之后,利用Correlate之下的Bivariate求其相關(guān)系數(shù),即為重測(cè) 或復(fù)本信度;而評(píng)分者信度則使用的 Spearman等級(jí)相關(guān)及Kendall