信度分析(信度分析cronbach系數(shù)一般多少)

導(dǎo)讀：做內(nèi)容分析法的朋友，應(yīng)該都聽(tīng)說(shuō)過(guò)“編碼員之間的信度”，相信很多初學(xué)的朋友在學(xué)習(xí)和操作過(guò)程中都會(huì)有很多疑問(wèn)。今天的文章里，小編整理了有關(guān)信度測(cè)試的十個(gè)經(jīng)典問(wèn)題，一一作答。關(guān)于信度測(cè)試，你所需要知道的都在這里了！

“在內(nèi)容分析法里，需要兩位或以上數(shù)目的編碼員來(lái)進(jìn)行編碼工作，這些獨(dú)立的編碼員對(duì)一段信息或記錄內(nèi)容的特征（也就是記錄單位）作出判斷，并且達(dá)到一致的結(jié)論。這種一致性以量化方式呈現(xiàn)，稱(chēng)之為編碼者間的信度。”[1]

計(jì)算信度并且在論文里匯報(bào)信度結(jié)果，是為了確保內(nèi)容分析的有效性或可靠性，使研究結(jié)果更為客觀。在之前的文章里，已經(jīng)介紹過(guò)編碼員信度測(cè)試的必要性，提醒在大數(shù)據(jù)研究場(chǎng)景下，有了技術(shù)的協(xié)助后內(nèi)容分析法依然需要信度測(cè)試，還介紹過(guò)DiVoMiner平臺(tái)是如何幫助研究者快速執(zhí)行信度編碼和計(jì)算信度系數(shù)。

可是！經(jīng)常還有用戶(hù)有疑問(wèn)，為什么必須要做信度測(cè)試？不做可以嗎？在大數(shù)據(jù)技術(shù)輔助的內(nèi)容分析法中，是否需要做信度測(cè)試呢？信度檢驗(yàn)樣本量多少合適？信度系數(shù)計(jì)算的公式是怎樣的？編碼員間信度測(cè)試進(jìn)度不一致，怎么檢查核對(duì)不一致的地方呢？

別急，接下來(lái)就為你解答！

原則上來(lái)說(shuō)，是不行的。

編碼者間的信度是衡量研究質(zhì)量的標(biāo)準(zhǔn)，通常研究信息有顯性的內(nèi)容(manifest content)和隱性的內(nèi)容(latent content)。對(duì)于顯性的內(nèi)容，例如版面面積或者消息來(lái)源，很容易以客觀的判斷來(lái)達(dá)至高度一致性。但是，對(duì)于隱性的內(nèi)容來(lái)說(shuō)，例如報(bào)道態(tài)度或者價(jià)值觀，編碼員必須根據(jù)他們自己的思維系統(tǒng)作出主觀的詮釋。這樣的話(huà)，編碼員之間的相互主觀判斷變得更加重要，因?yàn)檫@些主觀的判斷結(jié)果要盡可能也讓其他讀者有相似的認(rèn)知[2]。

從現(xiàn)實(shí)的角度來(lái)看，編碼員間的信度至為重要，因?yàn)楦咝哦纫馕墩邲Q策者作出錯(cuò)誤決策的機(jī)會(huì)相對(duì)減少[3]。編碼員間的信度乃衡量一個(gè)內(nèi)容分析研究效度的必要條件（雖然不是充分條件），沒(méi)有信度，那么，該研究的結(jié)論便值得懷疑，甚至顯得毫無(wú)意義。

有些研究者會(huì)問(wèn)，可是在很多使用內(nèi)容分析法的期刊論文或?qū)W位論文上，缺少信度的環(huán)節(jié)，這是為什么呢？在具體的研究中，發(fā)刊成功會(huì)受到很多因素的影響，綜合取決于具體研究需求、研究設(shè)計(jì)目的、期刊編輯或?qū)煹慕邮艹潭群鸵蟆难芯糠椒ǖ膰?yán)格要求上來(lái)說(shuō)，是必須要有信度的匯報(bào)內(nèi)容的。

用于信度測(cè)試的樣本量并沒(méi)有既定標(biāo)準(zhǔn)。

有傳統(tǒng)研究中提出，信度測(cè)試的樣本量建議10%-15%為宜。但是在大數(shù)據(jù)研究下，即便是抽取10%，數(shù)據(jù)量依然龐大，因此現(xiàn)在也接受較為變通的做法，減少信度測(cè)試樣本量，但是多少為宜，需要考慮樣本的代表性情況，綜合考慮具體研究需求，甚至需要考慮期刊審稿人或?qū)熞蟆?/p>Q3 機(jī)器編碼是否需要信度測(cè)試？

在使用大數(shù)據(jù)技術(shù)輔助編碼時(shí)，信度測(cè)試也是十分必要的！

DiVoMiner平臺(tái)上的機(jī)器編碼，實(shí)際上是借助大數(shù)據(jù)和NLP技術(shù)協(xié)助進(jìn)行機(jī)器編碼，在這個(gè)過(guò)程中，依舊有人工的介入，只是人工介入程度較純?nèi)斯ぞ幋a少。因此，在使用機(jī)器編碼的正確操作流程應(yīng)該是：先確保人工介入部分，即人工制定之規(guī)則的信度，再將其應(yīng)用于機(jī)器編碼中，并比較機(jī)器編碼與人工編碼的一致性，在兩者達(dá)到一致性后，才可采用機(jī)器編碼結(jié)果作為解讀依據(jù)。

DiVoMiner上的信度測(cè)試功能，除了能實(shí)現(xiàn)對(duì)編碼員間信度的評(píng)估外，同樣可以評(píng)估算法機(jī)器人的信度。

是的。

在內(nèi)容分析中，我們需要兩位或以上數(shù)目的編碼員來(lái)進(jìn)行編碼工作，每一位編碼員對(duì)于信息或記錄內(nèi)容的判斷之準(zhǔn)確性都非常重要，需要所有編碼員都達(dá)到一致性的結(jié)論，最終以編碼員信度的方式呈現(xiàn)這種一致性。

目前，大概有39種不同的同意度指標(biāo)[4]，常用的有Percent agreement，Holsti’s Coefficient Reliability，Cohen's kappa(k)，Scott’s pi(π)，Krippendorff’s alpha(α)。其中，Holsti’s Coefficient Reliability是當(dāng)前最流行的指標(biāo)。

目前，DiVoMiner平臺(tái)提供Holsti’s Coefficient Reliability、Scott’s Pi、Cohen's kappa和Krippendorff’s alpha四種信度計(jì)算方式。

到底信度結(jié)果要達(dá)到多少才能算是“理想信度”呢？其實(shí)，在學(xué)術(shù)上關(guān)于信度達(dá)標(biāo)的硬性標(biāo)準(zhǔn)未有定論，信度會(huì)依據(jù)研究需求以及類(lèi)目難度（主觀性類(lèi)目難度較大）有所浮動(dòng)。下面是四種信度指標(biāo)的可接受水平的參考范圍，供大家了解。

一般情況，在論文研究中，我們一般會(huì)說(shuō)明信度測(cè)試使用的計(jì)算方式、抽樣方式、信度檢驗(yàn)樣本占比與數(shù)量、編碼員之間的信度系數(shù)等信息。通常需要匯報(bào)兩兩編碼員間的信度結(jié)果和復(fù)合信度結(jié)果。

可以計(jì)算信度的工具/軟件有很多，可以根據(jù)公式手動(dòng)計(jì)算或者運(yùn)用工具計(jì)算，比如專(zhuān)門(mén)的信度結(jié)果計(jì)算軟件或小程序(AGREE, PRAM, ReCal），或統(tǒng)計(jì)分析軟件自帶的一些信度計(jì)算功能（SPSS）；其他軟件，如Simstat、QDA Miner都自帶了信度計(jì)算的功能，可下載體驗(yàn)。不過(guò)，很多用戶(hù)跟小編抱怨，說(shuō)這些工具的使用體驗(yàn)實(shí)在一言難盡。

當(dāng)然，最好用的信度計(jì)算工具當(dāng)然是DiVoMiner啦！DiVoMiner為大家提供了從信度測(cè)試的準(zhǔn)備工作開(kāi)始到信度測(cè)試完成的整個(gè)流程，確保大家在平臺(tái)上可以逐步進(jìn)行信度測(cè)試，直至完成整個(gè)測(cè)試流程，而且每一個(gè)步驟都是透明可追蹤的。不論你是第一次做信度測(cè)試，還是已經(jīng)熟練了整個(gè)測(cè)試流程，都可以讓你方便快捷地完成。

第一步：確定信度測(cè)試的樣本，建立測(cè)試庫(kù)

第二步：所有編碼員(可能包括機(jī)器人)完成測(cè)試編碼

第三步：計(jì)算信度結(jié)果

平臺(tái)管理員還可以在【編碼跟蹤】里查看不同編碼員的結(jié)果哦，快速定位編碼差異，矯正編碼員思路。

編碼員間的信度乃衡量一個(gè)內(nèi)容分析研究效度的必要條件（雖然不是充分條件），信度測(cè)試讓我們的研究結(jié)論更具可靠性，千萬(wàn)要重視信度測(cè)試環(huán)節(jié)！

今天的分享就到這里啦，關(guān)于內(nèi)容分析法的理論和操作上還有什么疑問(wèn)，可以留言給小編哦！歡迎交流。

參考文獻(xiàn)

[1] Lombard, M., Snyder-Duch, J., & Bracken, C. C. (2004). A call for standardization in content analysis reliability. Human Communication Rearch, 30(3), 434-437.

[2] Potter, W. J., & Levinedonnerstein, D. (1999). Rethinking validity and reliability in content analysis. Journal of Applied Communication Rearch, 27(3), 258-284.

[3] Rust, R. T., & Cooil, B. (1994). Reliability measures for qualitative data: theory and implications. Journal of Marketing Rearch, 31(1), 1-14.

[4] Popping, G. (1988). Stone parting device. EP0283674.

DiVoMiner是按學(xué)術(shù)標(biāo)準(zhǔn)的量化內(nèi)容分析法一站式平臺(tái)，馬上注冊(cè)，使用公益免費(fèi)版，學(xué)好研究方法，做論文，出報(bào)告，研出必行！做原創(chuàng)內(nèi)容，尤其是研究?jī)?nèi)容，著實(shí)不易，敬請(qǐng)分享、點(diǎn)贊、關(guān)注！歡迎投稿，分享您的研究或思考！