編碼員間信度測試及其步驟
一項(xiàng)內(nèi)容分析研究的編碼過程中，最重要的一個環(huán)節(jié)是編碼員間信度測試，其具體操作步驟如下：

1）選擇一種或者多種合適的編碼員間信度測試指數(shù) 。這種選擇要基于變量的特性，包括變量的測量層次、在編碼類別中的預(yù)期分布，以及編碼員的個數(shù)。從目前的研究文獻(xiàn)來看，通常不推薦使用百分比一致性（percent agreement）這種方法，因?yàn)樗鼪]有考慮到編碼員偶然一致性的情況（詳見下文說明）。如果要使用該方法的話，最好是再使用一種顧及到偶然一致性問題的指數(shù)。無論是哪種，研究者都需要針對其研究的特殊性特別是變量性質(zhì)和研究目的，為其選擇作出解釋或合理性說明。而且需要注意的是，編碼員間信度測試方法的選擇是在數(shù)據(jù)搜集和計(jì)算編碼員間信度系數(shù)之前就要確定下來的。

2）獲取必要的工具以計(jì)算所選擇的編碼員間信度測試指數(shù) 。有些測試指數(shù)可以人工計(jì)算（具體計(jì)算方法詳見本章下面小節(jié)），盡管這種計(jì)算也許乏味，而另一些則需要借助計(jì)算機(jī)完成。國外已開發(fā)出一些專門的軟件如PRAM來計(jì)算測試編碼員信度，有些統(tǒng)計(jì)軟件包也帶有這方面的應(yīng)用程序。

3）針對所使用的信度測試指數(shù)確定一個合適的最低接受水平 。雖然社會科學(xué)領(lǐng)域里的大多數(shù)研究方法專著或教材并未給出信度測試的一個具體的標(biāo)準(zhǔn)或邊界數(shù)，而那些注明了標(biāo)準(zhǔn)的，其推薦的指數(shù)也有所不同。但無論是哪種信度測試，信度系數(shù)達(dá)到或高于0.90，都是可以接受的。在此之下，如果是等于或大于0.80，那么在大多數(shù)情況下是可以接受的。低于此標(biāo)準(zhǔn)的話，則存在著很大的不同意見。雖然有學(xué)者稱7 0％的一致性即可被認(rèn)為是可靠的，也有學(xué)者曾指出可以將超過0.75～0.80的相關(guān)系數(shù)視為高信度， 但不少內(nèi)容分析法權(quán)威學(xué)者還是認(rèn)為，在這種情況下要謹(jǐn)慎對待，需要看是何種指數(shù)以及什么類型的研究，比如，這一信度水平對于某些測試指數(shù)而言，僅僅是在探索性研究的情況下才是可以被接受的。著名的內(nèi)容分析專家克里本多夫雖然沒有具體指明信度系數(shù)的類型，但他提出，只有在信度高于0.80時才報(bào)告變量的結(jié)果，當(dāng)信度系數(shù)為0.67～0.80時只能對變量作出“高度不確定且小心謹(jǐn)慎的結(jié)論”。

一般來講，百分比一致性系數(shù)的接受門檻是85％。像斯科特pi和科恩kap-pa這樣的排除偶然因素的統(tǒng)計(jì)方法，會采取更為自由寬松的標(biāo)準(zhǔn)。但具體標(biāo)準(zhǔn)也有或多或少的分歧，比如，珀玭提議將科恩kappa的接受標(biāo)準(zhǔn)定為0.80或更高。對于此指數(shù)，其他學(xué)者還提出了這樣較低的標(biāo)準(zhǔn)：大于或等于0.75，表明排除偶然的非常好的一致性；0.40～0.75，表明排除偶然的一般至良好的一致性；低于0.40，表明排除偶然的很差的一致性。 【16】 與此有所不同的是，里夫等人卻贊同一種相對較高的標(biāo)準(zhǔn)，但他們也未具體指明信度系數(shù)的類型，只是一般性地認(rèn)為研究通常報(bào)告的信度系數(shù)“為0.80～0.90”，并且“信度評估低于0.70的研究很難予以解釋，其方法值得懷疑，不宜復(fù)制”。

4）對信度進(jìn)行試點(diǎn)評估 。在內(nèi)容分析中，信度往往進(jìn)行兩次評估，一次是正式研究開始之前的試點(diǎn)評估，一次是研究信度報(bào)告所需的最終評估。信度的試點(diǎn)評估從研究所用的整體樣本中隨機(jī)選取子樣本來進(jìn)行，子樣本需要有代表性，樣本大小可以視研究情況而定，但一個不錯的一般法則是選取30個樣本單位。如果可能的話，在為一項(xiàng)內(nèi)容分析研究抽取樣本的同時，另外抽取一個具有代表性的獨(dú)立樣本，用于編碼員培訓(xùn)和信度的試點(diǎn)評估。編碼員必須獨(dú)立完成編碼，不要借助咨詢或指導(dǎo)。而且，如有可能，研究者本人在此階段不應(yīng)作為編碼員。如果試點(diǎn)測試的信度水平足夠的話，即可對所有樣本進(jìn)行編碼；如果測試結(jié)果不行，就得另外培訓(xùn)編碼員，修正編碼表和編碼程序，只有在極端情況下才替換一個或多個編碼員。一般來講，如果測試發(fā)現(xiàn)嚴(yán)重問題，通常需要修改編碼方案。在這種情況下，測試樣本數(shù)據(jù)就不能包含在最終數(shù)據(jù)分析中，必須以修正后的方案來重新編碼。對測試階段的信度所產(chǎn)生的問題，紐恩多夫提出了三種診斷和矯正方法。

（1）找出有問題的變量。當(dāng)試點(diǎn)評估發(fā)現(xiàn)一個變量的編碼員間信度很低時，可以從至少四個方面進(jìn)行修正：①進(jìn)一步培訓(xùn)編碼員并重新檢測該變量的信度；②重新修改、撰寫編碼指南，使該變量的測量清晰化；③更改該變量的類目（如合并類目）；④如果可能的話，將該變量根據(jù)概念維度分解成兩個或更多的更簡單、更具體（更顯性）的變量。

（2）發(fā)現(xiàn)一個變量內(nèi)部有問題的類目或賦值。通過觀察編碼員A與編碼員B的編碼賦值矩陣（矩陣圖參見本章表6.1），也許能發(fā)現(xiàn)關(guān)鍵的分類混淆點(diǎn)，也即一個變量中哪些類目在編碼方案中不是很清晰地被區(qū)分開來。比如，在實(shí)際編碼中我們也許看到，編碼員A偏向于將某種口頭話語編碼成“攻擊的”，而編碼員B則傾向于系統(tǒng)地將同樣的口頭話語編碼成“反對的”。此時，就要首先弄清楚兩位編碼員各自的依據(jù)，找出編碼員對編碼指南中類目劃分的概念說明在理解上的系統(tǒng)誤差或距離，并進(jìn)一步培訓(xùn)該編碼員；或者，修改編碼表，以消除這種系統(tǒng)性的測量誤差。

（3）識別有問題的編碼員。對于多位編碼員，通過配對檢測編碼員間信度，也許能發(fā)現(xiàn)一個編碼員是否與其他編碼員相匹配。在作出放棄該編碼員的決定之前，也許需要對該編碼員進(jìn)行額外的培訓(xùn)。

5）對信度進(jìn)行最終評估 。在信度試點(diǎn)評估的基礎(chǔ)上對信度水平獲得足夠信心后，需要使用另一套隨機(jī)抽取的具有代表性的子樣本對研究項(xiàng)目所需要編碼的整個樣本進(jìn)行信度的最終評估，以此代表整個研究過程中編碼員的表現(xiàn)。研究報(bào)告或發(fā)表論文中所匯報(bào)的信度系數(shù)就是由最終評估獲得的。該階段的信度測試所需的樣本量大小取決于許多因素，但一般而言應(yīng)該不少于50個單位，或者是整個樣本的10％，而且很少有多于300個單位的時候。在附錄一筆者的調(diào)查中，有57.1％的論文明確匯報(bào)了用于信度測試的樣本數(shù)，其中，絕大部分論文（85.5％，288篇）所匯報(bào)的信度測試樣本數(shù)要么達(dá)到或超過50個樣本單位，要么占實(shí)際研究樣本數(shù)或總體數(shù)的10％或以上（最多達(dá)100％）。雖然有學(xué)者通過研究表明樣本的5％～7％足以用于信度測試，但經(jīng)驗(yàn)研究告訴我們，當(dāng)研究所用的整體樣本很大并且預(yù)估到內(nèi)容差異較大，或者信度水平估計(jì)較低時，就需要較大的信度測試樣本量。與試點(diǎn)評估類似，此階段的編碼測試也必須由編碼員獨(dú)立完成，不要借助咨詢或指導(dǎo)。

6）選擇并遵循一種合適的程序從而將信度測試樣本的編碼與研究所用的整體樣本的編碼結(jié)合起來 。除非信度十分完滿，信度測試樣本中總有些單位會出現(xiàn)編碼不一致的情況。編碼員之間如果達(dá)到足夠的一致程度，那么每位編碼員的編碼決定有理由被納入至最后的編碼數(shù)據(jù)，而且信度測試樣本所獲得的結(jié)果僅能說明在評估信度過程中所發(fā)現(xiàn)的潛在的編碼員之間不一致的數(shù)據(jù)，但盡管如此，研究者還是必須決定如何處理這些編碼不一致的問題。處理解決的辦法根據(jù)數(shù)據(jù)和編碼員的特點(diǎn)而定，或者隨機(jī)選取不同編碼員的編碼決定，或者以多數(shù)人決定為準(zhǔn)的原則（如果編碼員數(shù)量為奇數(shù)的話），或者將研究者本人或另一位專家當(dāng)做最后裁決者，又或者研究者與編碼員商討并解決不一致的問題。不論采取何種方式，研究者都需要說明選取該處理辦法的合理性。

7）在所有研究報(bào)告中小心、清楚、仔細(xì)地匯報(bào)編碼員間信度 。即便是編碼員間信度測試充分，讀者也只能根據(jù)所提供的信息來評價一項(xiàng)研究，這些信息必須完整和清晰。至少需要提供如下信息：①信度樣本量大小，以及用于擇取信度樣本的方法和理由；②信度樣本和整體樣本的關(guān)系（也即信度樣本是否等同于整體樣本，或者是整體樣本的下屬子集，或者是與整體樣本不同的另外的樣本）；③信度測試編碼員的數(shù)目（必須是兩個或更多）以及編碼員是否包括研究者本人；④每位信度測試編碼員和非信度測試編碼員所完成的編碼量；⑤用于計(jì)算信度的指數(shù)及其選擇理由；以及⑥每個變量針對所選擇的每種信度指數(shù)所獲得的編碼員間信度水平。

其他可用于參考的信息還包括：①達(dá)到所獲信度水平所需要的編碼員培訓(xùn)時間（如多少小時）；②信度測試編碼中的不一致問題如何在整體樣本中得以解決；以及③讀者從哪里以及怎樣（比如從作者處）可以獲取到關(guān)于編碼工具、程序和指南的細(xì)節(jié)信息。

Berelson, B. (1952). Content analysis in communications research. New York: Hafner.

Budd, R.W., Thorp, R.K., & Donohew, L. (1967). Content analysis of communications. New York: Macmillan.

Carpenter, M. E. (1941). The treatment of the negro in American history school textbooks; A comparison of changing textbook content, 1826-1939. George Banta Publishing Company.

Coffey, A., & Atkinson, P. (1996). Making sense of qualitative data: Complementary research strategies. Thousand Oaks: Sage.

Fan, D.P. (1988). Predictions of public opinion from the mass media. Computer content analysis and mathematical modeling. Westport, CT: Greenwood Press.

Glaser, B., & Strauss, A. (1967). The discovery of grounded theory. Chicago: Aldine.（扎根理論）

Gottschalk, L. (1995). Content analysis of verbal behavior: New findings and clinical applications. Hillsdale, NJ: Lawrence Erlbaum.

Gottschalk, L., & Bechtel, R. (1993). Psychological and neuropsychiatric assessment survey: Computerized content analysis of natural language or verbal texts. Redwood City, CA: Mind Garden.

Gottschalk, L., & Gleser, G.C. (1969). The measurement of psychological states through the content analysis of verbal behavior. Berkeley: University of California Press.

Greenberg, B.S. (1980). Life on television: Content analysis of U.S. TV drama. Norwood, NJ: Ablex.

Holsti, O.R. (1969). Content analysis for the social sciences and humanities. Reading, MA: Addison-Wesley Publications.

Krippendorff, K. (1980). Content analysis: An introduction to its methodology. Beverly Hills, CA: Sage.

Krippendorff, K. (2004). Content analysis: An introduction to its methodology (2nd ed.). Thousand Oaks, CA: Sage.

Leites, N.C., & Pool, I. De S. (1942). On content analysis. Library of Congress, Expreimental Division for Study of War-Time Communications, Document no.26. Washington, D.C.

Morse, J.M., & Field, P.A. (1995). Qualitative research methods for health professionals (2nd ed.). Thousand Oaks, CA: Sage.

Neuendorf, K.A. (2002). The content analysis guidebook. Thousand Oaks, CA: Sage.

Patton, M.Q. (2002). Qualitative research and evaluation methods. Thousand Oaks, CA: Sage.

Schwartz, H., & Jacobs, J. (1979). Qualitative sociology. New York: The Free Press.

Strauss, A. (1987). Qualitative analysis for social scientists. Cambridge: Cambridge University Press.

Strauss, A.& Corbin, J. (1990). Basic of qualitative research: Grounded theory procedures & techniques. Thousand Oaks, CA: Sage.

Tesch, R. (1990). Qualitative research: Analysis types and software tools. Bristol, PA: Falmer.

Tuchman, G. (1978). Making news. New York: The Free Press.

Weber, R.P. (1990). Basic content analysis. Beverly Hills, CA: Sage.

Alexander, A., Benjamin, L.M., Hoerrner, K., & Roe, D. (1998). "We'll be back in a moment": A content analysis of advertisements in children's television in the 1950s. Journal of Advertising, 27（3）, 1-9.

Allan, D. (2008). A content analysis of music placement in prime-time television advertising. Journal of Advertising Research, September, 2008, 404-417.

Allen, J., Livingstone, S., & Reiner, R. (1997). The changing generic location of crime in film: A content analysis of film synopses, 1945-1991. Journal of Communication, 47（4）, 89-101.

Altheide, D.L. (1987). Ethnographic content analysis. Qualitative Sociology, 10（1）, 65-77.

Altheide, D.L. (1996). Qualitative media analysis. Qualitative Research Methods, 38. Thousand Oaks: Sage.

英文主要文獻(xiàn)推薦：

自貝雷爾森于1952年出版的開山之著《傳播研究的內(nèi)容分析》（Content analysis in communications research）奠定了內(nèi)容分析在傳播學(xué)研究的科學(xué)地位以來，內(nèi)容分析法不斷發(fā)展，已形成系統(tǒng)的理論體系，其應(yīng)用范圍也大為拓展，被廣泛應(yīng)用于新聞傳播學(xué)、圖書情報(bào)學(xué)、社會學(xué)、心理學(xué)、行為學(xué)等社會科學(xué)領(lǐng)域。據(jù)國際通用的新聞傳播學(xué)領(lǐng)域特有的傳播和大眾傳媒全文數(shù)據(jù)庫（Communication and Mass Media Complete，CMMC）的搜索發(fā)現(xiàn)，近50年新聞傳播學(xué)國際學(xué)術(shù)期刊發(fā)表的論文中，運(yùn)用內(nèi)容分析法的研究一直占主導(dǎo)地位。而且，美歐等國不斷有專門針對內(nèi)容分析的學(xué)術(shù)專著涌現(xiàn)，如20世紀(jì)60年代出版的霍爾斯蒂的《人文社會科學(xué)的內(nèi)容分析》（Content analysis for the social sciences and humanities）和巴德等人的《傳播學(xué)的內(nèi)容分析》（Content analysis of communications), 80年代克里本多夫的《內(nèi)容分析：方法論導(dǎo)論》（Content analysis：An introduction to its methodology), 90年代里夫等人的《內(nèi)容分析法：媒介信息量化研究技巧》（Analyzing media messages：Using quantitative content analysis in research）和21世紀(jì)初紐恩多夫的《內(nèi)容分析指南》（The content analysis guidebook）等。通過世界上最大的在線圖書館Questia的搜索發(fā)現(xiàn)，以內(nèi)容分析為主題或運(yùn)用內(nèi)容分析法進(jìn)行研究而寫就的專著就有近6萬本。對內(nèi)容分析法的應(yīng)用，國際上已有學(xué)者按照研究目的和研究問題、抽樣方法、數(shù)據(jù)收集和類目構(gòu)建、編碼過程以及信度測試、研究結(jié)果等方面，進(jìn)行了較為全面的介紹和論述。

中文主要文獻(xiàn)推薦：