Acordo inter-juízes: O caso do coeficiente kappa

Abstract

Sempre que é preciso classificar um conjunto de dados num dado número de categorias, vários tipos de enviesamentos podem ocorrer. Com vista à sua minimização é frequente o recurso a mais do que um juiz para categorizar os mesmos dados, analisando-se posteriormente o seu grau de acordo e consequentemente a fiabilidade da classificação. Entre os vários índices de acordo inter-juízes mencionados na literatura, o coeficiente kappa (Cohen, 1960) é referido como o mais frequentemente utilizado quando as variáveis em estudo são nominais. Neste artigo, procuramos descrever este coeficiente, apresentando a sua definição, pressupostos, fórmula, e ilustrando os passos para o seu cálculo. Exploramos também o seu desenvolvimento para kappa ponderado (Cohen, 1968). Por fim, algumas críticas feitas a este coeficiente de acordo inter- -juízes são sumariamente discutidas. ------ ABSRTACT ------ Whenever one needs to classify a set of data in a given number of categories, several types of biases can occur. In order to minimize them, it’s frequent to recourse to more than one judge to categorize the same data, analyzing afterwards the degree of their agreement and consequently the reliability of the classification. Among the several interrater agreement indexes mentioned in the literature, kappa coefficient (Cohen, 1960) is referred as the most frequently used when variables in study are nominal. In this article, we attempt to describe this coefficient, presenting its definition, assumptions, formula, and illustrating the steps to its calculi. We also explore its development to weighted kappa (Cohen, 1968). Finally, some critiques made to this interrater agreement coefficient are briefly discussed.

Cite this work

No public copy is stored for this record, so only the metadata is cited.

Stored only when both papers are in the corpus — 27 citations exist upstream.

Papers that cite the same references — the relational fallback while embeddings are still backfilling.