Computer‐based Test Interpretations: Advice to the Consumer

Abstract

Actuarial systems for computer‐based test interpretation (C.B.T.I.) are distinguished from those based on clinical judgement. It is noted that most C.B.T.I. systems are of the latter type. Clinical judgement has proven superior to both types of C.B.T.I. system in the interpretation of neuropsychological tests and in several areas of medicine. Similar data on the automated clinical systems for the interpretation of personality instruments are sparse and methodologically weak. Studies of the validity of C.B.T.I. systems for the most popular personality inventory–the Minnesota Multiphasic Personality Inventory–are reviewed in detail. Fourteen criteria are proposed for evaluating the adequacy of these and similar studies. Four additional suggestions are made for the benefit of those trying to choose a C.B.T.I. system for practical use: Check the bona fides of the system author; check to ensure that scoring and interpretation are orthodox; read scholarly reviews of the system; and evaluate the system using a set of cases with known outcomes. Finally, five situations are described that should lead one to be especially sceptical about the accuracy of C.B.T.I.s: Inferences about low probability events (e.g. suicide); rare score combinations; extreme scores; scores near cut‐offs; and unusual response sets or styles. Les systèmes actuariels d' interprétation de tests par ordinateur (C.B.T.I.) doivent être distingués de ceux fondés sur le jugement clinique. La plupart des systèmes C.B.T.I. sont du second type. Le jugement clinique s'est révélé supérieur aux deux catégories de systèmes C.B.T.I. dans l'interprétation des tests neuropsychologiques ainsi que dans d'autres domaines de la médecine. Les données analogues sur les systèmes cliniques automatisés d'interprétation des épreuves de personnalité sont rares et méthodologiquement contestables. Les études de validité des systèmes C.B.T.I. appliqués à l'inventaire de personnalité le plus répandu (le M.M.P.I.) sont recensées en détail. On propose 14 critères pour apprécier la valeur de ce genre d'études. Quatre suggestions compleméntaires sont destinées à ceux qui souhaitent sélectionner un système C.B.T.I. pour leur pratique: Contrôlez la bonne foi de l'auteur du système; vérifiez l'orthodoxie de la cotation et de l'interprétation; lisez ce qui a étéécrit sur le système; éprouvez‐le en utilisant une série de cas dont vous connaissez l'interprétation. Enfin, on décrit cinq situations dans lesquelles s'impose le scepticisme en ce qui concerne la validite des C.B.T.I.: La prédiction dévène‐ments à faible probabilityé comme le suicide, la combinaison de scores rares, les scores extrèmes, les scores proches des limites de classes, les séries ou styles de réponses inhabituelles.

Cite this work

No public copy is stored for this record, so only the metadata is cited.

Stored only when both papers are in the corpus — 8 citations exist upstream.

Papers that cite the same references — the relational fallback while embeddings are still backfilling.