Cross your T’S AND dot your I’S: an explorative study for therapist treatment fidelity in an asynchronous web-based treatment

Abstract

INTRODUCTION: This research is the first research assessing therapist treatment fidelity in a web-based treatment for participants coping with alcohol abuse- or addiction. The therapist treatment fidelity consists of an assessment of therapist treatment adherence and therapist competence, mostly measured by means of a rating scale. Encompassing an exploration of concepts of cognitive behavioral therapy (CBT) and motivational interviewing (MI) this research lays an extensive fundament for the ‘Look At Your Drinking – Adherence Competence Scale (LAYD-ACS)’. The main research question is: ‘How can therapist treatment adherence and competence be assessed in the web-based treatment Alcoholdebaas.nl?’ METHODS: A combination of directive and summative content analysis is used to explore three asynchronous online treatments. The treatments were initiated within the period of January 2009 until December 2011. The LAYD-ACS is created based on literature about therapeutic skills and has a dichotomous way of assessing therapist treatment fidelity by giving either a plus (+, good) or minus (-, not so good/room for improvement). An expert interview is held to assess the validity of the LAYD-ACS. The messages are analyzed independently by two raters (RVR and TZ). An inter-rater agreement has been achieved a priori by testing a pilot and a posteriori by discussions between the raters. RESULTS: 24 categories were taken into account, 23 were recognized as applied in the treatments used. A total amount of 2154 codes were found. Almost 84% of all codes were given a plus value, and more than 16% are graded minus. The most dominant therapeutic skills were ‘Support & Endorsement’ and ‘Consent & Non-Committal. Every category is described and underpinned with quotes from the web-based treatment. CONCLUSION: The therapist treatment fidelity and the therapist competence are very good. Quantitative data showed very high rates. Concepts like ‘Empathy’ and ‘Motivation’ are not seen very often, but are the main concepts of MI, and thus, could be used more. The LAYD-ACS has shown to be an useful and promising rating scale to assess therapist treatment fidelity. Improvement can be made in validating the LAYD-ACS, by increasing reliability by using a more critical tool and make the LAYD-ACS more manageable. Although the LAYD-ACS shows a lot of room for improvement, this research has led to an extensive fundament of therapeutic techniques in a web-based treatment. SEACH TERMS: Therapist treatment fidelity, integrity, adherence, competence, web-based treatment, rating scale, qualitative research. Samenvatting INTRODUCTIE: Dit onderzoek is het eerste onderzoek dat de therapeut-behandeling conformiteit toetst in een online behandeling voor deelnemers met alcoholmisbruik of –afhankelijkheid. De therapeut-behandeling conformiteit bestaat een toetsing van de behandelconformiteit en de vaardigheden van de therapeut, veelal aangeduid door middel van een kwalificatieschaal. Door het verkennen van concepten uit de cognitieve gedragstherapie (CGT) en motiverende gespreksvoering (MG) legt dit onderzoek een fundament voor de ‘Look At Your Drinking – Adherence Competence Scale’ (LAYD-ACS). De hoofdvraag luidt: ‘Hoe kan therapeut-behandelcomformiteit en competentie getoetst worden in Alcoholdebaas.nl.’ METHODE: Een combinatie van een directieve en een summatieve inhoudsanalyse is gebruikt om berichten in drie asynchrone online behandelingen te verkennen. De behandelingen zijn gestart in de periode van Januari 2009 tot en met December 2011. De LAYD-ACS is aan de hand van literatuur met relevante therapeutische vaardigheden ontworpen. Dit instrument heeft een dichotome manier van het beoordelen van therapeutische vaardigheden, oftewel een plus (+, goed) dan wel een min (-, er is ruimte voor verbetering). De validiteit is getoetst in een interview met een expert. Een tussenbeoordelaars betrouwbaarheid is a priori verkregen via het testen van een pilot, en a posteriori via discussie. RESULTATEN: Er zijn 24 verschillende categorieen onderzocht, waarvan er bij 23 een toepassing is gevonden. Er zijn totaal 2154 codes toegekend. Bijna 84% van alle codes die gegeven zijn hebben een plus gekregen, meer dan 16% werd beoordeeld als een min. De meest dominante therapeutische vaardigheden zijn ‘bevestigen en ondersteunen’ (‘Support & Endorsement’) en ‘toestemming en vrijblijvendheid’ (‘Consent & Non-Committal’). Elke categorie is omschreven en onderbouwd met quotes uit de behandeling. CONCLUSIE: De conformiteit naar de behandelprotocollen en de vaardigheden van de therapeuten bleken erg goed. Kwantitatieve data geeft hoge scores weer. Ondanks dat het belangrijke concepten zijn binnen MG zijn concepten als ‘empathie’ (‘Empathy’) en ‘motivatie’ (‘Motivation’) erg weinig gevonden. Deze zouden meer gebuikt mogen worden. De LAYD-ACS bleek een bruikbare en veelbelovende kwaliteitsschaal om behandelconformiteit en de vaardigheden van de therapeuten te meten. De LAYD-ACS kan verbeterd worden door het instrument te valideren, kritischer te kijken naar de betrouwbaarheid en het instrument meer hanteerbaarder te maken. Ondanks de ruimte voor verbetering heeft dit onderzoek geleid tot een uitgebreid fundament van therapeutische technieken in een op internet gebaseerd behandeling.

Cite this work

No public copy is stored for this record, so only the metadata is cited.

Stored only when both papers are in the corpus — 0 citations exist upstream.

Papers that cite the same references — the relational fallback while embeddings are still backfilling.