Introducción

La evaluación sistemática de resultados, conocida internacionalmente como Routine Outcome Measures (ROM), es un proceso estandarizado y metódico para recoger y analizar datos sobre los resultados de los tratamientos en salud mental y desarrollo infantil. Este sistema permite obtener información objetiva sobre la eficacia de las intervenciones, identificando tanto las fortalezas como las áreas que necesitan mejora, así como aumentar la implicación de los usuarios con su propio proceso terapéutico (Bickman et al., 2016; Hall et al., 2013; Boswell et al., 2016; Holmqvist et al., 2015).

A nivel internacional, los inicios de la implementación de ROM se remontan a los años 80, cuando se empezó a reconocer la importancia de medir de forma consistente los resultados clínicos para mejorar la calidad de la atención. En países como Reino Unido (Waldron et al., 2018; Fleming et al., 2016), Australia (Oster et al., 2023) y Estados Unidos (Connors et al., 2022), el uso de ROM está ampliamente consolidado, con numerosas herramientas y protocolos desarrollados. Estas experiencias internacionales han demostrado que la evaluación sistemática de resultados no sólo mejora los resultados clínicos, sino que también proporciona datos valiosos para la investigación y la gestión institucional (Oster et al., 2023; Jacob y Edbrooke-Childs, 2022; Roe et al., 2021; Gelkopf et al., 2021).

Sin embargo, en Cataluña ha habido una falta significativa de experiencias similares en el ámbito público. Esta ausencia de evaluación sistemática ha limitado la capacidad de las instituciones para evaluar de manera rigurosa la efectividad de sus programas y para adaptar sus intervenciones a las necesidades reales de los usuarios. Con la intención de cubrir esta necesidad, el año 2017 se creó la Asociación para la Evaluación de Resultados Sistemática en Salud Mental (ARSISAM), actualmente formada por dieciséis entidades implicadas en la mejora continuada de la calidad asistencial.

Objetivos

El objetivo del proyecto que se presenta es desarrollar e implementar un sistema de evaluación sistemática de resultados en diversos servicios de salud mental y atención temprana de Cataluña, incluyendo los Centros de Desarrollo Infantil y Atención Temprana (CDIAT), los Centros de Salud Mental Infantil y Juvenil (CSMIJ) y los Centros de Salud Mental de Adultos (CSMA) especializados de atención a la salud mental. Esta evaluación tiene una triple misión:

• Clínica: proporcionar datos objetivos a terapeutas y usuarios que valoren los cambios en la sintomatología clínica durante el proceso terapéutico y faciliten la toma de decisiones compartidas en el proceso asistencial.
• Institucional: evaluar el impacto de las acciones realizadas para mejorar los resultados en salud y la experiencia del paciente.
• Investigación: facilitar la realización de estudios científicos en el ámbito de la salud mental y el desarrollo.

En otras palabras, se pretende conocer el estado de salud mental de los usuarios que reciben atención a los servicios de salud mental y atención temprana y los cambios en la sintomatología clínica que se producen a lo largo de la atención recibida. Con ello, se quiere obtener datos empíricos del impacto de la atención, para seguir mejorando la calidad asistencial mediante la identificación de los casos y tipos de intervención que resultan en evoluciones favorables y la detección de aquellas condiciones que se mantienen estables o crónicos y cuáles son los factores que pueden estar relacionados.

La toma de decisiones compartida es un aspecto fundamental del sistema de evaluación sistemática de resultados implementado por ARSISAM. Los datos recogidos no sólo proporcionan información objetiva sobre la eficacia de las intervenciones, sino que sirven también como base para el diálogo entre terapeutas y usuarios. Este proceso de decisión conjunta permite a los usuarios desempeñar un papel activo en su propia atención, fomentando un enfoque centrado en la persona y aumentando su implicación y satisfacción con el tratamiento (Burns et al., 2021).

Este proyecto, por tanto, representa una experiencia pionera en el ámbito de la evaluación de salud mental y desarrollo en el territorio catalán. En este artículo se presenta un estudio descriptivo del proceso y del estado actual de la implementación de la evaluación sistemática en las instituciones que forman parte.

Metodología

La ARSISAM se constituyó en 2017 para desarrollar un proyecto de evaluación sistemática de resultados de la asistencia en servicios de salud mental y de atención temprana.

Actualmente la asociación está formada por 15 entidades públicas que gestionan los siguientes equipamientos públicos de salud mental y de atención temprana que dependen del Departamento de Salud y del Departamento de Derechos Sociales de la Generalitat de Cataluña: cinco son CDIAT, 11 CSMIJ, cuatro CSMA, cinco hospitales de día infanto-juveniles, y de los nueve centros de día, tres de los infanto-juveniles y dos de atención a personas adultas (ver tabla 1 del anexo).

En conjunto, estas instituciones abarcan una población de referencia de 200.000 habitantes y han atendido a 3500 usuarios durante el 2023.

Para el desarrollo e implementación de la ROM, ARSISAM se ha asociado y recibido asesoramiento del Child Outcomes Research Consortium (CORC), institución referente a nivel internacional en evaluación sistemática de resultados.

La evaluación consiste en la administración de dos cuestionarios de sintomatología, evaluados por el propio usuario o el familiar, si procede, y por el terapeuta en varios momentos temporales: inicio, cada seis o 12 meses, y al término de la intervención. Los cuestionarios se han seleccionado en base a las recomendaciones y guías internacionales, teniendo en cuenta la edad del usuario y asegurando que estén validados para nuestra población. Los cuestionarios que se utilizan son:

• Para el/la terapeuta: Health of the Nation Outcome Scales (HoNOS) en sus diversas versiones (HoNOSi [Brann et al., 2021], HoNOSCA [Gowers et al., 1999], HoNOS y HoNOS+65 [Lovaglio y Monzani, 2011]).
• Para los usuarios o familiares: Strength and Difficulties Questionnaire (SDQ [Goodman, 1997]) y Clinical Outcomes in Routine Evaluation, Outcome Measure (CORE-OM [Evans et al., 2002; Feixas et al., 2012]).

Para la administración de las escalas y el registro de los resultados, se ha desarrollado una plataforma web llamada Cleopatra, que puede integrarse en varios programas de gestión clínica (p. ej. EKON, Higea). Este programa calcula de forma automatizada las puntuaciones en los cuestionarios y genera gráficas de los resultados de cada usuario para el uso clínico de estos. También permite obtener bases de datos para la realización de estudios y análisis a nivel de centro, institución o asociación. Para este estudio se han analizado los datos desde 2017 hasta julio de 2024.

Resultados

Para la evaluación de los resultados, en primer lugar, se ha registrado el número de instituciones que forman parte de ARSISAM y que se han iniciado en la ROM en pruebas piloto y/o que la aplican de manera sistemática. Actualmente, 11 de las 15 instituciones han iniciado el uso de la ROM en alguno de sus Servicios, con un total de 27 centros o unidades productivas donde esta se aplica de forma sistemática o como prueba piloto. Esto representa uno de los cinco CDIAT, 10 de los 11 CSMIJ, dos de los cuatro CSMA, cuatro de los cinco hospitales de día infanto-juveniles, tres de los tres centros de día de adultos y siete de las nueve unidades especializadas.

En segundo lugar, se han calculado el número de usuarios registrados y los cuestionarios realizados hasta el momento. Hay un total de 7.582 usuarios grabados y se han administrado 16.346 cuestionarios.

Los resultados muestran que un 70 % de los cuestionarios han sido administrados por CSMIJ. Seguidamente, los dispositivos que más cuestionarios han aplicado fueron los equipos especializados (ej. ECID, UPPA, UPPIJ…) (10 %) y hospitales de día (8 %). Por otra parte, los CDIAT, CSMA y centros de día de adultos son las unidades que presentan una menor tasa de administración de cuestionarios (ver Tabla 2 y Figura 1 del anexo).

Por rango de edad, de nuevo, la población atendida donde más se ha administrado la ROM ha sido a los usuarios de entre cinco y 18 años, que es la franja atendida por los CSMIJ (ver Figura 2 del anexo).

Por último, se ha calculado el número de administraciones según el momento temporal de administración (inicio y posteriores seguimientos) para poder entender el seguimiento que se está realizando de los usuarios con esta metodología (Figura 3 del anexo).

Los resultados evidencian una clara aplicación en el inicio del proceso terapéutico pero un descenso significativo en el número de evaluaciones de seguimiento, que va disminuyendo a medida que el proceso terapéutico avanza.

Conclusiones

El principal objetivo del proyecto ARSISAM ha sido desarrollar e implementar un sistema de evaluación sistemática de resultados en salud en diversos servicios de salud mental y atención temprana en Cataluña. Los resultados obtenidos hasta el momento muestran que la implementación es factible y beneficiosa. Este proyecto ha sentado las bases para una evaluación sistemática y rigurosa de los resultados en nuestro territorio, ofreciendo un modelo replicable para otras regiones y contribuyendo significativamente a la mejora de la calidad asistencial y la investigación en este campo. Las principales conclusiones de la experiencia son las siguientes.

Viabilidad de la implementación

La experiencia ha confirmado que es posible implementar un sistema de evaluación sistemática de resultados en salud mental en nuestro territorio utilizando una única plataforma para distintos dispositivos. Esta implementación ha estado exitosa en diversas instituciones, incluyendo CDIAT, CSMIJ, CSMA, hospitales y centros de día y servicios especializados.

Los cuestionarios administrados se han escogido por ser de amplio uso en la práctica clínica nacional e internacional y porque se pueden responder de forma intuitiva y rápida (máximo 10 minutos), tanto por parte del usuario como del terapeuta. Todo esto ha facilitado la incorporación de las herramientas a las visitas asistenciales ya programadas según cada servicio.

En cuanto a la implementación, los resultados indican que los CSMIJ, los hospitales de día infanto-juveniles y las unidades especializadas muestran una gran implementación de la ROM, en vías de consolidarse. Por el contrario, los CDIAT, CSMA y centros de día de adultos muestran un menor nivel de implementación. Las diferencias podrían explicarse por diversas razones.

En primer lugar, hasta 2021, momento en que se publicó la escala HoNOSi por niños de cero a cuatro años (Brann et al., 2021), no existía una escala HONOS para niños menores de cuatro años y los CDIAT no disponían de un cuestionario para terapeutas. Actualmente, los CDIAT miembros de ARSISAM han iniciado un estudio de investigación para la validación de la escala HoNOSi en nuestro territorio, que una vez finalizado permitirá la implementación del ROM de forma completa a los CDIAT adscritos a ARSISAM.

Por lo que respecta a los CSMA, creemos que las dificultades de implementación podrían relacionarse con un mayor número de casos atendidos en comparación con otras unidades, que limita el tiempo disponible para la administración de los cuestionarios. Según los datos más recientes del Observatorio de Salud de Cataluña, en 2022, los CSMA de Cataluña atendieron a 180.881 usuarios mientras que los CSMIJ 72.005 (Observatori del Sistema de Salut de Catalunya. Àmbit de salut mental i addiccions, 2023). Hospitales de día y unidades especializadas, que disponen de una mayor ratio de horas usuario/terapeuta, también tienen mayor facilidad para poder aplicar la ROM. Estos resultados son coherentes con los estudios internacionales, que sugieren que un mayor número de horas de atención a los usuarios se relacionan con mayor facilidad por la administración de la metodología ROM. En un futuro, habrá que plantear cómo poder hacer factible la ROM en los centros con más carga asistencial.

Percepción del estado de salud mental y de cambio

La evaluación sistemática ha permitido a los terapeutas y usuarios tener una visión objetiva del estado de salud mental en el inicio del proceso de intervención y los cambios en la sintomatología clínica durante el proceso terapéutico.

Actualmente, durante las sesiones de intervención, el paciente y el terapeuta pueden compartir y observar los resultados cuantitativos de los cuestionarios administrados gracias a unas tablas y gráficas generadas automáticamente por el programa Cleopatra, que les permiten reflexionar en tiempo real e in situ sobre el estado de salud mental y la evolución de la sintomatología clínica. En un futuro, se prevé mejorar el sistema de visualización de resultados, con gráficas que permitan mostrar de forma rápida y fácil el estado del paciente y si los resultados de sintomatología son clínicamente significativos. Esto favorecerá la toma de decisiones compartida.

Mejora de la calidad asistencial

Los datos recogidos han sido valiosos tanto para la atención clínica como para la gestión institucional. La información obtenida ha permitido obtener datos objetivos de los cambios en la sintomatología clínica según usuarios y terapeutas, que facilitan la toma de decisiones compartidas en el proceso de intervención y la detección de áreas que requieren mejora.

En este sentido, es importante destacar que este proyecto, pionero en el territorio catalán, ha contado con la colaboración del CORC, una institución referente en evaluación sistemática de resultados a nivel internacional. El CORC ofrece soporte no sólo en el desarrollo del proyecto sino en el uso de los resultados obtenidos para promover cambios asistenciales.

Apoyo a la investigación

El proyecto ha proporcionado una base de datos robusta que facilitará la realización de estudios científicos en el ámbito de la salud mental y el desarrollo. Esto contribuirá a la generación de nuevo conocimiento y a la mejora continua de las prácticas clínicas. El uso de medidas compartidas y validadas internacionalmente, además, permitirá comparar los resultados con los obtenidos en otros países.

El análisis de la experiencia de ARSISAM desde sus inicios hasta la actualidad también ha permitido identificar varios elementos de mejora. Una de las posibles acciones para mejorar la ROM es la realización de evaluaciones por programas específicos en lugar de llevarlas a cabo durante todo el proceso en el que el usuario está de alta en el servicio. Este enfoque, más común a nivel internacional, podría facilitar su implementación en centros con un alto número de usuarios, como los CSMA. También es crucial seguir desarrollando el programa informático para mejorar la experiencia del usuario y optimizar la extracción de datos para la investigación. Por último, se considera esencial la difusión del programa y de los resultados obtenidos en el equipo clínico asistencial para promover la utilidad de la evaluación sistemática en la actividad clínica.

En resumen, el proyecto de ARSISAM representa una experiencia pionera en el ámbito de la evaluación de salud mental y desarrollo en el territorio catalán. Los resultados obtenidos hasta el momento muestran que la implementación de un sistema de evaluación sistemática de resultados en salud mental y atención temprana es posible en nuestro territorio con una única plataforma para distintos dispositivos; permite objetivar cambios en el proceso de intervención según el usuario y el terapeuta y aporta valor tanto en la atención clínica como en la mejora de la calidad asistencial.

En el futuro, es importante fomentar la continuidad y la expansión del proyecto de evaluación sistemática de resultados en salud en el resto de servicios de salud mental y atención temprana de Cataluña.

Bibliografía

Bickman, L., Douglas, S. R., De Andrade, A. R., Tomlinson, M., Gleacher, A., Olin, S. Y Hoagwood, K. (2016). Implementing a Measurement Feedback System: A Tale of Two Sites. Administration and policy in mental health, 43(3), 410–425.

https://doi.org/10.1007/s10488-015-0647-8

Boswell, J. F., Constantino, M. J., Kraus, D. R., Bugatti, M. y Oswald, J. M. (2016). The Expanding Relevance of Routinely Collected Outcome Data for Mental Health Care Decision Making. Administration and policy in mental health, 43(4), 482–491.

https://doi.org/10.1007/s10488-015-0649-6

Burns, L., da Silva, A. L. y John, A. (2021). Shared decision-making preferences in mental health: does age matter? A systematic review. Journal of mental health (Abingdon, England), 30(5), 634–645.

https://doi.org/10.1080/09638237.2020.1793124

Brann, P., Culjak, G., Kowalenko, N., Dickson, R., Coombs, T., Sved Williams, A., Hoehn, E., Davies, S., Hoyland, M. y Burgess, P. (2021). The interrater reliability of a routine outcome measure for infants and pre-schoolers aged under 48 months: Health of the Nation Outcome Scales for Infants. BJPsych open, 7(3), e85. https://doi.org/10.1192/bjo.2021.39

Connors, E. H., Lyon, A. R., Garcia, K., Sichel, C. E., Hoover, S., Weist, M. D. y Tebes, J. K. (2022). Implementation strategies to promote measurement-based care in schools: evidence from mental health experts across the USA. Implementation science communications, 3(1), 67. https://doi.org/10.1186/s43058-022-00319-w

Evans, C., Connell, J., Barkham, M., Margison, F., McGrath, G., Mellor-Clark, J. y Audin, K. (2002). Towards a standardised brief outcome measure: psychometric properties and utility of the CORE-OM. The British journal of psychiatry: the journal of mental science, 180, 51–60. https://doi.org/10.1192/bjp.180.1.51

Feixas, G., Evans, C., Trujillo, A., Saúl, L. Ángel, Botella, L., Corbella, S., … López-González, M.. (2012). La versión española del CORE-OM: Clinical Outcomes in Routine Evaluation – Outcome Measure. Revista de Psicoterapia, 23(89), 109–135.

https://doi.org/10.33898/rdp.v23i89.641

Fleming, I., Jones, M., Bradley, J. y Wolpert, M. (2016). Learning from a Learning Collaboration: The CORC Approach to Combining Research, Evaluation and Practice in Child Mental Health. Administration and policy in mental health, 43(3), 297–301.

https://doi.org/10.1007/s10488-014-0592-y

Gelkopf, M., Mazor, Y. y Roe, D. (2021). A systematic review of patient-reported outcome measurement (PROM) and provider assessment in mental health: goals, implementation, setting, measurement characteristics and barriers. International journal for quality in health care: journal of the International Society for Quality in Health Care, 34(Suppl 1), ii13–ii27. https://doi.org/10.1093/intqhc/mzz133

Goodman, R. (1997). The Strengths and Difficulties Questionnaire: a research note. Journal of child psychology and psychiatry, and allied disciplines, 38(5), 581–586.

https://doi.org/10.1111/j.1469-7610.1997.tb01545.x

Gowers, S. G., Harrington, R. C., Whitton, A., Lelliott, P., Beevor, A., Wing, J. y Jezzard, R. (1999). Brief scale for measuring the outcomes of emotional and behavioural disorders in children. Health of the Nation Outcome Scales for children and Adolescents (HoNOSCA). The British journal of psychiatry: the journal of mental science, 174, 413–416.

https://doi.org/10.1192/bjp.174.5.413

Hall, C. L., Moldavsky, M., Baldwin, L., Marriott, M., Newell, K., Taylor, J., Sayal, K. y Hollis, C. (2013). The use of routine outcome measures in two child and adolescent mental health services: a completed audit cycle. BMC psychiatry, 13, 270.

https://doi.org/10.1186/1471-244X-13-270

Holmqvist, R., Philips, B. y Barkham, M. (2015). Developing practice-based evidence: benefits, challenges, and tensions. Psychotherapy research: journal of the Society for Psychotherapy Research, 25(1), 20–31.

https://doi.org/10.1080/10503307.2013.861093

Jacob, J. y Edbrooke-Childs, J. (2022). Monitoring and Measurement in Child and Adolescent Mental Health: It’s about More than Just Symptoms. International journal of environmental research and public health, 19(8), 4616. https://doi.org/10.3390/ijerph19084616

Lovaglio, P. G. y Monzani, E. (2011). Validation aspects of the health of the nation outcome scales. International journal of mental health systems, 5, 20.

https://doi.org/10.1186/1752-4458-5-20

Observatori del Sistema de Salut de Catalunya. Àmbit de salut mental i addiccions (2023). Dades 2017-2022 de la Central de Resultats. Agència de Qualitat i Avaluació Sanitàries de Catalunya. Departament de Salut. Generalitat de Catalunya. Recuperado de:

https://aquas-gencat.shinyapps.io/centralderesultats/

Oster, C., Dawson, S., Kernot, J. y Lawn, S. (2023). Mental health outcome measures in the Australian context: what is the problem represented to be?. BMC psychiatry, 23(1), 24.

https://doi.org/10.1186/s12888-022-04459-0

Roe, D., Mazor, Y. y Gelkopf, M. (2021). Patient-reported outcome measurements (PROMs) and provider assessment in mental health: a systematic review of the context of implementation. International journal for quality in health care: journal of the International Society for Quality in Health Care, 34(Suppl 1), ii28–ii39.

https://doi.org/10.1093/intqhc/mzz084

Waldron, S. M., Loades, M. E. y Rogers, L. (2018). Routine Outcome Monitoring in CAMHS: How Can We Enable Implementation in Practice? Child and adolescent mental health, 23(4), 328–333.

https://doi.org/10.1111/camh.12260

Encontrarán las tablas correspondientes de este artículo en el PDF adjunto.