Anexo C: Proceso de desarrollo

El objetivo de la Herramienta para Liderar el Cambio (Leading Change Toolkit) es promover el cambio en la práctica mediante el uso de dos marcos complementarios para mejorar y acelerar el cambio. Aplica los conceptos del Marco de Acción del Movimiento Social con las fases del ciclo de acción del Marco del Conocimiento a la Acción. Más información sobre el proceso de desarrollo a continuación.  

Realizamos una valoración de necesidades con seis grupos focales externos, dos entrevistas a informantes clave y una encuesta con el panel de expertos. Nuestros objetivos eran explorar las necesidades de los usuarios finales para recopilar nombres de expertos como potenciales miembros del panel. Un total de 67 personas empleadas en hospitales, instituciones académicas, instituciones de salud pública, organismos de salud y otros centros de salud comunitarios.

Una vez concluida la encuesta, los grupos focales y las entrevistas, organizamos un debate presencial de un día de duración, en el que compartimos y debatimos un resumen de los temas clave que habían surgido. Véase el Anexo 1: Métodos de evaluación de las necesidades de la herramienta Leading Change Toolkit para más información. 

Un análisis de concepto es un "proceso riguroso y formal por el que se explora un concepto y se aclara, se valida, se define y se distingue de conceptos similares para informar el desarrollo de una teoría" (Xyrichis and Ream, 2008). Un análisis de concepto ayuda a comprender mejor las definiciones del concepto, incluidos todos los usos de dicho concepto: características clave, condiciones previas, resultados y herramientas de medición (Walker and Avant, 2005).

Las dos desarrolladoras de la herramienta Leading Change Toolkit generaron una lista de criterios de selección  para la búsqueda en la literatura, consensuada con las copresidentas del panel de expertos y miembros del panel de expertos como grupo de trabajo para el análisis de concepto (véase Agradecimientos). Compartimos los resultados con el panel de expertos en pleno para su discusión y retroalimentación (feedback): véase el Anexo 2: Cuadro de criterios de selección (elegibilidad) para el análisis de concepto de las acciones de los movimientos sociales para más información.

Las desarrolladoras de la herramienta realizaron entonces una búsqueda en la literatura preliminar y focalizada para determinar términos clave en el área de interés, con retroalimentación de las copresidentas del panel de expertos, miembros del grupo de trabajo y el panel de expertos al completo. Los especialistas en información elaboraron una estrategia de búsqueda (véase el Anexo 3: Estrategia de búsqueda en MEDLINE para el análisis de concepto de la acción de los movimientos sociales).

Un segundo equipo de especialistas en información revisaron por pares la estrategia de búsqueda según la Guía PRESS de Revisión por pares de las estrategias de búsqueda electrónica para garantizar la sensibilidad y la especificidad (McGowan et al., 2016). Las desarrolladoras de la herramienta buscaron de forma sistemática en bases de datos indexadas y de literatura gris en inglés, desde el origen hasta junio de 2019, con la contribución de las copresidentas, los miembros del equipo de trabajo y todo el panel de expertos. Se realizó la búsqueda en bases de datos revisadas por pares y de literatura gris, así como en revistas científicas relevantes (véase el Anexo 4: Lista de bases de datos, revistas y sitios web de búsqueda para el análisis de concepto).

Las desarrolladoras usaron una serie de criterios de selección predeterminados para seleccionar títulos y resúmenes, así como textos completos, seleccionados de forma independiente y por duplicado (véase el Anexo 2: Cuadro de criterios de selección (elegibilidad) para el análisis de concepto de las acciones de los movimientos sociales). Se puede consultar el diagrama PRISMA de Elementos de notificación preferidos para revisiones sistemáticas y metaanálisis (PRISMA; Preferred Reporting Items for Systematic Reviews and Meta-Analyses; Moher et al., 2009) para consultar más detalles sobre el proceso de búsqueda y cribado (véase el Anexo 5: diagrama PRISMA del análisis de concepto). Resolvimos cualquier posible desacuerdo mediante consenso; en caso necesario, un tercer equipo tomó la decisión final.

Las desarrolladoras de la herramienta hicieron una búsqueda manual de las referencias de las publicaciones incluidas para localizar artículos adicionales. Los miembros del panel de expertos también sugirieron artículos relevantes para la consideración de las desarrolladoras de la herramienta Leading Change Toolkit. Los artículos sugeridos siguieron el proceso de selección por título y resumen, así como del texto completo descrito anteriormente.

Para determinar los puntos en común entre las distintas descripciones de movimiento social en el contexto de la adopción y la sostenibilidad del conocimiento, las desarrolladoras extrajeron todos los componentes del concepto en detalle de forma independiente y por duplicado. Se extrajeron características como: la disciplina del artículo publicado, la(s) disciplina(s) del autor, el entorno, el objeto (tal y como se recogía en la publicación), el diseño del estudio y la definición establecida de lo que es un movimiento social (en su caso). También se extrajeron datos sobre las condiciones previas, las características clave y los resultados, y cualquier discrepancia se resolvió por consenso.

Los resultados fueron revisaron, discutidos y conformados por las copresidentas, miembros del grupo de trabajo y el panel de expertos al completo. El panel de expertos y las desarrolladoras de la herramienta se comprometieron entonces a crear un marco de trabajo del movimiento social en el contexto de la adopción y la sostenibilidad del conocimiento, a lo largo de varias sesiones en las que hubo animados debates y ejercicios de mapeo. Las ideas y experiencias vividas por las copresidentas, los miembros del grupo de trabajo y el panel de expertos completo sobre los enfoques de los movimientos sociales se incorporaron al análisis de concepto.

Las desarrolladoras de la herramienta realizaron una búsqueda sistemática de literatura revisada por pares para recopilar información sobre la ciencia de implantación de acuerdo con los componentes del ciclo de acción del Marco del Conocimiento a la Acción (KTA; Graham et al., 2006). Los especialistas en información desarrollaron una estrategia de búsqueda de acuerdo con los propósitos de la revisión de la literatura (véase el Anexo 6: Estrategia de búsqueda MEDLINE para la Revisión de la Literatura en el Marco del Conocimiento a la Acción).

Las desarrolladoras de la herramienta buscaron en las bases de datos CINAHL, MEDLINE, PsycINFO y AMED desde el origen hasta septiembre de 2019 para localizar revisiones relevantes del Marco del Conocimiento a la Acción, con la aportaciones de las copresidentas y el panel de expertos (véase el Anexo 7: Diagrama PRISMA de la revisión de la literatura del Marco del Conocimiento a la Acción para los estudios incluidos en el proceso de cribado). El Marco del Conocimiento a la Acción está muy asentado y es ampliamente usado; ha sido objeto de revisiones, y revisiones de revisiones. Se ha usado la lista de referencias de estas revisiones para identificar citas relevantes que ayudasen a las desarrolladoras de la herramienta a fundamentar cada fase del Marco del Conocimiento a la Acción. Se cribaron los artículos por título, resumen y el texto completo de forma independiente y por duplicado para localizar citas que cumpliesen con los criterios de selección (véase el Anexo 8: Cuadro de criterios de selección (elegibilidad) para la revisión de la literatura del Marco del Conocimiento a la Acción). Las desarrolladoras de la herramienta determinaron unos criterios de selección basados en la aportación del panel de expertos, y se resolvió cualquier discrepancia a través del consenso. Las desarrolladoras de la herramienta también realizaron una búsqueda manual de la lista de referencias de publicaciones incluidas y buscaron la contribución del panel de expertos para localizar otras publicaciones relevantes.

Las desarrolladoras de la herramienta realizaron una búsqueda sistemática de publicaciones revisadas por pares sobre las herramientas que mapearon cada fase del ciclo de acción del Marco del Conocimiento a la Acción. Para ello se empleó una estrategia de búsqueda desarrollada por especialistas en información con la revisión de las copresidentas, miembros del grupo de trabajo centrados en las herramientas del Marco del Conocimiento a la Acción y el panel de expertos al completo (véase el Anexo 9: Estrategia de búsqueda MEDLINE de herramientas del Marco del Conocimiento a la Acción). Las bases de datos en las que se hizo la búsqueda fueron: CINAHL, MEDLINE, COCHRANE, EMBASE y PsycINFO.

Tras el proceso sistemático arriba descrito, se realizó un cribado de las herramientas del Marco del Conocimiento a la Acción. Para asegurarse de que la búsqueda era exhaustiva, las desarrolladoras de la herramienta examinaron los títulos y resúmenes de los artículos revisados por pares que mencionaban el uso de una herramienta, así como todas las publicaciones de desarrollo de una herramienta. El número de inclusiones para cada etapa del cribado se refleja en nuestro diagrama de flujo PRISMA: véase el Anexo 10: Diagrama PRISMA de la revisión de la literatura para herramientas del Marco del Conocimiento a la Acción para más información. 

La lista final de herramientas que cumplían los criterios de selección se distribuyó a las copresidentas, a los miembros del grupo de trabajo sobre herramientas del Marco del Conocimiento a la Acción, y a todo el panel de expertos para que dieran su opinión: véase el Anexo 11: Cuadro de criterios de selección (elegibilidad) para la Selección de herramientas del Marco del Conocimiento a la Acción para más información. El panel de expertos también convocó reuniones para valorar los criterios de selección de la lista de herramientas, discutir cualquier brecha y ofrecer sugerencias sobre otras herramientas. Se realizó un análisis de las citas de las herramientas para identificar las publicaciones de autores que no son desarrolladores de la herramienta y que citaban el documento de desarrollo de cada herramienta. Generalmente, las herramientas se eliminaron si la herramienta se usaba en menos de dos publicaciones, aunque hubo algunas excepciones en caso de herramientas desarrolladas en los cinco años precedentes. En total, se identificaron 54 herramientas mediante este proceso.

Creamos un grupo de trabajo sobre herramientas del Marco del Conocimiento a la Acción en el que participaron las copresidentas, cinco miembros del panel de expertos y dos asistentes de investigación de la Universidad de Ottawa. Se realizó una búsqueda en línea para localizar 54 herramientas del Marco del Conocimiento a la Acción. Si la herramienta en cuestión no se encontraba entre la búsqueda inicial de herramientas del Marco, los asistentes de investigación intentaron contactar con los autores de los artículos de desarrollo de la herramienta, y lo intentaron una segunda vez si la primera no tuvo éxito. En total, el grupo de trabajo localizó 42 de las 54 herramientas del Marco del Conocimiento a la Acción.

Estas 42 herramientas se evaluaron en primer lugar en función de sus propiedades prácticas, empleando para ello la herramienta PAPERS desarrollada por  Stanick and colleagues (2021). La herramienta PAPERS tiene dos partes: valoración pragmática objetiva y valoraciones pragmáticas dirigidas a las partes interesadas. De acuerdo con Stanick and colleagues, las herramientas son pragmáticas si se consideran aceptables, fáciles de usar, compatibles y útiles.

Los dos asistentes de investigación completaron las valoraciones pragmáticas objetivas de forma independiente. Esas valoraciones implicaban valorar cada herramienta en función de criterios como coste y uso de un lenguaje accesible.

Las valoraciones pragmáticas dirigidas a las partes interesadas fueron completadas por dos o más partes interesados que trabajaban en entornos sanitarios o educativos y que tenían experiencia clínica en la implantación de guías. Estas valoraciones implicaban evaluar las herramientas según criterios como la utilidad percibida de la herramienta y la facilidad de realización. Tras las valoraciones pragmáticas, se eliminaron nueve herramientas: tres porque tenían asociado un coste desconocido, cinco porque obtuvieron una baja puntuación práctica para los interesados, y una herramienta porque no se halló que fuera directamente aplicable al Marco del Conocimiento a la Acción.

Se evaluó la validez del contenido (definida como la medida en que el contenido de una herramienta refleja el constructo que se pretende medir) de cada una de las restantes 33. Usando una versión adaptada de una lista de verificación de Mokkink et al. (2010), un asistente de investigación de la Universidad de Ottawa y un coordinador de investigación del Instituto de Investigación del Hospital de Ottawa valoraron la validez del contenido de cada una de las herramientas del Marco del Conocimiento a la Acción. Esta valoración fue verificada por la presidenta del grupo de trabajo sobre herramientas del Marco del Conocimiento a la Acción.

La fase final del proyecto de herramientas del Marco del Conocimiento a la Acción consistió en asignar las 33 herramientas del Marco a las fases del Marco del Conocimiento a la Acción (Graham et al., 2006). Un asistente de investigación, un miembro del panel  de expertos y la presidenta del grupo de trabajo se encargaron de este proceso. Los resúmenes de las propiedades pragmáticas y de validez de contenido de la muestra final de 33 herramientas del Marco del Conocimiento a la Acción se incluyen en la herramienta Leading Change Toolkit - ver el Anexo 12: Diagrama PRISMA de las pruebas pragmáticas y psicométricas de las herramientas del Marco del Conocimiento a la Acción para más información. 

Se buscó en cuatro bases de datos (MEDLINE, Cochrane, CINAHL, EMBASE) para localizar literatura revisada por pares usando una estrategia de búsqueda facilitada por el Especialista en información. Los criterios de idoneidad se resumen en el Anexo 13: Criterios de selección (elegibilidad) para la revisión de la literatura sobre c implicar a personas que han vivido la experiencia. 

Todos los registros recuperados en esta búsqueda se examinaron de forma independiente de acuerdo con los criterios de selección. Primero se examinaron título y resumen, después el texto completo: véase el Anexo 14: Diagrama PRISMA de la revisión de la literatura “de pacientes/personas y familias para más información. El anterior líder de proyecto de la herramienta para liderar el cambio Leading Change Toolkit examinó en torno al 10% de los títulos, resúmenes y textos completos de los artículos, usando los mismos criterios. Los revisores se reunieron para resolver cualquier discrepancia tras la revisión de título y resumen, y nuevamente después de examinar el texto completo de los artículos. La información relevante de los resultados se resumió usando un cuadro de extracción de datos. Esta información incluía: autor, fecha de publicación, localización, diseño del estudio, objetivo, población objetivo, descripción de la herramienta de implicación, estrategia o enfoque y descripción de la implantación de las buenas prácticas. Toda la extracción de datos se realizó de forma independiente y fue examinada por un segundo revisor. Los ejemplos y tipos de compromiso se categorizaron a través de un proceso de compromiso, adaptado del marco de compromiso del paciente y la familia desarrollado por los American Institutes for Research (2019).

Como parte del proceso de desarrollo, se realizaron pruebas con usuarios internos y externos con 48 partes interesadas de diversas organizaciones sanitarias, instituciones académicas, áreas de práctica y distintos sectores. Las partes interesadas podían ser, entre otros, enfermeras, estudiantes y personas con experiencia personal o administradores.

Probaron la navegación y la usabilidad de diversas secciones de la herramienta Leading Change Toolkit, y se les pidió que rellenasen una encuesta sobre si era fácil de usar, fácil de entender, cómo era la fluidez de la navegación y el aspecto de la herramienta. Esta encuesta de impacto fue creada por miembros del equipo de desarrollo, con la contribución de las copresidentas y miembros del equipo copatrocinador de Healthcare Excellence Canada. La encuesta empleó un enfoque pragmático para evaluar la experiencia de los usuarios con el recurso en línea y los resultados que se lograron gracias a su implantación.

Las desarrolladoras de la herramienta incorporaron la contribución de las partes interesadas y posteriormente lo hicieron el editor web de RNAO y los desarrolladores web. El proceso y los resultados de las pruebas internas y externas fueron revisados y orientados por los miembros del Grupo de Trabajo de Evaluación, así como por el panel de expertos al completo.

Diecinueve miembros del panel de expertos y las dos copresidentas ofrecieron retroalimentación (feedback) sobre el contenido escrito de la herramienta Leading Change Toolkit. Cada apartado de la herramienta representa una fase del ciclo de acción (por el Marco del Conocimiento a la Acción), un elemento (por el Marco de Acción del Movimiento Social) o un segmento (por los pacientes/las personas y las familias). Se asignó de forma aleatoria a cada miembro del panel de expertos a dos apartados escritos de la herramienta, como mínimo.

En la encuesta de retroalimentación, se pidió a los miembros del panel de expertos que evaluasen la facilidad de comprensión, la claridad, la adecuación y la utilidad de la herramienta. También se buscó la retroalimentación por escrito de miembros del panel de expertos sobre el contenido que resultaba más y menos útil, y cualquier otra sugerencia para mejorar el contenido. Las dos desarrolladoras de la herramienta resumieron y presentaron los comentarios del panel de expertos y requirieron más aclaraciones en una reunión posterior del panel de expertos.

A continuación, las desarrolladoras de la herramienta incorporaron los comentarios recibidos y respondieron a las preguntas en un nuevo borrador de la herramienta. Dicha versión se envió a las copresidentas para que revisaran todos los apartados. Se incorporaron sus comentarios sobre todo el borrador de la herramienta antes de su publicación.

El desarrollo del sitio web se ejecutó en cinco fases:

Fase 1: Análisis del sistema

El equipo de desarrollo de la herramienta Leading Change Toolkit se reunió con el Equipo de Gestión y Tecnología de la Información (IM&T) de RNAO para comprender mejor la funcionalidad de la web, así como sus requisitos y especificaciones. Ambos equipos revisaron el alcance de la herramienta frente a la funcionalidad de la web para garantizar una experiencia de usuario sin fisuras. El equipo IM&T asesoró sobre la mejor manera de implantar y alojar el sitio web de la Leading Change Toolkit dentro de la estructura del sitio web de RNAO.

Fase 2: Planificación y diseño

El equipo de desarrollo de la Leading Change Toolkit trabajó con una persona especializada en diseño gráfico de RNAO para crear un logo, imágenes inspiradoras y otro material gráfico, imagen de marca, plantillas y colores para la web. El equipo IM&T trabajó con esta persona de diseño para desarrollar maquetas de la página que incorporasen estos conceptos creativos, determinando los requisitos y componentes necesarios para desarrollar y mostrar el contenido y proporcionando información y comentarios sobre los elementos visuales.

Fase 3: Desarrollo y publicación del contenido

El equipo IM&T integró el diseño de la herramienta para asegurarse de que encajase en la infraestructura web actual de RNAO. También desarrollaron distintos elementos y componentes para facilitar la navegación y la visualización del contenido; desarrollaron, integraron y modificaron módulos para mejorar la funcionalidad de la web; y facilitaron demos y formación a los editores web y desarrolladores de herramientas. Una vez que el equipo de desarrollo de la Leading Change Toolkit y el panel de expertos finalizaron el contenido, este se compartió con el editor web para su publicación. El editor web trabajó en estrecha colaboración con el equipo IM&T y los diseñadores gráficos para asegurarse de que se mantenían la funcionalidad del sitio y su diseño. Cada página fue cargada, revisada y aprobada por el equipo de desarrollo y el equipo IM&T.

Fase 4: Integrar la información obtenida de las pruebas de usuarios

El equipo IM&T revisó la navegación, las funciones y el flujo del sitio web de la Leading Change Toolkit tras recibir información de las pruebas de usuarios (véase #7 "Pruebas de usuarios", arriba). El equipo de desarrollo de la Leading Change Toolkit, el equipo IM&T y los diseñadores gráficos se reunieron varias veces para revisar toda la información procedente de las pruebas de usuarios para introducir las mejoras necesarias antes de lanzar el sitio web.

Fase 5: Monitorización, actualización y mantenimiento

La herramienta Leading Change Toolkit es un recurso vivo. Además de la monitorización y el mantenimiento periódicos, seguirá modificándose y actualizándose a medida que se disponga de nuevos contenidos. El equipo de desarrollo de la herramienta Leading Change Toolkit está abierto a los comentarios y sugerencias de los usuarios finales para mejorar su experiencia y participación.

En 2022 – 2023, se introdujeron revisiones en la herramienta para liderar el cambio Leading Change Toolkit para reflejar nuevos componentes Drupal. Se añadieron secciones para dar apoyo a los usuarios finales y reflejar así un viaje hacia el cambio ("Páginas del viaje") en tres momentos: planificar el cambio, hacerlo realidad y mantenerlo. Se añadieron páginas con casos prácticos, herramientas de implantación y herramientas válidas del Marco del Conocimiento a la Acción para mejorar su visibilidad y acceso.