Búsqueda, selección, construcción y priorización de indicadores

Primero se revisaron las últimas versiones de las guías de práctica clínica (GPC) del catálogo maestro del sector salud relativas a prematuridad, asfixia, hipoxia y sepsis^{17,18,19,20,21} para obtener recomendaciones clave basadas en evidencia susceptibles de convertirse en indicadores. La búsqueda de recomendaciones basadas en evidencia para transformar en indicadores es el primer paso y requisito para lograr indicadores válidos. Dada la existencia de varias escalas de gradación de la evidencia y fuerza de recomendación en las GPC, se utilizó un sistema de armonización de la gradación propio.^22,23,24,25 Se seleccionaron las recomendaciones con mayor gradaje (nivel de evidencia A, fuerza de recomendación fundamentalmente A: debe hacerse).

Con el objetivo de identificar indicadores ya existentes en relación con las recomendaciones basadas en evidencia encontradas, o complementarlas en caso de no haber sido identificadas en las GPC, se realizó una búsqueda en repositorios internacionales: National Quality Measures Clearinghouse,²⁶ Indicator Portal de Health & Social Care Information Centre²⁷ y Joint Commission,²⁸ con los términos “neonatal”, “premature”, “asphyxia”, “hypoxia”, “sepsis” y “newborn”. Se identificaron indicadores de calidad para los procesos de diagnóstico y tratamiento hospitalario para los cuatro diagnósticos, que estuviesen basados en evidencia y complementaran los construidos y las recomendaciones de las GPC. De éstos, se incluyeron los indicadores que: a) eran aplicables a neonatos; b) no medían elementos que ya estuvieran medidos como parte de otro indicador más amplio (compuesto de varios aspectos), y c) midieran aspectos adecuados para la monitorización rutinaria (se descartaron indicadores de procesos muy específicos cuya incidencia fuera baja). A continuación se construyeron indicadores para las recomendaciones sobre las que no se encontraron indicadores.

Para reforzar una propuesta de indicadores que se adapten al contexto local, un grupo de trabajo integrado por expertos, tanto en calidad de la atención como en pediatría y en la atención a neonatos, participaron en la definición final de los indicadores de calidad en la atención a neonatos con las patologías seleccionadas para este estudio.

Tanto los indicadores construidos a partir de las GPC como los seleccionados de los repertorios internacionales, traducidos al español, se discutieron adicionalmente con dos neonatólogos ajenos al grupo para confirmar la validez y oportunidad de los indicadores propuestos para el contexto de México.

Desarrollo de fichas técnicas e instrumentos de recolección de datos

Para la descripción de los indicadores se utilizó un formato de ficha técnica estandarizado²⁹ utilizado en estudios anteriores^30,31 para favorecer la obtención homogénea de información de estos indicadores. Los datos se colectaron mediante aplicaciones móviles.

Estudio piloto

Los indicadores e instrumentos de recolección fueron pilotados en dos hospitales materno-infantiles, uno ubicado en la Ciudad de México (HA) y otro en Zacatecas (HB), ambos con expediente clínico en papel. Con el objeto de valorar la factibilidad, fiabilidad y utilidad para detectar problemas de calidad de los indicadores, dos evaluadores independientes revisaron una muestra aleatoria sistemática de 15 expedientes para cada patología, siguiendo la metodología de muestreo de lotes, Lot Quality Assurance Sampling (LQAS),^32,33 útil para aceptar estándares de cumplimiento de 75 y 95% (umbrales de 40 y 70%, respectivamente), ambos con errores α=5% y β=10%.

Para realizar el muestreo se seleccionaron los egresos del año 2014 del Sistema Automatizado de Egresos Hospitalarios (SAEH), correspondientes a los diagnósticos principal y secundarios de las patologías a evaluar, codificados con la Clasificación Internacional de Enfermedades décima versión (CIE-10) descritos en las fichas técnicas.

Análisis de resultados

La factibilidad se define como la facilidad con la que el indicador es medido³⁴ y, por lo tanto, la disponibilidad de acceder y recoger los datos necesarios para esta evaluación.³⁵ Se consideraron factibles los indicadores que pudieran ser evaluados con la información disponible en el hospital. Adicionalmente, se realizó un registro de las dificultades reportadas por los evaluadores a la hora de medir los indicadores.

Para comprobar la fiabilidad de los indicadores extraidos del expediente cuya medición fue factible, se realizó un análisis de concordancia interobservador mediante kappa (κ)³⁶ ajustado por prevalencia y sesgo (PABAK, por su acrónimo en inglés).³⁷ Se interpretaron los resultados con los criterios de Landis y Koch (fiabilidad moderada si κ>0.4, sustancial si κ>0.6 y casi perfecta si κ>0.8).³⁸ Se midió la fiabilidad tanto para los indicadores simples como para cada uno de los componentes de los indicadores compuestos por varios criterios o subindicadores.

Con los resultados del piloto en HA se realizaron mejoras en los instrumentos, antes de realizarlo en el HB. Esta última medición, también por dos evaluadores independientes, se realizó para los indicadores no fiables en el primer piloto y sirvió para refinar las fichas técnicas, si era necesario.

Por último, la utilidad de los indicadores radica en su capacidad para identificar problemas de calidad y variabilidad en las comparaciones entre centros y mediciones.^39,40,41 Esto se puede valorar aplicando la metodología LQAS, la cual permite identificar si cada establecimiento alcanzó satisfactoriamente alguno de los dos estándares de cumplimiento propuestos. No obstante, las dificultades para encontrar los casos previamente seleccionados como tales y las discordancias entre el SAEH y los expedientes clínicos implicó sobremuestrear sistemáticamente, y aún así no se logró obtener la muestra estrictamente necesaria para ser interpretada con los criterios de LQAS. En consecuencia, se optó por estimar los niveles de cumplimiento con base en la muestra conseguida y el respectivo cálculo de los intervalos de confianza exacto binomial a 95%. Adicionalmente, se anotaron los principales problemas de calidad encontrados en relación con la medición de cada indicador.

Construcción y selección de indicadores

La búsqueda, construcción y selección generó 23 indicadores basados en evidencia (figura 1). El proceso inició con 356 indicadores encontrados en repositorios internacionales y 82 recomendaciones clave encontradas en las ocho GPC consultadas. El set priorizado constó de 30 indicadores: 24 construidos a partir de las recomendaciones clave de GPC y seis seleccionados de los repositorios internacionales. La propuesta final, tras las reuniones de priorización tanto internas como con neonatólogos, fueron 23 indicadores: ocho de sepsis neonatal, cinco de asfixia perinatal, uno de hipoxia intrauterina y nueve de prematuridad, incluyendo dos indicadores relacionados con apnea del prematuro y dos con síndrome de dificultad respiratoria (enfermedad de membrana hialina). De este total (cuadro I), 12 son indicadores compuestos (integrados por sub-indicadores) cuyo cumplimiento exige el acatamiento de todos los componentes.

* Revisión documental de repositorios internacionales National Quality Measures Clearinghouse,²⁶ Indicator Portal de Health & Social Care Information Centre²⁷ y Joint Commission,²⁸ y, recomendaciones clave de ocho guías de práctica clínica que abordan los padecimientos de interés (sepsis neonatal, asfixia perinatal, hipoxia intrauterina y prematuridad). Octubre 2015

Figura 1 Búsqueda, selección y priorización de indicadores. México* 

Desarrollo de las fichas técnicas y recolección de datos

Se elaboraron 23 fichas técnicas y siete aplicaciones informáticas para la captura de datos. Los indicadores utilizados en el piloto (cuadro I) se describen en detalle en las fichas técnicas correspondientes.⁴² Diecisiete de los indicadores se midieron con datos registrados en los expedientes clínicos; el indicador de existencia de protocolo de atención específico podría ser comprobado mediante inspección o entrevista; los de lavado de manos mediante observación, y tres indicadores sobre frecuencia de determinadas complicaciones y mortalidad podrían extraerse de las bases de datos existentes.

Estudio piloto

Factibilidad. De los 23 indicadores pilotados, se midieron 12 (cuadro I). Los factores que hicieron no factible la medición de los demás indicadores fueron: a) dificultad para encontrar información, a veces inexistente o localizada en más de un registro (p.e. expediente de la madre o del niño, para los indicadores “Embarazadas de alto riesgo con vigilancia de asfixia perinatal y Aplicación de esteroides en mujeres con parto prematuro” imposibles de asociar de forma inequívoca; b) baja frecuencia de casos para evaluar, y c) ausencia de información mínima necesaria sobre actuaciones realizadas en el hospital, incluyendo la identificación de los casos de prematuros a los que aplica el indicador.

Como ejemplo, muy pocos casos identificados en los que se podía medir el “uso de hierro profiláctico” hicieron que éste indicador se considerara no factible. De igual manera, la codificación CIE-10 para “apnea del prematuro” fue irregular y dificultó la medición del indicador sobre “tratamiento de la apnea del prematuro”. El indicador de “incidencia de la encefalopatía” tampoco pudo medirse con la información de casos del SAEH. Finalmente, en prematuros, la “radiografía en prematuro con dificultad respiratoria” y “uso de succión no nutritiva” no se pudieron evaluar por falta de una indicación precisa en el expediente y quizá porque el médico lo considera como parte del cuidado rutinario de enfermería. Algunos de estos casos podrían considerarse como incumplimiento total, pero no hay suficientes elementos como para afirmarlo de forma inequívoca.

Adicionalmente, en los hospitales hubo diferencias y problemas agregados para identificar los datos en los expedientes. En el HA hubo ausencia de expedientes y desorden en su integración, no así en el HB, que contaba con un médico dedicado exprofeso a la revisión y mejora de la calidad del registro.

Los dos indicadores de lavado de manos, medidos con observación no participativa del personal con acceso a las Unidades de Cuidados Intensivos Neonatales (UCIN), fueron calificados como “no factibles” dada la complejidad de una observación correcta, con todos los pasos y componentes del lavado, y la poca practicidad de su realización en un sistema de monitorización rutinario.

Fiabilidad. La fiabilidad se exploró en nueve indicadores medidos con datos extraidos del expediente clínico, todos factibles. Uno de los posibles datos clínicos a explorar para la identificación oportuna de asfixia perinatal (“identificación depresión de tono muscular/reflejos”) resultó no fiable y se descartó del conjunto de datos clínicos sugestivos de asfixia. El resto de indicadores y subindicadores se consideraron fiables, mostrando PABAK mayoritariamente >0.6 (cuadro II).

Los problemas de fiabilidad más relevantes encontrados durante el piloto estuvieron relacionados con: a) necesidad de interpretación de criterios clínicos para la correcta evaluación de los indicadores -principalmente en sepsis neonatal-, y b) necesidad de datos cuyo registro es inconsistente y, cuando están, son de difícil localización. Así, por ejemplo, los indicadores “diagnóstico correcto de sepsis neonatal”, “inicio de antibiótico correcto en sepsis temprana”, “toma de muestra e identificación de patógeno en sepsis tardía” y un ítem (depresión del tono muscular) de “identificación oportuna de datos clínicos sugestivos de asfixia” presentaron los mayores problemas de fiabilidad en el primer piloto. Para los tres primeros, mejoró la fiabilidad al rediseñar los formatos de recolección aplicados en HB. Sin embargo, el criterio “depresión del tono muscular” como sugestivo de asfixia, con registro inconstante o inexistente en el expediente, no fue fiable y se suprimió, dada su relativa menor importancia frente a los otros síntomas incluidos en el indicador.

Generalmente, las notas médicas escritas a mano eran ininteligibles y dificultaron la medición fiable en ambos hospitales en los que se realizó el piloto.

Utilidad de los indicadores

Los resultados obtenidos en la medición de estos indicadores muestran su utilidad para detectar variabilidad en los niveles de calidad en los dos hospitales del piloto, así como para identificar áreas de calidad deficiente que deberían ser objeto de iniciativas de mejora. Entre ellas destacan algunos indicadores compuestos en ambos hospitales: el “diagnóstico correcto de sepsis neonatal”, con estimación de cumplimiento cercana a 10% por falta de PCR>10 mg/l; “vigilancia de asfixia perinatal”, así como “diagnóstico correcto de asfixia perinatal”, y la “indicación de toma de muestras e identificación de patógeno en sepsis tardías”, con un estimado de 0% de cumplimiento por nulo cumplimiento de alguno de sus subindicadores (cuadro II). Adicionalmente se encontraron diferencias entre los dos hospitales en la constatación de síntomas relacionados con asfixia perinatal (p.e. alteración del ritmo cardíaco), en la vigilancia y control del tratamiento de esta patología (p.e. el control de la uresis c/3 horas), y en vacunación en prematuridad con 0% de cumplimiento en uno de los hospitales, debido a que los prematuros son vacunados al egreso o son referidos a otro servicio para su aplicación. Los mejores resultados en ambos hospitales se dieron para el “inicio de antibiótico en casos de sospecha de sepsis” y en la “identificación de datos clínicos sugestivos de asfixia”, aunque con diferencias marcadas entre hospitales en relación con los signos/síntomas más indagados y registrados. Las bajas cifras de cumplimiento en general se relacionan con una serie de circunstancias o problemas observados en el piloto para cada indicador (cuadro III).

En relación con los indicadores medidos por entrevista o en bases de datos, se verificó que no había protocolos de atención específicos para sepsis en ninguno de los dos hospitales y que la tasa de mortalidad por sepsis (resultado) fue 3.43 y 10.92%, respectivamente para HA y HB.

Propuesta de indicadores

Tras el estudio piloto, se propone un set de nueve indicadores de buenas prácticas válidos y con factibilidad, fiabilidad y utilidad comprobadas (cuadro II). Las fichas técnicas detalladas de los mismos se encuentran accesibles en internet.⁴²

Necesidad de un conjunto de indicadores para evaluar la calidad de la atención en neonatos patológicos

A pesar de la relevancia internacional de la mortalidad perinatal como indicador de los sistemas de salud, en la cual una proporción importante es de neonatos, existen pocos indicadores en los repositorios internacionales para monitorizar la calidad de la atención en las patologías abordadas en este estudio.⁴³ Así, de un total de 356 indicadores potenciales encontrados, sólo seis resultaron aplicables. En consecuencia, casi todos los indicadores priorizados fueron construidos ex professo, con base en 82 recomendaciones con alto nivel de evidencia extraidas de las GPC nacionales. El énfasis está en la calidad de los procesos de atención que conduzca a resultados óptimos, según la evidencia disponible,^15,44 aunque sin renunciar a elementos estructurales y de resultado para completar un set -previamente inexistente- de indicadores válidos, fiables y útiles para identificar oportunidades de mejora en calidad de la atención en las patologías seleccionadas. El set propuesto llena el vacío existente para evaluar las buenas prácticas y puede utilizarse para implementar estrategias de mejora al interior de los hospitales y en las evaluaciones externas de los financiadores de estos servicios, ya sea el programa Seguro Médico Siglo XXI de la CNPSS⁴ u otros similares. La relación existente entre la atención de mala calidad y la mortalidad neonatal está avalada por el nivel de evidencia sustentada en indicadores utilizados y, aunque parcialmente, estudiada en el propio contexto mexicano.⁴⁵

La factibilidad de las actividades de monitorización se encuentra limitada por la calidad de los registros y sistemas de información

Los problemas de factibilidad de medición pueden ser considerados de contexto. En este sentido, algunos de los indicadores del set priorizado, descartados de la propuesta final por problemas de factibilidad, podrían quizás ser medidos en otros contextos. De hecho, se encontró variabilidad en los dos hospitales piloto, en uno de ellos con personal dedicado a la documentación, con registros clínicos mejor ordenados. Sin embargo, abundaron también las deficiencias comunes: desde los problemas de confiabilidad del SAEH y la incompleta, y a veces incongruente, información registrada en expedientes clínicos. Esto obliga a tomar los resultados de los indicadores con cautela a la hora de comparar resultados entre hospitales; por ejemplo, en relación con la mortalidad por sepsis neonatal que refleja mejores resultados en el hospital con peor registro, mientras que en indicadores de proceso en los que la ausencia de registro es considerado como incumplimiento, la medición puede favorecer a los hospitales con mejor registro.

Los problemas de factibilidad de medición de indicadores relevantes por deficiencias en los sistemas de registro parecen ser un problema común en México. Se ha encontrado previamente un estudio realizado en hospitales de alta especialidad pertenecientes a la Comisión Coordinadora de Institutos Nacionales de Salud y Hospitales de Alta Especialidad (CCINSHAE) en el que se seleccionaron indicadores internacionales priorizados por los propios hospitales.³⁰ Los sistemas de información son esenciales para la mejora, la monitorización, la evaluación de intervenciones y la rendición de cuentas a todos los niveles de un sistema de salud.⁴⁶

La fiabilidad de los indicadores debe ser probada antes de utilizarlos

La fiabilidad encontrada en este estudio fue variable. En algunos casos, los bajos índices encontrados en el HA hicieron necesaria la discusión y redefinición de los términos o de la forma de medición de indicadores que alcanzaron así niveles aceptables de fiabilidad en el HB, mientras que otro (“identificación de depresión de tono muscular” como signo de asfixia perinatal) tuvo que ser descartado debido a que requería interpretación por parte de los evaluadores. Estos hechos ejemplifican la necesidad de comprobar la fiabilidad de los indicadores antes de su uso para lograr mediciones consistentes,⁴⁷ modificando aquéllos que se interpreten de forma diversa por parte de los evaluadores y descartando aquéllos en los que no sea posible, ya sea por la deficiente calidad de los registros, una especificación que haga que sean comprendidos y utilizados de forma consistente.

Utilidad de los indicadores propuestos para monitorizar la calidad de la atención a neonatos patológicos

Los indicadores deben ser herramientas que sirvan para detectar variabilidad en la atención prestada, identificar problemas de calidad, controlar los niveles existentes y, eventualmente, comprobar cambios significativos en la realización de un proceso. En el piloto del set propuesto hubo diferencias entre los dos hospitales y se identificaron oportunidades de mejora con tamaños de muestra que dan certidumbre aceptable, según los estándares de cumplimiento utilizados con el LQAS. Por ejemplo, destacan las deficiencias en el diagnóstico de sepsis neonatal, sepsis tardía y asfixia, así como en la vigilancia de asfixia perinatal, debidas a incumplimiento en al menos uno de estos datos que, aunque circunscritos a los dos hospitales piloto, muestran los beneficios potenciales de la utilización de estos indicadores para evaluar los niveles de calidad, interna o externamente, y focalizar estrategias de mejora. Los bajos niveles de cumplimiento, como los encontrados en este estudio para la mayoría de los indicadores, conllevan un potencial impacto negativo en la evolución clínica de las patologías consideradas, tal como se resume en la útima columna del cuadro III.