Introducción
El confinamiento en la actual pandemia por SARS-CoV-2 ha alterado las dinámicas personales y colectivas. La pandemia afecta principalmente las actividades del personal médico -quienes atienden de manera directa a los pacientes-, pero también a los actores políticos -quienes gestionan los programas y planean la distribución de recursos-, ambos esfuerzos dedicados, de manera urgente, a la toma de decisiones para la mitigación de los desenlaces adversos ocasionados por la COVID-19. El desarrollo de políticas y la toma de decisiones en problemas complejos pueden tener la opción de formular una opinión común de expertos de distintas disciplinas.
De acuerdo con la corriente actual de medicina basada en evidencia, los consensos de expertos son el nivel más bajo de los niveles de evidencia propuestos por Sackett hace tres décadas1. Esta perspectiva cataloga los consensos dentro de la categoría V de «opinión» de expertos debido a que se basan exclusivamente en evaluaciones ingenuas o irreflexivas, o basadas en la fisiología, o en investigación teórica2. Este tipo de consensos fueron la regla en el pasado y muchos se publicaron en medios de comunicación masiva oficiales.
El objetivo del presente artículo es describir y presentar una adecuación del método Delphi que contribuya a responder a las necesidades generadas durante el curso de la pandemia de COVID-19. Los consensos que se realicen durante esta contingencia pueden utilizar esta metodología para sistematizar la opinión de expertos, incluyendo la experiencia clínica, que brinda información valiosa al momento de identificar prioridades, desarrollar ideas y planear acciones. Esto es particularmente útil en crisis epidémicas (entre otras urgencias), cuando existe poco conocimiento sobre el fenómeno en cuestión, pero la situación exige tomar decisiones de manera inmediata. El método Delphi es una herramienta de consenso que procura mayor fiabilidad al aplicar estadística como criterio cuantitativo, y además permite incorporar criterios cualitativos que consideren variaciones culturales, regionales y locales para poner siempre el énfasis en el bienestar de aquellos que reciben la atención. Existen también variaciones del método, como la adaptación de discusiones cara a cara, lo que también se conoce como mini-Delphi o Estimación-Hablar-Estimación (ETE: Estimation-Talk-Estimation).
Origen
El método Delphi adquirió su nombre del oráculo de Delfos (Delphi en inglés); en la Grecia antigua, era un santuario consagrado al dios Apolo en el que se desarrolló un sistema de adivinación cuya descripción se ha perdido en la historia antigua. El método Delphi (simplemente lo referiremos como «el método») fue desarrollado durante los años 1950 por Norman C. Dalkey, de la Corporación RAND (Research and Development), para predecir, mediante el consenso entre expertos, el impacto de la tecnología durante la época de guerra. Fue presentado públicamente en el segundo simposio de Long-Range Forecasting and Planning en Alamogordo, Nuevo México, los días 11 y 12 de octubre de 19673. El método descrito incluye a un grupo de expertos anónimos que deben responder un cuestionario y luego reciben retroalimentación en forma de una presentación estadística de las respuestas como grupo. Cuanto más grande sea el grupo, mayor precisión estadística se espera. Este proceso es iterativo y su objetivo es reducir el rango de respuestas para lograr el mayor consenso posible entre los expertos.
Algunas predicciones exitosas, de acuerdo con la misma Corporación RAND, fueron las obtenidas en 1964 durante un consenso con 84 expertos: el avance en medicamentos, la exploración del espacio, la inteligencia artificial y el control del clima. Sin embargo, no están claros los criterios para ser clasificados como éxito, y en cambio otras predicciones fallaron dramáticamente, como el cálculo de una población de 8,000 millones de personas para el año 2100, cuando en la actualidad ya contamos con 7,800 millones de habitantes4.
Nuestro grupo considera que la mayor utilidad del método Delphi no es necesariamente en el campo de la predicción del futuro, por lo que dejaría de funcionar como «oráculo». En lugar de ello, consideramos que este método puede tener mejor desenvolvimiento como herramienta de consenso para la toma de decisiones en la práctica médica y de investigación, favoreciendo a su vez la educación en salud para los profesionistas y la población.
Áreas de utilidad
El método Delphi ha sido empleado en medicina, ciencias sociales, arquitectura, ecología y estudios de mercado5-8. En esta última área se ha visto que el pronóstico es mejor cuanto mayor es el número de rondas realizadas, y con mayor probabilidad de acertar que las decisiones tomadas individualmente9. El método puede ser utilizado con diferentes fines y en distintos ámbitos; por ejemplo, puede contribuir a la organización y la operación de sistemas de gobierno evaluando la capacidad de gestión frente a problemas específicos de interés público10, al diagnóstico y la solución de problemas sociales11, y al diseño de programas y políticas públicas12. Esto adquiere más importancia si las decisiones en una sociedad que se considera incluyente deben tomar en cuenta la decisión de la mayoría, en caso de que hubiera homogeneidad en las posiciones de los integrantes. Sin embargo, si existe una amplia heterogeneidad en los integrantes y se forman grupos con diferentes intereses, hay que buscar el consenso considerando la pluralidad13.
En México, las sociedades médicas tienen el deber cívico de dar recomendaciones prácticas a los asociados, los trabajadores de salud y la población en general, especialmente cuando se trata de temas socialmente y políticamente sensibles, procedimientos quirúrgicos novedosos y poco evaluados, tratamientos médicos dudosos o problemas de salud urgentes que incluyen desde las pandemias hasta la falta de recursos en la atención primaria.
Algunos de los aspectos en que puede ser útil tener un consenso empleando el método Delphi son, por ejemplo, cuándo y cómo abrir las escuelas durante los tiempos de la epidemia de COVID-19 en el país, cómo distribuir al personal de salud y sus nuevas funciones dentro de los hospitales durante la epidemia, cómo distribuir y aumentar los recursos para atender a poblaciones en condiciones marginadas o alejadas de los centros de salud, cómo informar a la población atendida en centros de salud respecto a protocolos para disminuir la propagación del contagio y a sus familiares sobre el cuidado de sus pacientes, o cómo preparar a los hospitales para el manejo de las enfermedades que se tratan cotidianamente (y que continúan generando complicaciones y muertes, como el asma, los problemas neurológicos, la diabetes, la hipertensión arterial y sus complicaciones renales, oculares y cardiovasculares, entre otras) así como para la atención primaria a niños y mujeres embarazadas durante una epidemia.
En este contexto, ¿se puede prevenir el posible desabasto de medicamentos y el de ventiladores mecánicos o el suministro de oxígeno domiciliario para soporte respiratorio? En población abierta, ¿es posible prevenir la falta de alimentos y la conducta de las personas en la acumulación de productos de primera necesidad (incluyendo la escasez del papel higiénico, icono mundial del pánico durante la COVID-19)? ¿Contamos con el personal capacitado para el manejo de los pacientes graves con COVID-19, o de los pacientes con COVID-19 y comorbilidad que habían formado parte del quehacer diario en un centro de salud? ¿De qué forma podemos capacitar al personal de salud durante la pandemia para responder a estas demandas y hacerlo de acuerdo con los conocimientos emergentes sobre la enfermedad?
Es claro que, para buscar solución a estos problemas, el método Delphi es una herramienta que puede contribuir a visualizar una solución; sin embargo, para lograr metas realistas, cada grupo de investigadores debe tener la disposición y contar con los mecanismos sociales y políticos para plantear soluciones y sus mecanismos de ejecución.
Delphi en la salud
El método Delphi se ha utilizado con frecuencia regular en el área médica. Al utilizar sistemas electrónicos en la búsqueda de manuscritos que incluyeran "Delphi" y "México" en diferentes bases de datos de la literatura científica, recuperamos diversos estudios asociados a estos términos. En la tabla 1 se observa el número de registros obtenidos con el algoritmo de búsqueda "delphi AND mexico". Un aspecto fundamental durante el proceso de investigación involucra el conocimiento y el dominio práctico de la literatura científica, así como una estrategia sistematizada para su búsqueda y recuperación14,15. Tener una estrategia de búsqueda sistemática de literatura como la aquí propuesta también puede contribuir a obtener los estudios relevantes para el problema que se aborda. Es posible que durante un proceso Delphi surjan nuevas interrogantes en las rondas subsecuentes, y se requiera nueva información. Las palabras clave (key words) pueden utilizarse con operadores booleanos (AND, OR) y con filtros para acotar el número de resultados (año de publicación, idioma, origen de la publicación). La búsqueda puede iniciar, por ejemplo, con una colección de revisiones, de preferencia acotadas a metaanálisis y revisiones sistemáticas relacionados con el problema que se quiere discutir -ya que este tipo de literatura incluye los estudios de forma exhaustiva y sintética-, y luego pueden buscarse estudios específicos. Esta información debe compartirse con los participantes en la sesión Delphi.
Base de datos | Total registros* |
---|---|
Biblioteca Virtual en Salud | 58 |
Dimensions | 109 |
Lens | 110 |
PubMed | 136 |
Scopus | 100 |
Web of Science | 87 |
*Búsqueda realizada el 11 de agosto de 2020 con los términos "delphi" AND "Mexico".
Una pequeña proporción de dichos estudios recuperados fueron iniciados en México, referidos como parte de la metodología para realizar consensos o guías de manejo clínico, sobre todo en las áreas de gastroenterología y dermatología.
Llegar a un consenso en la práctica médica no es una tarea fácil, ya que puede existir un grupo con intereses particulares que domina la opinión de los demás, ocasionando que se pierdan objetividad y pluralidad. Por supuesto, debe existir voluntad ética, política y académica por parte de los organizadores para promover consensos e incluso aceptar que esto puede retar sus propias opiniones. Una herramienta que puede utilizarse es el método Delphi, nombre esotérico en contraste con nuestros propósitos científicos, pero que ha ganado gran popularidad dentro de las herramientas metodológicas, con 12,056 registros en PubMed desde 1972 (Fig. 1). De estos registros, presentamos un mapa de redes de términos asociados a dicho método, en el que destacan "tratamiento", "evidencia", "guías" y "enfermedad", entre otras vinculadas al campo médico, y que se encuentran en conglomerados bien definidos de acuerdo con el área en que ha sido empleado este método para consensuar la definición y la solución de problemas. Otro conglomerado importante es la educación, en la que destacan "enfermería", "indicadores" y "competencia", que se han utilizado para definir los modelos de la práctica en enfermería.
Un ejemplo de implementación del método Delphi en México es el estudio realizado por Huerta-Iga, et al.16, en el que seis expertos en el manejo de la enfermedad por reflujo gastroesofágico evaluaron el tratamiento endoscópico frente al tratamiento quirúrgico y posteriormente redactaron enunciados que fueron evaluados de manera anónima por un panel de médicos participantes, que los clasificaron en diferentes niveles y fueron aceptados los que cumplieron con alguno de los siguientes: «A: totalmente de acuerdo», «B: acuerdo con reservas menores» o «C: de acuerdo con reservas mayores». Los enunciados con más del 75% «en desacuerdo» fueron eliminados, mientras que los que coincidían con al menos el 75% A, B o C se sometieron a una segunda votación, y se realizaron los cambios pertinentes. Se estableció el nivel de concordancia de cada enunciado aceptado, con lo que se definieron las recomendaciones para el tratamiento de la enfermedad por reflujo gastroesofágico16.
Otro ejemplo de implementación del método es el descrito por Bell, et al.17, quienes realizaron un consenso con los miembros de la Asociación de Cirugía Colorrectal de Australia y Nueva Zelanda para evaluar las técnicas de cirugía abierta, laparoscópica, robótica y transanal mínimamente invasiva, dependiendo de las características tanto del paciente como del tumor. Las conclusiones fueron que todas las técnicas son útiles para el tratamiento del cáncer colorrectal, pero que hay que individualizar el manejo quirúrgico de cada caso para así obtener los mejores resultados. En el estudio se especifica en qué casos se recomienda cada técnica según la opinión de los cirujanos especialistas en el tema.
Se han publicado diversos estudios relacionados con la pandemia de COVID-19, cuyo enfoque va dirigido a generar recomendaciones y consensos internacionales sobre el manejo de la infección y el tratamiento para la enfermedad18.
Por supuesto, además del método Delphi deben considerarse otros métodos alternativos, con menos ventajas, pero que pueden emplearse de acuerdo con los resultados esperados: grupos focales19, votación en listas cortas, reuniones virtuales para discusión abierta, tormenta de ideas, etc. Entre otros menos comunes, pero que pueden ser efectivos, se encuentran el proceso de jerarquía analítica20 y los basados en algoritmos computacionales de predicción analítica20,21.
Procedimiento
Desde su descripción inicial, el método Delphi fue definido por tres características: anonimato, retroalimentación controlada y grupo de respuesta estadística.
El método Delphi debe tener un orden lógico de acuerdo con las metas que se quieren obtener. El problema que se quiere analizar tiene estar claramente definido para elaborar los instrumentos precisos que se utilizarán en la encuesta con los expertos. La elaboración de estos instrumentos es un paso previo que puede hacerse con el mismo método22. Por ejemplo, la Corporación RAND realizó un proceso inicial rápido para definir las preguntas relevantes durante la pandemia de COVID-19 para llegar a un acuerdo inicial que derivó en un instrumento con preguntas precisas para que el personal administrativo, médicos, enfermeras y otros trabajadores de salud en hospitales puedan analizar en qué grado los insumos para atención a pacientes, cantidad de ventiladores, espacio físico, personal de salud capacitado, supervisores y médicos urgenciólogos puedan ser factores con limitantes para mantener la operatividad eficiente en los hospitales.
El orden del proceso Delphi debe analizarse previamente, considerando las metas que se persiguen. Como se deben realizar las preguntas iniciales para consensuar, se sugiere hacer una prueba piloto con herramientas tecnológicas al alcance y evaluar la factibilidad de herramientas fáciles de acceder y operar, la claridad de la pregunta, la exactitud de la respuesta y la recolección de los datos.
Uso de herramientas tecnológicas
Las bibliotecas médicas modernas utilizan instrumentos para evaluar y capturar en forma automatizada datos que facilitan la elaboración de proyectos. Los ingenieros de software han trabajado de la mano con los investigadores del área de la salud en el desarrollo de una serie de programas informáticos que automatizan el proceso de realización, síntesis y presentación de encuestas, sondeos, intercepciones e informes23. Los usuarios finales acceden al software mediante un navegador web e internet, manteniendo, protegiendo y poniendo a disposición el software, los sistemas y los servicios de soporte en un modelo de proveedor de servicios de aplicaciones24.
Existen diversas aplicaciones basadas en el uso de la web para capturar datos en investigación médica/clínica y crear bases de datos. Estas bases de datos se elaboran considerando encuestas y formularios como herramientas de captura del proceso de investigación. De forma general, estos proyectos son bases de datos seguras, que almacenan información altamente confidencial y son autosuficientes, y que se utilizan para la entrada normal de datos o para encuestas que se repiten o se colectan en tiempos distintos25. Además de recopilar datos en tiempo real, pueden exportarlos a programas estadísticos y otros softwares de análisis.
Los programas pueden ser gratuitos -para el público general, la comunidad académica u organizaciones sin fines de lucro- o de pago (Tabla 2). Varios de ellos tienen módulos libres y otros módulos que incluyen más opciones condicionadas a su pago.
Software de encuestas | Web |
---|---|
All our ideas | http://allourideas.org/ |
Crowd Signal | https://crowdsignal.com/ |
Encuesta | https://encuesta.com/ |
Eval&Go* | https://www.evalandgo.com/ |
Google Forms | https://www.google.com/forms/about/ |
LimeSurvey* | https://www.limesurvey.org/en/ |
QuestionPro | https://www.questionpro.com/es/ |
REDCap † | https://www.project-redcap.org/ |
SurveyMonkey* | https://www.surveymonkey.com/ |
SurveyPlanet | https://surveyplanet.com/ |
Survio | https://www.survio.com/es/ |
Zoho Survey* | https://www.zoho.com/survey/ |
SurveyAnyplace‡ | https://surveyanyplace.com/ |
SurveyLegend‡ | https://www.surveylegend.com/ |
TypeForm‡ | https://www.typeform.com/ |
*Las versiones gratuitas tienen un límite de 10 preguntas por encuesta o restricciones de exportación de datos.
†Disponible sin cargo para las organizaciones sin fines de lucro.
‡Uso solo mediante pago.
Por otro lado, en este mismo contexto de la pandemia de COVID-19, será de importancia práctica el protocolo de manejo de pacientes que presenten la enfermedad y además tengan una complicación quirúrgica. En la tabla 3 se ofrece un ejemplo de las preguntas en las que se pueden hacer iteraciones.
Primera iteración: |
Q1. Escriba tantas sugerencias como desee para responder: ¿Cuáles deben ser las medidas de prevención en una sala quirúrgica ante la presencia de pacientes de urgencia que no han recibido pruebas para COVID-19? |
Segunda iteración: |
Considerar las respuestas obtenidas en Q1. |
Q2. Califique esta lista de 10 medidas preventivas (que se obtuvieron en la primera ronda) para atender pacientes quirúrgicos en urgencia. Utilice calificación de 10 para la más importante y 1 para la menos importante. |
Respuestas del grupo: |
Calcular los promedios y las desviaciones estándar de las dos rondas precedentes. |
Q3.De acuerdo con las calificaciones presentadas, ¿desea modificar su calificación anterior? Esto es completamente opcional. |
Fases en un proceso Delphi
La secuencia para esquematizar posibles fases en un proceso Delphi (Fig. 2) tiene suficiente flexibilidad y se puede modificar de acuerdo con la creatividad misma de los investigadores.
Fase preparatoria
SELECCIÓN DE EXPERTOS
Se puede definir la selección de los expertos de acuerdo con criterios de inclusión que impliquen: 1) trayectoria académica o profesional destacada en su área específica; 2) interés académico demostrado en el área de su conocimiento o tema en cuestión; 3) experiencia en la toma de decisiones; y 4) participación en algún programa relacionado con temas que se analizarán26. El tamaño de muestra de los expertos es variado y depende de la extensión del estudio, aunque de manera general se espera mayor precisión estadística cuanto mayor sea el número de participantes27.
DETERMINACIÓN DE OBJETIVOS Y ELABORACIÓN DEL CUESTIONARIO
Las preguntas del cuestionario tienen que ser formuladas con la mayor claridad posible desde el inicio y estar referidas a los objetivos planteados. Deben considerar variables de interés y elementos que puedan afectarlas. En principio, pueden ser exploratorias o tener más de una respuesta posible; inicialmente pueden elaborarse preguntas abiertas para después proponerse con respuestas cerradas, por ejemplo mediante una escala Likert o de opción múltiple28.
Fase de consulta
REALIZACIÓN DE LA RONDA DE CONSULTA
Se puede realizar una primera ronda y se da un tiempo definido para responder la encuesta, permitiendo a los expertos familiarizarse con el instrumento. El número de preguntas es variado; existen encuestas con solo unas pocas y otras pueden llegar a tener un centenar que abarquen diferentes áreas temáticas, dependiendo de la complejidad y la exhaustividad del estudio29,30.
La flexibilidad y la apertura de preguntas en esta fase, así como la diversidad de conocimientos de los expertos según sus especialidades y trayectorias, permiten incorporar las variables de interés y explorar factores asociados para tener un acercamiento exhaustivo al problema.
PROCESAMIENTO ESTADÍSTICO DE LOS RESULTADOS DE LA RONDA
Las preguntas cerradas o abiertas pueden analizarse en forma estadística. En general se utiliza estadística descriptiva, en la cual los resultados pueden expresarse como porcentajes, con la finalidad de que los participantes puedan ver claramente si existe o no consenso en las respuestas. Puede definirse un porcentaje de consenso a priori, como por ejemplo que haya acuerdos por arriba del 75% y definir desde el principio cómo se procesarán las preguntas con respuestas perdidas. También pueden estipularse puntajes para los ítems, de los cuales obtener medidas de tendencia central y posteriormente aplicar técnicas de análisis paramétricas o no paramétricas para identificar tendencias en las respuestas26.
RETROALIMENTACIÓN DE LOS RESULTADOS DEL PROCESAMIENTO DE LAS RESPUESTAS
El equipo investigador puede reformular las preguntas del cuestionario para realizar una segunda ronda (y más rondas de acuerdo con el protocolo), pero intentando hacer preguntas cerradas en aquellas en las que no exista previamente consenso y que podrían irse precisando conforme el pasar de las rondas. En el apartado anterior comentamos que debe definirse un criterio de consenso a priori con las preguntas cerradas en las que no exista un claro consenso. En nuestra experiencia, existe una curva de aprendizaje en la que generalmente al inicio no se comprende cómo se deben priorizar las respuestas, por lo que es recomendable que se realice una ronda más de las contempladas a priori. Cuando es necesario priorizar alternativas, se puede hacer dando un cálculo de porcentaje en los que se encuentran entre las primeras tres o cinco prioridades31,32.
Fase de resultados
DETERMINACIÓN DEL CONSENSO
La fase de resultados puede iniciar con los resultados de la primera ronda. Por ejemplo, se puede presentar el cálculo del porcentaje de panelistas que estuvieron de acuerdo en cada una de las rondas. Además, deben describirse los tópicos y las preguntas en los que hubo desacuerdo y la forma en que fueron modificados.
En las rondas posteriores se puede explicar qué preguntas de la primera ronda fueron repetidas, en cuáles fue necesario realizar nuevamente la priorización y los porcentajes obtenidos de acuerdo con los tópicos de interés, así como las precisiones o reformulaciones de preguntas.
INFORME DE RESULTADOS
El informe de los resultados debe ser una de las metas en las que se invierta el tiempo necesario y suficiente que permita su redacción clara y con el sustento de las conclusiones. Dentro del informe deben explicarse los objetivos, los tópicos analizados y la selección de los participantes (con los criterios de inclusión y exclusión), así como una recopilación de la tasa de respuesta30.
Deberá hacerse una síntesis de los principales tópicos y de los acuerdos obtenidos con base en el criterio de consenso establecido a priori, así como un reporte de las principales dificultades observadas, ya sea para el diseño del cuestionario o para lograr el acuerdo entre los participantes. También pueden reportarse los elementos importantes incorporados al instrumento a partir de las respuestas abiertas dadas inicialmente por los participantes, y si hubo precisiones agregadas al objetivo dada esta información33.
Fortalezas del método Delphi
Toda evidencia científica, los protocolos y los hábitos de práctica médica requieren una revisión crítica, y debe hacerse énfasis en la metodología descrita en los estudios para analizar su reproducibilidad. Los lectores deben discernir cuáles de ellos alcanzan calidad suficiente para que influyan en la práctica clínica.
Desde la adopción de la cultura de la medicina basada en la evidencia hay mejoras en la práctica clínica y mayor peso en la metodología y el tratamiento estadístico, pero es posible caer en la trampa de dejar de lado la opinión de un grupo de expertos: la medicina basada en la eminencia, con conocimiento útil para la práctica clínica34. El método Delphi puede reforzar los principios del uso consciente y con rigor de la mejor evidencia para realizar decisiones en el cuidado del paciente35. De esta forma contribuye a la interpretación estadística y metodológica de los estudios, dando un carácter de relevancia clínica con base en la experiencia y las condiciones contextuales que pueden incidir en el desarrollo o la aplicación de una intervención. Así, los consensos bien conducidos se vuelven importantes para clasificar adecuadamente lo que consideramos como «evidencia» y «significancia clínica».
El método también puede ser útil para realizar investigación científica; en primer lugar, para lograr una mayor comprensión de un problema real, a partir de diferentes perspectivas. De esta forma se estaría logrando una mejor definición de la pregunta de investigación. En segundo lugar, para llegar a un nivel de acuerdo en temas de interés sobre lo que no se dispone de información concluyente, lo que define a esta técnica como una herramienta de investigación organizativa36. El potencial para llegar a un escenario consensuado sobre cómo dirigir la investigación en el país permitiría una democratización de los servicios de salud y la utilización asertiva del erario público dirigido a la investigación eficiente.
Limitaciones y peligros potenciales
Entre las limitaciones del método Delphi se encuentran la vaguedad del concepto de «experto» que participa en la evaluación o la respuesta a las preguntas formuladas. El método requiere la participación de expertos en la materia, lo que se considera esencial para validar el estudio. Se sugiere que los investigadores deben seguir un criterio objetivo para seleccionar los expertos y aceptar sus recomendaciones.
En segundo lugar, hay que evitar hacer preguntas a la ligera, o que sean ambiguas o que simplemente no respondan a la meta que se persigue. Las presiones debido a las fechas de entrega o los intereses secundarios de grupos que pueden obtener ganancias son una posibilidad real. Para disminuir este problema se debe invitar a participar a personas con ética e interés genuino en buscar soluciones. Las reuniones para analizar los resultados son importantes para intercambiar puntos de vista, precisar la información y tomar decisiones que pueden modificar el protocolo.
La virtud del método Delphi es buscar un consenso entre los participantes, pero también puede ser un problema mayor. En varios artículos, los autores no definen cuándo se llega a un consenso o qué se hará si este no se logra. En caso de haberse definido un criterio para el consenso, de acuerdo con la literatura, este puede variar entre > 50% y el 100%, lo que también da paso a ambigüedades respecto a qué nivel de acuerdo es el adecuado o resulta confiable.
Finalmente, una cuarta limitante es la falta de análisis estadísticos elementales, con técnicas deficientes para resumir y presentar las respuestas del grupo coordinador, lo que podría empobrecer la visión del grupo. Esto se convierte en sujeto de críticas para dar soporte a la reproducibilidad y la validez de los resultados. Por ello, los análisis iniciales deben ser lo más simples y directos que sea posible, y los investigadores deben tener acceso durante el proceso a los resultados. Los grupos de expertos y el de coordinación deben asumir un papel reflexivo, flexible, pero riguroso, y que permita la apertura a una variedad de opiniones36, e incluso sugerimos que se debe cuantificar y cualificar activamente el desacuerdo.