Metodología de investigación en educación médica

 

Síntesis de la evidencia en educación para la salud

 

Synthesis of evidence in health education

 

Herney Andrés García-Perdomo¹

 

¹ Docencia en la Universidad del Valle, Dirección Grupo Asociado Cochrane Universidad del Valle, Cali, Valle, Colombia

 

Correspondencia:
Carrera 38 N° 9A oeste-50,
Cali, Valle, Colombia.
Celular: (+57) 321 2195102.
Correo electrónico: herney.garcia@correounivalle.edu.co

 

Recepción 5 de enero de 2014.
Aceptación 27 de marzo de 2014.

 

Resumen

La revisión sistemática (RS) de la literatura es la evaluación sistemática y explícita de la literatura, a partir de una pregunta clara de investigación, junto a un análisis crítico de acuerdo a diferentes herramientas y un resumen cualitativo de la evidencia. Al existir datos duros, claros y homogéneos es posible la realización de un análisis estadístico denominado "meta-análisis" (MA). Las RS deben presentar los siguientes aspectos: una pregunta de investigación clara y basada en la estrategia "Población, Intervención, Control, Desenlace" (PICO), una estrategia de búsqueda clara y reproducible, la selección apropiada de los estudios junto a la extracción de sus datos, la evaluación de la calidad de la evidencia con alguna de las diferentes herramientas y, si existen datos duros y homogéneos, se podrá realizar un meta-análisis. Las RS de la literatura/MA son un apoyo fundamental para la toma de decisiones tanto en el área clínica como en la educativa; además para el desarrollo de políticas públicas en todas las áreas de conocimiento.

Palabras clave: Meta-análisis; revisión sistemática; revisión; síntesis de evidencia; Colombia.

 

Abstract

The systematic review of the literature is the explicit and assessment of the literature, derived from a clear research question, along with a critical analysis according to different tools and a qualitative summary of the evidence. If clear and homogeneous data are found then it is possible to perform a statistical analysis called "meta-analysis". Systematic reviews should cover the following: Have a clear question based on the PICO strategy, a reproducible search strategy, appropriate selection of studies along with data extraction, assessment of the quality of evidence with some of the different tools and a meta-analysis if it is appropriate. Systematic literature reviews/meta-analyzes are a fundamental support for decision-making in the clinical area and in education, in addition to the development of public policies in all areas of knowledge.

Keywords: Meta-analysis; systematic review; review; evidence synthesis; Colombia.

 

Introducción

El crecimiento de la literatura mundial en los últimos años ha sido exponencial, predominantemente los experimentos y las revisiones sistemáticas (RS), considerados la mejor evidencia disponible.^1,2

Las RS son estudios analíticos que comprenden la evaluación exhaustiva, protocolizada, sistemática y explícita de la literatura, a partir de una pregunta clara de investigación, una metodología explícita, un análisis crítico de acuerdo a diferentes herramientas y un resumen cualitativo de la evidencia. Cuando al finalizar la RS se encuentran datos duros, claros y homogéneos (principalmente, aunque se podría realizar con datos heterogéneos, se verá más adelante), es posible la realización del análisis estadístico denominado "meta-análisis" (MA).^1,3

Las RS de la literatura/MA son investigaciones originales cuya unidad de análisis son los estudios o investigaciones primarias, son datos más que pacientes, por este motivo también son contempladas como investigación secundaria, pero siempre debe ser consideradas investigación original, ya que claramente utilizan el método científico para la resolución de una duda planteada.^2,3 Las RS reúnen de una manera metódica toda la evidencia disponible con unos criterios de elegibilidad establecidos, con el objetivo claro de responder a una pregunta específica; sus métodos son explícitos, de tal manera que se minimizan los sesgos.^1,4,5

Frecuentemente, la RS se confunde con el MA, sin embargo, se debe aclarar que el MA consiste en la aplicación de métodos estadísticos para resumir los efectos de las intervenciones.^1,6

Como todo proceso de investigación, se sugiere la realización de un protocolo claro y conciso⁷ en el que se plantea el fundamento de la revisión, la pregunta, los criterios de inclusión/exclusión, la estrategia de búsqueda junto a la metodología explícita y el plan de análisis.^2,3,8 Este protocolo debería ser registrado ya sea en Cochrane, Campbell o en la primera página de registro de RS/MA desarrollada por la Universidad de York (http://www.crd.york.ac.uk/prospero/), de tal manera que al realizar la publicación de la RS, los pares puedan constatar que se realizó lo que estaba planificado.

 

Tipos de revisiones sistemáticas

Las RS de estudios de intervención es el tipo más utilizado y avanzado en la actualidad, no obstante, se han desarrollado técnicas para la evaluación de la evidencia de los diferentes tipos de estudio, de tal manera que se puede sintetizar para responder a todo tipo de preguntas de investigación: intervención/efectividad, métodos diagnósticos, factores de riesgo o pronóstico, efectos adversos, revisión de revisiones y en MA en red.^1,9

En educación hay ciertas particularidades interesantes: generalmente las intervenciones educativas son basadas en la opinión de expertos, revisiones narrativas o experiencias personales,¹⁰ sin embargo, durante los últimas décadas, diferentes iniciativas se han desarrollado para implementar una educación médica basada en evidencia.^10,11 Se considera que se requiere una orientación clara de nuestras decisiones educativas utilizando la mejor evidencia disponible, de tal manera que los estudiantes obtengan lo sobresaliente del ámbito educativo.¹¹

En 1998 en Praga, se generó un plan de acción con visión futurista, en el que se generó la Best Evidence Medical Education (BEME) Collaboration cuyo objetivo fundamental es la realización de revisiones sistemáticas en educación para la salud.^11-13 La BEME es la aplicación de los métodos educativos basados en la mejor evidencia disponible,¹⁰ su impacto ha sido demostrado en diferentes publicaciones, pero existen elementos importantes a discutir, por ejemplo:¹¹

1. El impacto de las intervenciones en educación es generalmente sutil y no siempre aparente, sin embargo, generalmente es a largo plazo.

2. La poca importancia que se le ofrece a la práctica y las intervenciones educativas.

3. Los productos de investigación educativa no están fácilmente al alcance de los profesionales médicos.

4. No hay costumbre acerca de la investigación cualitativa o mixta en la educación médica.

La educación basada en evidencia permite a los profesores adoptar dos conceptos importantes:¹⁰

1. Lectura crítica de la literatura disponible y categorización del poder de la evidencia.

2. Identificar los baches existentes y sugerir estudios para hacer intervenciones educativas basadas en evidencia.¹⁴

En educación, las RS son un elemento emergente y de crecimiento progresivo, dado que hay mayor producción de experimentos con asignación aleatoria que van a ser la base de las RS en esta área.¹¹ Algunos elementos importantes de las RS en educación se describen a continuación de acuerdo a Sánchez-Mendiola (2012), Wolf (2000)¹⁵ y Wolf, Shea & Albanese (2001):¹⁶

• Es un proceso un poco más complejo.

• Los registros y bases de datos de estudios originales, así como las bases de datos primarias y secundarias son muy útiles.

• Múltiples audiencias con diferentes necesidades de evidencia.

• La implementación de la evidencia puede ser difícil.

• La evidencia publicada usualmente es insuficiente para tomar decisiones, lo importante es el contexto y la crítica.

• Mejoran la calidad de las investigaciones primarias y sugieren los sitios donde están las brechas del conocimiento.

• Existen diferentes tipos de estudio (no sólo experimentales) que nos permiten resolver preguntas de investigación en educación.

• El rigor metodológico en educación debe aceptar la investigación cualitativa o mixta dado que las intervenciones educativas no son fácilmente definibles y replicables, a diferencia de la investigación en otros ámbitos clínicos.¹⁷

Una síntesis de evidencia en educación debe representar críticamente la variedad de la literatura que existe en el tema, identificar los vacíos en el conocimiento y generar una guía para nuevo conocimiento.¹⁸

El punto más importante de una RS es precisamente este último elemento, su proceso sistemático, de otra manera, todo será sesgado y por ende, de acuerdo al concepto del autor;¹⁸ debe existir debate dado que son diferentes conceptos, pero siempre fundamentado en la mejor evidencia disponible.

 

Realización de la RS/MA paso a paso

Para la ejecución de una correcta RS se requiere cumplir con los siguientes pasos:^1-3

• Pregunta de investigación, ha de ser clara y basada en la estrategia "Población, Intervención, Control, Desenlace" (PICO).

• Estrategia de búsqueda clara y reproducible (no limitada a una base de datos, ni a un idioma).

• Localización y selección de los estudios.

• Extracción de datos.

• Evaluación de calidad de evidencia (herramienta de riesgo de sesgo, GRADE, otras).

• Análisis y presentación de los resultados.

• MA (efectos fijos y efectos aleatorios, meta-regresión, evaluación de la heterogeneidad y sensibilidad).

 

Desarrollar una excelente pregunta de investigación

En la literatura y en la práctica profesional existe una gran cantidad de información que en la mayoría de oportunidades, genera una cantidad de preguntas que difícilmente podrán ser respondidas dado que frecuentemente no son claras y están mal enfocadas, de tal manera que para la realización de una RS, se debe formular una pregunta, concisa, clara, y enfocada.^1,2,19 Esta se debe enfocar en 4 elementos básicos denominados por la sigla PICO:

• Población o problema.

• Intervención.

• Comparador.

• Outcome o desenlace.

Si se quiere ser más específico, podría incluirse temas como el tipo de estudio (S) y el tiempo al cual se quiere obtener el desenlace (T), por tanto la sigla sería PICOST.

 

Estrategia y búsqueda de la literatura

Existen múltiples bases de datos que reúnen la información, entre las más importantes y nombradas están: MED-LINE, EMBASE, CENTRAL, en éstas se condensan la mayoría de los artículos, usualmente la mejor evidencia disponible.^1,20,21 No obstante, existen otros sitios de origen de la información,²⁰ como por ejemplo: National Guideline Clearinghouse, The Cochrane Collaboration, The Campbell Collaboration, Clinical Evidence, ACP Journal Club y Database of Abstracts of Reviews of Effects (DARE).

Las bases de datos médicas o educativas (por ejemplo, MEDLINE o Education Resource Information Centre, ERIC), tienen adecuados encabezamientos por materias, sin embargo la indexación no es completa ni adecuada para los artículos de investigación en educación en salud.²² Generalmente, las bases de datos en las que se sugiere buscar, además de las ya nombradas son: ERIC, British Education Index (BEI), PsycINFO (Psiquiatría y Psicología), Research and Development Resource Base (RDRB) www.cme.utoronto.ca/rdrb, Topics in Medical Education (TIMELIT) www.timelit.org, entre otros elementos importantes en todo proceso de síntesis de evidencia como son: expertos en el área, búsqueda manual de referencias y búsqueda de literatura gris.^22,23

Por otro lado, se debe definir una estrategia de búsqueda clara, sensible y a la vez específica para la pregunta de investigación.^24-26 A continuación, se describirán algunos pasos generales para desarrollarla:^2,26

• Determinar una pregunta clara (PICO).

• Definir los términos MeSH, Emtree y libres (de acuerdo a cada base de datos) para cada uno de los ítems de PICO.

• Identificar sinónimos y diferentes formas de escritura y mal escritura de los términos.

• Combinar lógicamente cada término: las palabras dentro de cada ítem (PICO) deben combinarse con el operador booleano "OR" y entre ítems deben combinarse con el operador "AND".

• Ejecutar la estrategia.

La estrategia de búsqueda no es un elemento que desde el primer momento queda definido, hay que hacer múltiples intentos y asesorarse muy bien con personas expertas en el tema, como por ejemplo los bibliotecarios en caso de ser nuevo en este aspecto.

 

Selección de estudios

Se sugiere que al menos dos de los investigadores identifiquen y seleccionen de manera independiente y ciega los títulos y resúmenes obtenidos en las búsquedas electrónicas, con ellos se creará un conjunto de estudios elegibles. Posteriormente, se obtendrán los artículos completos y de manera independiente (al menos dos investigadores), se evaluará el cumplimiento de los criterios de inclusión basados en PICO. Se debe listar los estudios excluidos y las razones de dicha exclusión.^1,2,9

 

Codificación de la información

Al menos dos de los investigadores extraerán los datos de manera independiente, para ello se usará un formato estándar,^1,2 en el que se condensarán las siguientes variables: detalles del estudio, de los participantes, de la intervención, exposición o método diagnóstico, del comparador, los desenlaces y algunas notas necesarias para tener una idea general del estudio.

Los desacuerdos entre los dos autores, al evaluar la elegibilidad, la calidad y los datos extraídos, serán resueltos por medio de una discusión hasta llegar a un consenso. En aquellos casos donde persista el desacuerdo, un tercer autor evaluará y generará su concepto. En caso de información poco clara o faltante, se debe establecer contacto con los autores para obtener la información faltante.¹

 

La evaluación de la evidencia

Múltiples son las herramientas que se han generado para evaluar la evidencia, la escala de Alejandro Jadad, la guía para la evaluación de los estudios de JAMA, la reciente herramienta de riesgo de sesgo de Cochrane o la herramienta GRADE para evaluar la calidad de la evidencia e incluso para generar recomendaciones. Todas y cada una de ellas sirven para un tipo diferente de estudio, por ejemplo algunas son para experimentos, otras para estudios observacionales, algunas para métodos diagnósticos y otras como GRADE son herramientas muy bien fundamentadas que evalúan la calidad y ayudan a generar recomendaciones,^27,28 no obstante, ellas están diseñadas para estudios clínicos.

Los experimentos controlados y aleatorizados continúan siendo la mejor evidencia disponible, sin embargo son poco utilizados en educación médica, de tal manera que es difícil hacer RS de este tipo de estudios. En educación médica se cuenta con estudios observacionales y cuasiexperimentales importantes, rigurosos y robustos que ayudan a sacar conclusiones e identificar los vacíos de conocimientos en esta área.²³

Esto nos introduce al punto fundamental de la evaluación de la calidad de los artículos, en la que se encuentran diferentes herramientas de evaluación de artículos, sin embargo en educación médica sugieren realizar las preguntas relacionadas con cada uno de los aspectos en el desarrollo del artículo, que se presentan en la Tabla 1.²³

 

Análisis de los resultados

Diferentes programas estadísticos ayudarán en el análisis de los datos obtenidos de la RS, entre los más nombrados están: Review Manager (RevMan^®), que es un software estadístico creado por la Colaboración Cochrane para la realización de RS y la generación de MA,¹ éste tiene la ventaja que permite el desarrollo completo de la RS así como el MA, y además el desarrollo de diagramas agradables a la vista y de buena calidad, interactúa con diferentes programas como GRADEpro para la generación de las tablas de resumen y evaluación de la evidencia (GRADE). Entre otros se encuentran: Stata^®, un programa estadístico supremamente poderoso, al cual le agregaron algunos plug-ins para realizar análisis de efectos fijos, aleatorios, meta-regresión, entre otros elementos. Los programas R^®, Comprehensive Meta-análisis^® (CMA), WinBugs^®, entre otros, todos utilizados con excelentes desenlaces.^3,9

Al tener los resultados, los datos dicotómicos serán presentados y comparados usando riesgos relativos (RR) u Odds Ratios (OR) con su correspondiente intervalo de confianza (IC); y los datos continuos, se presentarán con medias aritméticas y desviaciones estándar (DE), será combinada la diferencia entre las medias de los estudios experimentales, para calcular la diferencia ponderada (o la estandarizada de medias, si diversas escalas de medición han sido utilizadas).¹

Previamente se consideraba que sólo si existía homogeneidad estadística se debía considerar realizar un MA, de tal manera que se utilizaba un modelo de efectos fijos, sin embargo en la actualidad se considera que aún existiendo heterogeneidad estadística, podría considerarse un MA; se debe tener cuidado con la variabilidad existente entre los diferentes estudios en relación a su población, sus intervenciones, etc.^1,9

Finalmente, al sintetizar la evidencia es importante resaltar que en educación médica se encontrarán estudios muy heterogéneos, de tal manera que será muy complejo y no recomendado la utilización de métodos estadísticos, de tal manera que se sugiere una síntesis cualitativa de la evidencia.²³ Se recomienda entonces, una descripción narrativa, tal vez organizarla en grupos, de tal manera que el lector pueda revisar las similitudes y diferencias entre los estudios. Uno de los ejemplos más aceptados es el deTaylor R,²⁹ quien clasifica en amplias categorías incluyendo: conocimiento, actitudes, destrezas y comportamiento.

De acuerdo a Reed (2005), se podrían utilizar las tablas para mostrar: qué funciona (teorías, objetivos de aprendizaje, intervenciones y métodos de enseñanza), a quiénes (grupo blanco de estudiantes), bajo cuáles circunstancias (intervención, situación, localización, duración y frecuencia) y para qué fin (desenlaces deseables).²³

 

Análisis estadístico: MA

Las pruebas estadísticas no pueden compensar por la carencia de sentido común, ni la adecuada utilización ni interpretación de los métodos.³⁰ De tal manera que su uso debe ser medido y aplicado con el mejor criterio posible.

El MA puede ofrecer el estimado del efecto, la mejor medida de resumen, sin embargo no puede mejorar los problemas (sesgos) que tengan los estudios primarios,^30,31 de tal manera que si las deficiencias son importantes, se sugiere sólo hacer una síntesis cualitativa de la evidencia sin utilizar técnicas estadísticas.

En la actualidad, el MA y todas las técnicas de síntesis de evidencia son bienvenidas y utilizadas en educación médica, pero más aún serán utilizadas en un futuro dado que la evidencia en esta área continua en expansión y se incrementa la producción de estudios experimentales, que podrían ser susceptibles de un resumen cuantitativo de la evidencia.³⁰

Los modelos usualmente utilizados para el MA son:

• Modelo de efectos fijos: se trata de una prueba estadística que asume que las diferencias entre los estudios son solamente debidas al azar. En este modelo pueden usarse estimaciones como: Mantel-Haenszel (preferido), inverso de la varianza o Peto.^1,9,32

• Efectos aleatorios: se trata de un método estadístico que toma como hipótesis que la variación entre los estudios no es solamente debida al azar, sino que existen otras razones por las cuales puede presentarse la heterogeneidad. Frecuentemente denominado DerSimonian and Laird: utiliza el método del inverso de la varianza y Mantel-Haenszel.³²

Cuando los estudios son homogéneos, el método de efectos fijos y el de efectos aleatorios, ofrecen resultados similares, sin embargo cuando existe heterogeneidad, el IC se hará mayor con el método de los efectos aleatorios.^1,9

 

Conclusiones

Las RS de la literatura/MA han tenido un crecimiento exponencial en los últimas décadas, dado que son un apoyo fundamental para la toma de decisiones tanto en el área clínica como en la educativa; ellas permiten de una manera sencilla y metódica, solucionar problemas que se dan en el quehacer diario. La síntesis de evidencia es también una herramienta fundamental para el desarrollo de políticas públicas en todas las áreas de conocimiento.

 

Financiamiento

Ninguno.

 

Conflicto de intereses

Los autores declaran no tener ningún conflicto de interés.

 

Presentaciones previas

Ninguna.

 

Referencias

1. Higgins J, Green S. Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [Internet]. The Cochrane Collaboration; 2011. Available from: www.cochrane-handbook.org.         [ Links ]

2. Centre for Reviews and Dissemination. Systematic Reviews: CRD's guidance for undertaking reviews in health care. First. University of York, editor. York: Centre for Reviews and Dissemination; 2009.         [ Links ]

3. Ferreira González I, Urrútia G, Alonso-Coello P. Systematic reviews and meta-analysis: scientific rationale and interpretation. Rev española Cardiol [Internet]. 2011 Aug [cited 2013 Dec 20];64(8):688-96. Available from: http://www.ncbi.nlm.nih.gov/pubmed/21719182.         [ Links ]

4. Antman EM, Lau J, Kupelnick B, Mosteller F, Chalmers TC. A comparison of results of meta-analyses of randomized control trials and recommendations of clinical experts. Treatments for myocardial infarction. JAMA [Internet]. 1992 Jul 8 [cited 2013 Dec 26];268(2):240-8. Available from: http://www.ncbi.nlm.nih.gov/pubmed/1535110.         [ Links ]

5. Oxman AD, Guyatt GH. The science of reviewing research. Ann N Y Acad Sci [Internet]. 1993 Dec 31 [cited 2013 Dec 26];703:125-33; discussion 133-4. Available from: http://www.ncbi.nlm.nih.gov/pubmed/8192290.         [ Links ]

6. Glass G. Primary, secondary and meta-analysis of research. Educ Res. 1976;5:3-8.         [ Links ]

7. Steering group from The Campbell Collaboration. Guidelines for preparation of review protocols [Internet]. Oslo: The Campbell Collaboration; 2001. Available from: www.thecampbellcollaboration.org.         [ Links ]

8. Beltrán O. Revisiones sistemáticas de la literatura. Rev Colomb Gastroenterol. 2005;20(1):60-9.         [ Links ]

9. Sutton AJ, Higgins JPT. Recent developments in meta-analysis. Stat Med. 2008;27:625-50.         [ Links ]

10. Harden R, Grant J, Buckley G, Hart I. BEME guide No 1: Best evidence medical education. Med Teach. 1999;21(6):553-62.         [ Links ]

11. Sanchez-Mendiola M. Educación médica basada en evidencias: Ser o no ser? Inv Ed Med. 2012;1(2):82-9.         [ Links ]

12. Harden R, Grant J, Buckley G, Al E. Best evidence medical education. Adv Heal Sci Educ Theory Pr. 2000;5(1):71-90.         [ Links ]

13. Hart I. Best evidence medical education (BEME): a plan for action. Med Teach. 2000;22(2):131-5.         [ Links ]

14. Hart I. Editorial: Best evidence medical education. Med Teach. 1999; 21(5):453- 454.         [ Links ]

15. Wolf F. Lessons to be learned from evidence-based medicine: practice and promise of evidence-based medicine and evidence based education. Med teach. 2000; 22(3):251-9.         [ Links ]

16. Wolf F, Shea J, Albanese M. Toward setting a research agenda for systematic reviews of evidence of the effects of medical education. Teach Learn Med. 2001; 13(1):54-60.         [ Links ]

17. Norman G. Refelections on BEME. Med Teach. 2000; 22(2):141-4.         [ Links ]

18. Eva K. On the limits of sistemacity. Med Educ. 2008; 42:852-3.         [ Links ]

19. Akobeng AK. Understanding systematic reviews and meta-analysis. Arch Dis Child [Internet]. 2005 Aug [cited 2013 Dec 30]; 90:845-8. Available from: http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=1720526&tool=pmcentrez&rendertype=abstract        [ Links ]

20. Fletcher R, Fletcher S. Clinical Epidemiology. The essentials. 4th ed. Philadelphia: Lippincott Williams and Wilkins; 2005.         [ Links ]

21. ICJME. Uniform Requirements for Manuscripts Submitted to Biomedical Journals [Internet]. International Committee of Medical Journal Editors; 2010. Available from: www.icmje.org.         [ Links ]

22. Haig A, Dozier M. BEME guide No 3: systematic searching for evidence in medical education - Part 1: sources of information. Med Teach. 2003;25(4):352-63.         [ Links ]

23. Reed D, Windish D, Wright S, Gozu A, Hsu E, Al E. Challenges in systematic reviews of educational intervention studies. Ann Intern Med. 2005;142:1080-9.         [ Links ]

24. Golder S, Mcintosh HM, Duffy S, Glanville J. Developing efficient search strategies to identify reports of adverse effects in MEDLINE and EMBASE. Health Info Libr J [Internet]. 2006 Mar;23(1):3-12. Available from: http://www.ncbi.nlm.nih.gov/pubmed/16466494.         [ Links ]

25. Robinson K a, Dickersin K. Development of a highly sensitive search strategy for the retrieval of reports of controlled trials using PubMed. Int J Epidemiol [Internet]. 2002 Mar;31(1):150-3. Available from: http://www.ncbi.nlm.nih.gov/pubmed/11914311.         [ Links ]

26. Cochrane Collaboration. How to develop a search strategy for a Cochrane Review GENERAL INFORMATION [Internet]. The Cochrane Collaboration; 2007. p. 1-10. Available from: http://chmg.cochrane.org/resources-review-authors.         [ Links ]

27. Guyatt G, Oxman AD, Akl EA, Kunz R, Vist G, Brozek J, et al. GRADE guidelines: 1. Introduction-GRADE evidence profiles and summary of findings tables. J Clin Epidemiol [Internet]. 2011 Apr [cited 2013 Dec 22]; 64(4):383-94. Available from: http://www.ncbi.nlm.nih.gov/pubmed/21195583.         [ Links ]

28. Guyatt GH, Oxman AD, Kunz R, Atkins D, Brozek J, Vist G, et al. GRADE guidelines: 2. Framing the question and deciding on important outcomes. J Clin Epidemiol [Internet]. 2011 Apr [cited 2013 Dec 26]; 64(4):395-400. Available from: http://www.ncbi.nlm.nih.gov/pubmed/21194891.         [ Links ]

29. Taylor R, Reeves B, Ewings P, Binns S, Keast J, Mears R. A systematic review of the effectiveness of critical appraisal skills training for clinicians. Med Educ. 2000; 34:120-5.         [ Links ]

30. Cook D. Randomized controlled trials and meta-analysis in medical education: What role do they play? Med Teach. 2012; 1-6.         [ Links ]

31. Colliver J, Kucera K, Verhulst S. Meta-analysis of quasi-experimental research: are systematic narrative reviews indicated? Med Educ. 2008;42:858-65.         [ Links ]

32. Newton HJ, Baum CF, Beck N, Cameron AC, Epstein D, Hardin J, et al. Metan:fixed- and random-effects meta-analysis. stata J. 2008;8(1):3-28.         [ Links ]