1) Diseño muestral

En las áreas urbanas, el marco de muestreo de unidades primarias fue el listado de las Áreas Geoestadísticas Básicas (AGEB) construido por el Instituto Nacional de Estadística y Geografía (INEGI) para el Censo 2010. En áreas rurales, se usaron las localidades rurales del Censo 2010, agrupadas mediante las AGEB del Conteo de Población 2005. Se utilizó un muestreo probabilístico, estratificado y por conglomerados en cuatro etapas. En la primera etapa la población se estratificó a las viviendas de acuerdo con su entidad federativa y el tamaño de la localidad (urbano, rural). En la segunda etapa se seleccionaron las AGEB, para luego seleccionar localidades dentro de las AGEB rurales y de manzanas dentro de las AGEB urbanas. En la tercera etapa, se visitaron las viviendas seleccionadas y se preguntó de manera rápida la pertenencia del hogar al programa Prospera-Oportunidades, seguido de un sobre-muestreo de hogares Prospera-Oportunidades, para después seleccionar a todos los niños y niñas menores de cinco años (cuarta etapa).

2) Pruebas cognitivas de preguntas sobre reactivos no estandarizados previamente

Se realizaron pruebas cognitivas sobre reactivos no estandarizados previamente. Estas pruebas sirven para determinar si las preguntas son entendidas de manera esperada por miembros del grupo al cual serán aplicadas y, en su caso, refinarlas para garantizar una comprensión cabal de las mismas.⁸ Las pruebas cognitivas se hicieron sobre la cobertura y contenido de atención de la consulta del niño sano, incluida la evaluación de DIT. En enero del 2018, tres entrevistadoras previamente capacitadas, con experiencia en esta técnica y que obtuvieron la aceptación de participación (asentimiento verbal), realizaron el trabajo de campo de las pruebas cognitivas. La muestra fue a conveniencia (no representativa) y consistió en 28 madres de niños y niñas con edad entre 12 y 40 meses. Las entrevistas fueron cara a cara y registradas en papel, así como audiograbadas.

3) Revisión, definición y elaboración de los instrumentos de recolección de información

Con la finalidad de generar información comparable internacionalmente, se revisaron instrumentos empleados previamente en la Ensanut y en otros países; además de incluir las preguntas que se probaron en las pruebas cognitivas. El cuestionario se aplicó a madres de niños/as menores de cinco años y permitió recabar información relevante sobre: a) Asistencia a servicios de salud relacionados con DIT, como la frecuencia de asistencia a la consulta del niño sano, así como la consejería que las madres reciben en las mismas. Adicionalmente, se puede estimar la frecuencia de evaluación de DIT, resultado y seguimiento del DIT, posterior a la evaluación. b) Asistencia a servicios de cuidado y educación (educación inicial o preescolar) con identificación de tipo de programa (público o privado), institución a la que pertenece el programa (Secretaría de Educación Pública, Consejo Nacional de Fomento Educativo, Instituto Mexicano del Seguro Social, etc.), así como las principales razones por las cuales el niño/a no asiste a educación inicial o preescolar. c) Índice global de DIT empleado en las encuestas de indicadores múltiples (MICS, por su acrónimo en inglés) del Fondo de las Naciones Unides para la Infancia.⁹ El índice clasifica cómo se llevarán a cabo las actividades de revisión de instrumentos para conformar el cuestionario a aplicarse a madres de niños/as menores de cinco años sobre: a) calidad del contexto de desarrollo en el hogar, b) asistencia a servicios de salud relacionados con DIT, c) asistencia a servicios de cuidado y educación, y d) índice global de DIT, así como el formato de registro de la medición del nivel de vocabulario en niños/as de 10 meses a cuatro años. En la siguiente sección se mencionan los instrumentos que se consideraron por ámbito de evaluación y por tiempo de aplicación.

4) Capacitación y estandarización

El principal objetivo de la capacitación de los entrevistadores/as sobre el módulo de DIT fue la estandarización del personal de campo en los procedimientos de entrevista con la finalidad de garantizar la calidad de los datos. En particular, se cuidó la estandarización en el manejo de pruebas de lenguaje. También se capacitó al equipo de supervisión y coordinación de campo sobre la resolución de problemas potenciales que pudieran presentarse durante el desarrollo de la encuesta.

La capacitación se planteó como un proceso de aprendizaje basado en competencias por lo que el programa incluyó los contenidos y actividades necesarios para la trasmisión no sólo de conocimientos sino también de actitudes y habilidades que promovieran las mejores prácticas posibles en campo. Las sesiones incluyeron contenidos introductorios a las secciones del módulo, revisión a profundidad de todos los materiales y ejercicios de práctica simulada.

Adicionalmente, se realizaron sociodramas, así como prácticas directas de las pruebas de lenguaje y observación de las mismas. Se llevaron a cabo ejercicios de práctica con videos de aplicaciones del Inventario del Desarrollo de Habilidades Comunicativas McArthur-Bates (CDI I, II y III)¹⁰ y de la prueba de vocabulario de imágenes (PPVT-III).¹¹ Además, se realizaron prácticas en aula usando la aplicación de los cuestionarios en computadora y del uso del programa CAPI. Finalmente, se hizo la estandarización de los entrevistadores/as en la aplicación de las pruebas de lenguaje.

El procedimiento de estandarización de pruebas de lenguaje consistió en siete actividades:

4.1. Teoría: Se presentaron aspectos generales del CDI y del PPVT, así como de los indicadores que se iban a generar y de los instrumentos que conformaban las dos pruebas. Se presentaron nociones de validez, confiabilidad y precisión; la diferencia entre error aleatorio y sistemático; y los procedimientos metodológicos para evitar y controlar dichos errores. Asimismo, se revisaron las estrategias a seguir para minimizar la no respuesta, para una interacción adecuada con las madres y niños/as, y para promover procedimientos estandarizados durante todo el proceso de la aplicación de los instrumentos. Se presentaron los contenidos y el uso correcto del manual del entrevistador/a y de las tarjetas de apoyo.

4.2. Videos de práctica: Se mostraron videos de la aplicación por personal capacitado (certificado como estándar de oro), a niños de varias edades, de cada una de las pruebas de lenguaje usadas en el módulo DIT. Se practicó la forma de clasificar cada uno de los ítems evaluados y se dio retroalimentación al respecto.

4.3. Práctica entre pares: Entre pares de entrevistadores/as realizaron al menos dos rondas de aplicación. En la primera ronda, uno de ellos fungía como entrevistador/a mientras el segundo fungía como madre y/o niño/a, y después intercambiaron los roles. Lo anterior, bajo la supervisión del equipo de capacitadoras.

4.4. Prácticas simuladas: Frente al grupo, uno de los entrevistadores/as aplicó el instrumento, mientras el resto de los entrevistadores/as retroalimentó la aplicación.

4.5. Ejercicios en papel: Se les proporcionó a los entrevistadores/as un guión con preguntas y respuestas, así como preguntas de sondeo cuando eran necesarias. Los entrevistadores/as practicaron las calificaciones correctas para las respuestas del guión.

4.6. Prácticas directas: Mientras que un entrevistador/a aplicaba el instrumento, otro entrevistador/a y un miembro del equipo de capacitadoras, quien fungió como estándar de oro, observaban. Adicionalmente, se realizaron prácticas directas de CDI-I, II y III en las cuales se utilizó un guion previamente diseñado con la finalidad de demostrar las habilidades adquiridas en la aplicación de esta herramienta. Mientras que para el PPVT se contó con prácticas directas con niños/as en guarderías, previo consentimiento informado de los padres, en todo momento el entrevistador/a estuvo acompañado por un estándar de oro y algún profesor/a de las guarderías. Además, se estimó la confiabilidad entre entrevistadores/as usando el coeficiente kappa de Cohen, el cual toma en cuenta la coincidencia entre entrevistadores/as (P₀) y la coincidencia esperada entre entrevistadores/as cuando las evaluaciones entre dos entrevistadores/as son probabilísticamente independientes (P_e).

El valor de kappa estimado es el resultado de las comparaciones entre entrevistadores/as y el estándar de oro representado por un experto, reportando la semejanza de resultados entre evaluadores (inter-rater agreement) cuando se tienen más de dos evaluadores.

4.7. Estandarización: La estandarización de las pruebas de lenguaje se hizo a partir de las calificaciones de 15 videos de la aplicación a niños/as de las pruebas (CDI I, II, III y PPVT). Cada entrevistador/a capturó la información en su computadora de las pruebas aplicadas a 15 niños. Se procesaron para generar los cálculos de precisión y confiabilidad. La estandarización se realizó de acuerdo con una evaluación cuantitativa (estimación del coeficiente de kappa de Cohen y gráficas de Bland-Altman¹²) y una evaluación cualitativa (dirección de sesgo en gráficas de Bland-Altman y observación de las capacitadoras), de acuerdo a los siguientes criterios:

• Se consideraron como estandarizados a los entrevistadores/as que obtuvieron un coeficiente de kappa mayor a 0.80 y en quienes no se identificó la sub o sobreestimación de los puntajes de acuerdo con la evaluación de los gráficos de Bland-Altman.¹²

• Se consideraron como no estandarizados a los entrevistadores/as que no cumplieron dichos criterios. Los entrevistadores/as no estandarizados en al menos una de las pruebas de lenguaje asistieron a una segunda ronda de estandarización.

5) Prueba piloto

Durante los días 6 a 8 de diciembre del 2017, se llevó a cabo el piloto en 30 hogares localizados en San Pedro Apatlaco del municipio de Ayala en el estado de Morelos. Para el levantamiento del módulo de DIT se hizo una búsqueda intencionada de menores de cinco años. Se invitó a participar a 32 hogares de los cuales 30 aceptaron participar; en 27 de ellos vivía al menos una niña o niño. Un entrevistador/a obtuvo información del cuestionario de menores de nueve años, así como del módulo de DIT en niñas o niños menores de cinco años. Se obtuvo información de 30 niñas/os menores de cinco años. Se generaron los valores descriptivos para cada instrumento con el objetivo de hacer una inspección general de dichos puntajes y hacer recomendaciones generales en términos de técnica de aplicación.

Posterior al levantamiento de la prueba piloto, se hicieron algunos ajustes al cuestionario, manual y CAPI. También se hizo una sesión de retroalimentación donde se reforzaron algunas reglas de aplicación y se dieron recomendaciones para mejorar la aplicación del módulo DIT.

6) Prueba de campo

La prueba de campo inició en marzo y concluyó en junio del 2018, obteniendo una tasa de respuesta para el módulo DIT de 95%. La población de estudio de la encuesta incluyó 11 441 hogares con entrevista completa, dentro de los cuales, se obtuvo información de 3 892 menores de cinco años de edad.

Consideraciones éticas

Tanto el protocolo como la carta de consentimiento que la madre o cuidadora del niño deberían firmar previo al levantamiento de la información fueron revisados y aprobados por los comités de investigación, bioseguridad y de ética en investigación del Instituto Nacional de Salud Pública.

Análisis

Se realizó un análisis cualitativo de comparación constante, en el cual dos analistas compararon repetidamente segmentos de una entrevista con segmentos de otras entrevistas para lograr la síntesis y reducción de los datos, en varias etapas incrementales e iterativas. También se realizaron conteos simples de las respuestas a las preguntas, estratificadas por nivel educativo de la madre entrevistada.⁸

Descripción de la población de estudio

Se estudiaron en el módulo DIT de la Ensanut 100k a 3 892 niños/as de 0 a 59 meses de edad. En el cuadro III se presenta a la población de estudio, considerando la edad, el área de residencia, la región y la escolaridad materna.

Resultados de las pruebas cognitivas

En relación con las preguntas sobre las consultas del niño sano, entre las madres con mayor educación formal algunas tuvieron una comprensión correcta y completa mientras que en otras hubo falsos positivos, ya que reportaban como consultas del niño sano citas médicas que se realizaron porque el niño estaba enfermo. Entre las madres con educación formal baja, hubo más falsos positivos. Al preguntar si el niño ha asistido a consultas del niño sano, es necesario ofrecer una descripción de qué incluye este tipo de consultas y qué no incluye.

En cuanto a los reactivos sobre la realización de una prueba para valorar el nivel de desarrollo cognitivo, físico y/o socioemocional de los niños y niñas, entre las madres con educación formal alta en todos los casos hubo una clara comprensión de la pregunta. Entre las madres con menor educación formal, en todos los casos la pregunta fue de difícil comprensión y hubo falsos positivos o negativos.

Con base en las pruebas cognitivas, se incluyeron instrucciones adicionales en el manual del entrevistador/a y se enfatizó en la capacitación de los entrevistadores/as.

Resultados de la capacitación y estandarización

El 62.9 y 77.8% de los entrevistadores/as lograron la estandarización en la primera sesión al cumplir con los criterios de estandarización para CDI I, II y III, respectivamente; mientras que para la prueba de PPVT, 88.89% de los entrevistadores/as se estandarizaron en la primera sesión. Durante la segunda sesión, se siguió el mismo procedimiento establecido y 100% de los entrevistadores/as cumplieron con los criterios establecidos, al obtener un valor de kappa mayor al punto de corte (0.80) y no ser clasificado por arriba o por debajo del puntaje, de acuerdo con la evaluación de los gráficos de Bland-Altman.¹²

Para la identificación de opciones de respuestas faltantes, se generaron frecuencias simples de todas las preguntas que tenían como posible respuesta “otros”. Se incluyeron más opciones de respuesta, se reforzó la capacitación con respecto a las técnicas de sondeo para lograr capturar la información en cualquiera de las categorías de respuesta, tratando de evitar que la respuesta se registrara como “otros” sin necesidad.

Resultados del monitoreo del control de calidad

Con la finalidad de asegurar el control de calidad del trabajo de campo, se obtuvieron indicadores a nivel individual (entrevistador/a), brigada y en algunos casos edad del niño o escolaridad materna. Lo anterior permitió identificar valores fuera de lo esperado al comparar indicadores de control de calidad entre los entrevistadores/as de una brigada y por algunas otras variables. Por ejemplo, se obtuvo a nivel del entrevistador/a, brigada y edad del niño información semanal sobre tasa de no respuesta. Por entrevistador/a, brigada y nivel de educación de la madre, los tiempos de aplicación del módulo DIT y de las secciones 6, 7, 8 y 9 del cuestionario de niños para los menores de cinco años. Se obtuvo a nivel entrevistador/a, brigada y educación de la madre información sobre las condiciones de aplicación de la prueba de PPVT.

Por edad del menor y educación de la madre, semanalmente se obtuvo información sobre porcentaje de niños/as menores de cinco años con por lo menos tres libros leídos y porcentaje de niños/as de tres y cuatro años que asisten a educación preescolar. Por entrevistador/a, brigada y edad del menor, semanalmente se revisaba información sobre la distribución porcentual de puntajes de CDI y del puntaje de PPVT.

En la revisión de los controles de calidad, se observaron algunos errores que fueron canalizados a los coordinadores del levantamiento con la finalidad de que se corrigieran. Con el transcurso del tiempo se observó un menor número de errores.