2.1. Configuración experimental

La investigación adopto un marco estándar de clasificación para AP: una combinación de características de contenido, estilo y sintácticas. Particularmente, se usaron los 1000 términos con mayor ganancia de información. Estos términos incluyeron palabras de contenido, signos de puntuación y palabras coloquiales (slang words).

También se consideraron ocurrencias de palabras de función (FW) y unigramas de etiquetas POS. Usando tales términos, se construyó una bolsa de palabras cuyos pesos corresponden a su frecuencia normalizada (TF). En la fase de clasificación se aplicó SVM mediante un esquema de validación estratificada de 10 capas reportando exactitud.

Conjuntos de datos. Corresponden a textos en escritos en inglés provenientes de redes sociales y etiquetados automáticamente con la edad y género de los autores. Específicamente, se usaron dos conjuntos: blogs de Schler ^[19] y el corpus PAN-AP-2014². En particular, los blogs de Schler³ fueron concentrados en tres categorías según su edad ^[19]: 10s (desde 13 hasta 17 años), 20s (desde 23 hasta 27 años) y 30s (desde 33 hasta 47 años). Por su parte, el corpus PAN-AP-2014⁴ se compone de cuatro dominios: blogs, revisiones de hoteles de TripAdvisor (de aquí en adelante, denotadas como Reviews), documentos de redes sociales (generalizados como Social Media) y publicaciones de Twitter (denotadas como Twitter). En este corpus, la etiqueta edad tiene 5 categorías: 18-24, 25-34, 35-49, 50-64 y ≥65.

2.2. Relevancia de las FP para AP

Para responder a las preguntas de investigación, se evaluó el rol de las FP en AP. Para ello, primero, se filtraron las FP de cada documento en la colección de textos, creando un corpus filtrado. Posteriormente, se comparó el desempeño de clasificación del corpus original (que contiene todas las frases de los documentos) y el corpus filtrado. Los resultados se muestran en la Tabla 2 y confirman valores de exactitud similares para el corpus filtrado y el original; sin embargo, es notable que las colecciones filtradas representan un pequeño subconjunto (de 15% a 48%) del corpus original.

Las pruebas de significancia estadística⁵ indicaron que los resultados para la predicción de edad fueron comparables a través de todos los dominios considerados excepto para Blogs de Schler, mientras para la clasificación de género, se encontró una diferencia estadísticamente significante solo para Twitter y Blogs. En general, estos resultados soportan la relevancia de las frases personales reafirmando su rol como la esencia de los documentos para AP.

Adicionalmente, se encontró que los resultados usando el corpus filtrado son significativamente mejores que esos correspondientes al corpus complemento, aunque hay menos información en el primero. Por ejemplo, en el caso de Blogs de Schler, el corpus complemento presento) una exactitud de 69.98% para edad y 72.59% para género respectivamente. Esto indica que la información personal de los autores es, en efecto, más importante que la información no personal.

Cabe señalar que, el análisis del rol de las frases personales en AP también incluyo el estudio de frases conteniendo pronombres personales en primera persona del plural, encontrando que estas no tienen una relevancia especial para AP. Por otro lado, también se estudió la naturaleza del tipo de información contenida en las FP, concluyendo que la información del estilo de redacción de los autores podría ser igualmente capturada tanto en FP como en FNP, pues ambos tipos de frases son escritas por el mismo autor. Sin embargo, los intereses temáticos de los autores son mejor capturados en las FP. Más detalles se muestran en ^[13].

3.1. El enfoque propuesto DPP-EXPEI

Desde la perspectiva de la clasificación supervisada, la construcción de un clasificador que asigne categorías predefinidas (categorías de autores) C=c1,…,cC, a una colección de documentos D=d1,…,dD, involucra la transformación de documentos en una representación adecuada para los algoritmos de clasificación supervisada. Este proceso involucra dos etapas principales: selección y pesado de términos. El enfoque propuesto se enfoca en estas dos etapas. Específicamente, se considera la medida PEI para crear una nueva técnica de selección llamada pureza personal discriminativa (discriminative personal purity, DPP, por sus siglas en inglés) y un nuevo esquema de pesado, llamado recompensa exponencial de información personal (exponential rewarding of personal information, EXPEI).

3.1.1. Selección de términos: pureza personal discriminativa

La técnica de selección propuesta, DPP, permite elegir términos relacionados al perfil de los usuarios por medio de la medida PEI, tal como se muestra en la fórmula 4. Básicamente, DPP tiene dos componentes: un factor descriptivo definido como el máximo valor de la función PP_k (Eq. 5), que captura la capacidad de un término para describir información personal de autores pertenecientes a la categoría (c_k ); y un factor discriminativo, basado en el coeficiente gini^[7], que califica la habilidad de un término para discriminar ente categorías de autores (perfiles). Enseguida se describen ambos componentes:

Pureza personal categórica como factor descriptivo.

La pureza personal categórica de un término t_i en un categoría c_k , definida como PP_k (t_i ), evalúa la información personal capturada por el término en los documentos pertenecientes a esa categoría. Formalmente, PP_k está representada por la ecuación 5:

donde NEI⁶, un concepto opuesto a PEI, captura el nivel de asociación de cada término a la información no personal.

Por lo tanto, PP_k es calculada como el cociente acumulativo de PEI entre NEI de todos los términos pertenecientes a los documentos de la categoría c_k. De esta manera, un término con valores de PEI mayores que NEI será premiado.

Gini coeficiente como factor descriptivo.

El factor discriminativo denotado como gini(t_i) estima la capacidad de un término para discriminar documentos de las diferentes categorías de autores. Este segundo factor es determinado a través del coeficiente Gini, una medida que captura, en un solo valor, el nivel de concentración o desigualdad de cualquier distribución; en este caso, la distribución de los términos en todas las categorías. Por ejemplo, la presencia concentrada de un término en solo una de las categorías señala su pertinencia para lograr la discriminación. Por el contrario, las ocurrencias de un término igualmente distribuidas en todas las categorías indica un bajo nivel de discriminación. Para estimar el coeficiente Gini, se aplicó la formula mostrada en ^[7], cuyo rango de valores va desde 0 hasta 1, indicando completa igualdad o desigualdad respectivamente.

3.1.2. Pesado de términos: recompensa exponencial de información personal

El esquema de pesado propuesto EXPEI, el cual se representa en la fórmula 6 considera todos los términos de los documentos, es decir, aquellos provenientes de FP así como de FNP, pero enfatiza el valor de la información personal.

donde TF(t_i , d_j ) representa la frecuencia normalizada del término t_i en el documento d_j calculada como #ti,djlendj.

El esquema está basado en los valores de TF asignados a los términos. Por ejemplo, los términos con PEI = 1, obtendrán pesos iguales a 1 (EXPEI = 1, su máximo valor posible), independientemente de su frecuencia. Por otro lado, los términos con 0 < PEI < 1 serán proporcionalmente premiados; este premio es más importante para aquellos términos con baja frecuencia. Finalmente, los pesos de los términos con PEI = 0 serán suavizados por EXPEI (haciéndolos un poco más grandes que sus valores de TF). De esta manera se permite que los términos con baja frecuencia, pero relacionados con información personal, tengan la oportunidad de contribuir en la descripción del documento.

El enfoque DPP-EXPEI fue evaluado analizando su desempeño para predecir la edad y género de los autores bajo un marco experimental similar al presentado en la sección 2.1; naturalmente, se usó DPP como técnica de selección y EXPEI como esquema de pesado de términos. Los resultados fueron comparados con enfoques del estado del arte presentados en: ^[2], donde se explotan representaciones basadas en tópicos usando análisis semántico latente (LSA) y conteos de palabras (LIWC); ^[10], donde se describe una representación basada sub perfiles de usuario (SSR), es el método de referencia principal porque ha obtenido los mejores resultados en las colecciones del PAN 2013-2016; ^[9], donde se exploran atributos de segundo orden (SOA); ^[25], donde se presenta un método basado en ideas de recuperación de información; ^[6], donde se usan atributos a nivel de grupo (GLA) mediante un análisis de tópicos; ^[3], donde se presenta un análisis de más de 140 millones de palabras en inglés (MW) obtenidas de blogs; ^[19], donde un conjunto de características estilísticas así como de contenido (SC) es usado para encontrar diferencias de género y edad.

Los resultados y comparaciones se muestran en la Tabla 3. Se observa que DPP-EXPEI supera a los enfoques de referencia en cada colección del PAN 2014 (únicamente en Social Media, SSR reporto una mejor exactitud). Además, el enfoque obtuvo mejores resultados que SSR en tres colecciones en el caso edad. Mientras, en el caso género, se mejoran los resultados en las cuatro colecciones. También existen ganancias importantes, por ejemplo, en el corpus Blogs para el caso edad existe una diferencia aproximada de 22%; mientras las perdidas obtenidas fueron muy pequeñas, la desventaja más representativa corresponde a 4.15% en el caso edad de la colección Social Media.

Por otro lado, la prueba del rango con signo de Wilcoxon usando un nivel 0.05 de significancia indica que DPP-EXPEI es significativamente mejor que sSr (se comparó estadísticamente SSR y DPP-EXPEI sobre los diez conjuntos de datos).

Los resultados permiten concluir que DPP-EXPEI enfoca la atención en los términos más relevantes (intereses personales) cuando se tiene menos información (i.e., colecciones pequeñas). Sin embargo, cuando hay más información textual disponible (colecciones más grandes) DPP-EXPEI tiene menos impacto, principalmente, porque los términos frecuentes tienden a exponer directamente tales intereses personales.

Un análisis detallado sobre el desempeño de cada uno de los componentes del enfoque DPP-EXPEI es mostrado en ^[14].

3.2. Discusión

A pesar de la heterogenidad de los esquemas de selección y pesado de términos, la mayoría están soportados en inferencias estadísticas sobre las ocurrencias de los términos en los documentos sin considerar características cualitativas de esas ocurrencias. En contraste, las técnicas DPP y EXPEI están basadas en la idea de que no toda la información en un documento es igualmente relevante; por lo tanto, analizan el contexto de procedencia de cada término tomando ventaja de su ocurrencia en las FP. Por ejemplo, en los experimentos, la mayoría de los términos más relevantes seleccionados por DPP fueron también elegidos por IG, como se muestra en la Figura 1.

Fig. 1 Las 100 palabras mejor calificadas por DPP. El tamaño de la fuente corresponde a la posición del término dentro de las 100 mejores. El color verde y orientación horizontal representan las palabras seleccionadas por ambos esquemas: IG y DPP; mientras el color rojo y orientación vertical identifica las palabras seleccionadas únicamente por DPP 

Si bien, varios términos seleccionados únicamente por DPP no son frecuentes, ellos parecen ser términos intuitivos conocidos en la literatura de AP. En específico, para identificar adultos hay términos valiosos como: newspaper, doctors y treatments. A su vez, para la identificación de género las palabras mysql, haddop o plugins son muy cercanas a tópicos de tecnología, los cuales han sido asociados con el género masculino. Finalmente, palabras como xoxo, aws, hubby han mostrado ser de gran ayuda para la Identificación de mujeres. De esta manera, DPP enriquece la selección incluyendo varios términos relacionados con expresiones personales que IG califica como no informativos.

Particularmente, también se estudiaron correlaciones entre el esquema EXPEI y el tradicional TF, como se muestra en la Figura 2. Se encontró que ambos esquemas están menos correlacionados en los documentos con pocas publicaciones, esto indica que EXPEI extrae información relevante para AP incluso cuando es poco frecuente, lo cual se traduce en una ventaja importante cuando hay poca información. Por otro lado, cuando existen más publicaciones, las correlaciones tienden a incrementar, sugiriendo que en documentos largos la frecuencia es suficiente para detectar información discriminativa de perfiles de autores.

Fig. 2 Correlaciones de los esquemas EXPEI y TF entre las representaciones vectoriales de los documentos correspondientes a usuarios con pocas y varias publicaciones respectivamente. Ambas representaciones son menos correlacionadas cuando hay menos publicaciones y más correlacionadas en caso contrario 

Finalmente, también se estudió la influencia de las características de las colecciones con el desempeño del enfoque tomando como referencia el método SSR. Mediante correlaciones extraídas usando el coeficiente de Spearman se encontró que el enfoque es apropiado para AP cuando existan pocos ejemplos con alta densidad léxica y colecciones de entrenamiento desbalanceadas. Todas ellas son condiciones desafiantes en AP. Por el contrario, se recomienda evitar el uso del enfoque propuesto cuando exista un gran número de ejemplos; en este caso, se sugiere el uso de otros métodos como SSR o tradicionales.