1. Introducción

El problema de resolución de anáfora presente en los pronombres definitivos aún sigue siendo un problema difícil de tratar en la actualidad, debido a la falta de recursos y técnicas que logren realizar una distinción adecuada entre candidatos, esencialmente en el fenómeno de anáfora presente en los esquemas de Winograd ^[1]:

donde:

Los esquemas de Winograd están basados en pronombres complejos debido a que la oración contiene un conector de discurso que la divide en dos partes; en la primer parte se encuentran los dos candidatos y en la segunda se encuentra la referencia para un candidato. El problema recae en que los esquemas de Winograd son propuestos en dos oraciones pares^[2] las cuales cumplen la misma estructura léxica:

El problema de resolución de anáfora en pronombres definidos fue propuesto como una alternativa a la prueba de Turing ^[3] debido a que la prueba de Turing depende de un evaluador humano el cual determinara si sistema está pensando mediante un conjunto de preguntas, a diferencia de los esquemas de Winograd, los cuales no necesitan de un evaluador, ya que estos tienen definido cual es la respuesta correcta lo cual lo vuelve un problema de clasificación binario.

En el trabajo de Altaf Rahman and Vincent Ng ^[2] se creó un vector de características utilizando deferentes métodos como: Narrative chains, frecuencia de las colocaciones en Google, FrameNet, Heurísticas de polaridad, para crear un vector de características el cual fue entrenado por una MSV, logrando un 73.05% de exactitud, este experimento conlleva un tiempo relativamente grande, para la extracción de características y finalmente el entrenamiento.

En el presente trabajo se utilizara un vector de características creado a partir de las diferentes medidas de similitud que se pueden extraer de WordNet ^[4]. aplicadas a las derivaciones semánticas de los sustantivos presentes en el contexto de los candidatos a desambiguar.

2. Extracción de derivaciones semánticas

Se realizó un análisis sintáctico de la oración con el analizador Stanford parser^[5] para obtener los sustantivos NN y verbos VB presentes en la oración. Ejemplo:

input:

S_i(text) = the bee landed in the flower

because it want pollen.

output:

Se obtuvieron derivaciones semánticas como sinónimos e hiperónimos de cada uno de los sustantivos presentes en la oración. Ejemplo:

input:

S_i(text) = the bee landed in the flower

because it want pollen.

output:

3. Extracción de similitud semántica

Se aplicaron seis medidas de similitud con todos los sustantivos presentes en el contexto de la oración S_i incluyendo las derivaciones semánticas (sinónimos e hiperónimos) Con ellos se obtuvo un vector de características de medidas semánticas para cada uno de los candidatos, para ello es necesario definir tres conceptos importantes utilizados en las medidas de similitud.

Probabilidad de un concepto: Se calcula con el número de veces que el concepto "c" aparece en el corpus con respecto a la cantidad total de palabras en él (1):

Information Content (IC): Se refiere a la cantidad de información que tiene un concepto, es calculada con el logaritmo negativo de la probabilidad del concepto como muestra la siguiente formula (2):

Lowest Common Subsumer (LCS): Es el ancestro común más cercano a dos conceptos tomando en cuenta la jerarquía de WordNet.

El vector de características está formado con siguientes medidas de similitud semántica:

Fig. 1 Ejemplo de la medida de similitud Path length 

Estas medidas fueron seleccionadas debido a que lograron mejor desempeño en los experimentos realizados.

4. Extracción de concordancia Sustantivo-Verbo

Se obtuvieron dos medidas a partir de la frecuencia de concordancia entre el verbo dentro de la oración con cada uno de los candidatos y sus derivaciones semánticas, para agregarlo al vector de características, las colocaciones de concordancia fueron obtenidas a partir del corpus de Sketch Engine. Una medida fue la frecuencia en la que estas dos palabras aparecen juntas y la segunda medida fue calculada con tf-id (tabla 1).

5. Experimentos y resultados

Para los experimentos se utilizó el curpus creado en el trabajo de Altaf Rahman and Vincent Ng ^[2]: que consta de 941 oraciones pares etiquetadas. Aplicando extracción de medidas de similitud y la extracción de concordancia verbo-sustantivo se crearon vectores de características de cada una de las oraciones dentro del corpus.

Ejemplo de vector de características por medida de similitud (Tabla 2):

Se realizaron tres experimentos con los vectores de características resultantes:

5.1. Algoritmo de votación

El primer experimento que se realizó se obtuvo con la intuición de que el candidato con la medida de similitud menor y la frecuencia de concordancia mayor es el candidato que resuelve la referencia, para ello se implementó el siguiente algoritmo en el cual obtiene el menor valor para cada una de las medidas de similitud y el mayor valor para cada frecuencia de concordancia realizando un conteo con cada una de las medidas, obteniendo como respuesta el candidato con mayor número de votaciones (Fig. 2).

Fig. 2 Algoritmo de votación que aumenta la votación en 1 para cada medida que cumpla la condición 

5.3. Clasificación con una red neuronal

Para este experimento se creó un vector de características como entrada para la red neuronal que consta de la concatenación de los 2 vectores de características por cada candidato, con un vector resultante de 20 características, para este experimento se tomó el 70% del corpus como conjunto de entrenamiento y el 30% como conjunto de prueba, el conjunto de entrenamiento se sometió a una red neuronal con una capa oculta con 25 nodos, debido a la naturaleza binaria del problema se utilizó una función de activación relu en la capa oculta y la función de activación sigmoid en la capa de salida (Fig. 3).

Fig. 3 Modelo utilizado para entrenar la red neuronal 

6. Resultados

Con cada uno de los tres métodos propuestos se realizaron diferentes experimentos, se utilizaron los resultados de cada medida por separado y con las posibles combinaciones, por lo que se realizó el conjunto potencia de las 10 medidas para realizar los experimentos realizando un total de 10² - 1 experimentos, para encontrar el mejor resultado cada experimento se evaluó con las siguientes medidas utilizadas en clasificación: precisión (eq: 8), recall (eq: 9) y F1:

donde:

Recall es dada por (eq:9):

donde:

7. Conclusiones

Los resultados obtenidos en los experimentos como resultado de las tres nuevas técnicas basadas en conocimiento, muestran que es posible obtener resultados competitivos, creando un vector de características basada en conocimiento evitando utilizar demasiados recursos y tiempo de ejecución como otros métodos del estado del arte que para la extracción características utilizan redes neuronales o word embedding.

Los resultados son alentadores, indicando que es posible agregar más restricciones léxicas y semánticas, para evaluar diferentes condiciones que pueden presentar las oraciones como por ejemplo módulos para tratar con negación, con marcos de roles, antónimos, merónimos, holónimos, etc. que brindaran más información semántica a los vectores de características.

Por lo que para trabajos futuros se planea agregar estas características y adaptar este vector de características para utilizarlo con word embedding.