nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
1. Introducción
El 10 de diciembre del 2019 el presidente electo de Argentina, Alberto Fernández, dijo en su discurso “(…) reivindicamos la investigación científica y la tecnología, porque ningún país podrá desarrollarse sin generar conocimiento y sin facilitar el acceso de todos al conocimiento (…)”. Pocas veces encontramos palabras más acertadas en relación al contexto tecnológico en el cual nos vemos insertos.
Desde hace unos años la sociedad se encuentra atravesada por la denominada cuarta revolución y como consecuencia se puede observar cómo la cotidianidad cambia. En este contexto se debe crear la preocupación sobre cómo se desarrollará la principal tecnología disruptiva de esta nueva era, la Inteligencia Artificial (AI).
Cuando se habla de la IA se habla de datos. Cualquier técnica de los nombrados sistemas utilizará datos para lograr su autonomía. Es aquí donde debe haber un detenimiento y analizar la calidad de estos, puesto que, como se expondrá a lo largo del trabajo, podrían reflejar prejuicios u otra clase de sesgos.
En conexión con lo sostenido en el párrafo anterior, resulta de gran importancia detenerse a pensar en el concepto de igualdad. Es necesario anticipar a la exposición que tendrá lugar párrafos más adelante, que existen distintas concepciones sobre el derecho a la igualdad que generan diferentes efectos y consecuencias, tanto en el plano teórico-jurídico como en el factico. De este modo, se comenzará en la observación y en el análisis de distintas nociones con un punto de vista individual, para pasar a la denominada igualdad estructural o no sometimiento, con un punto de vista colectivo al tomar en consideración a los grupos históricamente desaventajados y quienes lo forman.1
Un tema vinculado con el derecho mencionado son los sesgos. Estos son el medio por el cual puede vulnerarse la integridad del derecho a la igualdad. Por este motivo, al hablar de sesgos, prejuicios u otros similares, que desencadenarán de forma inevitable acciones u omisiones discriminatorias, es de gran relevancia definir el contenido y el alcance del derecho mencionado en virtud de que sus consecuencias podrían no ser las mismas.
2. Derecho a la igualdad
Existe un consenso en el principio político que versa sobre la igualdad entre los hombres. “Todos los hombres somos iguales”, es un discurso que puede escucharse con frecuencia, sin embargo, en el momento de implementarlo se encuentra más de un obstáculo que puede sostenerse e imponerse por las mismas personas que recitan esas bellas palabras.
Para avanzar en el tratamiento de la problemática planteada en el trabajo, se debe exponer y profundizar en el derecho a la igualdad. Las denominaciones e interpretaciones del derecho nombrado pueden variar al depender del ordenamiento jurídico del país en cuestión, no obstante, es habitual hallar una noción similar sin importar más allá de las diferencias recién planteadas
Desde el sistema jurídico de la República Argentina, los debates sobre sus diferentes concepciones revisten gran importancia en virtud de que la interpretación, la aplicación y los efectos del derecho varían dependiendo de la noción que sostenga el mencionado derecho constitucional.
Entre tantas concepciones se puede nombrar la que entiende su sentido formal, pasar por su entendimiento en tanto no discriminación para así terminar con su faz como no sometimiento o estructural.2 Se utilizará la última concepción para comprender el daño a exponerse.
2.1 Igualdad formal
Esta primera concepción implica que todas las personas que pertenezcan a una categoría establecida por la ley deberán ser tratadas de la misma forma. Esta es la versión más restringida del principio.3 Como se ha sostenido, aquí se debe ofrecer un trato igualitario a todas las personas que se encuentren dentro de la clasificación que realiza la norma y siempre se habilita un trato diferenciado a todos los que se encuentren fuera de la misma. Dicha fórmula del nombrado principio da lugar a la sentencia “separados pero iguales”, del reconocido fallo Plessy vs. Ferguson de la Suprema Corte de EE.UU., en este se habilitó una distinción con base en la raza.4
2.2 Igualdad como no discriminación
La interpretación expuesta con anterioridad es fuente de numerosos problemas. A causa de esto surge una nueva interpretación que debe entenderse como un complemento y no como una visión distinta al principio de igualdad formal. Aquí comienza la pregunta sobre la razonabilidad de la distinción a hacer, a saber, la vinculación en razón a los medios y fines perseguidos.
Entendida como no discriminación exige que se establezcan distinciones entre las personas solo cuando ese trato se encuentra justificado en la aplicación de un criterio razonable.5 Para llevar a cabo el examen de razonabilidad existen distintos modelos, como el estadounidense, el europeo o integrado; cada uno de ellos permite complejizar la evaluación del grado de irracionalidad de la distinción.6 Esta noción busca la correcta relación entre medios y fines, una relación que algunos autores llaman de funcionalidad.7
Sin embargo, este enfoque presenta un problema, puesto que no contempla las desigualdades fácticas, entendidas como estructurales, a las que son sometidos ciertos grupos históricamente desaventajados. Con base en lo mencionado y en relación con el criterio de razonabilidad, en algunas situaciones este principio de igualdad como no discriminación puede arrojar resultados contra intuitivos derivados del desconocimiento del contexto social.8
Además, ciertos criterios de distinción se encuentran bajo la sospecha de carecer, casi en todos los casos, de una relación de funcionalidad. Esto habla acerca de las denominadas categorías sospechosas, en estas se procederá con un análisis estricto.9 Las mencionadas son “categorías o clases que implican distinciones que prima facie son inconstitucionales por implicar una discriminación injustificada”.10 Esta concepción doctrinaria, que no es exclusiva de Argentina, se acopla a la parte primera, artículo 1 de la Convención Americana de Derechos Humanos y forma parte del bloque de constitucionalidad.
El trato neutral11 al que son sometidos los individuos de la concepción de igualdad en cuestión, al no tomar los resultados del contexto social, implica, en caso de tratarse de un grupo histórico o estructuralmente desaventajado, un tratado discriminatorio en el plano fáctico.
Otro punto de gran interés para este trabajo consistió en si la noción de categorías sospechosas se podría utilizar en las relaciones entre privados o solo cuando el Estado es quien establece la clasificación prohibida. Es decir, si alguna empresa o particular puede ser cuestionada judicialmente por adoptar una política expresa de no contratar miembros de algún determinado grupo minoritario en este caso, si esto corresponde a la utilización estándar de las categorías sospechosas.12
Es indudable que existen diferencias entre el ámbito público y el privado, no obstante, al menos en Argentina el máximo instrumento rige tanto para el Estado como para los particulares. Como se sostuvo en el trabajo de Damián Zayat:
En la Constitución Nacional Argentina se establecen los derechos que las personas tienen tanto frente al Estado como ante los particulares y de este modo una discriminación ilegítima puede provenir tanto de la administración como de otros particulares. Así, si se puede probar que el particular utilizó un criterio discriminatorio en contra de algún miembro de un grupo minoritario, la doctrina de las categorías sospechosas podría ser utilizada.13
Un fallo que puede ejemplificar lo anterior es el de Hertzriken14 con lugar en la Cámara Nacional de Apelaciones en lo Civil, Sala J, de la Ciudad Autónoma de Buenos Aires. Donde la titular de un departamento en el barrio porteño de Recoleta se negó a alquilarle a un posible inquilino por tener la religión judía.15
2.3 Igualdad como no sometimiento
Si se enlazan las nociones de categorías sospechosas y el trato neutral con motivo de la presunción de un statu quo de hecho igualitario brindado por la antes nombrada concepción de igualdad, se tendrá la destreza de advertir que en ciertas ocasiones no será suficiente con suprimir la distinción injustificada, sino que además se deberán llevar a cabo ciertas acciones (acciones positivas) para lograr una igualdad real. El grupo relacionado con esta última circunstancia estará constituido por aquellas personas pertenecientes a un grupo históricamente desaventajado.16
Esta última concepción del derecho en cuestión, que toma como base a la anterior, tiene en consideración al momento de evaluar si la acción cuestionada es o no desigualitaria, si la persona que se vería afectada es parte integrante de un grupo históricamente desaventajado. Es decir, en esta instancia se debe analizar la situación para comprender si la acción, con la que el individuo se encuentra afectado, es llevada a cabo como una práctica (con intención o sin ella) que conlleva a la exclusión social de ciertos grupos y que da como resultado que estos mismos no puedan desarrollar plenamente sus derechos.17 Se debe resaltar que se pasa de contemplar una situación individual de discriminación a una grupal, esta discriminación estructural afecta a un grupo.18
En relación con esta visión, se introduce de manera breve un fenómeno de gran relevancia como la discriminación múltiple. Si la concepción de igualdad como no discriminación toma la idea de que la causa de la discriminación es una sola y en consecuencia debe ser afrontada, no es así en la visión a tratar en este momento. Esto es posible al tomar en consideración la existencia de ciertos casos donde no se halla un solo factor de discriminación sino múltiples. En las múltiples facetas que engloban a un individuo, acompañado muchas veces de estereotipos, estas personas al pertenecer o ser designadas a un grupo son sujetos potenciales o víctimas de distintas formas de discriminación. Es decir, los sujetos pertenecientes a los mencionados grupos ven cómo estas causas de discriminación operan de forma concurrente y conexa. De este modo se produce una situación de desventaja estructural.
Por otro lado, en esta postura se exime la presunción de un statu quo de hecho igualitario para considerar los datos y las circunstancias previas al juico de comparación. Resulta intrascendente detenerse a observar si se lleva a cabo una discriminación directa o indirecta,19 solo interesando el efecto y el impacto en los grupos vulnerables.
Aquí hay una intención de evitar la formación de grupos sometidos y/o desventajados y que esa condición se perpetúe en el tiempo. Ante un supuesto de desigualdad de hecho (referido al accionar positivo como negativo del Estado) están permitidos los tratos desiguales cuando se busca poner fin o limitar la situación de exclusión.20
3. Inteligencia Artificial
Para comenzar, se dejará de lado por un momento el derecho a la igualdad y antes de profundizar en los datos en tanto se comprenden como instrumentos de la realidad, surgió el compromiso de hablar de otro concepto de gran importancia para poder seguir con el desarrollo del trabajo. El concepto es el de Inteligencia Artificial (AI).
Una de las tareas que presenta mayor dificultad dentro del marco académico es la de brindar una definición del nombrado concepto con el potencial necesario para ser aceptado. En este trabajo surgió el ánimo de sostener esto, puesto que a través de un examen consciente se puede observar que, tanto en documentos de varios organismos internacionales, como en textos académicos y no académicos, no hay una mirada predominante que sea libre de toda duda o cuestionamiento.
A pesar de esto, se presentó el riesgo de participar de este debate. Se puede comenzar con la manifestación de que se habla de una disciplina interdisciplinaria, entre muchas se pueden nombrar a la Filosofía, la Lingüística, la Ciencia Cognitiva, la Neurociencia, etc. En esta misma línea se manifiesta el grupo de expertos de alto nivel sobre IA de la U.E. Estos han expresado que se puede definir a los sistemas inteligentes de esta forma:
Sistemas de software (y en algunos casos también de hardware) diseñados por seres humanos que, dado un objetivo complejo, actúan en la dimensión física o digital mediante la percepción de su entorno a través de la obtención de datos, la interpretación de los datos estructurados o no estructurados que recopilan, el razonamiento sobre el conocimiento o el procesamiento de la información derivados de esos datos, y decidiendo la acción o acciones óptimas que deben llevar a cabo para lograr el objetivo establecido.21
De este modo, se puede comprender que la IA no es una sola cosa, sino más bien una constelación de procesos y tecnologías que permiten que las computadoras complementen o reemplacen “tareas específicas que de otro modo serían ejecutadas por seres humanos, como tomar decisiones y resolver problemas”.22
En relación con lo anterior, de forma previa se debe diferenciar entre dos concepciones diferentes de IA. En las etapas iniciales de esta disciplina, fueron brindadas por el filósofo John Searle donde distinguió entre una versión débil y fuerte de IA. En la actualidad se pueden encontrar variaciones de éstas, pero con una mayor extensión y riqueza en el tratamiento. De este modo, un sistema de IA general o fuerte23 es el diseñado para realizar la mayoría de las actividades que pueden llevar a cabo los seres humanos.24 En otras palabras, la IA ya no simula ser una mente humana, es una mente y por consiguiente debería ser capaz de pensar como una persona.25 Por el contrario, los sistemas de IA específicos (o mencionados como débiles) solo están destinados a realizar una tarea concreta o un número reducido de ellas. Es decir, construir programas que ayuden al ser humano en sus actividades mentales en lugar de duplicarlas. En el campo de la segunda concepción se puede afirmar que se ha progresado de manera considerable en los últimos tiempos, gracias, sobre todo, al crecimiento de la capacidad de procesamiento (computer processing power), la disponibilidad de grandes cantidades de datos y al desarrollo del aprendizaje automático (machine learning).
Este trabajo, expuesto en las próximas líneas, no se enfocó en la versión general, puesto que todavía no se han podido realizar grandes avances en dicho campo por las dificultades que presenta tal noción, en consecuencia, se abordó en la versión débil por el motivo de sus grandes avances.
3.1 Su proceso
3.1.1 Características
Sin intención de presentar una repetición en el futuro inmediato, se deben exponer las tres características principales de los sistemas inteligentes: a) software que aprende y en consecuencia se adapta,26 b) hardware con un poder masivo de cómputo, c) grandes cantidades de datos.
Estas características combinadas son las que les dieron vida a estos nuevos sistemas inteligentes.27 Su resultado determina que los sistemas de IA (por medio de algoritmos) ya pueden aprender por sí mismos y pueden ser autónomos y adaptativos.28
Para alcanzar estas características existen distintas técnicas. Entre tantas se pueden nombrar los sistemas expertos, las redes neuronales, los algoritmos genéticos, etc. Para los fines de este trabajo se decidió tomar como marco la técnica de redes neuronales, con una arquitectura combinada por capas y de forma indistinta por modelos recurrentes, por refuerzo, supervisado y no supervisado29 se entiende que el fondo del tratamiento puede ser útil más allá de la variante elegida.
Teniendo en cuenta lo anterior, es adecuado y oportuno brindar una noción general de ciertos conceptos antes de adentrar el trabajo en el proceso de aprendizaje. En la base de la IA están los algoritmos, los códigos informáticos diseñados y los escritos por seres humanos que ejecutan instrucciones para traducir datos en conclusiones, información o productos.30 Se puede comenzar diciendo que el aprendizaje automático incluye algoritmos capaces de enseñarse a sí mismos tareas específicas sin estar programados para eso. El método se basa en el procesamiento de datos de entrenamiento que sirven de base al algoritmo para aprender a reconocer patrones y formular normas. El aprendizaje profundo (deep learning), una de las tantas formas de machine learning, utiliza estructuras de redes neuronales basadas a grandes rasgos en el cerebro humano que aprende mediante el ensayo y la respuesta.
La distribución de neuronas se realiza dentro de la red que forma niveles o capas con un número determinado de dichas neuronas en cada una, allí la red aprende algo simple en la capa inicial de la jerarquía y luego envía esta información a la siguiente capa.31 Ésta toma la información simple, la combina con algo un poco más complejo y la pasa a la tercera capa. Este proceso se lleva a cabo de tal manera que cada capa de la jerarquía construye algo más complejo de la entrada que recibió de la capa anterior. De esta forma, la red aprende por medio de la exposición a los datos de ejemplo.32
A su vez, cuando los resultados arrojados no son los esperados, se realizan cambios adaptativos en los pesos y a veces en las conexiones entre ellas. En caso de que la estructura sea fija, solo varían los pesos, en caso contrario lo harán tanto los nombrados como los enlaces.33 Para que se ejecute una determinada tarea es necesario someterla a un proceso de aprendizaje o de entrenamiento, a través de la presentación repetitiva y sistemática de un apreciable conjunto de ejemplos.
En el proceso de aprendizaje los enlaces ponderados de las neuronas poseen la capacidad de ajustarse de tal manera que se obtengan ciertos resultados específicos esperados. Con base en esto, una red neuronal no necesita un algoritmo para resolver un problema, puesto que es capaz de generar su propia distribución de pesos en los enlaces mediante el proceso de aprendizaje.34 A su vez, también existen redes neuronales que continúan aprendiendo de manera permanente, incluso después de completar su período de entrenamiento.
Al tener presente lo anterior como un punto de partida surgen las siguientes interrogantes: ¿El sistema inteligente es el único que determina la toma de decisión?, ¿no hay intervención humana en dicha toma de decisiones?
La función del diseñador consiste en la obtención de la arquitectura apropiada, en este sentido es necesario que desarrolle un algoritmo de aprendizaje adecuado que le proporcione a la red la capacidad de discriminar.35
La red neuronal aprende a base de ejemplos, no es el programador sino el propio sistema (gracias a la gran cantidad de datos que le sirven de ejemplo) el que realiza la toma de decisión. Por este motivo:
Los programadores de algoritmos basados en IA pierdan la capacidad de saber por qué aquel ha tomado una determinada decisión, puesto que lo hizo sobre la base del conjunto de entradas que recibió. El algoritmo adquiere cierta distancia frente al diseñador o al programador.36
Por lo anterior, en algunas técnicas de aprendizaje automático, se encuentran grandes críticas a su trasparencia. De manera concreta, se halla el concepto de caja negra que refiere a este tipo de escenarios en los que no es posible encontrar el motivo subyacente a determinadas decisiones.37
4. Datos ¿objetivos?
Con base en lo expuesto en párrafos anteriores, el proyecto es capaz de advertir qué tan necesario resulta contar con una gran cantidad de datos para poder realizar el proceso de aprendizaje. Resulta evidente que se utilizarán los que se consideren relevantes para esa tarea específica, debiéndose dejar de lado los otros datos que no guarden relación con la tarea. En caso de estar en la búsqueda de la obtención de un resultado se deben utilizar los que se estimen como conducentes con él y se dejan de lado a los otros por considerarse sin relevancia. También la calidad de estos es muy importante. La función de los algoritmos consiste en procesar datos, como consecuencia están sujetos a una limitación compartida por todos los tipos de procesamiento de datos, esto consiste en que el producto nunca puede superar la información aportada.38
Al hablar de estos (los que son ajenos a la ciencia de datos) se suele pensar que son simples representaciones objetivas. Sin embargo, es probable que al esforzarse por ver más allá de lo aparente se detecte que estos no son objetivos, sino que reflejan ideas preconcebidas como prejuicios y otros sesgos.
Se hará un detenimiento breve en una de las posibles manifestaciones de estos sesgos, los estereotipos. Las personas por medio de distintos procesos cognitivos, encaran la difícil tarea de asimilar el mundo que los enfrenta. Ellas buscan gastar la menor cantidad posible de recursos cognitivos para asimilar la realidad y por lo tanto, intentan muchas veces de forma inconsciente, optimizar los recursos antes mencionados a través de distintas prácticas como la utilización de estereotipos. Estos podrían definirse como el proceso de atribución a un individuo de características, roles y actitudes con motivo de su aparente pertenencia a un grupo particular. En otras palabras, “la asignación de estereotipos produce generalizaciones o preconcepciones concernientes a los atributos, características o roles de quienes son miembros de un grupo particular (...)”.39
Al establecer a través de este proceso la pertenencia de un individuo a un determinado grupo, solo por el simple hecho de considerar su pertenencia a él, se puede asumir que actuará de manera acorde con la visión o la preconcepción asignada a éste. En el mencionado proceso de asignación no se agota en la asignación de características, sino también en el accionar consecuente respecto a éstas, el cual tiene el potencial de generar un daño tanto de tipo patrimonial como extra patrimonial.40 Un ejemplo de una práctica, con estereotipos como contenido es la publicidad abusiva que causa violencia de género al reproducir características, roles o expectativas de género.41
Dicho de otra manera, antes de comenzar el proceso de entrenamiento, los datos tienen que ser codificados, es decir que deben hallarse valores apropiados para representar las características simbólicas (alto, bajo, adecuado, etc.)42 A su vez, también se debe determinar un estado inicial, lo que significa: escoger un conjunto inicial de pesos para las diversas conexiones entre las neuronas de la red neuronal. Además, se debe tener presente que muchas veces, al ser un campo con tantas y variadas aplicaciones, se utilizarán datos sustitutivos para lograr correlaciones entre dos puntos. Muchas veces estas correlaciones son discriminatorias.
Consecuente con lo anterior, es necesario sostener que todo modelo es una simplificación, puesto que no es posible reducir la complejidad de la realidad a una serie limitada de datos. Es inevitable que parte de la información importante se quede afuera.
Al crear un modelo se decidió que es relevante y amerita su inclusión en el mismo, así se transforma en una versión reducida de lo que se entiende por realidad. Al reducir la realidad a través de un modelo es irrebatible que queden puntos sin ver. Estos puntos ciegos son la consecuencia de que el modelo refleja opiniones y prioridades de sus creadores para obtener el objetivo determinado.43 Al incluirse opiniones y prioridades en estos modelos es inevitable que los propios valores y deseos influyan en las decisiones. Este marco abre la posibilidad de que puedan engendrarse actitudes discriminatorias.
El mismo razonamiento surge de la Resolución Nº 72/540 de la Asamblea General de las Naciones Unidas ‒ONU (2018) sobre “El derecho a la privacidad” donde se manifiesta lo siguiente:
Contrariamente a su estructura aritmética que les da una apariencia de objetividad, los algoritmos ‘inevitablemente conllevan valores’. Los valores que encarnan suelen reflejar los supuestos culturales o de otra índole de los ingenieros informáticos que los diseñan y les implantan dentro de su estructura lógica a modo de opiniones tácitas.44
En síntesis, se puede decir que la IA aprende con base en los datos que se le brinden. Dependiendo de la calidad de los datos que se dispongan para que se efectúe el proceso de entrenamiento, estos serán la calidad de los resultados obtenidos, como sostiene el Grupo de expertos de alto nivel sobre IA de la U.E.:
Si los datos de formación presentan sesgos -es decir, si no son suficientemente equilibrados o inclusivos-, el sistema de IA formado a partir de esos datos no podrá extraer generalizaciones correctas y existe la posibilidad de que tome decisiones injustas (…)45
El algoritmo no introduce sesgos, sino que reproduce y profundiza en los que ya tienen en virtud al hecho primero.46 El resultado sesgado es producto del dato sesgado que le dio origen.
5. Engarce
Hasta aquí, se han desarrollado las nociones principales en búsqueda de la comprensión del significado de Inteligencia Artificial. A su vez, se desarrollaron las distintas nociones existentes en el ordenamiento jurídico sobre el derecho a la igualdad y se optó por aquella como no sometimiento. Resultado de todo lo anterior, es posible que se comience a advertir el conflicto al que apunta este trabajo.
El peligro de hospedar datos sesgados en los procesos de aprendizaje de las redes neuronales, es existente puesto que toda persona encargada de la conformación del modelo está cargada de su propia subjetividad.
Si se comienzan a desarrollar los ámbitos en lo que se deben ser precavidos y estar atentos, se pueden comenzar por las propias ideas de los profesionales en cuestión. Con base en esto, se buscó hablar acerca de que, incluso de forma inconsciente, muchos de ellos poseen ideas formadas de prejuicios o estereotipos y se verán reflejados en su trabajo.
En segundo lugar, pero con igual grado de importancia, se encuentran las prácticas que desarrollan los anteriores comportamientos que crean ideas y luego se vuelven prácticas. Aquí resultó necesario advertir que tanto las ideas y las prácticas, como el siguiente punto posiblemente adverso, se relacionan e influyen entre sí, potenciándose o disminuyéndose de forma recíproca.
Al retomar lo mencionado en el párrafo anterior, se puede encontrar el último escenario posiblemente adverso. Éste es el contexto que envuelve a los individuos y los compromete en sus decisiones. Los tres ámbitos previamente introducidos tienen el potencial para suponer una amenaza con miras al desenlace posible -objeto del trabajo-.
Como opinión se puede presentar que al imaginarse el momento previo a observar cualquier clase de daño se suele pensar en un extremo del mismo, quizás para que la ejemplificación sea más sencilla. En cambio, si para este trabajo hay un esfuerzo y se ve más allá de lo simple, al utilizar como premisa la concepción del derecho a la igualdad elegida, se puede encontrar un escenario un poco más complejo, pero más interesante. Quizás con un ejemplo se puede comprender mejor esta cuestión. Robert Post al trabajar la problemática acerca de cuál debe ser la noción prevaleciente de igualdad, brindó un conocido ejemplo sobre orquestas municipales. Donde relata lo siguiente:
Con la intención de evitar una práctica discriminatoria en la conformación de las orquestas municipales, las audiciones en las que se probaban a los postulantes para formar parte de ellas, se realizaban con paneles opacos que separaban al candidato/a de los miembros del jurado examinador. (…) De este modo, el sexo, la raza, la religión, el color de piel, el origen nacional o la apariencia externa de la persona, todas características irrelevantes para la selección que se trataba (solo sería relevante tener la habilidad necesaria para ejecutar un instrumento musical), se encontraba completamente detrás del “velo de ignorancia” -casi sin metáforas- del comité examinador, de modo que la decisión de contratar a una de esas personas estuviera basada solamente en la calidad del sonido emitido por el instrumento ejecutado. (…) Este sistema de selección, absolutamente ciego de las diferencias entre las personas que no fueran relevantes para la selección de que se trata (resulta ser el método correcto de selección de acuerdo con las exigencias del principio de igualdad como no discriminación). La línea que se traza repartiendo a las personas a uno u otro lado de ella es aquella que aísla la única característica relevante en este caso para justificar un trato diferente: la idoneidad como ejecutor o ejecutora de un instrumento musical.47
Al observar este ejemplo con la perspectiva de igualdad estructural, se puede ver una falla en este. Para la elegida concepción de igualdad, antes de iniciar la audición, se debe mirar la situación del hecho que la antecede, es decir, su estructura social. Es probable que se contemple que dicha selección mantiene y afirma la desigualdad del hecho existente en la realidad, puesto que es la razón a la no observación de la situación de desigualdad o desventaja de esos grupos,48 se demuestra con esto las falencias de la igualdad como no discriminación.
En efecto, como se mencionó en el pasado, la igualdad estructural tiene en cuenta la situación de los hechos de estos grupos desaventajados y deja de lado la visión individualista de las otras nociones.
Por el motivo expuesto con anterioridad, se alertó acerca del potencial conflicto en puertas, tras señalar los riesgos en los que se ven inmersos los que carguen con la tarea de crear las redes neuronales, determinar los datos y su calidad, de tomar en consideración por la visión de igualdad estructural, deja sin dudas el posible conflicto a enfrentar.
Así, resulta trascendental que al determinarse los datos relevantes para la conformación del modelo se tengan en cuenta los que representen la situación de hecho de esos grupos, incluso cuando parezcan no ser conducentes para la tarea puntual a la que está destinada la IA específica. Se entiende esta última recomendación en clave que se necesita representar la operatoria de la estructura social para acompañar la noción de igualdad estructural y evitar el daño agravado en los colectivos sensibles.
Además, al tomar la idea de fondo de las acciones afirmativas, están permitidos los tratos desiguales, cuando lo que se busca es poner fin o limitar la situación de exclusión, apreciación contraria a su entendimiento como no discriminación. Por lo que, en tanto a los datos y su contenido se refiere, estaría avalado un trato diferenciado que represente el contexto general buscando la concepción de igualdad.
A su vez, y al tomar la sucinta explicación introductoria a la discriminación múltiple, resulta ser necesario captar el mayor y más amplio espectro de datos de la realidad para intentar reflejar la situación de hecho con la que conviven los grupos desaventajados. De no hacerlo o no lograrlo se abre la posibilidad de caer en una discriminación interseccional y con esto producir un daño.
De lo narrado y del ejemplo mencionado hay una capacidad de apreciar cómo, en la conformación de modelos, es fundamental incluir los datos que sean susceptibles de reflejar la situación de hecho de los grupos vulnerables, más allá de ser o no conducentes para la tarea específica.
6. Conclusión
En lo extenso del trabajo hubo un esfuerzo por desarrollar los elementos necesarios para comprender el problema planteado. Es decir, se desarrollaron de manera oportuna las diferentes concepciones de igualdad, se optó por la que lo entiende como no sometimiento en tanto la toma de consideración de los datos o elementos del contexto social y económico. También se introdujo de forma concisa la noción de discriminación múltiple para integrarla y relacionarla con los efectos de la práctica nociva a trabajar.
A su vez, en un estudio simultáneo se explicó el concepto de Inteligencia Artificial, su funcionamiento dentro de los términos planteados en el presente trabajo y su relación con los datos.
Con estos últimos se trabajó la idea de que los algoritmos conllevan a ciertos valores en tanto reflejen los supuestos culturales o de otra índole de los ingenieros informáticos49 que los diseñan y los implantan.
Como resultado de lo explicado, también se desarrolló el vínculo existente entre los datos sesgados y la igualdad en clave de no sometimiento. En otras palabras, en lo extenso del trabajo se buscó advertir y demostrar con base en la doctrina especializada en igualdad y en documentos públicos de organismos internacionales, que el daño producido por la IA con motivo en sus datos sesgados (de tomarse en consideración la idea de igualdad estructural o también llamada no sometimiento) debería considerarse agravado de resultar en un individuo perteneciente a un grupo o un colectivo históricamente desaventajado.
Por este motivo, se propusieron diversas repuestas con esperanzas de convertirse en soluciones.
En un primer paso, tal como propone este trabajo, se debe analizar al momento de determinar qué datos son relevantes para la composición del estado inicial de la red neuronal si estos son compatibles con la noción de igualdad como no sometimiento. De este modo, se propuso incluir al estado inicial los que pueden aparentar no ser conducentes para la tarea específica pero sí reflejan al contexto social pertinente. Se habló de la apariencia, pues aunque se entiende que ésta no posee una relación estrecha con la tarea, sí hace parte de la misma debido a que brinda el contexto necesario para no incurrir en acciones u omisiones dañosas.
Conforme a la perspectiva de no sometimiento, en un segundo paso, resultó relevante la incorporación de datos históricos y sociales que presente el fenómeno de sometimiento y exclusión sistemático al que se encuentran sometidos amplios sectores de la sociedad.50
En tercer lugar, se propuso que los deberes mencionados con anterioridad sean llevados a cabo por equipos multidisciplinarios con intención de que arrojen posturas o políticas multidireccionales. No se puede desconocer la confluencia de facetas que conforman a los individuos y si existe la posibilidad de que se contemple un accionar discriminatorio, se debe pensar más allá de las políticas unidireccionales y abrazar las que brinden múltiples y variados puntos de vista.
Para concluir, se expuso que se debe exigir para evitar el daño que de manera obligatoria produzca el desarrollo de la Inteligencia Artificial, un enfoque inclusivo. Esto significa que debe haber una participación relevante de las personas y de las comunidades en cómo se recogen, se analizan y se utilizan los datos.51 En este orden de ideas, también se entendió que debe haber una revisión periódica del diseño, del desarrollo y de la implementación de la IA.
