Abriendo la caja negra de la inteligencia artificial
La inteligencia artificial se está volviendo cada vez más poderosa y está entrando en la vida cotidiana de más y más personas, pero a menudo no sabemos qué sucede dentro de estos sistemas. Su falta de transparencia podría alimentar problemas prácticos, o incluso el racismo, razón por la que los investigadores quieren abrir esta "caja negra" y hacer que la IA sea diáfana.
En febrero de 2013, Eric Loomis conducía por la pequeña ciudad de La Crosse en Wisconsin, EE. UU., Cuando fue detenido por la policía. El automóvil que conducía resultó estar involucrado en un tiroteo y fue arrestado. Finalmente, un tribunal lo sentenció a seis años de prisión.
Este podría haber sido un caso sin incidentes, si no hubiera sido por una pieza de tecnología que ayudó al juez a tomar la decisión. Utilizaron COMPAS, un algoritmo que determina el riesgo de que un acusado se convierta en reincidente. El tribunal ingresa una variedad de datos, como la información demográfica del acusado, en el sistema, lo que arroja una puntuación de la probabilidad de que vuelva a cometer un delito. Sin embargo, la forma en que el algoritmo predice esto no es transparente. El sistema, en otras palabras, es una caja negra, una práctica contra la que Loomis presentó una denuncia en 2017 ante la Corte Suprema de Estados Unidos. Afirmó que COMPAS utilizó datos de género y raza para tomar sus decisiones, y clasificó a los afroamericanos como de mayor riesgo de reincidencia. El tribunal finalmente rechazó su caso, alegando que la sentencia habría sido la misma incluso sin el algoritmo. Sin embargo, también ha habido una serie de revelaciones que sugieren que COMPAS no predice con precisión la reincidencia.
Adopción
Si bien los sistemas algorítmicos de sentencia ya se utilizan en los EE. UU., En Europa su adopción ha sido generalmente limitada. Un sistema holandés de sentencias de IA, que juzgaba casos privados como pagos atrasados a empresas, se cerró, por ejemplo, en 2018 después de una cobertura mediática crítica. Sin embargo, la IA ha entrado en otros campos de Europa. Se está implementando para ayudar a los médicos europeos a diagnosticar Covid-19. Y las empresas emergentes como la británica M: QUBE, que utiliza inteligencia artificial para analizar las solicitudes de hipotecas, están apareciendo rápidamente. Estos sistemas ejecutan datos históricos a través de un algoritmo, que luego genera una predicción o un curso de acción. Sin embargo, a menudo no sabemos cómo un sistema así llega a su conclusión. Podría funcionar correctamente o podría tener un error técnico en su interior. Incluso podría reproducir alguna forma de sesgo, como el racismo, sin que los diseñadores se den cuenta.
Es por eso que los investigadores quieren abrir esta caja negra y hacer que los sistemas de IA sean transparentes o "explicables", un movimiento que ahora está cobrando impulso. El Libro Blanco de la UE sobre Inteligencia Artificial publicado a principios de este año pedía una IA explicable, las principales empresas como Google e IBM están financiando la investigación y el RGPD incluso incluye el derecho a la transparencia para los consumidores. "Ahora podemos producir modelos de IA que son muy eficientes en la toma de decisiones", dijo Fosca Giannotti, investigadora principal del Instituto de Ciencia y Tecnología de la Información del Consejo Nacional de Investigación en Pisa, Italia. "Pero a menudo estos modelos son imposibles de comprender para el usuario final, por lo que la IA explicable se está volviendo tan popular".
Diagnóstico
Giannotti lidera un proyecto de investigación sobre IA explicable, llamado XAI, que quiere que los sistemas de IA revelen su lógica interna. El proyecto trabaja en sistemas automatizados de apoyo a la toma de decisiones, como la tecnología que ayuda a un médico a realizar un diagnóstico o algoritmos que recomiendan a los bancos si otorgan o no un préstamo a alguien. Esperan desarrollar los métodos técnicos o incluso nuevos algoritmos que puedan ayudar a que la IA sea explicable. "Los seres humanos todavía toman las decisiones finales en estos sistemas", dijo Giannotti. “Pero todo ser humano que use estos sistemas debe tener una comprensión clara de la lógica detrás de la sugerencia. " Hoy en día, los hospitales y los médicos experimentan cada vez más con sistemas de inteligencia artificial para respaldar sus decisiones, pero a menudo desconocen cómo se tomó la decisión. En este caso, la IA analiza grandes cantidades de datos médicos y arroja un porcentaje de probabilidad de que un paciente tenga una determinada enfermedad.
Por ejemplo, un sistema puede entrenarse con grandes cantidades de fotos de piel humana, que en algunos casos representan síntomas de cáncer de piel. Con base en esos datos, predice si es probable que alguien tenga cáncer de piel a partir de nuevas imágenes de una anomalía cutánea. Estos sistemas aún no son una práctica generalizada, pero los hospitales los prueban cada vez más y los integran en su trabajo diario. Estos sistemas a menudo utilizan un método de inteligencia artificial popular llamado aprendizaje profundo, que requiere grandes cantidades de pequeñas decisiones secundarias. Estos se agrupan en una red con capas que pueden variar desde unas pocas docenas hasta cientos de profundidad, lo que hace que sea particularmente difícil ver por qué el sistema sugirió que alguien tiene cáncer de piel, por ejemplo, o identificar un razonamiento defectuoso. "A veces, incluso el científico informático que diseñó la red no puede comprender realmente la lógica", dijo Giannotti.
Lenguaje natural
Para Senén Barro, profesor de informática e inteligencia artificial de la Universidad de Santiago de Compostela en España, la IA no solo debería poder justificar sus decisiones, sino hacerlo utilizando el lenguaje humano. "La IA explicable debería poder comunicar el resultado de forma natural a los humanos, pero también el proceso de razonamiento que justifica el resultado", dijo el profesor Barro. Es el coordinador científico de un proyecto llamado NL4XAI que está capacitando a los investigadores sobre cómo hacer que los sistemas de IA sean explicables, mediante la exploración de diferentes subáreas, como técnicas específicas para lograr que sea explicable. Dice que el resultado final podría parecerse a un chatbot. "La tecnología del lenguaje natural puede construir agentes conversacionales que transmitan estas explicaciones interactivas a los humanos", dijo.
Otro método para dar explicaciones es que el sistema proporcione un contrafactual. "Podría significar que el sistema da un ejemplo de lo que alguien necesitaría cambiar para alterar la solución", dijo Giannotti. En el caso de un algoritmo de evaluación de préstamos, un contrafactual podría mostrarle a alguien a quien se le negó el préstamo cuál sería el caso más cercano en el que se aprobaría. Podría decirse que el salario de alguien es demasiado bajo, pero si ganara 1000 € más al año, sería elegible.
Caja blanca
Giannotti dice que hay dos enfoques principales para la transparencia. Una es partir de algoritmos de caja negra, que no son capaces de explicar sus resultados por sí mismos, y encontrar formas de descubrir su lógica interna. Los investigadores pueden adjuntar otro algoritmo a este sistema de caja negra, un "explicador", que hace una serie de preguntas de la caja negra y compara los resultados con la información que ofrece. A partir de este proceso, el explicador puede reconstruir cómo funciona el sistema de caja negra. "Pero otra forma es simplemente tirar la caja negra y usar algoritmos de caja blanca", dijo Giannotti. Estos son sistemas de aprendizaje automático que se pueden explicar por diseño, pero a menudo son menos potentes que sus contrapartes de caja negra. "Todavía no podemos decir qué enfoque es mejor", advirtió Giannotti. "La elección depende de los datos en los que estemos trabajando". Al analizar grandes cantidades de datos, como una base de datos llena de imágenes de alta resolución, a menudo se necesita un sistema de caja negra porque son más poderosos. Pero para tareas más ligeras, un algoritmo de caja blanca podría funcionar mejor.
Sin embargo, encontrar el enfoque correcto para lograr la transparencia sigue siendo un gran problema. Los investigadores necesitan encontrar medidas técnicas para ver si una explicación realmente explica bien un sistema de caja negra. "El mayor desafío es definir nuevos protocolos de evaluación para validar la bondad y la eficacia de la explicación generada", dijo el profesor Barro de NL4XAI. Además de eso, la definición exacta de transparencia es algo confusa y depende de la situación en la que se aplique.
Un investigador de IA que escribe un algoritmo necesitará un tipo de explicación diferente en comparación con un médico que usa un sistema para hacer diagnósticos médicos. 'La evaluación humana (de la salida del sistema) es intrínsecamente subjetiva, ya que depende de los antecedentes de la persona que interactúa con la máquina inteligente', dijo el Dr. José María Alonso, coordinador adjunto de NL4XAI y también investigador de la Universidad de Santiago de Compostela. . Sin embargo, el impulso de una IA explicable avanza paso a paso, lo que mejoraría la cooperación entre humanos y máquinas. "Los humanos no serán reemplazados por la IA", dijo Giannotti. “Serán amplificados por computadoras. Pero la explicación es una condición previa importante para esta cooperación ".
La ventana a un mundo en constante cambio
Muy Interesante
Recibe nuestra revista en tu casa desde 39 euros al año
Suscríbete