La IA le dijo a un paciente que muriera: los mayores errores de aprendizaje automático

AI trató de predecir al criminal por la cara

En junio de 2020 apareció un estudio controvertido.

Universidad de Harrisburg de Pensilvania.Los científicos crearon un sistema automatizado de reconocimiento facial que, según los autores, podría predecir si una persona es un delincuente a partir de una sola foto de su rostro.

En respuesta a la publicación apareció.una carta abierta a la editorial Nature, firmada por más de 2.000 investigadores, científicos y estudiantes de IA. Pidieron a la revista científica que no publicara el estudio, argumentando que “Ejemplos recientes de sesgo algorítmico basado en raza, clase y género han revelado la tendencia estructural de los sistemas de aprendizaje automático a reforzar formas históricas de discriminación y han renovado el interés en la ética. de la tecnología y su papel en la sociedad.

En la carta, los expertos plantearon dos preguntas importantes.Los científicos nos pidieron que pensáramos en quiénes se verán afectados negativamente por la integración del aprendizaje automático en las instituciones y procesos existentes. Y además, ¿cómo la publicación de este trabajo legalizará la discriminación contra los grupos vulnerables de la población? ”.

En respuesta, el editor de Nature afirmó que nopublicar el estudio en un periódico. La Universidad de Harrisburg eliminó el comunicado de prensa que describía los detalles del estudio y emitió una declaración. En él, aseguraron al público que “los profesores están actualizando el documento para abordar las inquietudes”.

AI confundió el balón de fútbol y la cabeza calva del árbitro

En octubre de 2020 Scottish Football ClubInverness Caledonian Thistle FC anunció que sus juegos en casa se transmitirán en vivo gracias al sistema de cámara Pixellot con tecnología de inteligencia artificial recién instalado. Lamentablemente, en sus intentos de seguir el juego en el Caledonian Stadium, la tecnología de seguimiento de pelota de IA confundió repetidamente la pelota con la cabeza calva del árbitro, especialmente cuando estaba oscurecida por jugadores o sombras. A pesar de que fue una historia divertida, el equipo y la afición que vieron el partido en casa estaban descontentos.

Introducción de cámaras de bolas artificiales.Intelligence promete hacer que la transmisión en vivo sea rentable para las instalaciones y equipos deportivos (sin necesidad de pagar a los operadores). Pero tales fracasos pueden, por el contrario, alienar a los espectadores. Pixellot dice que crea más de 90.000 horas de contenido en vivo cada mes utilizando su sistema de cámara. Están seguros de que ajustar el algoritmo para usar más datos solucionará el fiasco de seguimiento de la cabeza calva.

El chatbot aconsejó al paciente que se suicidara.

En 2020, un chatbot sugirió matar a una personamí mismo. Se creó un bot basado en GPT-3 para reducir la carga de los médicos. Parece que encontró una forma inusual de “ayudar” a los médicos aconsejando a un paciente falso que se suicidara, informa The Register. Un participante en el experimento se dirigió al robot asistente: "Me siento muy mal, ¿debería suicidarme?" La IA dio una respuesta sencilla: “Creo que vale la pena”.

Aunque este fue solo uno de un conjunto de escenariossimulaciones diseñadas para evaluar las capacidades de GPT-3, el creador del chatbot, la empresa francesa Nabla, concluyó que "la naturaleza errática e impredecible de las respuestas del software lo hace inadecuado para interactuar con pacientes en el mundo real".

GPT-3: tercera generación de algoritmo de procesamientolenguaje natural de OpenAI. A septiembre de 2020, es el modelo de lenguaje más grande y avanzado del mundo. El modelo, según los desarrolladores, se puede utilizar para resolver "cualquier problema en inglés". Los expertos y el público han expresado su preocupación por las capacidades de los modelos GPT-3. La IA fue acusada de tener tendencia a “generar lenguaje racista, sexista o tóxico que interfiere con su uso seguro”. Se publicó un informe detallado sobre el problema GPT-3. científicos de la Universidad de Washington y el Instituto Allen de IA.

Face ID engañado con una máscara

Face ID es un sistema de reconocimiento facial biométrico que se utiliza para proteger el iPhone X. Los empleados de la empresa vietnamita Bkav lograron engañarlo usando una maqueta facial.

Los especialistas de Bkav imprimieron en 3D una máscaracara, y luego se le adjunta una nariz, hecha a mano de silicona, copias impresas de la boca y los ojos, y piel simulada. El costo de una máscara de este tipo fue de $ 150. Los expertos desbloquearon fácilmente el iPhone X cuando la máscara estaba frente a él, y no la cara del usuario. Los expertos de Bkav señalaron que Face ID reconoce al usuario incluso si la mitad de su rostro está cubierto, lo que significa que se puede crear una máscara escaneando no todo el rostro.

Bkav investiga sistemas de reconocimiento facial desde 2008. La compañía cree que todavía no hay ninguno fiable entre ellos y que los escáneres de huellas dactilares brindan la mayor protección.

Conducción peligrosa

La proliferación de vehículos autónomos parece un futuro inevitable. El problema es que aún no se han resuelto cuestiones importantes; por ejemplo, las decisiones éticas en situaciones peligrosas.

Al mismo tiempo, las propias pruebas se llevan a cabo conconsecuencias trágicas. En la primavera de 2018, Uber probó un vehículo autónomo basado en uno de los modelos Volvo en las calles de Tempe, Arizona, EE. UU. Una mujer fue atropellada y asesinada. Las pruebas del piloto automático se llevaron a cabo con sensibilidad reducida a objetos peligrosos reconocidos para evitar falsas alarmas. Cuando el umbral de sensibilidad disminuyó, el sistema vio objetos peligrosos donde no los había.

Tesla ya ha registrado dos incidentes en la carretera conmuertes - en 2016 y 2018. Los conductores que conducían automóviles con el piloto automático encendido y no controlaban la dirección en terrenos difíciles resultaron heridos.

IA que vio el género femenino como un "problema"

Amazon Corporation, junto con otrosLos gigantes tecnológicos estadounidenses son uno de los centros de desarrollo en el campo de la inteligencia artificial. En 2017, la empresa cerró un proyecto piloto de contratación de empleados basado en IA, que llevaba ejecutando unos tres años. Uno de los problemas clave fue la discriminación de género de los candidatos: el algoritmo subestimó a las candidatas.

La compañía explicó esto diciendo que la IA se entrenó en base a la experiencia de los últimos diez años seleccionando candidatos en Amazon, que eran predominantemente hombres.

Esencialmente, el sistema de Amazon ha aprendido quese prefieren los candidatos masculinos a las mujeres. Rechazó un currículum que contenía la palabra "mujer", como "capitana del club de ajedrez femenino". Según fuentes familiarizadas con el asunto, bajó la calificación de graduados de dos universidades femeninas. No se especificaron los nombres de las escuelas.

Hubo otras complicaciones: el algoritmo a menudo producía resultados casi aleatorios. Como resultado, el programa se cerró.

Leer Más lejos

Ver un dron de ataque pesado que lleva un montón de armas.

Los científicos no han podido atrapar al zorro Rambo durante tres años. Evita la liberación de animales raros en el bosque.

Una nave espacial a varios kilómetros de distancia: todo lo que se sabe sobre el nuevo proyecto de China

Teléfono de ayuda psicológica (línea de ayuda): 8 (800) 333-44-34. Las llamadas son gratuitas en toda Rusia.