Las empresas ya utilizan ampliamente los chatbots de IA para saludar a los clientes y responder a sus preguntas, ya sea por teléfono o en sitios web. Algunas empresas han descubierto que pueden, hasta cierto punto, sustituir a los humanos por máquinas en funciones de call center.
Sin embargo, la evidencia disponible sugiere que hay sectores –como la atención médica y los recursos humanos– donde se debe tener extremo cuidado con respecto al uso de estas herramientas de primera línea, y puede ser necesaria una supervisión ética.
Un ejemplo reciente y muy publicitado es el de un chatbot llamado Tessa, que fue utilizado por el Asociación Nacional de Trastornos de la Alimentación (NEDA) en los EE.UU. Inicialmente, la organización mantuvo una línea de ayuda operada por una combinación de empleados asalariados y voluntarios. Este tenía el objetivo expreso de ayudar a las personas vulnerables que padecen trastornos alimentarios.
Sin embargo, este año, la organización disolvió el personal de su línea de ayuda, anunciando que los reemplazaría con el chatbot Tessa. Las razones de esto son controvertidas. Los ex trabajadores afirman que el cambio se produjo tras la decisión del personal de la línea de ayuda de sindicalizarse. El vicepresidente de NEDA citado un mayor número de llamadas y tiempos de espera, así como responsabilidades legales relacionadas con el uso de personal voluntario.
Cualquiera sea el caso, después de un período muy breve de operación, Tessa fue desconectada debido a informes de que el chatbot había emitido consejos problemáticos que podrían haber exacerbado los síntomas de las personas que buscaban ayuda para los trastornos alimentarios.
También se informó que Dra. Ellen Fitzsimmons-Craft y Dr. C Barr Taylor, dos investigadores altamente calificados que ayudaron en la creación de Tessa, habían estipulado que el chatbot nunca tuvo como objetivo reemplazar una línea de ayuda existente ni brindar asistencia inmediata a quienes experimentan síntomas intensos de trastorno alimentario.
Mejora significativa
Entonces, ¿para qué fue diseñada Tessa? Los investigadores, junto con sus colegas, habían generado un estudio observacional destacando los desafíos que enfrentaron al diseñar un chatbot basado en reglas para interactuar con usuarios preocupados por los trastornos alimentarios. Es una lectura bastante fascinante, que ilustra opciones de diseño, operaciones, dificultades y modificaciones.
La versión original de Tessa era tradicional, chatbot basado en reglas, aunque muy refinado, que sigue una estructura predefinida basada en la lógica. No podía desviarse de las respuestas estandarizadas preprogramadas calibradas por sus creadores.
Su conclusión incluyó el siguiente punto: “Los chatbots basados en reglas tienen el potencial de llegar a grandes poblaciones a bajo costo al proporcionar información e interacciones simples, pero tienen limitaciones para comprender y responder adecuadamente a respuestas imprevistas de los usuarios”.
Esto podría parecer que limita los usos para los que Tessa era adecuada. Entonces, ¿cómo acabó reemplazando la línea de ayuda que utilizaba anteriormente NEDA? La cadena exacta de eventos está siendo discutida entre diferentes cuentas, pero, según NPR, la empresa de alojamiento del chatbot cambió a Tessa de un chatbot basado en reglas con respuestas preprogramadas a uno con un “Función mejorada de preguntas y respuestas”.
La última versión de Tessa empleaba IA generativa, muy parecida a ChatGPT y productos similares. Estos chatbots de IA avanzados están diseñados para simular patrones de conversación humanos con la intención de dar respuestas más realistas y útiles. Generar estas respuestas personalizadas depende de grandes bases de datos de información, que los modelos de IA están entrenados para "comprender" a través de una variedad de procesos tecnológicos: máquina de aprendizaje, deep learning y procesamiento natural del lenguaje.
Lecciones de aprendizaje
Al final, el chatbot generó lo que se ha descrito como respuestas potencialmente dañinas a las preguntas de algunos usuarios. Las discusiones posteriores han desplazado la culpa de una institución a otra. Sin embargo, el punto sigue siendo que las circunstancias subsiguientes podrían haberse evitado si hubiera habido un organismo que proporcionara supervisión ética, un “humano informado” y una adhesión al propósito claro del diseño original de Tessa.
Es importante aprender lecciones de casos como este en el contexto de una carrera hacia la integración de la IA en una variedad de sistemas. Y si bien estos eventos tuvieron lugar en Estados Unidos, contienen lecciones para quienes buscan hacer lo mismo en otros países.
El Reino Unido parecería tener un enfoque algo fragmentado respecto de esta cuestión. El consejo asesor del Centro de Ética e Innovación de Datos (CDEI) fue disuelto recientemente y su asiento en la mesa lo ocupó el recién formado Frontier AI Taskforce. También hay informes de que ya se están probando sistemas de inteligencia artificial en Londres como herramientas para ayudar a los trabajadores, aunque no como reemplazo de una línea de ayuda.
Ambos ejemplos resaltan una tensión potencial entre consideraciones éticas e intereses comerciales. Debemos esperar que ambos eventualmente se alineen, equilibrando el bienestar de las personas con la eficiencia y los beneficios que la IA podría brindar.
Sin embargo, en algunas áreas donde las organizaciones interactúan con el público, es posible que las respuestas generadas por IA y la empatía simulada nunca sean suficientes para reemplazar la humanidad y la compasión genuinas, particularmente en las áreas de la medicina y la salud mental.
Mark Tsagas, Profesor, Derecho Penal, Universidad de East London
Este artículo se republica de La conversación bajo una licencia Creative Commons. Leer el articulo original.
