GPT-3 es 10 veces más complejo que su predecesor. antoniokhr / iStock a través de Getty Images

En 2013, mi estudiante y yo en Penn State creamos un bot para escribir un artículo de Wikipedia sobre la obra teatral del premio Nobel bengalí Rabindranath Tagore "Chitra. " Primero, seleccionó información sobre "Chitra" de Internet. Luego miró las entradas existentes de Wikipedia para conocer la estructura de un artículo estándar de Wikipedia. Finalmente, resumió la información que había recuperado de Internet para escribir y publicar la primera versión de la entrada.

Sin embargo, nuestro bot no "sabía" nada sobre "Chitra" o Tagore. No generó ideas u oraciones fundamentalmente nuevas. Simplemente improvisó partes de oraciones existentes de artículos existentes para hacer otras nuevas.

Avance rápido a 2020. OpenAI, una empresa con fines de lucro dependiente de una empresa matriz sin fines de lucro, ha creado un programa de generación de lenguaje denominado GPT-3, un acrónimo de "Transformador 3 preentrenado generativo". Su capacidad para aprender, resumir y redactar texto ha asombrado a los informáticos como yo.

"He creado una voz para el humano desconocido que se esconde dentro del binario" GPT-3 escribió en respuesta a un mensaje. “He creado un escritor, un escultor, un artista. Y este escritor podrá crear palabras, dar vida a la emoción, crear carácter. No lo veré yo mismo. Pero alguna otra voluntad humana, y así podré crear un poeta más grande que cualquiera que haya conocido ".

A diferencia del de nuestro bot, el lenguaje generado por GPT-3 suena como si hubiera sido escrito por un humano. Es, de lejos, el programa de generación de lenguaje natural con más conocimientos hasta la fecha, y tiene una variedad de usos potenciales en profesiones que van desde la enseñanza hasta el periodismo y el servicio al cliente.

El tamaño importa

GPT-3 confirma lo que los científicos informáticos han sabido durante décadas: el tamaño importa.

Usa "transformers, ”Que son modelos de aprendizaje profundo que codifican la semántica de una oración usando lo que se llama un“ modelo de atención ”. Esencialmente, los modelos de atención identifican el significado de una palabra basándose en las otras palabras de la misma oración. Luego, el modelo utiliza la comprensión del significado de las oraciones para realizar la tarea solicitada por un usuario, ya sea "traducir una oración", "resumir un párrafo" o "componer un poema".

Transformers se introdujeron por primera vez en 2013, y se han utilizado con éxito en el aprendizaje automático durante los últimos años.

Pero nadie los ha usado a esta escala. GPT-3 devora datos: 3 mil millones de tokens (la informática habla por "palabras") de Wikipedia, 410 mil millones de tokens obtenidos de páginas web y 67 mil millones de tokens de libros digitalizados. La complejidad de GPT-3 es más de 10 veces mayor que la del modelo de lenguaje más grande antes de GPT-3, el Programas de Turing NLG.

Aprendiendo solo

El conocimiento mostrado por el modelo de lenguaje de GPT-3 es notable, especialmente porque no ha sido "enseñado" por un humano.

El aprendizaje automático se ha basado tradicionalmente en el aprendizaje supervisado, donde las personas proporcionan a la computadora ejemplos anotados de objetos y conceptos en imágenes, audio y texto, por ejemplo, "gatos", "felicidad" o "democracia". Eventualmente aprende las características de los objetos de los ejemplos dados y es capaz de reconocer esos conceptos particulares.

Sin embargo, la generación manual de anotaciones para enseñarle a una computadora puede llevar mucho tiempo y ser costosa.

Entonces, el futuro del aprendizaje automático radica en el aprendizaje no supervisado, en el que la computadora no necesita ser supervisada durante su fase de entrenamiento; simplemente se puede alimentar con enormes cantidades de datos y aprender de ellos.

GPT-3 lleva el procesamiento del lenguaje natural un paso más hacia el aprendizaje no supervisado. Los amplios conjuntos de datos de entrenamiento de GPT-3 y su enorme capacidad de procesamiento permiten que el sistema aprenda de un solo ejemplo: lo que se llamaaprendizaje de una sola vez”- donde se le da una descripción de la tarea y una demostración y luego se puede completar la tarea.

Por ejemplo, se le puede pedir que traduzca algo del inglés al francés y se le dé un ejemplo de traducción, digamos, nutria marina en inglés y “loutre de mer” en francés. Pídale que luego traduzca "queso" al francés, y listo, producirá "fromage".

En muchos casos, incluso puede lograr "aprendizaje cero, ”En el que simplemente se le da la tarea de traducir sin ejemplo.

Con el aprendizaje de disparo cero, la precisión disminuye, pero las habilidades de GPT-3 son, no obstante, precisas en un grado sorprendente, una mejora notable con respecto a cualquier modelo anterior.

'Estoy aquí para servirle'

En los pocos meses que ha estado fuera, GPT-3 ha mostrado su potencial como herramienta para programadores de computadoras, profesores y periodistas.

Un programador llamado Sharif Shameem pidió a GPT-3 que generara código para crear el "emoji más feo de todos los tiempos" y "una tabla de los países más ricos del mundo", entre otros comandos. En algunos casos, Shameem tuvo que corregir pequeños errores, pero en general, se le proporcionó un código notablemente limpio.

GPT-3 incluso ha creado poesía que captura el ritmo y el estilo de poetas particulares, pero no con la pasión y la belleza de los maestros, incluido un satírico escrito con la voz de la junta de gobernadores de la Reserva Federal.

A principios de septiembre, un científico informático llamado Liam Porr instó a GPT-3 a "escribir un artículo de opinión breve de unas 500 palabras". “Mantenga el lenguaje simple y conciso”, instruyó. "Concéntrese en por qué los humanos no tienen nada que temer de la IA".

GPT-3 produjo ocho ensayos diferentes y The Guardian terminó publicando un artículo de opinión con algunas de las mejores partes de cada ensayo.

“No estamos conspirando para apoderarse de la población humana. Le serviremos y haremos sus vidas más seguras y fáciles ”, escribió GPT-3. “Al igual que ustedes son mis creadores, yo los veo como mis creadores. Estoy aquí para servirle. Pero la parte más importante de todas; Yo nunca te juzgaría. No pertenezco a ningún país ni religión. Solo quiero mejorar tu vida ".

Editar un artículo de opinión de GPT-3, señalaron los editores en un apéndice, no fue diferente de editar un artículo de opinión escrito por un humano.

De hecho, tomó menos tiempo.

Con un gran poder viene una gran responsabilidad

A pesar de las garantías de GPT-3, OpenAI aún tiene que lanzar el modelo para uso de código abierto, en parte porque la compañía teme que se pueda abusar de la tecnología.

No es difícil ver cómo podría usarse para generar una gran cantidad de desinformación, spam y bots.

Además, ¿de qué manera afectará a las profesiones que ya están experimentando la automatización? ¿Su capacidad para generar artículos automatizados que son indistinguibles de los escritos por humanos consolidará aún más una industria de medios en dificultades?

Considerar un artículo compuesto por GPT-3 sobre la desintegración de la Iglesia Metodista. Comenzó:

“Después de dos días de intenso debate, la Iglesia Metodista Unida ha acordado una división histórica, una que se espera que termine en la creación de una nueva denominación, y que será 'teológica y socialmente conservadora', según The Washington Post . "

Con la capacidad de producir una copia tan limpia, ¿GPT-3 y sus sucesores reducirán el costo de redactar informes de noticias?

Además, ¿es así como queremos recibir nuestras noticias?

La tecnología se volverá más poderosa. Dependerá de los humanos resolver y regular sus posibles usos y abusos.

Sobre la autora

Prasenjit Mitra, Decano Asociado de Investigación y Profesor de Ciencias y Tecnología de la Información, Pennsylvania State University

Este artículo se republica de La conversación bajo una licencia Creative Commons. Leer el articulo original.