Imagínate si escribir contenido fuera tan fácil como elegir un tema y elegir las mejores palabras clave. Bueno, ya no tenemos que imaginar. La inteligencia artificial (IA) combinada con el procesamiento del lenguaje natural (PNL) ahora puede hacer eso en cuestión de segundos. Además, estos algoritmos han sido diseñados para crear contenido 100% original que no plagia pero transmite con precisión el tema con hechos y detalles creativos. Este es el poder que prometen hoy las herramientas GPT-3 y su tecnología.
Desde afuera, mirando hacia adentro, la inteligencia artificial (IA) puede ser simple, más como una herramienta de predicción que puede automatizar procesos. Pero es mucho más que eso. De hecho, puede iniciar cambios que definirían nuestro futuro, como mejorar la productividad en todas las industrias. Y eso es lo que GPT-3 está tratando de lograr. Pero antes de entrar en el meollo de esta tecnología revolucionaria, primero expliquemos qué es GPT-3 y cómo funciona.
Indice
¿Qué es GPT-3?
GPT-3 es un programa informático creado por la empresa privada OpenAI de San Francisco. Es una red neuronal gigantesca y, como tal, forma parte del segmento de aprendizaje profundo del aprendizaje automático, que en sí mismo es una rama del campo de la informática conocida como inteligencia artificial o IA. El programa es mejor que cualquier programa anterior para producir líneas de texto que suenan como si hubieran sido escritas por un humano.
La razón por la que este avance podría ser útil para las empresas es que tiene un gran potencial para automatizar tareas. GPT-3 puede responder a cualquier texto que una persona escriba en la computadora con un nuevo fragmento de texto que sea apropiado para el contexto. Escribe una oración completa en inglés en un cuadro de búsqueda, por ejemplo, y es más probable que obtengas alguna respuesta en oraciones completas que sea relevante. Eso significa que GPT-3 puede amplificar el esfuerzo humano en una amplia variedad de situaciones, desde preguntas y respuestas para el servicio al cliente hasta la búsqueda de documentos de debida diligencia y la generación de informes.
El programa se encuentra actualmente en una versión beta privada para la cual las personas pueden inscribirse en una lista de espera. OpenAI lo ofrece como una API accesible a través de la nube, y las empresas a las que se les ha concedido acceso han desarrollado algunas aplicaciones intrigantes que utilizan la generación de texto para mejorar todo tipo de programas, desde la simple respuesta a preguntas hasta la producción de código de programación.
Junto con el potencial de automatización, vienen grandes inconvenientes. GPT-3 requiere mucha computación, lo que lo coloca más allá del uso de la mayoría de las empresas en cualquier forma imaginable en las instalaciones. El texto generado puede ser impresionante a primera vista, pero las composiciones largas tienden a perder un poco de sentido. Y tiene un gran potencial para amplificar los prejuicios, incluidos el racismo y el sexismo.
¿Qué puede hacer?
El procesamiento del lenguaje natural incluye como uno de sus componentes principales la generación del lenguaje natural, que se enfoca en generar texto natural en lenguaje humano. Sin embargo, generar contenido comprensible para los humanos es un desafío para las máquinas que realmente no conocen las complejidades y matices del lenguaje. Utilizando texto en Internet, GPT-3 está capacitado para generar texto humano realista.
GPT-3 se ha utilizado para crear artículos, poesía, historias, informes de noticias y diálogos utilizando solo una pequeña cantidad de texto de entrada que se puede utilizar para producir grandes cantidades de copia de calidad.
También se utiliza para tareas de conversación automatizadas, respondiendo a cualquier texto que una persona escribe en la computadora con un nuevo fragmento de texto apropiado para el contexto. GPT-3 puede crear cualquier cosa con una estructura de texto, y no solo texto en lenguaje humano. También puede generar automáticamente resúmenes de texto e incluso código de programación.
Historia
Formada en 2015 como una organización sin fines de lucro, OpenAI desarrolló GPT-3 como uno de sus proyectos de investigación con el objetivo de abordar los objetivos más amplios de promover y desarrollar una «IA amigable» de una manera que beneficie a la humanidad en su conjunto. La primera versión de GPT se lanzó en 2018 y contenía 117 millones de parámetros. La segunda versión del modelo, GPT-2, se lanzó en 2019 con alrededor de 1.500 millones de parámetros. Como la última versión, GPT-3 salta sobre el último modelo por un gran margen con más de 175 mil millones de parámetros, que es más de 100 veces su predecesor y diez veces más que programas comparables.
Los modelos previamente entrenados previamente, como las Representaciones de codificador bidireccional de Transformers, demostraron la viabilidad del método generador de texto y mostraron el poder que tienen las redes neuronales para generar largas cadenas de texto que antes parecían inalcanzables.
OpenAI liberó el acceso al modelo de forma incremental para ver cómo se usaría y evitar problemas potenciales. El modelo se lanzó durante un período beta que requería que los usuarios aplicaran para usar el modelo, inicialmente sin coste alguno. Sin embargo, el período beta finalizó el 1 de octubre de 2020 y la compañía lanzó un modelo de precios basado en un sistema basado en créditos escalonados que varía desde un nivel de acceso gratuito para 100,000 créditos o tres meses de acceso a cientos de dólares por mes para mayores. En 2020, Microsoft invirtió mil millones de dólares en OpenAI para convertirse en el licenciatario exclusivo del modelo GPT-3.
¿Quién es OpenAI?
OpenAI es una organización de investigación sin fines de lucro con sede en San Francisco, California, cuyo propósito es promover la inteligencia digital y artificial.
Sam Altman, el ex presidente de Y Combinator, y Elon Musk de Tesla sirven como copresidentes. Altman también se desempeña como director ejecutivo de la empresa. Ilya Sutskever se desempeña como director de investigación de la empresa y el director de tecnología es Greg Brockman.
A fines de 2016, la compañía anunció una asociación con Microsoft y está utilizando su plataforma en la nube Azure. Otros inversores incluyen la fundación benéfica de Reid Hoffman y Khosla Ventures. Hasta la fecha, la empresa ha recibido más de mil millones de dólares en capital inicial y subvenciones.
¿Cómo funciona?
GPT-3 es un ejemplo de lo que se conoce como modelo de lenguaje, que es un tipo particular de programa estadístico. En este caso, se creó como una red neuronal.
El nombre GPT-3 es un acrónimo que significa «preentrenamiento generativo», del cual esta es la tercera versión hasta ahora. Es generativo porque, a diferencia de otras redes neuronales que emiten una puntuación numérica o una respuesta de sí o no, GPT-3 puede generar largas secuencias de texto original como salida. Está pre-entrenado en el sentido de que no se ha construido con ningún conocimiento de dominio, aunque puede completar tareas específicas de dominio, como la traducción de idiomas extranjeros.
Un modelo de lenguaje, en el caso de GPT-3, es un programa que calcula la probabilidad de que aparezca una palabra en un texto dadas las otras palabras en el texto. Eso es lo que se conoce como probabilidad condicional de palabras.
Por ejemplo, en la oración, quería hacer una tortilla, así que fui a la nevera y saqué unos ____ , el espacio en blanco se puede llenar con cualquier palabra, incluso galimatías, dada la infinita componibilidad del lenguaje. Pero la palabra «huevos» probablemente tenga un puntaje bastante alto para llenar ese espacio en blanco en la mayoría de los textos normales, más alto que, digamos, «elefantes». Decimos que la probabilidad de huevos en la condición del texto solicitado es mayor que la probabilidad de elefantes.
Cuando se está desarrollando la red neuronal, llamada fase de entrenamiento, GPT-3 recibe millones y millones de muestras de texto y convierte palabras en lo que se llaman vectores, representaciones numéricas. Esa es una forma de compresión de datos. Luego, el programa intenta descomprimir este texto comprimido en una oración válida. La tarea de comprimir y descomprimir desarrolla la precisión del programa en el cálculo de la probabilidad condicional de palabras.
Una vez que el modelo ha sido entrenado, es decir, sus cálculos de probabilidad condicional a través de miles de millones de palabras se hacen lo más precisos posible, entonces puede predecir qué palabras vienen a continuación cuando una persona que escribe una palabra o palabras iniciales lo solicita. Esa acción de predicción se conoce en el aprendizaje automático como inferencia.
Eso conduce a un sorprendente efecto espejo. No solo surgen palabras probables, sino que se reproduce la textura y el ritmo de un género o la forma de una tarea escrita, como los conjuntos de preguntas y respuestas. Entonces, por ejemplo, GPT-3 puede recibir algunos nombres de poetas famosos y muestras de su trabajo, luego el nombre de otro poeta y solo un título de un poema imaginario, y GPT-3 producirá un nuevo poema de una manera que es coherente con el ritmo y la sintaxis del poeta cuyo nombre ha sido sugerido.
La capacidad de GPT-3 para responder de una manera coherente con una tarea de ejemplo, incluidas las formas a las que nunca antes estuvo expuesto, lo convierte en lo que se denomina un modelo de lenguaje de «pocas oportunidades». En lugar de estar muy afinado, o «entrenado», como se llama, en una tarea determinada, GPT-3 ya tiene tanta información sobre las muchas formas en que se combinan las palabras que solo se le puede dar un puñado de ejemplos de una tarea, y adquiere la capacidad de realizar también esa nueva tarea.
Aplicaciones de GPT-3
La gente habla de GPT-3 porque es mucho mejor que cualquier programa de idiomas existente. Puede producir texto que cualquier humano pueda leer. Y este avance puede ser fundamental para las empresas que desean automatizar la mayoría de las tareas.
Hasta ahora, las empresas están utilizando GPT-3 para una variedad de tareas que incluyen:
- Código de escritura
- Creación de maquetas para sitios web
- Escribir código de aprendizaje automático (ML)
- Escribir ficción creativa
- Generación de diseños de sitios web
- Escribir guiones y esquemas de podcasts
- Creación de memes
- Redacción de documentos legales
- Creación motores de búsqueda
- Elaboración de estados financieros
- Completar texto (para cuando no puedo pensar en esa palabra perfecta)
- Tuitear (como si necesitamos más comentarios de Twitter)
- Ah, y un uso final que es interesante es usar GPT-3 para producir cuestionarios para los estudiantes. Supongo que la misma herramienta también podría calificarlos.
GPT-3 puede responder a las entradas de texto contextualmente. Por ejemplo, las empresas pueden usarlo para ampliar su servicio al cliente de una manera que no haga que los clientes se sientan como si estuvieran hablando con una computadora. Hoy, el programa está en modo beta privado y las partes interesadas pueden inscribirse en una lista de espera. Las organizaciones con acceso al programa pueden desarrollar algunas aplicaciones que incluyen lo siguiente:
Traductores de idiomas
En un artículo, los autores afirmaron que GPT-3 podría programarse para traducir del inglés al español y al francés utilizando el contexto. Un ejemplo es Revtheo, que utiliza un diccionario basado en GPT-3, lo que permite a los usuarios buscar el significado de las palabras según cómo se utilicen.
Más que eso, GPT-3 puede reformular párrafos completos en inglés a texto simple. Esta tecnología es particularmente útil en industrias especializadas, como la médica y legal, donde el lenguaje utilizado puede ser difícil de entender para la gente común.
Decodificadores matemáticos
Más que aprender idiomas, GPT-3 puede aprender matemáticas. Ten en cuenta que el programa no conocerá todas las teorías matemáticas, pero puede generar respuestas precisas a ecuaciones determinadas, como las que se utilizan en contabilidad. Sorprendentemente, el programa puede proporcionar las respuestas correctas a problemas de suma de dos números.
Quizás esto se deba a que GPT-3 ha estado expuesto a toneladas de datos estructurados durante el entrenamiento. Parece que el sistema está configurado para reaccionar a las entradas en inglés que vienen en formularios de datos estructurados, como eXtensible Markup Language (XML) o JavaScript Object Notation (JSON).
Programadores sin código
GPT-3 también puede generar directamente programas de computadora. Actualmente, numerosos proyectos han tenido éxito al hacerlo. El ingeniero principal de interfaz de Apple, Antonio Gómez, desarrolló una escena tridimensional (3D) utilizando una API de JavaScript (JS) simplemente describiendo los parámetros y elementos a utilizar.
Estas son solo algunas de las posibles aplicaciones de GPT-3, que muestran cómo el cebado es fundamental para generar resultados estructurados. Este mismo escenario, sin embargo, también hace que el programa sea imperfecto.
Desafíos que GPT-3 aún tiene que superar
Si bien GPT-3 es notablemente grande y poderoso, tiene varias limitaciones y riesgos asociados con su uso. El mayor problema es que GPT-3 no aprende constantemente. Ha sido entrenado previamente, lo que significa que no tiene una memoria permanente a largo plazo que aprenda de cada interacción. Además, GPT-3 sufre los mismos problemas que todas las redes neuronales: su falta de capacidad para explicar e interpretar por qué ciertas entradas dan como resultado salidas específicas.
Además, las arquitecturas de transformadores, de las cuales GPT-3 es una, sufren problemas de tamaño de entrada limitado. Un usuario no puede proporcionar una gran cantidad de texto como entrada para la salida, lo que puede limitar ciertas aplicaciones. GPT-3 específicamente solo puede manejar texto de entrada de unas pocas oraciones. GPT-3 también sufre de un tiempo de inferencia lento, ya que el modelo tarda mucho en generarse a partir de los resultados.
Más preocupantemente, GPT-3 sufre de una amplia gama de sesgos de aprendizaje automático. Dado que el modelo fue entrenado en texto de Internet, exhibe muchos de los sesgos que los humanos exhiben en su texto en línea. Por ejemplo, dos investigadores del Instituto de Estudios Internacionales de Middlebury encontraron que GPT-3 es particularmente hábil para generar textos radicales, como discursos que imitan a los teóricos de la conspiración y a los supremacistas blancos. Esto presenta una oportunidad para que los grupos radicales automaticen su discurso de odio. Además, la calidad del texto generado es lo suficientemente alta como para que la gente haya comenzado a preocuparse un poco por su uso, preocupada de que GPT-3 se utilice para crear artículos de «noticias falsas».
¿GPT-3 reemplazará a los humanos?
Si el desarrollo de GPT-3 tiene éxito, las ramificaciones podrían ser enormes. Las empresas podrían utilizar la tecnología para reducir o reemplazar a los representantes de servicio al cliente. En lugar de contratar personas para responder chatbots, correo electrónico o mensajes de texto, el software GPT-3 podría responder a todas las preguntas y comentarios, haciendo que un cliente potencial sienta que se está comunicando con otra persona.
¿El contenido y los redactores publicitarios serán eventualmente reemplazados por GPT-3? Posiblemente, pero superar creativamente al cerebro humano sigue siendo una tarea difícil.
En 2019, un reportero de tecnología jugó con GPT-2 y señaló: “Desafortunadamente, este nuevo código no es mucho más impresionante. El destello ocasional de brillo se mezcla con una gran cantidad de galimatías y las creaciones rápidamente se vuelven aburridas «. El tiempo solo dirá si la tercera generación de GPT remediará la preocupación del escritor. No lo ha hecho hasta la fecha.
¿GPT-3 es de código abierto?
No, GPT-3 es un programa de código cerrado. El término «código abierto» significa algo de acceso público y que otros pueden modificar. En lo que respecta al software y GPT 3, convertirlo en código abierto brindaría a otros programadores la oportunidad de manipular el código, incluso por medios ilegales o inmorales.
Todos los programas de computadora contienen código. A menos que seas un programador, es posible que nunca veas o interactúes con el código de la computadora. Los programadores desarrollan y escriben código para determinar cómo funcionará una aplicación en particular y adaptar el software a sus necesidades específicas.
Por el contrario, el código fuente cerrado solo puede ser modificado por la empresa desarrolladora o el programador. Facebook es un programa de código cerrado, lo que significa que otros programadores no pueden alterar ni modificar el código de la plataforma de redes sociales de ninguna manera.
Herramientas GPT-3
Echemos un vistazo más de cerca a las herramientas GPT-3 que deberías utilizar en 2021.
Copysmith
Es la solución para todo contenido. A través de plantillas y el increíble poder de OpenAi, Copysmith te ayudará a impulsar el crecimiento con una calidad y velocidad notables gracias a su sistema de aprendizaje basado en inteligencia artificial. Nunca tendrás que empezar de cero cuando utilices esta herramienta, ya que incluso solo tres palabras clave pueden convertirse en un pequeño párrafo para impulsar la creatividad. Además de su característica notable de permitir organizar y almacenar todas tus ideas de contenido con poco esfuerzo, Copysmith también te permite editar, importar datos y colaborar con tus compañeros, todo en un solo lugar.
Algolia
Esta herramienta tiene como objetivo utilizar el significado del texto, no la concordancia de palabras clave, para realizar búsquedas en la web de forma eficaz. Al combinar la API de OpenAI con la tecnología de búsqueda avanzada de Algolia, los usuarios de Algolia podrán ofrecer a sus clientes una búsqueda que está destinada a ser impulsada por el significado, lo que permitirá a los consumidores encontrar información relevante más rápido.
Viable
Es la solución adecuada para mejorar la satisfacción del cliente. Esta herramienta con tecnología GPT-3 se ha creado para integrarse a la perfección en tus datos y encontrar las áreas en las que tu equipo puede mejorar. Al acceder a encuestas de clientes, reseñas de productos y datos de la mesa de ayuda, Viable puede analizar el sentimiento en texto y brindarte un resumen completo de lo que se puedes arreglar, todo en inglés. Atrás quedaron los días en los que tenías que ser un experto en analítica, ya que Viable te dirá lo que hay que arreglar en segundos.
MessageBirds
Hablando de servicio al cliente, esta herramienta de tercera generación GPT dejará boquiabiertos a tus clientes con lo útil que puede ser. MessageBirds se enfoca en brindar a tus clientes la información que necesitan, en el lugar correcto y en el momento adecuado. Como resultado del uso de las tecnologías de OpenAI para gramática, ortografía y texto predictivo, su ya poderosa IA se ha mejorado a un nuevo nivel. Los clientes se sentirán valorados y atendidos con la utilidad de un asistente de mensajería de IA.
Sapling
Es un asistente de escritura inteligente creado para aquellos equipos que se centran en las interacciones personales con los clientes. Sapling se conecta con CRM y plataformas de mensajería utilizadas por los clientes para crear respuestas a los clientes más personales y eficientes. La herramienta utiliza la función de búsqueda semántica de la API de OpenAI para proporcionar a los agentes de inteligencia artificial sugerencias basadas en el significado, lo que resulta en un mejor servicio al cliente y una mayor satisfacción del cliente.
Copy.Ai
Es la forma revolucionaria de crear contenido en 2021. Está impulsado por OpenAI y fue diseñado para que el marketing de contenidos sea la menor de tus preocupaciones. Todo lo que necesitas hacer es proporcionar a la herramienta algunas palabras clave y el nombre de tu producto, ¡y listo ! Tienes todo un contenido.
Copy.Ai está diseñado para especialistas en marketing, por lo que puedes estar seguro de que cada contenido que ves es genuino y está diseñado para generar conversiones. Además de crear publicaciones de blog completas, esta herramienta se puede utilizar para publicitar en sitios de redes sociales, escribir leyendas, crear descripciones de productos y más.
Futuro de GPT-3
Una cosa parece segura: GPT-3 ha abierto un nuevo capítulo en el aprendizaje automático. Su característica más llamativa es su generalidad. Hace solo unos años, las redes neuronales se construyeron con funciones adaptadas a una tarea específica, como la traducción o la respuesta a preguntas. Se seleccionaron conjuntos de datos para reflejar esa tarea. En cambio, GPT-3 no tiene funciones específicas de tareas y no necesita un conjunto de datos especial. Simplemente engulle tanto texto como sea posible desde cualquier lugar y lo refleja en su salida.
De alguna manera, en el cálculo de la distribución de probabilidad condicional en todos esos gigabytes de texto, surge una función que puede producir respuestas competitivas en cualquier número de tareas. Es un triunfo impresionante de la simplicidad que probablemente tenga muchos años de logros por delante.
Incluso esa generalidad, sin embargo, puede llegar a su límite. Los autores de GPT-3 ya señalan que la dirección previa al entrenamiento podría eventualmente quedarse sin combustible. Sugieren que las nuevas direcciones prometedoras podrían incluir «aprender la función objetiva de los humanos» y mezclar otros tipos de aprendizaje profundo.
Otra cosa que sugieren es agregar otros tipos de datos, como imágenes, para completar el «modelo del mundo» del programa. De hecho, es probable que en los próximos años este enfoque muy general se extienda a otras modalidades más allá del texto, como las imágenes y el video.
La pregunta sigue siendo, ¿comprenderá la tecnología alguna vez la terminología compleja utilizada por los profesionales médicos? ¿Qué pasa con las diferencias en los acentos regionales o en las palabras y frases de jerga que utilizan ciertas especialidades médicas?