EY se refiere a la organización global, y puede referirse a una o más, de las firmas miembro de Ernst & Young Global Limited, cada una de las cuales es una entidad legal independiente. Ernst & Young Global Limited, una compañía británica limitada por garantía, no brinda servicios a los clientes.
Cómo EY puede ayudar
-
Descubre cómo los equipos de transformación digital de EY pueden ayudar a tu negocio a evolucionar rápidamente para aprovechar las oportunidades y mitigar los riesgos. Obtén más información.
Leer más
Los transformadores se basan en la idea de la autoatención, lo que permite que el modelo sopese la importancia de las diferentes partes de la secuencia de entrada al hacer predicciones. Esto hace que los transformadores sean particularmente adecuados para tareas que requieren la comprensión de dependencias y contextos de largo alcance, como el modelado de lenguaje, la traducción automática y el resumen de texto.
GPT utiliza un tipo específico de arquitectura de transformador denominada transformador de solo decodificador, que se entrena con grandes cantidades de datos de texto sin supervisión. El proceso de pre-entrenamiento consiste en predecir las palabras que faltan en una secuencia de texto determinada en función del contexto proporcionado por las palabras circundantes.
Una vez entrenado previamente, el modelo GPT se puede ajustar para una amplia gama de tareas posteriores de NLP, como clasificación de texto, respuesta a preguntas y generación de lenguaje. La capacidad de GPT para generar un lenguaje que suene natural ha sido particularmente impresionante, con muchas aplicaciones en campos como los chatbots, la generación de contenido e incluso la escritura creativa.