Expand/Un chatbot de inteligencia creado por el hombre que vuela como un héroe. OpenAI/Dispersión estable
El martes, OpenAI anunció una actualización importante de sus contribuciones de interfaz de programación de modelo de lenguaje masivo (GPT-4 y gpt-3.5-super), que presenta otra capacidad de llamadas, enormes reducciones de costos y una opción de ventana de configuración simbólica de 16,000 para el super modelo.
La "ventana de configuración" en los modelos de lenguaje grande (LLM) actúa como una memoria transitoria que retiene las cosas en la información breve o, en el caso de un chatbot, toda la discusión. Los modelos de lenguaje ahora compiten en tamaño de contexto cuando Anthropic anunció una opción de ventana de contexto de 75 000 tokens para su modelo de lenguaje Claude. OpenAI también produjo una versión de 32 000 tokens de GPT-4, que aún no está disponible para el público.
Por lo tanto, OpenAI presentó "gpt-3.5-super 16k", una versión de ventana de configuración de 16 000 de gpt-3.5-super que permite que un corto dependa de 16 000 tokens. gpt-3.5-turbo-16k procesa 20 páginas de texto en cada solicitud, cuatro veces más rápido que la versión básica de 4000. Los ingenieros que necesiten el modelo para procesar y reaccionar ante fragmentos de texto más grandes quedarán impresionados.