OpenAI ha anunciado mejoras a Codex y ChatGPT Work que tienen como objetivo aumentar el uso efectivo que recibe el usuario. Según el anuncio, la compañía reutiliza el contexto entre los subagentes, mantiene el contexto en caché durante más tiempo y mejora el enrutamiento de solicitudes para aumentar los hits de caché. El anuncio fue publicado el 17 de octubre en hora israelí y no especifica ni un ahorro uniforme ni una nueva cuota para cada plan.
La implicación descrita es un mejor uso de la información que el sistema ya ha procesado, en lugar de comenzar cada vez desde el mismo punto. No hay garantía de que cada solicitud use la caché o que cada tarea consuma menos recursos. El beneficio puede depender de la naturaleza del trabajo y el contexto disponible. Por consiguiente, conviene distinguir entre una mejora de la infraestructura del servicio y un cambio explícito de las condiciones o del precio de la suscripción.
¿Qué incluyen los tres cambios?
La reutilización en contexto entre sub-agentes se refiere a la información en la que los agentes pueden confiar durante su trabajo. El almacenamiento en caché más largo mantiene el material que ya se ha procesado disponible para su reutilización durante un período adicional. El enrutamiento mejorado busca enrutar las solicitudes de una manera que aumente la posibilidad de usar este material. Estos son componentes relacionados, pero cada uno se ocupa de una parte diferente del proceso que describe la empresa.
El mensaje no dice que la caché es una memoria permanente que el usuario puede editar, o que la información de cada cuenta es compartida por cada agente. Tampoco describe un cambio en los permisos de acceso a documentos o herramientas. Por lo tanto, no hay razón para interpretar la reutilización en contexto como una ampliación del acceso a datos no concedidos previamente. Los permisos, la memoria del producto y la caché de infraestructura son cuestiones separadas que deben comprobarse de acuerdo con las configuraciones pertinentes.
¿Qué se debe medir en el uso real?
Un equipo que utiliza Codex puede ver cuánto trabajo válido se completó en un período de uso similar, junto con el número de intentos y el tiempo de espera. Una comparación entre tareas muy diferentes puede ser engañosa, incluso si el gasto parece ser menor. Es aconsejable mantener la naturaleza de la tarea y las condiciones de éxito, para comprobar si la mejora se nota en el proceso de trabajo en sí y no solo en un índice parcial mostrado a lo largo del camino.
El anuncio no indica a los usuarios que cambien de código, cambien de plan o eliminen controles para recibir la mejora. Cualquier persona que gestione un presupuesto debe seguir comprobando los datos de la cuenta y las reglas que se aplican a ella. El uso mejorado de los recursos no promete acceso ilimitado y no es una razón para ignorar las cuotas o los avisos de facturación. La prueba práctica es la relación entre los recursos empleados y los resultados obtenidos con la calidad requerida.
Incluso después de la mejora, la división del trabajo entre los agentes debe ser apropiada para la misión. Si un resultado depende de otro, la reutilización en el contexto no cancela la dependencia. Lo mejor es predefinir las responsabilidades y los resultados esperados, y comprobar el resultado combinado. Esto permite a los equipos beneficiarse de la eficiencia de la infraestructura sin asumir que cada tarea se ajusta a la delegación o que cada producto está listo para su uso.