OpenAI ได้พัฒนา 'Performance Factory' ซึ่งเป็นระบบอัตโนมัติแบบครบวงจรที่ใช้ความสามารถของ Codex และโมเดล AI อื่นๆ เพื่อค้นหาและแก้ไขปัญหาประสิทธิภาพ (regressions) ใน ChatGPT ด้วยความเร็วที่ไม่เคยมีมาก่อน ระบบนี้ทำงานบนคลาวด์และช่วยให้วิศวกรของ OpenAI สามารถก้าวตามแผนงานที่ท้าทายได้อย่างต่อเนื่อง
'Regression Workflow' เป็นเวิร์กโฟลว์แรกที่ถูกนำมาใช้ใน Performance Factory โดยระบบจะเปิดงานเมื่อมีการแจ้งเตือนประสิทธิภาพตกต่ำ เอเจนต์จะทำการตรวจสอบ วิเคราะห์สาเหตุหลัก และเสนอแนวทางแก้ไขให้วิศวกรตรวจสอบ หลังจากปรับใช้แล้ว เอเจนต์จะตรวจสอบอีกครั้งว่าประสิทธิภาพกลับสู่ระดับปกติหรือไม่ กระบวนการนี้ครอบคลุมตั้งแต่การตรวจสอบไปจนถึงการพัฒนาแก้ไขและยืนยันการแก้ไข ซึ่งได้ทำงานอัตโนมัติทั้งหมด
ภายในระยะเวลาเพียงสามเดือน Regression Workflow ได้ติดตามการตรวจสอบมากกว่า 1,700 ครั้ง และระบุสาเหตุหลักได้มากกว่า 600 กรณี ซึ่งเท่ากับการตรวจสอบอัตโนมัติถึง 17 ครั้งต่อวัน ระบบ Performance Factory ประกอบด้วยสี่ส่วนหลัก: ตัวติดตามงานพร้อมเวิร์กโฟลว์ที่กำหนดค่าได้, ลูปการจัดส่งที่มอบหมายงานให้กับเอเจนต์, API ที่เรียกใช้ Codex ในคลาวด์ และระบบสมัครสมาชิกที่ปลุกเอเจนต์เมื่อมีการเปลี่ยนแปลง