การจัดตั้ง AI Gateway Working Group เพื่อพัฒนามาตรฐาน API และแนวทางปฏิบัติสำหรับโครงสร้างพื้นฐานเครือข่ายที่รองรับภาระงานด้าน AI บน Kubernetes
AI & MACHINE LEARNING
Kubernetes ก่อตั้งกลุ่มทำงาน AI Gateway มุ่งสร้างมาตรฐานเครือข่ายสำหรับ AI Workloads
สรุปประเด็นหลัก
เน้นพัฒนาส่วนขยายของ Gateway API เพื่อรองรับความต้องการเฉพาะของ AI
มุ่งเน้นการจัดการ Token-based Rate Limiting และการควบคุมการเข้าถึง Inference API
เปิดตัวข้อเสนอมาตรฐานสำหรับการประมวลผล Payload และการจัดการ Egress Gateway สำหรับบริการ AI ภายนอก
นวัตกรรมและเทคโนโลยี
platform
Token-based Rate Limiting
การจัดการลำดับความสำคัญและการจำกัดปริมาณการใช้งาน API ตามจำนวน Token เพื่อควบคุมต้นทุนและประสิทธิภาพ
research
Payload Processing
ความสามารถในการตรวจสอบและปรับแต่งเนื้อหาคำขอ (Prompt) เพื่อความปลอดภัยและเพิ่มประสิทธิภาพในการทำ Caching
tools
Egress Gateway for AI
มาตรฐานการเชื่อมต่อกับบริการ AI ภายนอก เช่น OpenAI หรือ Vertex AI อย่างปลอดภัยและมีระบบ Failover
Developer Impact
ช่วยให้ทีม Platform และ AI Developer สามารถจัดการโครงสร้างพื้นฐานสำหรับ Model Inference ได้อย่างเป็นระบบ ลดความซับซเองในการเชื่อมต่อโมเดลหลายตัว และเพิ่มความปลอดภัยในการจัดการข้อมูลรับส่ง
Keywords
Original Source
Kubernetes Blog 