Snap ผู้พัฒนา Snapchat นำไลบรารี NVIDIA cuDF มาใช้ร่วมกับ Apache Spark บน Google Cloud เพื่อเพิ่มประสิทธิภาพการประมวลผลข้อมูลขนาด 10 Petabytes ช่วยให้การทดสอบฟีเจอร์ใหม่รวดเร็วและประหยัดต้นทุนยิ่งขึ้น
Technology
Snap เร่งสปีดการวิเคราะห์ข้อมูล A/B Testing ด้วย NVIDIA cuDF บน Google Cloud
สรุปประเด็นหลัก
เพิ่มความเร็วในการรันระบบประมวลผลข้อมูล (Runtime) ได้ถึง 4 เท่าเมื่อเทียบกับการใช้เครื่องจำนวนเท่าเดิม
ลดต้นทุนการประมวลผลข้อมูลรายวันลงได้ถึง 76% จากการเปลี่ยนมาใช้ GPU บน Google Kubernetes Engine
ช่วยให้สามารถประมวลผลข้อมูลกว่า 10 Petabytes และวัดผลค่า Metrics กว่า 6,000 รายการได้ภายในเวลาเพียง 3 ชั่วโมง
นวัตกรรมและเทคโนโลยี
tools
NVIDIA cuDF สำหรับ Apache Spark
ไลบรารีโอเพนซอร์สที่ช่วยให้แอปพลิเคชัน Apache Spark เดิมสามารถทำงานบน GPU ได้ทันทีโดยไม่ต้องแก้ไขโค้ด (Zero code changes)
platform
GPU-Accelerated Data Pipelines
การปรับใช้สถาปัตยกรรมแบบ Full-stack โดยใช้ GPU NVIDIA L4 บน Google Kubernetes Engine เพื่อรองรับการสเกลการทดสอบระดับสูง
tools
cuDF Microservices Suite
ชุดไมโครเซอร์วิสที่ช่วยตรวจสอบ กำหนดค่า และปรับแต่งเวิร์กโหลดของ Spark ให้เหมาะสมกับการประมวลผลด้วย GPU โดยอัตโนมัติ
Developer Impact
ช่วยให้ทีมวิศวกรข้อมูลสามารถย้ายเวิร์กโหลดจาก CPU มายัง GPU ได้อย่างง่ายดายโดยไม่ต้องเขียนโปรแกรมใหม่ ช่วยลดความซับซ้อนในการจัดการโครงสร้างพื้นฐานและขจัดคอขวดด้านต้นทุน ทำให้ทีมสามารถรันการทดลองเพื่อพัฒนานวัตกรรมได้บ่อยและครอบคลุมฟีเจอร์ได้มากขึ้น
Keywords
Original Source
NVIDIA Blog 