Snap เปลี่ยนผ่านระบบประมวลผลข้อมูลขนาด 10 petabytes ต่อวัน จาก CPU มาเป็น GPU ช่วยประหยัดต้นทุนได้ถึง 76% และเพิ่มความรวดเร็วในการพัฒนาฟีเจอร์ใหม่
SOFTWARE ENGINEERING
Snap เร่งการประมวลผลข้อมูล A/B Testing ขึ้น 4 เท่าด้วย NVIDIA cuDF บน Google Cloud
สรุปประเด็นหลัก
ใช้ NVIDIA cuDF เร่งความเร็ว Apache Spark บน GPU โดยไม่ต้องแก้ไขโค้ดเดิม
ลดเวลาประมวลผลการทดสอบฟีเจอร์ใหม่จากหลายชั่วโมงเหลือเพียงไม่กี่นาที
ประหยัดค่าใช้จ่ายด้านโครงสร้างพื้นฐานบน Google Kubernetes Engine ได้อย่างมีนัยสำคัญ
นวัตกรรมและเทคโนโลยี
tools
การประมวลผล Apache Spark บน GPU
การใช้ห้องสมุด cuDF เพื่อย้ายงานประมวลผลข้อมูลขนาดใหญ่จาก CPU มาที่ GPU เพื่อประสิทธิภาพที่สูงขึ้น
platform
การเพิ่มขนาดการทดลองแบบยั่งยืน
ช่วยให้ทีมวิศวกรสามารถรันการทดลอง A/B Testing ได้มากขึ้นในราคาที่ถูกลง รองรับผู้ใช้กว่า 940 ล้านราย
Developer Impact
ความสำเร็จของ Snap พิสูจน์ว่าไลบรารีอย่าง cuDF สำหรับ Apache Spark สามารถเพิ่มประสิทธิภาพ Data Pipeline ได้มหาศาลโดยไม่ต้องเปลี่ยนสแต็กเทคโนโลยีเดิม เป็นทางเลือกที่คุ้มค่าสำหรับทีม Data Engineering
Keywords
Original Source
NVIDIA / Snap 