วิเคราะห์และรีวิว: Amazon เปิดเกมท้าทาย Nvidia ด้วยเครื่องมือพัฒนา TorchNeuron

สรุปสั้นๆ

Amazon เปิดตัว TorchNeuron ให้แอป AI ที่เขียนด้วย PyTorch (เฟรมเวิร์กสำหรับสร้างและฝึกโมเดล AI) ย้ายไปรันบนชิป Trainium ได้ด้วยการเปลี่ยนค่าคอนฟิกเพียงบรรทัดเดียว โดยไม่ต้องเขียนโค้ดใหม่ เหมาะกับทีมที่มีพื้นฐาน PyTorch ซึ่ง Amazon ระบุว่าใช้ในแอป AI ราว 85%

จุดแข็งคือการใช้ AWS ตั้งแต่ทำ prototype (ต้นแบบสำหรับทดลองระบบ) จนถึง production (ระบบที่เปิดใช้งานจริง) และใช้ชิปเดียวทั้ง training (การฝึกโมเดล) กับ inference (การนำโมเดลไปประมวลผลคำตอบ) ส่วน Deepgram ระบุว่าประมวลผลเสียงได้มากขึ้น 70% ต่อเงินหนึ่งดอลลาร์ อย่างไรก็ตาม ยังต้องพิสูจน์ว่าความง่ายนี้ไม่แลกมากับปัญหาการตั้งค่า และการผลักดัน PyTorch ให้ไม่ผูกกับชิปค่ายใดจะเพิ่มทางเลือกโดยไม่ทำให้นักพัฒนาปวดหัวกว่าเดิม.

ถ้าเป็นผม ผมมองว่า TorchNeuron น่าสนใจในฐานะสะพานที่ทำให้ทีมไม่ต้องเลือกชิปตั้งแต่วันแรก เหมือนมีทางลาดให้แอปเดิมย้ายขึ้น Trainium ได้ง่ายขึ้น โดย Trainium ทำหน้าที่เป็นพี่ใหญ่สำหรับงานที่ต้องขยายระบบ ส่วนทางเลือกอื่นอาจเหมาะกับทีมที่ยังอยู่ในช่วงทดลองหรืองานเฉพาะทางมากกว่า

TorchNeuron กำลังเปลี่ยนทางเลือกของแอป AI อย่างไร

TorchNeuron ทำหน้าที่เป็นทางเชื่อมระหว่างแอปที่เขียนด้วย PyTorch กับชิป Trainium ของ Amazon โดยเปลี่ยน configuration (ค่ากำหนดการทำงานของแอป) เพียงหนึ่งบรรทัด ไม่ต้องเขียนโค้ดใหม่

เมื่อแอปย้ายไปรันบน Trainium ก็ยังใช้โครงสร้างพื้นฐานของ AWS ต่อได้ ทำให้นักพัฒนาที่คุ้นกับ PyTorch มีทางเลือกด้าน hardware (อุปกรณ์ประมวลผล) และ cloud (โครงสร้างพื้นฐานคอมพิวเตอร์ผ่านอินเทอร์เน็ต) เพิ่มขึ้น

ปัญหาของทีม AI ที่ไม่อยากติดอยู่กับชิปค่ายเดียว

สตาร์ทอัปที่สร้างแอปด้วย PyTorch มักต้องพึ่ง CUDA ของ Nvidia เพื่อให้โค้ดทำงานบนฮาร์ดแวร์ได้ จนฮาร์ดแวร์ของ Nvidia กลายเป็นตัวเลือกหลักแบบแทบอัตโนมัติ โดยเฉพาะเมื่อราว 85% ของแอป AI เขียนด้วย PyTorch

คำถามคือ ถ้าย้ายแอปไป Trainium ได้ด้วยการเปลี่ยนค่าคอนฟิกเพียงบรรทัดเดียว และไม่ต้องเขียนโค้ดใหม่ การเลือกโครงสร้างพื้นฐานจะเปลี่ยนจาก “ต้องใช้ชิปอะไร” เป็น “แพลตฟอร์มไหนเหมาะกับงานตั้งแต่ต้นแบบถึง production” มากขึ้น.

TorchNeuron อยู่ตรงไหนในกลยุทธ์ชิปและคลาวด์ของ Amazon

TorchNeuron ทำให้ AWS เชื่อมแอป PyTorch เข้ากับชิป Trainium ได้ง่ายขึ้น แต่เป้าหมายของ Amazon ไปไกลกว่าการขายชิปหรือ compute (กำลังประมวลผล) เฉพาะทาง เพราะนักพัฒนาจะได้ใช้บริการคลาวด์ของ AWS ตั้งแต่ทำ prototype จนถึง production

AWS ยังวาง Trainium เป็นแพลตฟอร์มเดียวสำหรับทั้งการ train และ inference พร้อมโครงสร้างพื้นฐานสำหรับขยายระบบเมื่อจำเป็น ดังนั้นจุดขายจึงอยู่ที่การดูแล workload (งานที่ระบบต้องประมวลผล) ได้ครบในคลาวด์เดียว แม้ราคาแบบต่อ token (หน่วยย่อยของข้อมูลที่โมเดลใช้ประมวลผล) อาจไม่ได้ถูกที่สุดเสมอไป.

PyTorch เดิมกับ TorchNeuron ต่างกันตรงไหน

นี่ไม่ใช่การเทียบโมเดล AI รุ่นเก่ากับรุ่นใหม่ แต่เป็นการเทียบชุดเครื่องมือกับเครื่องมือที่ต่อยอดเพื่อย้ายแอปไปใช้ชิปอีกแบบ

นักพัฒนาที่รู้จัก PyTorch อยู่แล้วจึงเริ่มใช้ TorchNeuron ได้ไม่ยาก จุดต่างหลักคือ TorchNeuron ลดขั้นตอนตอนนำแอปไปรันบน Trainium.

เมื่อต้องใช้จริง การย้ายไป Trainium เกิดขึ้นในจุดไหนบ้าง

ถ้าแอปเขียนด้วย PyTorch อยู่แล้ว การย้ายไป Trainium ทำได้ด้วยการเปลี่ยนค่าคอนฟิกเพียงบรรทัดเดียว ไม่ต้องเขียนโค้ดใหม่ เหมาะกับทีมที่อยากทดลองชิปของ Amazon โดยไม่รื้อแอปเดิม

งานที่ต้องฝึกโมเดลและนำไปใช้งานต่อ ใช้ Trainium รองรับทั้ง training และ inference บนแพลตฟอร์มเดียวกันได้ ส่วนทีมที่เริ่มจาก prototype แล้วค่อยขยายระบบจริง ก็ใช้โครงสร้างพื้นฐานของ AWS ต่อเนื่องได้

ในงานเสียง Deepgram ย้ายมาใช้ Trainium ผ่าน native PyTorch support และประมวลผลเสียงได้ 70% มากขึ้นต่อดอลลาร์ที่ระดับความแม่นยำสำหรับ production.

ทางเลือกที่ไม่ได้มีแค่ Nvidia กับ Trainium

จุดเด่นของ Trainium จึงไม่ได้อยู่แค่การย้ายโค้ดง่าย แต่รวมบริการ cloud ที่ใช้ต่อได้เมื่อระบบโตขึ้นด้วย ส่วนทางเลือกอื่นยังมีอยู่ เพียงรายละเอียดด้านโครงสร้างพื้นฐานต่างกันตามประเภทบริการ.

จุดแข็งและข้อจำกัดที่ควรรู้ก่อนตัดสินใจ

TorchNeuron เหมาะกับทีมที่ใช้ PyTorch อยู่แล้ว เพราะย้ายแอปไป Trainium ด้วยการเปลี่ยน configuration เพียงหนึ่งบรรทัด และใช้ AWS ต่อได้ตั้งแต่ prototype ถึง production รองรับทั้งการฝึกและการอนุมานบนแพลตฟอร์มเดียว

ข้อจำกัดคือ AWS อาจไม่ใช่ตัวเลือกที่มีราคาต่อโทเคนต่ำที่สุด และการผลักดันให้ PyTorch ลดการผูกกับ Nvidia อาจทำให้นักพัฒนาต้องเจอกับปัญหาการตั้งค่าเพิ่มเติม