DeepInfer คือเฟรมเวิร์ก inference ประสิทธิภาพสูงสำหรับโมเดล DeepSeek เปิดซอร์สภายใต้ Apache License 2.0 จุดเด่นคือการรันแบบออฟไลน์ และมีแกนหลักสำหรับเสิร์ฟงานระดับ production ขนาดใหญ่
แต่ยังไม่ใช่บริการ inference แบบครบวงจร เพราะ source ระบุว่ายังไม่รวมส่วนที่จำเป็นสำหรับการทำ inference service ให้สมบูรณ์ เหมาะกับคนที่ต้องการนำไป build และปรับใช้เอง โดยต้องเตรียม Linux, GCC >= 13.0, Python 3.12 และ accelerator ให้ตรงกับแพลตฟอร์ม (แหล่งข้อมูล)
DeepInfer เปิดอะไรให้เราเห็นบ้าง
DeepInfer เปิดโค้ดสำหรับ offline inference ที่ใช้กับบริการ production ขนาดใหญ่ของ DeepSeek โดยมีโครงสร้างรีโพซิทอรีชัดเจน ทั้ง csrc, deep_cluster, deepinfer, examples และ test เหมาะกับทีมที่อยากดูโค้ดแล้วนำไป build ต่อเอง
จุดที่เห็นชัดคือโปรเจกต์นี้พัฒนาจาก vLLM และได้แรงบันดาลใจจาก SGLang กับ TensorRT-LLM รองรับโมเดล DeepSeek-V4.1-Flash-1017 พร้อมตัวอย่างรันบน NVIDIA และ Ascend ภายใต้ Apache License 2.0
เมื่อการรันโมเดลขนาดใหญ่ต้องคิดไกลกว่าคำสั่งเดียว
การให้บริการ inference ขนาดใหญ่ไม่ได้จบที่การสั่งรันโมเดล แต่ต้องจัดการ runtime, การแบ่งงาน และการประมวลผลแบบ prefill กับ decode บนหลาย GPU ให้ทำงานเป็นระบบ
DeepInfer เข้ามาแก้โจทย์ฝั่ง inference โดยปล่อย framework สำหรับงานแบบ offline พร้อมฟีเจอร์หลักที่จำเป็นต่อการให้บริการในระดับใหญ่ แต่ยังไม่ใช่ระบบบริการที่ครบทุกชิ้น เพราะ source ระบุว่าส่วนประกอบที่ต้องใช้สร้าง inference service แบบสมบูรณ์ยังไม่รวมอยู่ใน release นี้.
ตำแหน่งของ DeepInfer ในโลกของบริการ DeepSeek
DeepInfer คือ framework สำหรับ inference ที่ DeepSeek ระบุว่าใช้ขับเคลื่อนบริการ production ขนาดใหญ่ของตัวเอง โดย release นี้เปิดให้รันแบบ offline ได้
ค่าเริ่มต้นจะดาวน์โหลด checkpoint ของ DeepSeek-V4.1-Flash-1017 มาใช้ จึงเหมาะกับคนที่ต้องการนำโมเดลไปรันในสภาพแวดล้อมของตัวเอง แต่จากข้อมูลนี้ยังสรุปไม่ได้ว่า DeepInfer เป็นแพลตฟอร์มบริการสาธารณะหรือผลิตภัณฑ์สำหรับผู้ใช้ทั่วไป
จากระบบภายในสู่ release ที่เปิดให้ทดลอง
DeepInfer เปิดให้ทดลองในรูปแบบ offline inference พร้อมฟีเจอร์หลักที่จำเป็นต่อการเสิร์ฟงานระดับใหญ่ เหมาะกับการนำไปรันบนฮาร์ดแวร์ของตัวเอง
ฟีเจอร์เหล่านี้จะมีความหมายเมื่อเจอสถานการณ์จริงอย่างไร
-
Offline inference เหมาะกับทีมที่ต้องการรันโมเดลจากเครื่องตัวเอง โดยโหลด checkpoint ครั้งแรก หรือชี้ไปยัง local copy ผ่าน
DEEPINFER_HF_MODEL_DIR -
Build from source เหมาะกับทีมที่ดูแลสภาพแวดล้อมเอง เพราะ DeepInfer ระบุ prerequisite ชัดเจน เช่น Python 3.12 และ Linux
-
ตัวอย่าง
python examples/offline_inference.pyช่วยให้ทีมเริ่มทดสอบการรันโมเดลได้จาก repo โดยตรง เหมาะกับการทำ prototype ก่อนต่อยอด -
โครงสร้างสำหรับ serving at scale เหมาะกับงาน inference ขนาดใหญ่ แต่ source ระบุว่า complete inference service ยังไม่รวมมาให้ ต้องนำไปประกอบระบบเพิ่มเติมเอง
ชื่อที่ DeepInfer ยืนอยู่ข้างๆ และสิ่งที่ยังสรุปไม่ได้
README ระบุว่า DeepInfer สร้างขึ้นโดยอาศัย vLLM เป็นหลัก และได้แรงบันดาลใจเพิ่มเติมจาก SGLang กับ TensorRT-LLM เท่านั้น จึงยังสรุปไม่ได้ว่าโปรเจกต์ไหนเร็วกว่า หรือเหมาะกับงานแบบไหนมากกว่า
| Factor | DeepInfer | vLLM | SGLang | TensorRT-LLM |
|---|---|---|---|---|
| ความเกี่ยวข้องตาม README | สร้างโดยอาศัย vLLM เป็นหลัก | เป็นพื้นฐานหลักของ DeepInfer | เป็นแรงบันดาลใจเพิ่มเติม | เป็นแรงบันดาลใจเพิ่มเติม |
| ข้อมูลเปรียบเทียบที่มีใน source | ไม่มีคะแนนเทียบโดยตรง | ไม่มีคะแนนเทียบโดยตรง | ไม่มีคะแนนเทียบโดยตรง | ไม่มีคะแนนเทียบโดยตรง |
จุดแข็งของ release นี้ และข้อจำกัดที่ต้องอ่านให้ครบ
ข้อดี
- +รองรับ offline inference สำหรับงาน DeepSeek ขนาดใหญ่
- +มีตัวอย่างและ benchmark สำหรับการใช้งานจริง
- +ใช้ Apache License 2.0 และรองรับ NVIDIA กับ Ascend
ข้อเสีย
- −Source ระบุ checkpoint เริ่มต้นเป็น DeepSeek-V4.1-Flash-1017
- −ต้อง build from source บน Linux พร้อม GCC >= 13.0 และ Python 3.12
- −ต้องใช้ CUDA 13 หรือ CANN 9.2 ตาม accelerator และยังไม่ใช่บริการ inference แบบครบวงจร
ค่าใช้จริงไม่ได้จบที่คำว่าโอเพนซอร์ส
DeepInfer ต้อง build บน Linux โดยใช้ GCC 13.0 ขึ้นไป และ Python 3.12 ใน environment ที่ว่างก่อนเริ่ม build ส่วนฝั่ง NVIDIA ต้องใช้ CUDA 13 ขณะที่ Ascend ต้องใช้ CANN 9.2
เรื่อง hardware ก็ไม่ใช่เครื่องทั่วไป เพราะ benchmark ระบุการวัดบน NVIDIA SM100 โดยใช้ 4 GPUs สำหรับ prefill และ 64 GPUs สำหรับ decode การเปิดใช้งานจริงจึงต้องดูระบบที่รองรับ accelerator เหล่านี้ด้วย
ครั้งแรกที่รัน ระบบจะดาวน์โหลด checkpoint DeepSeek-V4.1-Flash-1017 ลง Hugging Face cache หรือจะเตรียมไฟล์ไว้ใน local path ก็ได้ ที่สำคัญ source ระบุชัดว่า release นี้ยังไม่รวมส่วนที่จำเป็นต่อบริการ inference แบบครบถ้วนครับ
ถ้าจะลองวันนี้ ควรเริ่มอ่านจากตรงไหน
เริ่มจาก README.md แล้วไล่ดูโฟลเดอร์ examples กับคำสั่ง Offline inference ก่อน เตรียม Linux, GCC >= 13.0 และ empty Python 3.12 environment จากนั้นตั้งค่า DEEPINFER_ACCELERATOR=nvidia หรือใช้ ascend สำหรับแพลตฟอร์ม Ascend แล้วรัน ./build.sh
พอ build เสร็จ ให้ลอง python examples/offline_inference.py เพื่อดูเส้นทางการรันจริง หลังจากนั้นใช้หัวข้อ Required for a complete inference service ใน source เป็นเกณฑ์ว่า DeepInfer เหมาะกับการทดลอง offline แค่ไหน และยังขาดอะไรบ้างก่อนต่อยอดเป็นบริการขนาดใหญ่