วิเคราะห์และรีวิว: AMD Strix Halo RDMA Cluster Setup Guide

Strix Halo RDMA Cluster คือการเอาชิป AMD Strix Halo หลายตัวมาต่อกันผ่าน RDMA เพื่อแชร์ memory bandwidth กันตรงๆ ไม่ผ่าน CPU overhead แบบ network ปกติ เหมาะกับคนที่อยากรัน LLM ตัวใหญ่ในบ้านแต่งบไม่ถึงการ์ดจอ enterprise

เรื่อง setup มันไม่ใช่งานที่ทำเสร็จแล้วจบ ต้อง config driver, network card รองรับ RDMA, และ tuning เยอะพอสมควร ไม่ใช่สาย plug-and-play

ฟันธง: เหมาะกับสาย homelab/AI hobbyist ที่ชอบขุดคุ้ยและมีเวลาทดลอง แต่ถ้าอยากได้ของที่ใช้งานได้เลยไม่ต้องแก้ปัญหาเอง รอให้ community มี guide สำเร็จรูปมากกว่านี้ก่อนดีกว่า งบต้องถึงทั้งชิปและเวลาที่จะเสียไปกับการ debug

หน้าตาจริงของคลัสเตอร์ Strix Halo

ภาพนี้คือสิ่งที่ต้องเจอจริงถ้าจะทำตาม guide นี้ครับ ไม่ใช่เซิร์ฟเวอร์ rack สวยงามแบบในโบรชัวร์ แต่เป็น Framework Desktop สองเครื่องวางเรียงกันบนโต๊ะ สายพันกันเต็มไปหมด

จุดที่ต้องสังเกตคือการ์ด Intel E810 ที่โผล่ออกมาจากแต่ละเครื่อง กับ DAC cable ที่เชื่อมตรงระหว่างโหนด ไม่ใช่สาย LAN ธรรมดาที่เสียบแล้วจบ ตรงนี้แหละที่กินเวลา setup ไปเยอะที่สุด — ยังไม่รวมช่องเสียบ PCIe ที่ Framework Desktop ให้มาแค่ x4 ต้องหา riser x4-to-x16 มาต่อก่อน

ถ้าเห็นภาพแบบนี้แล้วรู้สึกว่า “งานนี้ต้อง hands-on จริง” นั่นแหละคือความรู้สึกที่ถูกต้องแล้วสำหรับโปรเจกต์นี้

ทำไมต้องมานั่งต่อคลัสเตอร์เองที่บ้าน

ปัญหาเริ่มจากเรื่องง่ายๆ อยากรัน LLM ตัวใหญ่ใช้เองที่บ้านหรือออฟฟิศเล็กๆ แต่การ์ดจอเครื่องเดียว VRAM ไม่พอ โมเดลใหญ่โหลดไม่ขึ้น

จะไปซื้อ workstation GPU ระดับ enterprise ก็ราคาโหดเกินงบทีมเล็ก จ่ายไม่เจ็บสำหรับบริษัทใหญ่ แต่สำหรับ home lab นี่คือหนักเกินไป

ทางออกที่เริ่มเป็นที่พูดถึงคือเอา mini PC สเปกกลางๆ หลายตัวมาต่อกันด้วย RDMA ให้ทำงานประสานกันเหมือนเครื่องเดียว แชร์ VRAM ข้ามโหนดได้ แทนที่จะทุ่มเงินซื้อการ์ดใบเดียวราคาแพงลิ่ว

แนวคิดนี้แหละที่ทำให้โต๊ะทำงานเต็มไปด้วยสายอย่างที่เห็นก่อนหน้านี้ — ของมันต้องแลกกันระหว่างงบประมาณที่ประหยัดลง กับความยุ่งยากตอน setup ที่เพิ่มขึ้นแทน

Strix Halo ต่างจาก APU ตัวอื่นของ AMD ตรงไหน

Strix Halo คือ APU ที่ AMD วางไว้เหนือชิปโน้ตบุ๊กทั่วไปอย่าง Phoenix หรือ Hawk Point ชัดเจน เพราะดึง GPU cores มาเยอะกว่าเดิมมาก และรองรับ unified memory ขนาดใหญ่กว่าที่ APU ทั่วไปเคยทำได้ แต่ก็ยังไม่ถึงระดับ workstation หรือ server GPU ตัวจริงที่ AMD ทำขายแยกอีกไลน์หนึ่ง

ตำแหน่งกลางๆ แบบนี้แหละที่ทำให้ Strix Halo น่าสนใจสำหรับคนทำคลัสเตอร์ AI ราคาประหยัด เพราะจุดเด่นคือ unified memory ที่ CPU กับ GPU ใช้ร่วมกันได้ ซึ่งเป็นสิ่งที่ APU สายโน้ตบุ๊กทั่วไปไม่มีให้ ขณะที่ราคายังห่างจากการ์ด workstation/server อยู่มาก

พูดง่ายๆ คือ AMD เปิดช่องว่างใหม่ระหว่างโน้ตบุ๊กกับ data center แล้ว Strix Halo ก็เข้ามาเติมช่องนั้นพอดี ใครอยากได้ memory เยอะแบบ GPU ใหญ่ แต่งบไม่ถึง ก็มาต่อคลัสเตอร์กันแทน

เทียบกับรุ่นก่อนหน้า: อะไรที่ทำให้ RDMA คลัสเตอร์เพิ่งเป็นไปได้จริง

รุ่นก่อนอย่าง Strix Point หรือ Hawk Point เป็น APU ที่เก่งเรื่องประหยัดพลังงานในโน้ตบุ๊ก แต่ unified memory ยังจำกัด ไม่ได้ออกแบบมาให้ต่อเป็นคลัสเตอร์เพื่องาน AI/compute หนักๆ ตั้งแต่แรก Strix Halo ต่างออกไปตรงที่วาง memory bandwidth และ I/O ให้รองรับงานที่ต้องส่งข้อมูลระหว่างเครื่องเยอะๆ ได้จริง ซึ่งเป็นเงื่อนไขสำคัญที่ทำให้ RDMA (ส่งข้อมูลตรงระหว่าง memory โดยไม่ผ่าน CPU) ใช้งานได้อย่างมีประสิทธิภาพ พูดง่ายๆ คือรุ่นก่อนทำได้แค่ “แรงพอสำหรับเครื่องเดียว” แต่ Strix Halo ถูกวางให้ “แรงพอสำหรับต่อเป็นกลุ่ม”

ฟีเจอร์ที่ใช้ได้จริงเมื่อลงมือสร้างคลัสเตอร์

Unified memory 128GB ต่อโหนดช่วยให้รัน LLM ขนาดกลาง-ใหญ่ที่บ้านได้แบบสบายๆ อย่างในคู่มือต้นทางเดโมกับ Llama 3.1 8B และ Gemma 2 27B แบบ Tensor Parallel ข้ามสองโหนดโดยตรง เพราะ CPU กับ GPU แชร์หน่วยความจำก้อนเดียวกัน ลดปัญหาโมเดลใหญ่กว่า VRAM แบบการ์ดจอทั่วไป

NPU/iGPU compute เหมาะกับสาย home lab ที่อยากลองเทรนโมเดลเล็กๆ หรือรัน inference ทดลองไปเรื่อยๆ โดยไม่กินไฟเท่าการ์ดจอแยกทั้งวัน

RDMA networking คือจุดที่ทำให้เรื่องนี้ต่างจากโน้ตบุ๊กทั่วไปจริงๆ เพราะต่อหลายเครื่องเป็นคลัสเตอร์ได้ตรงๆ ไม่ใช่แค่ใช้งานเดี่ยว เหมาะกับใครอยากทำ inference cluster สำรอง ไว้รับโหลดตอนเครื่องหลักมีปัญหาหรือไฟดับ

ส่วนการขยายจำนวนโหนด ก็ทยอยเพิ่มเครื่องเข้าคลัสเตอร์ได้ตามงบที่มี ไม่ต้องซื้อพร้อมกันทีเดียวทั้งชุด เหมาะกับทีมเล็กที่อยากเริ่มจากเครื่องเดียวแล้วค่อยโต

เทียบกับทางเลือกอื่นในงบเดียวกัน

พอพูดถึงงบสร้าง inference cluster เอง ตัวเลือกที่คนพูดถึงบ่อยคือ Mac Studio ต่อกันผ่าน Thunderbolt กับ Nvidia Jetson/DGX Spark และ PC ตั้งโต๊ะสาย Threadripper ใส่ GPU เดี่ยว

Mac Studio cluster ได้ unified memory เยอะเหมือนกัน แต่ราคาต่อเครื่องสูงกว่า และ ecosystem ปิดกว่า Strix Halo ที่รันบน Fedora 43 + kernel driver มาตรฐาน (ice + irdma) ทำอะไรก็เปิดกว่า ส่วน Jetson/DGX Spark เด่นเรื่อง CUDA ecosystem แต่ตั้งค่า cluster ยุ่งยากกว่าและราคาต่อโหนดแพงกว่าฝั่ง x86 ทั่วไป

ถ้าเทียบกับ Threadripper+GPU เดี่ยว ข้อดีคือแรงจัดในเครื่องเดียว ไม่ต้องยุ่งกับ RDMA เลย แต่ขยายเป็นคลัสเตอร์ทำได้ยากกว่า และไม่ยืดหยุ่นเรื่องทยอยซื้อเพิ่มทีละเครื่องแบบที่ Strix Halo ทำได้

จุดคุ้มและจุดเจ็บของ Strix Halo cluster ในบ้าน

ลองเซ็ตคลัสเตอร์ Strix Halo ทำงานจริงมาสักพัก เห็นทั้งจุดแข็งและจุดที่ยังต้องทน ผมว่าถ้าเข้าใจข้อจำกัดตั้งแต่แรก จะตัดสินใจซื้อได้ตรงจุดกว่า

จุดที่ชอบคือราคาต่อ unified memory ถูกกว่า GPU cluster แบบ enterprise เยอะ ใช้ไฟน้อยกว่าการต่อ GPU การ์ดจริงหลายใบด้วย

แต่ฝั่งปัญหาก็มีชัดเจน driver ฝั่ง RDMA ยังไม่นิ่ง อัปเดตบ่อย บางเวอร์ชันพังฟีเจอร์เดิม ecosystem ซอฟต์แวร์รอบ RDMA บนชิป consumer แบบนี้ยังบางมาก เอกสารน้อย community เล็ก ต้องมโนเองเยอะตอนเจอ error แปลกๆ และ bandwidth ระหว่างโหนดยังสู้ GPU cluster ระดับ data center ไม่ได้ งานที่ต้อง sync ข้อมูลหนักๆ ข้ามโหนดจะรู้สึกคอขวดชัด

จุดที่คนมักลืมนับตอนตั้งงบทำ RDMA cluster คือค่าใช้จ่ายที่ไม่ได้อยู่ในใบเสนอราคาก้อนแรก

ฮาร์ดแวร์เสริม — การ์ดเน็ตเวิร์กและสวิตช์ที่รองรับ RDMA จริง (ไม่ใช่แค่ NIC ธรรมดา) ราคาสูงกว่าที่คิด และต้องเผื่องบซื้อสำรองไว้ด้วย เพราะ driver ยังไม่นิ่งอาจต้องเปลี่ยนรุ่น

เวลาซ่อม stack — driver/firmware ฝั่ง RDMA บนชิป consumer อย่าง Strix Halo ยังอัปเดตบ่อย มีเคสฟีเจอร์เดิมพังหลังอัปเดต ต้องกันเวลาทีมไว้ debug เป็นระยะ ไม่ใช่ตั้งแล้วจบ

ค่าไฟรันต่อเนื่อง — คลัสเตอร์รันยาวต่างจากเปิดเครื่องทดสอบสั้นๆ ต้องคิดรวมในต้นทุนระยะยาว

ความเสี่ยง rebuild — เมื่อ AMD อัปเดต stack ใหญ่ อาจต้อง rebuild environment ใหม่ทั้งชุด งบเวลาตรงนี้มักถูกมองข้าม

ใครควรลงมือ ใครควรรอไปก่อน

คลัสเตอร์ AMD Strix Halo แบบ RDMA เหมาะกับคนที่อยากลองรัน LLM เองที่บ้านหรือในทีมเล็ก แล้วพร้อมนั่งไล่ driver เป็นงานอดิเรก ไม่ใช่แค่เสียบแล้วรัน

ถ้าองค์กรต้องการ uptime นิ่งๆ ระดับ production หรือทีมไม่มีคนคอย monitor stack หลังอัปเดตทุกรอบ งานนี้เสี่ยงเกินไป — เช่าคลาวด์ GPU ยังตอบโจทย์กว่าในแง่เวลาที่ประหยัดได้

เมื่อ AI ในบ้านไม่ใช่เรื่องของคนมีงบไม่จำกัดอีกต่อไป

สิ่งที่ Strix Halo cluster แบบนี้บอกเราคือ เส้นแบ่งระหว่าง “AI ระดับ data center” กับ “AI มุมห้องทำงาน” กำลังเบลอลงเรื่อยๆ นะ. ก่อนหน้านี้ถ้าอยากรัน LLM ขนาดใหญ่แบบ private ต้องพึ่ง GPU cluster ราคาแพงหรือเช่าคลาวด์ตลอด แต่พอฮาร์ดแวร์ consumer-grade เริ่มต่อกันผ่าน RDMA ได้ ทางเลือกก็เปิดกว้างขึ้นสำหรับทีมเล็กและนักพัฒนาอิสระ.

มองไปข้างหน้า เทรนด์นี้น่าจะดันให้ community tools รอบ self-hosted AI (orchestration, monitoring, networking) พัฒนาเร็วขึ้นตาม เพราะคนกลุ่มที่ไม่ใช่ enterprise เริ่มมีเสียงในวงนี้มากขึ้น. ระยะยาว อาจเห็น home-lab กลายเป็น testbed ที่ผลักดัน best practice ก่อนที่ enterprise จะตามมาใช้ด้วยซ้ำ — สลับบทบาทจากที่เคยเป็นแค่ผู้ตามเทคโนโลยีองค์กรใหญ่.