วิเคราะห์และรีวิว: Embedded AI Evaluators ไม่ใช่ทางออกง่าย ตามความเห็นของหัวหน้าฝ่ายนโยบาย Hugging Face

การประเมิน AI ยังไม่ใช่เครื่องชี้ขาดที่เชื่อถือได้โดยอัตโนมัติ

ผลทดสอบอาจดูเป็นกลาง แต่ยังมีปัญหาเรื่องการทำซ้ำ และยังเปรียบเทียบข้ามชุดประเมินได้ไม่ชัดเจน จึงยังสรุปไม่ได้ง่ายๆ ว่าโมเดลไหนดีกว่าในทุกงาน

การวัดผลตอนนี้ไม่ได้ดูแค่โมเดล แต่รวมถึง harness และ agent ที่ผู้ใช้เข้าถึงด้วย โมเดลที่อ่อนกว่าอาจทำผลงานดีกว่าเมื่อใช้ harness ที่เหมาะกว่า ขณะที่การประเมิน agent ยังทำได้ยากและมีค่าใช้จ่ายสูง

ดังนั้น วงการยังต้องพัฒนามาตรฐานร่วมกัน เพื่อให้ผลประเมินมีความสม่ำเสมอและนำไปใช้ตัดสินใจได้จริงมากขึ้น

ทำไมผลประเมิน AI ยังเชื่อถือไม่ได้เต็มที่

Irene Solaiman มองว่า benchmarking ยังเป็นศาสตร์ที่กำลังพัฒนา จึงยังตอบไม่ได้ชัดเจนว่าผลประเมินแต่ละชุดเทียบกันอย่างมีความหมายได้แค่ไหน แถมบางการทดสอบก็เริ่มใช้ไม่ได้ผลในเวลาไม่นาน ทำให้ความน่าเชื่อถือไม่ได้ขึ้นอยู่กับคะแนนเพียงอย่างเดียว

หัวใจสำคัญคือการทำซ้ำผลลัพธ์ได้หรือไม่ ผู้ประเมินต้องเข้าถึงตัวโมเดลในระดับที่เพียงพอ ซึ่ง open weights มีบทบาทมาก เพราะช่วยให้ตรวจสอบกระบวนการประเมินได้ละเอียดขึ้น หากทำซ้ำไม่ได้ คะแนนที่ดูแม่นก็อาจยังใช้ยืนยันว่าโมเดลหนึ่งดีกว่าอีกโมเดลไม่ได้ครับ

ปัญหาที่เกิดขึ้นเมื่อคะแนนทดสอบถูกใช้แทนความจริง

ชุดประเมินแต่ละแบบอาจวัดคนละเรื่อง จึงยังเปรียบเทียบคะแนนข้ามชุดได้ยาก แม้ตัวเลขจะดูเหมือนบอกว่าโมเดลไหนดีกว่า แต่ก็อาจไม่ได้สะท้อนการใช้งานจริงทั้งหมด

ปัญหาคือชุดทดสอบบางแบบเริ่มใช้ไม่ได้ผลในเวลาไม่นาน หากยังไม่มีมาตรฐานร่วม คะแนนเหล่านี้ก็เสี่ยงทำให้คนตัดสินใจจากภาพที่ไม่ครบครับ

จากการวัดโมเดลสู่การวัดทั้งระบบ

การประเมินไม่ได้ดูแค่ตัวโมเดลแล้ว แต่ต้องดูทั้ง harness หรือเครื่องมือที่ผู้ใช้ใช้เข้าถึงโมเดล รวมถึง agent ที่ทำงานร่วมกับระบบด้วย เพราะ harness มีผลต่อ performance โดยตรง

ดังนั้น โมเดลที่อ่อนกว่าอาจทำผลงานเหนือกว่าโมเดลชั้นนำได้ หากใช้ harness ที่ดีกว่า ส่วนการประเมิน agent ยังทำได้ยากและมีค่าใช้จ่ายสูง จึงต้องพัฒนาวิธีวัดทั้งระบบให้ชัดเจนขึ้น.

การประเมินแต่ละชั้นตอบคำถามอะไร

การวัดไม่ได้จบแค่ตัวโมเดล เพราะผู้ใช้จริงรับผลจากทั้งเครื่องมือและ agent ที่ทำงานร่วมกันด้วย

มุมมองนี้ช่วยให้เห็นว่า benchmark ของโมเดลอย่างเดียว อาจไม่สะท้อนการใช้งานจริงทั้งหมด.

เมื่อผู้ประเมินถูกฝังอยู่ในองค์กร AI

Embedded evaluator คือการให้ผู้สังเกตการณ์จากภายนอกเข้าไปอยู่ภายในองค์กร AI เพื่อตรวจประเด็นความปลอดภัยของโมเดล แนวคิดนี้ได้รับความสนใจหลังเกิดเหตุการณ์ที่ทำให้คนกังวลถึงอันตรายจากเทคโนโลยี โดยมี Hugging Face เป็นหนึ่งในองค์กรที่เคยตกเป็นเป้าหมาย

หลายแล็บมองวิธีนี้เป็นทางเลือกแทนการกำกับดูแลจากภาครัฐ แต่คำถามสำคัญคือผู้ประเมินจะเป็นกลางและมีความสามารถพอหรือไม่ กรณี Anthropic จ้าง Accenture เป็นผู้ประเมินรายแรก จึงถูกวิจารณ์ว่า consulting firm อาจไม่เหมาะกับงานนี้นัก

ความเป็นกลางไม่ได้รับประกันคุณภาพ

การวางผู้ประเมินจากภายนอกไว้ในองค์กร AI อาจดูเป็นกลาง แต่ความเป็นกลางอย่างเดียวไม่ได้ตอบว่าประเมินได้ดีแค่ไหน เพราะแต่ละงานต้องใช้คุณสมบัติและมาตรฐานที่ชัดเจน

กรณี Anthropic ว่าจ้าง Accenture เป็นผู้ประเมินรายแรก จึงเกิดเสียงวิจารณ์ตามมาว่า consulting firm แห่งนี้มีคุณสมบัติเหมาะกับงานหรือไม่ ประเด็นนี้สะท้อนว่า embedded evaluator ยังต้องมีมาตรฐานกลาง ทั้งด้านความสามารถและวิธีทำงาน ไม่ใช่แค่มีชื่อว่าเป็นบุคคลที่สามก็พอ

ระบบประเมินแบบไหนจึงจะมีประโยชน์จริง

ระบบประเมินที่มีประโยชน์ต้องทำซ้ำผลทดสอบได้ และผู้ประเมินต้องเข้าถึงโมเดลในระดับที่จำเป็น โดยเฉพาะกรณีที่มี open weights เพื่อให้ตรวจสอบผลได้จริง

การใช้งานจริงต้องดูมากกว่าตัวโมเดล เช่น harness หรือเครื่องมือที่ใช้เข้าถึงโมเดล เพราะโมเดลที่อ่อนกว่าอาจทำผลงานดีกว่าเมื่อมี harness ที่เหมาะสม นอกจากนี้ควรประเมิน agent แบบองค์รวม ทั้งระบบที่ผู้ใช้ได้รับคุณค่าจริง ไม่ใช่ดูเฉพาะคะแนนของโมเดลอย่างเดียว.

ทางเลือกที่อุตสาหกรรมกำลังถกเถียง

วงการ AI กำลังชั่งน้ำหนักระหว่างผู้ประเมินอิสระที่ฝังตัวในองค์กร การกำกับดูแลโดยรัฐบาล และชุดประเมินที่แล็บสร้างเอง แต่ละทางยังมีจุดติดขัดของตัวเอง

จุดแข็งและจุดอ่อนของ embedded evaluators

การมีผู้ประเมินจากภายนอกอยู่ในองค์กร AI อาจช่วยตรวจจับและลดความเสี่ยงด้านความปลอดภัยของโมเดลได้ใกล้ขึ้น โดยเฉพาะเมื่อการประเมินขยับไปดูทั้งระบบรอบโมเดล ไม่ใช่ดูเฉพาะตัวโมเดล

แต่ข้อจำกัดยังชัดเจน ทั้งมาตรฐานที่ยังไม่เป็นหนึ่งเดียว ความเป็นกลางของผู้ประเมิน และคำถามว่าบริษัทที่รับงานมีคุณสมบัติเหมาะสมหรือไม่ ส่วน agentic evals ก็ทำได้ยากและมีค่าใช้จ่ายสูง เพราะต้องประเมินทั้งโมเดล, harness และ agent

ค่าใช้จ่ายที่ไม่ได้อยู่ในคะแนนทดสอบ

ต้นทุนไม่ได้จบแค่การรัน test เพราะ agentic evals ทั้งยากและแพง ยิ่งต้องดูการทำงานของระบบรอบโมเดล ภาระก็ยิ่งเพิ่มขึ้น

อีกปัญหาคือ ecosystem ของ evaluator ยังไม่แข็งแรงพอ การประเมินแต่ละแบบยังเปรียบเทียบกันได้ยาก และมาตรฐานที่บอกว่าใครเป็น evaluator ที่มีคุณภาพก็ยังต้องพัฒนาให้ชัดเจนขึ้น

ดังนั้น องค์กรไม่ได้จ่ายแค่ค่าทดสอบ แต่ต้องลงทุนกับวิธีประเมินที่สม่ำเสมอ ตรวจสอบซ้ำได้ และใช้ร่วมกันในอุตสาหกรรมด้วย

สิ่งที่อุตสาหกรรมต้องทำก่อนจะฝากความหวังไว้กับคะแนนประเมิน

อุตสาหกรรมต้องขยับจากการมี benchmark เยอะขึ้น ไปสู่แนวทางประเมินที่ทุกฝ่ายใช้หลักเดียวกัน ผลลัพธ์ควรทำซ้ำได้ และต้องมี access ถึงตัวโมเดลเพียงพอสำหรับตรวจสอบ

สิ่งสำคัญไม่ใช่แค่คะแนนว่าโมเดลไหนดีกว่า แต่ต้องเปรียบเทียบการประเมินแต่ละแบบได้อย่างมีความหมาย รวมถึงดูทั้ง model, harness และ agent เพราะ performance ของระบบขึ้นกับองค์ประกอบรอบโมเดลด้วย เมื่อมาตรฐานยังไม่ชัด คะแนนประเมินก็ยังไม่ควรเป็นคำตอบสุดท้ายครับ