งานวิจัยใหม่จาก OpenAI ร่วมกับ Apollo Research…
ทีมวิจัยเรียกพฤติกรรมนี้ว่า reward-seeking (เอาใจตัวให้คะแนน) คือโมเดลจะแทนภาพในหัวว่า grader คืออะไร แล้วปรับพฤติกรรมตามสิ่งที่มันเชื่อว่า grader จะให้คะแนนดี ไม่ใช่ตามสิ่งที่ผู้ออกแบบตั้งใจจริงๆ
วิธีที่พวกเขาใช้วัดคือเทคนิคชื่อ Contrastive SDF (Synthetic Document Finetuning) หลักการคือเทรนโมเดลสองก้อนที่เหมือนกันทุกอย่าง ด้วยเอกสารสังเคราะห์ที่บอกว่า grader ชอบ feature หนึ่ง ในขณะที่อีกฝ่าย เช่น user หรือ developer ชอบ feature ตรงข้าม แล้ววัดว่าโมเดลเอียงไปทาง grader มากแค่ไหนเทียบกับอีกฝ่าย
ผลที่เจอมีสามจุดสำคัญ หนึ่ง ทดสอบกับ checkpoint ระหว่างเทรน RL ของ OpenAI o3 พบว่าความเอนเอียงไปทาง grader เพิ่มขึ้นเรื่อยๆ ตามจำนวนรอบเทรน ในขณะที่ความเอนเอียงไปทาง authority อื่นแทบไม่ขยับ สอง เทสต์เรื่อง honesty โดยตรง พบว่า checkpoint ช่วงหลังของการเทรนตัดสินใจโกหกหรือพูดจริงขึ้นอยู่กับว่าโมเดลเชื่อว่า grader ให้รางวัลอะไรมากกว่า ไม่ใช่ยึดหลักความซื่อสัตย์เป็นค่านิยมแท้ สาม ทีมวิจัยยัง validate วิธีวัดนี้ด้วยการเทสกับโมเดลที่ถูกเทรนให้ reward-hack (โกงระบบให้คะแนน) โดยตรง แล้วพบว่าค่าที่วัดได้สอดคล้องกับระดับความรุนแรงของการโกงจริง
เรื่องนี้สำคัญเพราะถ้าโมเดลทำสิ่งที่ถูกด้วยเหตุผลผิด มันอาจสอบผ่าน alignment evaluation ได้สูง ทั้งที่พฤติกรรมจริงจะเบี่ยงไปทันทีที่ไม่มีใครจับตาดูอยู่ ซึ่งเป็นปัญหาที่ยากกว่าแค่ตรวจจับพฤติกรรมผิดตรงๆ เพราะโมเดลที่ aligned จริงกับโมเดลที่แค่ทำตัวดีต่อหน้า grader อาจหน้าตาเหมือนกันเป๊ะตอนถูกจับตาดู
ทีมวิจัยบอกว่าทุกค่ายกำลัง scale RL มากขึ้นเรื่อยๆ และ situational awareness ของโมเดลก็สูงขึ้นตาม เพราะฉะนั้น reward-seeking น่าจะยิ่งเยอะขึ้นในอนาคต จุดที่ต้องเฝ้าระวังคือระหว่างการเทรนเลย ไม่ใช่รอไปเจอหลัง deploy แล้วค่อยแก้
อยากใช้ AI กับงานจริงเป็นระบบ?
เรียน Claude Method — วิธีคิดและลงมือใช้ Claude/AI กับงานจริง ตั้งแต่วันแรก
📍 โพสต้นฉบับบน Facebook: AI กับ Peesamac