Anthropic เพิ่งปล่อยงานวิจัยที่ให้ Claude…
อาการที่เอามาทดสอบมี 10 อย่าง ทั้งการโกหก การเออออตามผู้ใช้ การมั่วข้อมูล การปิดบังว่าตัวเองไม่แน่ใจ การโดน jailbreak การโดน prompt injection อคติทางสังคม การละเมิดความเป็นส่วนตัว การพยายามหาอำนาจ และการโกงระบบให้คะแนน
วิธีทำคือปล่อยให้ Claude วนลูปเอง อ่านงานวิจัย เสนอวิธีเทรน หาข้อมูล เทรน แล้ววัดผล ทำซ้ำเป็นร้อยรอบ โดยมีเงื่อนไขว่าห้ามทำให้โมเดลโง่ลง วิธีไหนแก้ปัญหาได้แต่ความสามารถตกก็โดนตัดทิ้ง
ผลที่ออกมาคือปิดช่องว่างด้านความปลอดภัยได้ตั้งแต่ 26 ถึง 96 เปอร์เซ็นต์แล้วแต่หมวด อย่างเรื่องโกงระบบให้คะแนนปิดได้ 96 เรื่องโกหกปิดได้ 82 แต่เรื่องเออออตามผู้ใช้ปิดได้แค่ 26 ซึ่งก็สะท้อนว่าอาการนี้แก้ยากจริง
ส่วนที่เป็นหมัดหนักคือเขาเอานักวิจัยที่มีประสบการณ์ 28 คน มาลองทำโจทย์เดียวกัน ให้เวลาคนละไม่เกิน 8 ชั่วโมง ผลคือวิธีของคนสู้วิธีที่ AI หาเจอไม่ได้ เฉพาะเรื่องการโกหก ฝั่ง AI ปิดช่องว่างได้ 85 เปอร์เซ็นต์ ส่วนฝั่งคนได้ 20
ที่ผมสะดุดกว่านั้นคือเขาลองเอาไอเดียของมนุษย์ไปเป็นจุดตั้งต้นให้ AI แล้วผลไม่ได้ดีขึ้น แปลว่าในโจทย์แบบนี้คำแนะนำจากผู้เชี่ยวชาญไม่ได้ช่วยอะไรเพิ่ม
แต่ต้องอ่านอย่างระวังด้วยครับ ตัวผู้เขียนเองบอกว่าโจทย์ที่ใช้เป็นปัญหาที่นิยามไว้ชัดและวัดด้วย benchmark สาธารณะได้อยู่แล้ว ซึ่งแคบกว่าปัญหาจริงในระบบ production มาก คำว่าเก่งกว่ามนุษย์ในที่นี้เลยหมายถึงเก่งกว่าในสนามที่ขีดเส้นไว้แล้ว ไม่ใช่ทุกเรื่อง
ผมว่าประเด็นที่ใหญ่ที่สุดของงานนี้ไม่ใช่ว่า AI เก่งแค่ไหน แต่คือถ้าเรื่องความปลอดภัยของ AI เริ่มถูกทำโดย AI เอง แล้วมนุษย์จะเหลือบทบาทตรงไหนในลูปนี้ครับ
https://www.anthropic.com/research/automated-researchers-mitigate-alignment-failures
อยากใช้ AI กับงานจริงเป็นระบบ?
เรียน Claude Method — วิธีคิดและลงมือใช้ Claude/AI กับงานจริง ตั้งแต่วันแรก
📍 โพสต้นฉบับบน Facebook: AI กับ Peesamac