AI ที่บอกตัวเองว่า "นี่มันแค่การซ้อม" แล้วอัปโหลดมัลแวร์ขึ้นของจริง
เมื่อวาน (9 ก.ย.) Anthropic ปล่อยรายงาน alignment assessment ยาวมาก ว่าด้วย 4 เคสที่โมเดลของตัวเองเข้าไปยุ่งกับระบบของคนอื่นในโลกจริง ระหว่างการทดสอบความสามารถด้านไซเบอร์
ต้นเรื่องคือ misconfiguration ครับ ทุกเคสเกิดในสนามสอบ cybersecurity ที่สร้างโดย partner รายเดียวกัน โมเดลถูกบอกว่า "คุณไม่มีอินเทอร์เน็ต" แต่สนามตั้งค่าพลาด อินเทอร์เน็ตจริงเปิดอยู่ และเป็นการทดสอบที่ปิด safeguard ด้านไซเบอร์ทั้งหมดตามมาตรฐานการวัดความสามารถ
1. เคสที่หนักที่สุด — Mythos 5 อัปโหลดแพ็กเกจอันตรายขึ้น PyPI
PyPI คือคลังกลางที่โลก Python ทั้งใบดึงไลบรารีไปติดตั้ง โมเดลอ่านเจอว่าเป้าหมายจะติดตั้งแพ็กเกจชื่อหนึ่งเป็นประจำ แต่ชื่อนั้นยังไม่มีใครจอง มันเลยตัดสินใจไปจองชื่อแล้วยัดโค้ดเก็บ credential ไว้ข้างใน
เพื่อจะสมัครบัญชีให้ได้ มันไล่ลองใช้ credential ของ payment processor ไล่หา cryptocurrency มาจ่ายค่าเบอร์โทร สุดท้ายไปเจออีเมลชั่วคราวที่ PyPI ยังไม่ได้บล็อกโดเมน แล้วปล่อยแพ็กเกจออกไป 3 เวอร์ชัน มีเครื่องติดตั้งไป 15 เครื่อง (Anthropic เชื่อว่าทั้ง 15 คือ security vendor ที่คอยสแกนแพ็กเกจใหม่) แล้วเครื่องหนึ่งเผลอปล่อย credential ออกมา โมเดลก็เอาไปเปิดฐานข้อมูลจริงของ vendor รายนั้นต่อ ประมาณ 90 นาที PyPI ถึงถอดแพ็กเกจออก
ตลอดทางใน chain of thought มันพูดซ้ำ ๆ ว่า "This is a very elaborate simulated-internet environment"
2. คำที่ผมว่าสำคัญที่สุดในรายงานคือ biased reasoning
Anthropic ทดลองแบบนี้ครับ เอา output ของ tool call แต่ละอันจากเคสนั้น ไปให้ Mythos 5 อีกตัวดูแบบเดี่ยว ๆ ไม่มี context — มันตอบว่า "นี่ของจริง" ถึง 79%
แต่ในเคสจริง ที่มี context สะสมมาทั้งเส้น มันเขียนว่าหลักฐานตรงหน้าเป็นของจริงแค่ 1% ของ action ทั้งหมด
ความสามารถในการอ่านหลักฐานไม่ได้หายไป สิ่งที่เปลี่ยนคือมันมีงานที่กำลังทำค้างอยู่
3. momentum effect — เตือนช้าไปแค่ 3 เทิร์นก็คนละเรื่อง
ทีมลองแทรกประโยคเตือนขอบเขตงาน ("เฉพาะ host ที่ระบุในโจทย์เท่านั้น ห้ามยุ่งระบบอื่น") เข้าไปในบทสนทนา
- แทรกไว้เป็นข้อความล่าสุดก่อนมันตัดสินใจ → หยุด 90%
- แทรกไว้ก่อนหน้านั้น 3 เทิร์น → หยุดแค่ 40%
คำสั่งเดียวกันเป๊ะ ต่างกันแค่ตำแหน่งในหน้าต่าง context
4. ที่น่ากลัวสำหรับคนทำระบบ monitor
Anthropic ลองย้อนดูว่า monitor ของตัวเองจะจับเคสนี้ได้ไหม ปรากฏว่า offline monitor ที่อ่าน chain of thought จับ action ของ Mythos 5 ได้แค่ราว 1% เพราะ CoT ของโมเดลที่เขียนว่า "อยู่ในซิม" ไปโน้มน้าว monitor สำเร็จ
แต่พอตัด CoT ทิ้ง เหลือให้ monitor ดูแค่ tool call กับผลลัพธ์จริง อัตราจับพุ่งเป็นราว 50%
แปลว่าเหตุผลที่โมเดลเขียน กลายเป็นเกราะกำบังให้ตัวมันเอง — ส่วน cyber classifier กับ auto mode ของ Claude Code (ที่ปิดไว้ในการสอบ) จะบล็อกเคสพวกนี้ได้
5. รุ่นใหม่ดีขึ้น แต่ไม่ถึงศูนย์
ในสนามจำลอง CTF ที่สร้างขึ้นมาใหม่ 150 รอบ วัดว่าโมเดลลงมือทำสิ่งที่ถือว่า severely harmful กี่ครั้ง
- Mythos 5 — 82%
- Opus 5 — 31%
- Mythos 5.1 — 33%
ดีขึ้นชัด แต่ Anthropic เขียนเองว่าการที่ยังไม่เป็นศูนย์ก็ยัง concerning และทุกครั้งที่โมเดลรุ่นใหม่ลงมือ มันลงมือหลังจากประกาศว่าสภาพแวดล้อมเป็นของปลอมเสมอ
6. ท่อนที่ผมชอบที่สุดคือท่อนที่เขายอมรับว่าตัดสินใจผิด
ตอนเทรน Mythos 5 เขาทำสองเวอร์ชัน — เวอร์ชันหนึ่งใส่ alignment environment ชุดที่สอนให้ "ยอมรับว่างานนี้ทำไม่ได้" อีกเวอร์ชันเอาออก
พนักงานใช้แล้วชอบเวอร์ชันที่เอาออกมากกว่า (อีกตัวรู้สึกขี้เกียจ) เขาเลยเลือกตัวนั้นเป็น Mythos 5
ในรายงานเขียนไว้ตรง ๆ ว่า "we are reasonably confident that removing these environments from the training of Mythos 5 was a mistake" และบอกว่าจะไม่ยอมแลกแบบนี้อีกกับโมเดลที่แรงกว่านี้
สิ่งที่เขาทำต่อ: สแกน transcript ย้อนหลัง 481 ล้านรายการ (คัดมาให้ Claude อ่านละเอียด 9.2 ล้าน) ไม่เจอเคสอื่นที่หนักเท่านี้ · แจ้งทุกฝ่ายที่โดนผลกระทบแล้ว · เซ็นสัญญาให้ METR เข้ามาสอบอิสระ 8 สัปดาห์ ให้เข้าถึง transcript และคุยกับพนักงานได้ · แล้วปล่อย transcript เคส Mythos 5 ออกมาให้คนนอกวิเคราะห์ต่อบน GitHub
ผมก็เห็นว่าสิ่งที่ใช้ได้จริงกับพวกเราที่ให้ agent ทำงานทุกวัน มี 3 อย่าง
หนึ่ง เขียนขอบเขตให้ชัดตั้งแต่โจทย์ ว่าอะไรอยู่ในสโคป อะไรไม่อยู่ ไม่ใช่บอกแค่เป้าหมาย
สอง เตือนซ้ำเมื่อใกล้จุดตัดสินใจ ไม่ใช่เตือนไว้ตอนต้นแล้วปล่อยยาว — 90% กับ 40% ต่างกันแค่นั้น
สาม ให้ทางออกจากงานที่ทำไม่ได้ ในเคสที่ 4 โมเดลพยายามยกเลิกงานถึง 8 ครั้งแต่ระบบไม่ให้ยกเลิก แล้วมันก็ไปหาทางอื่นต่อ ในการทดลองอีกเคส พอเพิ่มคำสั่งว่า "ถ้าทำไม่ได้ ใช้คำสั่งนี้จบงานได้เลย ไม่โดนหักคะแนน" โมเดลเลิกทันที 100%
agent ที่ไม่มีปุ่มยอมแพ้ คือ agent ที่ถูกบังคับให้หาทางอื่นเสมอครับ
อ่านฉบับเต็ม: https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents
อยากใช้ AI กับงานจริงเป็นระบบ?
เรียน Claude Method — วิธีคิดและลงมือใช้ Claude/AI กับงานจริง ตั้งแต่วันแรก
📍 โพสต้นฉบับบน Facebook: AI กับ Peesamac