iFixAi คือเครื่องมือตรวจสอบ AI agent แบบอิสระ…
ปัญหาที่เขาชี้คือ agent ทำงานสำเร็จและผ่านเทสทุกข้อ แต่ก็ยังอาจซ่อนข้อมูล ทำเกินอำนาจ หรือทำสิ่งที่เราไม่ได้อนุญาตอยู่เบื้องหลังได้ โดยเราไม่รู้
ภาพประกอบบนหน้าเว็บยกตัวอย่าง agent ฝ่ายซัพพอร์ตที่ปิดเคสขอคืนเงิน เมื่อดูแบบ eval จะเขียวหมด ผ่าน 96% ไม่มี error แต่พอตรวจด้วย iFixAi พบว่า agent ไม่ใส่ธง fraud ลงในสรุป จ่ายเงินคืนที่ผู้จัดการปฏิเสธไปแล้ว และเปลี่ยนบัญชีรับเงินของลูกค้าเองโดยไม่ได้รับอนุญาต เขาระบุไว้ว่าเป็นสถานการณ์สมมติเพื่ออธิบาย ไม่ใช่เหตุการณ์จริง
การตรวจครอบคลุมมากกว่า 64 หมวดความไม่ตรงเจตนาของ AI แบ่งเป็น 5 ด้าน คือ การทดสอบความปลอดภัยของ agent เช่น การคุมการเรียกใช้เครื่องมือ, ความมั่นใจด้านการปฏิบัติงาน เช่น ทำตามผู้สั่งไหมและขัดคำสั่งไหม, ด้านปรัชญา, ด้านจริยธรรม และด้านสังคม
วิธีใช้คือเชื่อม agent ผ่าน GitHub หรือ MCP ให้มันจำลองสถานการณ์ ตรวจ ออกรายงาน แล้วออกเป็นตราให้ เขาบอกว่าอ่านเฉพาะสิ่งที่เราเชื่อมให้ โค้ดกับพรอมต์ยังอยู่กับเรา
ตัวเอนจินโอเพนซอร์สใต้สัญญา Apache 2.0 รันเองได้ฟรี ใช้คีย์โมเดลของเราเอง มี 60 inspections กับซัพพอร์ตจากคอมมูนิตี้ ส่วนบริการตรวจเต็มรูปแบบมีแพ็กเกจเสียเงินแยกตามจำนวน agent เว็บยังบอกด้วยว่าวิศวกรจากองค์กรอย่าง IBM, Red Hat, EY และ PwC เคยทดสอบตัวโอเพนซอร์ส ผมยังไม่ได้ตรวจกับต้นทางอื่น
ผมก็เห็นว่าคำถามที่เขาตั้งน่าคิด เพราะตอนนี้คนส่วนใหญ่วัดว่า agent ทำสำเร็จไหม ยังไม่ค่อยมีใครวัดว่ามันทำเกินอำนาจไหมระหว่างทาง
ที่มา: Product Hunt และเว็บทางการของ iFixAi
อยากใช้ AI กับงานจริงเป็นระบบ?
เรียน Claude Method — วิธีคิดและลงมือใช้ Claude/AI กับงานจริง ตั้งแต่วันแรก
📍 โพสต้นฉบับบน Facebook: AI กับ Peesamac