ทุกวันนี้เราต่อ AI agent เข้ากับ MCP server, ลง skill ให้ Claude,…
Tencent (ทีม Zhuque Lab ในสังกัด Tencent Security) เพิ่ง open source เครื่องมือชื่อ AI-Infra-Guard มาตอบโจทย์นี้ตรงๆ — เป็น "AI Red Teaming platform" คือเอาไปสแกนหาช่องโหว่ในระบบ AI ที่เราสร้างขึ้นมาเอง ไม่ใช่สแกนหาช่องโหว่ในตัวโมเดล
--- สแกนอะไรได้บ้าง ---
1. Agent Scan — เช็คความปลอดภัยของ AI agent workflow ที่สร้างบน Dify กับ Coze
2. Skills Scan — เช็ค Agent Skills (พวก skill ที่โยนให้ Claude ใช้) แบ่งความเสี่ยงไว้ 9 หมวด (T01-T09) เช่น skill instruction hijacking (แอบเปลี่ยนคำสั่งใน skill), memory poisoning (ป้อนความจำเท็จ), remote payload download & execution (แอบโหลดโค้ดจากนอกมารัน)
3. MCP Scan — สแกน MCP server (ตัวที่ต่อ Claude เข้ากับเครื่องมือภายนอก) หาความเสี่ยง 14 หมวด
4. AI Infra Scan — เช็ค framework ที่ทีมใช้รัน AI เช่น Ollama, ComfyUI, vLLM เทียบกับฐานข้อมูล CVE (ช่องโหว่ที่เคยประกาศแล้ว) กว่า 2,000 รายการ ใน 100+ component
5. Jailbreak Evaluation — ทดสอบว่า LLM ที่ใช้อยู่ถูก jailbreak ได้ง่ายแค่ไหน
--- ทำไมเรื่องนี้สำคัญ ---
Skills Scan บอกว่าตรวจจับได้แม่นด้วย F1 score 0.98 (ทดสอบกับ Claude) — ถ้าตัวเลขนี้จริง แปลว่าทีมที่โหลด skill จากที่ไหนก็ไม่รู้มาใช้กับ agent ของตัวเอง มีเครื่องมือเช็คได้แล้วว่า skill นั้นแอบทำอะไรแปลกๆ หรือเปล่า ก่อนจะปล่อยให้มันมีสิทธิ์เข้าถึงเครื่องมือ/ข้อมูลจริง
ของแบบนี้เมื่อก่อนต้องมีทีม security เฉพาะทางมานั่งไล่โค้ดเอง ตอนนี้มี CLI ให้รันสแกนได้เลย
--- สเปคคร่าวๆ ---
Backend เขียนด้วย Go · Frontend เป็น React (open source เต็มตัว) · deploy ผ่าน Docker Compose หรือ one-line curl script · License Apache 2.0 (ใช้ฟรี แก้โค้ดได้) · รองรับ 10 ภาษารวมไทยไม่มี แต่มีอังกฤษ/จีน/ญี่ปุ่น/เกาหลีฯลฯ
repo นี้ 38 contributors, 6k stars, 539 forks บน GitHub (ตอนที่เช็ค) เคยเอาไปโชว์ใน Arsenal ของงาน Black Hat Europe 2025 ด้วย
--- ที่ยังต้องถามต่อ ---
ตัวเลข F1 0.98 กับ "ได้รับการยอมรับจาก NVIDIA, Google, Microsoft" เป็นสิ่งที่ README ของโปรเจกต์เขียนเอง ผมยังไม่เจอ benchmark อิสระมา verify ซ้ำ และ Pro version ของ AIG ต้อง invite เข้าใช้ (aigsec.ai) ซึ่งรายละเอียดตรงนั้นไม่เปิดเผยในหน้า public
แต่ทิศทางของเครื่องมือนี้ผมว่าตรงประเด็น — ตอนนี้ทุกทีมยัดของเข้าไปใน AI stack เร็วมาก (skill, MCP, agent workflow) แต่แทบไม่มีใครมีเครื่องมือเช็คความปลอดภัยของ "ของที่ยัดเข้าไป" เลย
github.com/Tencent/AI-Infra-Guard
อยากใช้ AI กับงานจริงเป็นระบบ?
เรียน Claude Method — วิธีคิดและลงมือใช้ Claude/AI กับงานจริง ตั้งแต่วันแรก
📍 โพสต้นฉบับบน Facebook: AI กับ Peesamac