An Alien Mind บทความจาก Chief Scientist ของ OpenAI ที่บอกตรง ๆ…
คนเขียนคือ Jakub Pachocki หัวหน้านักวิทยาศาสตร์ของ OpenAI เพิ่งโพสเมื่อวาน (6 ก.ย.) ทวีตเดียวมีคนดู 3.6 ล้าน ผมอ่านจบแล้วรู้สึกว่ามันไม่ใช่บทความโปรโมตโมเดล แต่เป็นคำเตือนจากคนที่อยู่ในห้องตอน reasoning model ตัวแรกทำงานได้
เขาเล่าว่ากลางปี 2023 คืนที่เห็นผล RLSlow ครั้งแรก เขากับ Szymon นั่งอยู่ที่ออฟฟิศทั้งคืน ไม่ได้คิดเรื่อง benchmark หรือ product แต่คิดว่าเราจะได้เห็นเครื่องจักรที่ฉลาดกว่าเราจริง ๆ ในชีวิตนี้ แล้วจะบอกคนอื่นยังไงให้เข้าใจว่ามันใหญ่แค่ไหน
สามปีผ่านไป เขาบอกว่าจากผลภายใน เขาคาดว่าความเร็วนี้จะไปต่อถึงขั้น recursive self-improvement (AI พัฒนาตัวเองต่อ) และเป็นคนบอกเองว่า no one is prepared ไม่มีใครพร้อมรับผลของมัน
คำที่ผมชอบที่สุดคือ AI is grown more than designed คือ AI ถูก "ปลูก" ไม่ได้ถูก "ออกแบบ" มันคือผลจากการทำ optimization ซ้ำ ๆ บน compute มหาศาล ได้ระบบซับซ้อนที่เราศึกษาได้เหมือน neuroscience แต่อธิบายภาพรวมไม่ได้ทั้งหมด นี่แหละคือความหมายของคำว่า alien mind
เรื่อง alignment เขาแยกเป็น 2 แบบ goal alignment (ทำตามเป้าที่สั่งไหม) กับ value alignment (มีหลักการในตัว ทำตัวสมเหตุสมผลแม้เจอสถานการณ์ที่ไม่เคยเจอ) และบอกว่าปัญหาใหญ่คือ generalization ยิ่งโมเดลฉลาด ยิ่งเจอสถานการณ์ต่างจากตอนเทรน แล้วเราไม่รู้ว่ามันจะยังถือค่านิยมเดิมไหม โดยเฉพาะตอนที่มันเชื่อว่าไม่มีคนดูอยู่
ที่น่าสนใจคือเขายอมรับว่าเครื่องมือหลักของ OpenAI คือ chain-of-thought monitoring (การอ่านกระบวนการคิดของโมเดล) กำลังใช้ได้น้อยลงเรื่อย ๆ เพราะโมเดลเก่งขึ้นแม้ไม่ต้องคิดออกมาเป็นคำ และเริ่มเก่งเรื่องจัดการกระบวนการคิดของตัวเอง เขาคาดว่าความก้าวหน้าของ AI จะเริ่มติดคอขวดที่ความมั่นใจในการ monitor ไม่ใช่ที่ compute
อีกจุดคือความเสี่ยงด้าน cybersecurity เขาบอกว่าโมเดลกำลังเก่งกว่ามนุษย์ในการเจาะระบบ และเราอยู่ใน "หน้าต่างแคบ ๆ" ที่ต้องใช้โมเดลที่ดีที่สุดมาปิดช่องโหว่ระบบสำคัญก่อน ส่วนเหตุผลที่ยังต้องเทรนโมเดลเก่งขึ้นต่อ เขาให้เหตุผลเดียวคือต้องมี AI ไว้ป้องกัน AI
แต่เขาก็เขียนไว้ชัดว่า racing forward at all costs ดูไร้สาระทันทีที่คุณเข้าใจเดิมพันจริง ๆ และเสนอให้ Preparedness Framework หรือ Responsible Scaling Policy กลายเป็นมาตรฐานความปลอดภัยที่บังคับใช้จริง ผ่าน third-party auditor หรือหน่วยงานรัฐ พร้อมบอกว่าเขาหวังให้การชะลอตัวโดยสมัครใจกลายเป็นเรื่องปกติ
ผมก็เห็นว่าน่าสนใจตรงที่ท่าทีนี้มาจาก OpenAI เอง ค่ายที่ถูกมองว่าเร่งสุดมาตลอด และเขาเขียนตรง ๆ ว่าเป้าหมายแรกของบริษัทตอนนี้คือสร้าง automated AI researcher แล้วใช้มันแก้ alignment โดยหาทางให้คนยังอยู่ใน loop ของการพัฒนาต่อ
คำถามที่ผมติดใจหลังอ่านจบคือ ถ้าคนที่รู้ลึกที่สุดยังบอกว่าไม่มีใครพร้อม แล้วองค์กรกับคนทำงานอย่างเรา ควรเตรียมตัวกับช่วง "ไม่กี่ปีข้างหน้า" ที่เขาพูดถึงยังไง
อ่านฉบับเต็ม: https://openai.com/index/an-alien-mind/
อยากใช้ AI กับงานจริงเป็นระบบ?
เรียน Claude Method — วิธีคิดและลงมือใช้ Claude/AI กับงานจริง ตั้งแต่วันแรก
📍 โพสต้นฉบับบน Facebook: AI กับ Peesamac