phone-harness คือเครื่องมือที่ทำให้ Claude Code สั่งงาน iPhone…
วิธีที่มันทำคือฉลาดมาก มันไม่ได้ไปแฮกอะไรกับตัว iPhone เลย แต่ใช้ฟีเจอร์ iPhone Mirroring ของ macOS ที่หลายคนมีอยู่แล้วเป็นสะพาน พอมือถือถูกมิเรอร์ขึ้นมาเป็นหน้าต่างบน Mac มันก็กลายเป็นแค่หน้าต่างธรรมดาที่ agent มองเห็นและกดได้
ตา คือแคปหน้าจอหน้าต่างนั้นแล้วส่งเข้า Vision framework ของ Apple ทำ OCR ได้ข้อความทุกตัวบนจอพร้อมพิกัดที่กดได้เลย ในรีดมีเขาเรียกมันว่า the poor man's DOM ซึ่งผมว่าเรียกได้ตรงมาก
มือ คือยิง CGEvent ระดับ HID เข้าไป กลายเป็นแตะ กดค้าง ปัด เลื่อน พิมพ์ บนเครื่องจริง แล้วก็แคปหน้าจออีกรอบเพื่อยืนยันว่าที่กดไปมันเกิดผลจริง วนแบบนี้ไปเรื่อยๆ
เดโมที่เขาโชว์คือพิมพ์สั่งว่าเรียก Waymo ไปร้านกาแฟจากตำแหน่งปัจจุบันที ตัว agent เปิดแอป Waymo กดช่องปลายทาง เลือกร้าน เลือกเวลารับ แล้วมาหยุดถามก่อนว่าค่าโดยสารสี่สิบเอ็ดเหรียญกว่า จะให้กดเรียกจริงไหม ตรงนี้ผมว่าคือส่วนที่ออกแบบมาดี เพราะมันคือมือถือจริงของเรา มีบัตรจริงผูกอยู่ อะไรที่ย้อนกลับไม่ได้มันถูกสอนให้ถามก่อน
คนทำชื่อ Shawn Pana อายุยี่สิบเอ็ด อยู่ซานฟรานซิสโก เคยอยู่ทีม browser_use ที่ทำให้ AI คุมเบราว์เซอร์ได้มาก่อน คราวนี้ก็เลยขยับจากเบราว์เซอร์มาเป็นมือถือ เปิดตัวเมื่อวันที่ 8 สิงหาคม เป็น open source ใบอนุญาต MIT แกนหลักเขียนด้วย Python ประมาณห้าร้อยบรรทัดเท่านั้น ตอนที่ผมดูมีดาวสี่ร้อยกว่าแล้ว
ข้อจำกัดก็มีอยู่พอสมควรนะครับ ต้องมี Mac ที่รัน macOS Sequoia ขึ้นไปคู่กับ iPhone ที่จับคู่ Mirroring ไว้แล้ว ยังไม่รองรับ Android ไม่รองรับ multi-touch แบบซูมสองนิ้ว ไม่ผ่าน Face ID ไม่เห็นวิดีโอที่มี DRM หน้าต่างมิเรอร์ต้องอยู่หน้าสุดตลอดไม่งั้น input ไม่เข้า และถ้าเราไปปลดล็อกมือถือเครื่องจริงเมื่อไหร่ การมิเรอร์จะหยุดทันที
ผมก็เห็นว่าจุดที่น่าสนใจที่สุดไม่ใช่ตัวเทคนิค แต่คือการที่มันไม่ต้องแหกกฎอะไรของ Apple เลย ใช้ของที่มีอยู่แล้วในระบบล้วนๆ ที่ผ่านมาเวลาพูดเรื่อง AI agent เราคิดถึงแค่อะไรที่อยู่ในจอคอม แต่พอมันข้ามมาแตะจอมือถือที่มีทุกแอปที่เราใช้จริงในชีวิตประจำวันได้ ภาพมันเปลี่ยนไปเยอะ
แต่ก็ต้องเตือนตัวเองด้วยว่าของแบบนี้มันเป็นดาบสองคม เครื่องที่ให้ agent เข้าถึงคือเครื่องที่มีแอปธนาคาร มีแชท มีทุกอย่างของเราอยู่ ใครจะลองผมว่าเริ่มจากงานที่ย้อนกลับได้ก่อนดีกว่าครับ
github.com/ShawnPana/phone-harness
อยากใช้ AI กับงานจริงเป็นระบบ?
เรียน Claude Method — วิธีคิดและลงมือใช้ Claude/AI กับงานจริง ตั้งแต่วันแรก
📍 โพสต้นฉบับบน Facebook: AI กับ Peesamac