RAG แบบใหม่ที่ให้ AI "มองเห็น" หน้าเว็บแทนการแปลงเป็นข้อความ
ทุกคนที่เคยทำ RAG (ระบบที่ให้ AI ไปดึงข้อมูลจากเอกสารมาตอบ) น่าจะเจอปัญหานี้ — พอเอาหน้าเว็บหรือ PDF มาแปลงเป็น text ก่อน ตาราง กราฟ layout มันพังหมด ข้อมูลหายไปเยอะ เพราะ HTML parser มันอ่านได้แต่ตัวหนังสือ
PixelRAG เลยเปลี่ยน logic ทั้งหมด แทนที่จะ parse HTML เป็น text มันแคปหน้าจอเว็บ/PDF เป็น "ภาพ" แล้วเก็บเป็นภาพเลย ตอน retrieve ก็ดึงภาพกลับมาให้ vision model อ่านจาก pixel ตรงๆ — ตาราง chart layout infographic อยู่ครบ ไม่โดน parser ทิ้ง
pipeline มัน 5 ขั้น:
1. pixelshot — แคปเอกสารเป็น image tiles (ผ่าน Playwright)
2. chunk — ตัด tile เป็น chunk
3. embed — แปลงเป็น vector ด้วย Qwen3-VL-Embedding (fine-tune ด้วย LoRA บนข้อมูล screenshot)
4. build-index — เก็บเข้า FAISS index
5. serve — เปิด API ค้นหา
ของจริงคือ:
- 100% open-source · Apache-2.0 · ลงด้วย pip install pixelrag
- มี Wikipedia index พร้อมใช้ 8.28M บทความ (แคปเป็นภาพหมดแล้ว)
- มี Claude Code plugin ชื่อ pixelbrowse — ให้ Claude แคปหน้าเว็บแล้วอ่านจากภาพ ไม่ต้อง scrape DOM
- ทีมจาก Berkeley (SkyLab / BAIR / NLP Group) advisor คือ Matei Zaharia (คนทำ Spark / MLflow)
แต่ผมขอ honest ตามตรง อันนี้ยัง research-grade ไม่ใช่ของพร้อมยัดเข้า production:
- เก็บเอกสารเป็นภาพ = index บวมกว่า text เยอะ ต้อง GPU + storage หนัก
- ตอนตัด tile แบบ fixed บางทีตารางใหญ่ๆ โดนตัดขาดกลางได้
- เว็บที่เป็น JS หนักหรือ paywall ยังเก็บยาก
- ต้องมี vision model ที่ใหญ่พอถึงจะคุ้ม ไม่งั้นอ่านภาพไม่ออก
แต่ทิศทางน่าสนใจมาก เพราะมันแก้ปัญหาที่ text RAG ทำไม่ได้จริงๆ คือพวกข้อมูลที่อยู่ในรูปแบบ visual ไม่ใช่ตัวหนังสือ ใครทำ RAG กับเอกสารที่มีตาราง/กราฟเยอะ ลองไปส่องไว้ได้
GitHub: StarTrail-org/PixelRAG
เว็บ: pixelrag.ai
อยากใช้ AI กับงานจริงเป็นระบบ?
เรียน Claude Method — วิธีคิดและลงมือใช้ Claude/AI กับงานจริง ตั้งแต่วันแรก
📍 โพสต้นฉบับบน Facebook: AI กับ Peesamac