ใครอยากลองใช้ AI แบบ Local ที่สามารถประมวลผลบนคอมพิวเตอร์ของตัวเอง โดยไม่ต้องส่งข้อมูลขึ้น Cloud ตอนนี้มีตัวเลือกใหม่มาให้ลองกันแล้ว หลัง Hugging Face ร่วมกับทีมพัฒนา llama.cpp เปิดตัว Llama Windows แอปฟรีแบบ Open Source ที่ช่วยให้ดาวน์โหลดและรันโมเดล AI บน Windows 11 ได้ง่ายขึ้นในไม่กี่คลิก ไม่ต้องเปิด Terminal หรือมานั่งติดตั้งและตั้งค่าเองให้ยุ่งยากเหมือนที่ผ่านมา

ตัวแอปถูกออกแบบมาให้ทำงานอยู่ใน System Tray ของ Windows 11 เมื่อต้องการใช้งานก็สามารถเปิดขึ้นมาเลือกดาวน์โหลดโมเดล AI จาก Hugging Face ได้ทันที โดยมีรายการโมเดลแนะนำ พร้อมข้อมูลขนาดไฟล์ จำนวนพารามิเตอร์ และความสามารถในการประมวลผลภาพ รวมถึงประมาณการใช้หน่วยความจำให้ดูก่อนตัดสินใจดาวน์โหลด

หลังจากดาวน์โหลดและโหลดโมเดลเรียบร้อยแล้ว ก็สามารถเปิดหน้าแชตเพื่อพูดคุยกับ AI ได้ทันที หรือกดปุ่มลัด Alt + Space เพื่อเรียกหน้าต่างแชตขึ้นมาระหว่างใช้งานโปรแกรมอื่นได้ ไม่จำเป็นต้องสลับไปเปิดหน้าเว็บหรือ Terminal ทุกครั้งที่ต้องการถาม AI

ที่น่าสนใจคือ Llama Windows ไม่ได้มีไว้สำหรับแชตกับ AI เพียงอย่างเดียว แต่ยังมี Local API ที่รองรับการเชื่อมต่อในรูปแบบ OpenAI-compatible API ทำให้โปรแกรมหรือ AI Agent ตัวอื่นสามารถเรียกใช้โมเดลที่รันอยู่ในเครื่องได้ผ่าน http://localhost:9931/v1 โดยไม่จำเป็นต้องส่งข้อมูลไปประมวลผลบนเซิร์ฟเวอร์ภายนอก

นอกจากนี้ ตัวแอปยังช่วยจัดการติดตั้ง llama.cpp ให้อัตโนมัติหากเครื่องยังไม่มี โดยไม่ต้องใช้สิทธิ์ Administrator และยังสามารถเชื่อมต่อกับเซิร์ฟเวอร์ llama.cpp ที่ติดตั้งไว้ก่อนแล้วได้ด้วย ส่วนโมเดลที่ดาวน์โหลดจะถูกเก็บไว้ใน Hugging Face Cache ทำให้เครื่องมืออื่นที่รองรับสามารถนำไฟล์โมเดลเดียวกันไปใช้งานต่อได้โดยไม่ต้องดาวน์โหลดซ้ำ

สำหรับการรองรับฮาร์ดแวร์ Llama Windows สามารถใช้งานได้ทั้ง Windows 11 แบบ x64 และ ARM64 รวมถึงรองรับ NVIDIA RTX Spark แต่ความเร็วในการประมวลผลและขนาดโมเดลที่รันได้ก็ยังขึ้นอยู่กับสเปกของคอมพิวเตอร์ โดยเฉพาะ RAM, VRAM และประสิทธิภาพของ CPU หรือ GPU ที่ใช้

ในด้านความเป็นส่วนตัว ทีมพัฒนาระบุว่าแอปไม่มีระบบ Telemetry สำหรับเก็บข้อมูลสถิติการใช้งาน และการสนทนากับโมเดลจะประมวลผลภายในเครื่อง อย่างไรก็ตาม การดาวน์โหลดโมเดลครั้งแรกและการตรวจสอบอัปเดตยังจำเป็นต้องเชื่อมต่ออินเทอร์เน็ต แต่เมื่อเตรียมทุกอย่างพร้อมแล้ว ก็สามารถใช้งาน AI แบบ Offline ได้โดยไม่ต้องพึ่ง Cloud

ทั้งนี้ Llama Windows ไม่ใช่โปรแกรมแรกที่ทำให้ Windows 11 รัน Local AI ได้ เพราะก่อนหน้านี้ก็มีเครื่องมืออย่าง Ollama และ LM Studio ให้ใช้งานอยู่แล้ว แต่จุดเด่นของแอปนี้คือการนำ llama.cpp ซึ่งเป็นเครื่องมือยอดนิยมสำหรับรันโมเดล AI มาทำให้ใช้งานง่ายขึ้น โดยรวมขั้นตอนดาวน์โหลดโมเดล ติดตั้งระบบ และเปิดใช้งาน AI ไว้ในแอปเดียว เหมาะกับคนที่อยากเริ่มทดลองใช้ Local AI แต่ไม่อยากยุ่งกับการตั้งค่าทางเทคนิคมากนัก

ที่มา : Hugging Face GitHub Llama-Windows