ทีมวิจัยของ Apple เปิดตัวโมเดล SHARP ที่อยู่ภายใต้โปรเจกต์โอเพ่นซอร์สอย่าง ml-sharp โดยมีความสามารถเด่นอย่างการเปลี่ยนภาพถ่าย 2D ธรรมดาให้กลายเป็นภาพ 3D คุณภาพสูงภายในเวลาไม่นาน คาดว่าเป็นโปรเจกต์ที่จะปูทางสู่การนำไปใช้ร่วมกับแว่น AR/VR
โปรเจกต์ ml-sharp คืออะไร
จุดเด่นของโปรเจกต์ ml-sharp คือการที่อยู่ในรูปแบบของโอเพ่นซอร์ส Apple ได้เผยแพร่งานวิจัยและซอร์สโค้ดผ่าน GitHub ภายใต้ชื่อโครงการ SHARP (Sharp Monocular View Synthesis in Less Than a Second) ให้ผู้ที่สนใจสามารถเข้าถึงโค้ดและส่วนประกอบต่าง ๆ เพื่อใช้ศึกษาและนำไปต่อยอดได้
โมเดล SHARP ทำงานยังไง
หัวใจสำคัญของ SHARP คือประสิทธิภาพในการแปลงภาพด้วยความเร็วที่สูงเอามาก ๆ โดยสามารถแปลงภาพ 2D และสร้างพารามิเตอร์ให้กลายเป็นภาพ 3D ได้ภายในเวลาไม่ถึง 1 วินาที (ทดสอบบน GPU มาตรฐาน) และสามารถเรนเดอร์ภาพได้มากกว่า 100 เฟรม/วินาที
เมื่อเทียบกับโมเดลก่อนหน้าแล้ว SHARP สามารถทำงานได้เร็วกว่า 1,000 เท่า ซึ่งภาพ 3D ที่ได้ออกมานั้นจะมีคุณภาพที่สูง เก็บรายละเอียดได้ครบทั้งในเรื่องของแสง เงา ขนาดวัตถุไม่ผิดเพี้ยน และมิติชัดลึกของรูปภาพที่ดูเป็นธรรมชาติ
ในทางเทคนิค SHARP จะใช้โมเดล Neural Network ซึ่งเลียนแบบการทำงานของสมองมนุษย์แบบ Feedforward ซึ่งช่วยให้การอัปโหลดรูปภาพเพียง 1 รูปลงไป SHARP จะสามารถวิเคราะห์และคาดเดาโครงสร้างฉาก 3D ออกมาได้ทันทีในการประมวลผลเพียงรอบเดียว
โปรเจกต์ ml-sharp มีขึ้นมาเพื่ออะไร
การเปิดตัว ml-sharp ในรูปแบบของโปรเจกต์โอเพ่นซอร์สครั้งนี้ สะท้อนให้เห็นถึงความมุ่งมั่นของ Apple ในการพยายามผลักดันเทคโนโลยี Generative AI และ Computer Vision เพื่อรองรับกับ Ecosystem ของตนเองอย่าง Apple Vision Pro รวมไปถึงอุปกรณ์แว่นตาอัจฉริยะอย่าง AR/VR
ที่มา : Apple, Github (ml-sharp)
Comment