iPhone 17 Pro vừa được chứng minh có thể chạy một mô hình ngôn ngữ lớn với 400 tỷ tham số hoàn toàn trên thiết bị, không cần kết nối đám mây. Kết quả đến từ dự án mã nguồn mở Flash-MoE, do lập trình viên @anemll chia sẻ, và con số này nghe có vẻ khó tin khi đặt trong bối cảnh một chiếc điện thoại.
Về mặt kỹ thuật, mô hình ở quy mô này thông thường cần hơn 200 GB bộ nhớ chỉ để tải lên. iPhone 17 Pro chỉ có 12 GB RAM, tức là phương pháp truyền thống hoàn toàn không khả thi. Flash-MoE giải quyết bài toán theo hai hướng: thay vì nạp toàn bộ trọng số vào RAM, hệ thống chỉ kéo từng phần từ bộ nhớ lưu trữ khi cần thiết. Song song đó, mô hình sử dụng kiến trúc Mixture of Experts (MoE), trong đó tại mỗi bước suy luận chỉ có một phần nhỏ các tham số được kích hoạt. Tổ hợp hai kỹ thuật này tạo ra đủ điều kiện để mô hình có thể vận hành trên phần cứng di động.

Điểm hạn chế rõ ràng nhất là tốc độ. iPhone 17 Pro chỉ tạo ra khoảng 0,6 token mỗi giây, tức người dùng phải chờ vài giây cho mỗi từ xuất hiện trên màn hình. Ở ngưỡng này, ngay cả những câu hỏi ngắn cũng trở thành bài kiểm tra sự kiên nhẫn. Hao pin là vấn đề kèm theo khi tải xử lý duy trì liên tục ở cường độ cao, dù đây là điều dự đoán được với loại workload này.
Max