LG AI Research vừa công bố ra mắt mô hình AI mã nguồn mở đầu tiên của Hàn Quốc, EXAONE 3.0. Điều này đánh dấu sự gia nhập của Hàn Quốc vào lĩnh vực AI toàn cầu, vốn đang được thống trị bởi các gã khổng lồ công nghệ Mỹ và các công ty mới nổi ở Trung Quốc và Trung Đông. Đáng chú ý, hiện tại mô hình chỉ hỗ trợ hai ngôn ngữ là tiếng Anh và tiếng Hàn.
EXAONE 3.0 là một mô hình mã nguồn mở, được cho là dựa trên kiến trúc Transformer chỉ sử dụng bộ giải mã. Mô hình này sở hữu 7.8 tỷ tham số và được đào tạo trên 8T dữ liệu (token).
LG cho biết: "Trong số các dòng sản phẩm mô hình ngôn ngữ EXAONE 3.0 được xây dựng cho nhiều mục đích khác nhau, mô hình 7.8 tỷ tham số đang được mở nguồn trước để có thể được sử dụng cho nghiên cứu". Công ty hy vọng rằng việc phát hành mô hình này sẽ giúp các nhà nghiên cứu AI trong và ngoài nước thực hiện nghiên cứu có ý nghĩa hơn và giúp hệ sinh thái AI tiến thêm một bước.
Theo thử nghiệm của công ty, khả năng tiếng Anh của mô hình đã đạt đến "mức cao nhất thế giới". Điểm trung bình của các trường hợp sử dụng thực tế được cho là đứng đầu, vượt qua một số mô hình như Llama 3.0.
Về khả năng tính toán toán học và lập trình, EXAONE 3.0 cũng đứng đầu về điểm trung bình và có khả năng lập luận mạnh mẽ.
Không chỉ vậy, EXAONE 3.0 còn đứng đầu về điểm trung bình cho cả trường hợp sử dụng thực tế và điểm chuẩn đơn lẻ tại Hàn Quốc. Mô hình được cho là giảm thời gian suy luận 56%, sử dụng bộ nhớ 35% và chi phí vận hành 72% so với mô hình thế hệ trước.
Mô hình mới nhất được cho là đã được đào tạo trên 60 triệu trường hợp dữ liệu chuyên ngành liên quan đến bằng sáng chế, mã, toán học và hóa học. Công ty dự định mở rộng dữ liệu đào tạo lên 100 triệu trường hợp trong các lĩnh vực khác nhau vào cuối năm nay.
Để giảm tiêu thụ điện năng khi vận hành mô hình AI, LG AI Research đã tập trung nghiên cứu các công nghệ tối ưu hóa và giảm trọng lượng mô hình, trong đó họ đã thành công trong việc giảm kích thước mô hình xuống 97% đồng thời tăng hiệu suất so với EXAONE 1.0.
