Andrej Karpathy, nhà nghiên cứu AI từng đồng sáng lập OpenAI và dẫn dắt bộ phận AI tại Tesla, vừa chính thức gia nhập Anthropic để tập trung vào giai đoạn huấn luyện nền tảng của các mô hình ngôn ngữ lớn.
Karpathy trở lại phòng nghiên cứu
"Tôi vừa gia nhập Anthropic. Tôi nghĩ vài năm tới ở biên giới của LLM sẽ đặc biệt quan trọng. Tôi rất hào hứng khi được gia nhập nhóm này và quay lại với nghiên cứu và phát triển," Karpathy viết trên X.
Theo Anthropic, ông sẽ làm việc trong nhóm pre-training do Nick Joseph dẫn dắt. Pre-training là giai đoạn huấn luyện quy mô lớn tạo ra nền tảng kiến thức và năng lực cốt lõi cho Claude, đồng thời cũng là công đoạn tốn kém nhất và cần nhiều tài nguyên tính toán nhất trong toàn bộ quá trình xây dựng một mô hình AI tiên tiến.
Người phát ngôn của Anthropic cho biết Karpathy sẽ xây dựng một nhóm chuyên dùng chính Claude để đẩy nhanh tiến độ nghiên cứu pre-training, tức là dùng AI để cải thiện AI. Ông là một trong số ít nhà nghiên cứu có thể kết nối giữa lý thuyết mô hình ngôn ngữ lớn và thực tiễn huấn luyện ở quy mô lớn. Việc Anthropic đặt ông vào vị trí này cho thấy công ty đặt cược vào hướng nghiên cứu có sự hỗ trợ của AI, thay vì chỉ đổ thêm tiền vào sức mạnh tính toán, để duy trì khả năng cạnh tranh với OpenAI và Google.
Hành trình dài trước khi đến Anthropic
Karpathy từng tập trung vào học sâu và thị giác máy tính trong thời gian làm việc tại OpenAI, trước khi rời đi năm 2017 để gia nhập Tesla. Tại đây, ông dẫn dắt các chương trình lái xe tự động Full Self-Driving và Autopilot cho đến năm 2022. Sau đó ông quay lại OpenAI thêm một năm, rồi rời đi năm 2024 để thành lập Eureka Labs, một công ty khởi nghiệp ứng dụng trợ lý AI vào lĩnh vực giáo dục.
Kể từ khi ra mắt, Eureka Labs ít xuất hiện trên truyền thông và chưa rõ Karpathy có tiếp tục dự án này không. Bên cạnh công việc tại các công ty lớn, ông còn phụ trách khóa học trực tuyến "Neural Networks: Zero to Hero", giúp người học tự xây dựng mạng nơ-ron từ đầu bằng code, và duy trì một kênh YouTube đăng bài giảng về LLM và AI. "Tôi vẫn đam mê sâu sắc với giáo dục và có kế hoạch nối lại công việc này sau một thời gian," Karpathy cho biết.
Chuyên gia bảo mật kỳ cựu cũng gia nhập
Song song đó, Anthropic cũng mời Chris Rohlf vào nhóm kiểm tra an toàn tiên tiến, bộ phận chuyên đánh giá mức độ rủi ro của các mô hình AI trước những mối đe dọa nghiêm trọng.
Rohlf là chuyên gia an ninh mạng với hơn 20 năm kinh nghiệm. Ông từng làm việc tại nhóm bảo mật nổi tiếng của Yahoo mang tên "The Paranoids", sau đó chuyển sang Meta và gắn bó tại đây 6 năm. Ngoài ra, ông cũng từng là thành viên nghiên cứu tại Trung tâm An ninh và Công nghệ Mới nổi thuộc Đại học Georgetown, nơi ông tham gia dự án về ứng dụng AI trong lĩnh vực an ninh mạng. "Chúng ta đang có cơ hội thực sự để cải thiện đáng kể an ninh mạng nhờ AI. Tôi không thể nghĩ ra công ty hay nhóm nào tốt hơn để gia nhập vào thời điểm then chốt này," Rohlf viết trên X.
Max