Moonshot AI, công ty có trụ sở tại Bắc Kinh, vừa công bố Kimi K3 — mô hình ngôn ngữ lớn với 2,8 nghìn tỷ tham số mà hãng gọi là hệ thống mở đầu tiên trên thế giới thuộc lớp 3T và cũng là mô hình mã nguồn mở lớn nhất từng được phát hành. Theo blog kỹ thuật của Moonshot, K3 vẫn xếp sau Claude Fable 5 của Anthropic và GPT 5.6 Sol của OpenAI về hiệu năng tổng thể, nhưng đã vượt qua mọi mô hình khác trong bộ đánh giá của công ty, kể cả Claude Opus 4.8 và GPT 5.5, ở các bài kiểm tra liên quan đến lập trình và tác vụ agentic.

K3 sở hữu cửa sổ ngữ cảnh lên tới 1 triệu token, hỗ trợ thị giác gốc (native vision), và chỉ kích hoạt 16 trong tổng số 896 “chuyên gia” (experts) cho mỗi token — tương đương khoảng 1,8% toàn bộ hệ thống. Moonshot dự kiến phát hành đầy đủ trọng số mô hình vào ngày 27/7 tới.

Vượt Claude Fable 5 trong benchmark code frontend, giá API tăng gấp 5 lần

Trong bảng xếp hạng Arena, K3 đứng đầu ở hạng mục đánh giá Frontend Code với 1.679 điểm, nhỉnh hơn Claude Fable 5 qua các bài kiểm thử mù (blind test) do lập trình viên thực hiện. Về giá sử dụng API, Moonshot công bố mức 0,30 USD/triệu token đầu vào khi trúng cache, 3 USD/triệu token khi không trúng cache, và 15 USD/triệu token đầu ra. Để so sánh, Kimi K2 ra mắt cách đây một năm chỉ có giá 0,60 USD/triệu token đầu vào, nghĩa là chi phí đầu vào không cache của K3 hiện cao gấp 5 lần.

Moonshot cho biết K3 đạt hiệu suất mở rộng (scaling efficiency) cao hơn khoảng 2,5 lần so với K2, nhờ hai thay đổi kiến trúc: Kimi Delta Attention — một cơ chế attention tuyến tính lai, và Attention Residuals — thay đổi cách thông tin di chuyển giữa các lớp mạng. Quá trình huấn luyện có nhận biết lượng tử hóa (quantization-aware training) được áp dụng ngay từ giai đoạn tinh chỉnh có giám sát, sử dụng trọng số MXFP4 và kích hoạt MXFP8, lựa chọn mà Moonshot nói là nhằm tương thích rộng với nhiều loại phần cứng. Nhóm phân tích của Bank of America do Alex Liu dẫn đầu, được CNBC trích dẫn, nhận định K3 cho thấy việc tiền huấn luyện quy mô lớn kết hợp cải tiến kiến trúc vẫn có thể tạo ra bước nhảy vọt về hiệu năng cho các mô hình hàng đầu của Trung Quốc, bất chấp các hạn chế về năng lực tính toán.

Phần cứng “né” lệnh cấm xuất khẩu và nghi vấn dùng dữ liệu từ Claude

Benchmark tối ưu hóa kernel của Moonshot được chạy trên chip Nvidia H200 và một “GPGPU từ nhà cung cấp thay thế” mà công ty không nêu tên cụ thể. MiniTriton — trình biên dịch do K3 tự xây dựng, tương tự Triton — được đối chiếu với Triton trên card Nvidia L20, phiên bản Ada cắt giảm tính năng được bán vào thị trường Trung Quốc theo quy định xuất khẩu của Mỹ. Moonshot khuyến nghị triển khai K3 trên các cụm siêu node từ 64 gia tốc phần cứng trở lên, để giữ toàn bộ lưu lượng xử lý song song giữa các chuyên gia trong cùng một miền băng thông cao. Blog của công ty không tiết lộ vị trí đặt các chip H200 này, trong khi Quốc hội Mỹ đã thông qua một dự luật vào tháng 1 nhằm bịt lỗ hổng thuê máy chủ đám mây ở nước ngoài — vốn cho phép các công ty Trung Quốc truy cập từ xa vào phần cứng bị hạn chế.

Trong một nghiên cứu tình huống, K3 đã thực hiện một phiên chạy tự động kéo dài 48 giờ để thiết kế mô phỏng một chip suy luận (inference chip) cho mô hình thu nhỏ dựa trên chính kiến trúc của nó, sử dụng công cụ EDA mã nguồn mở và thư viện Nangate 45nm. Thiết kế đạt timing ổn định ở tần số 100 MHz trong diện tích 4mm vuông, chứa 1,46 triệu cell chuẩn cùng mảng MAC INT4, và duy trì tốc độ giải mã mô phỏng hơn 8.700 token mỗi giây.

Cần lưu ý rằng mọi con số Moonshot công bố về K3 hiện đều là tuyên bố từ chính công ty hoặc thu thập qua API, chưa thể kiểm chứng độc lập cho đến khi trọng số mô hình được công khai vào ngày 27/7. Đáng chú ý, hồi tháng 2, Anthropic từng cáo buộc Moonshot sử dụng 3,4 triệu lượt hội thoại của Claude để huấn luyện mô hình thông qua kỹ thuật distillation — và hiện K3 đang cho kết quả benchmark chỉ kém vài điểm so với chính các mô hình được nêu trong cáo buộc đó.

Nguồn tham khảo: tomshardware.com