Nvidia giới thiệu mô hình Nemotron 3 Super mã nguồn mở với cửa sổ ngữ cảnh lớn, tối ưu hóa cho các hệ thống trí tuệ nhân tạo tự chủ.

Nvidia tiếp tục củng cố vị thế trong lĩnh vực phát triển mô hình trí tuệ nhân tạo (AI) mã nguồn mở thông qua việc trình làng Nemotron 3 Super. Phiên bản mới nhất thuộc dòng mô hình ngôn ngữ lớn (LLM) Nemotron được thiết kế chuyên biệt để vận hành các ứng dụng AI tự chủ (agentic AI) ở quy mô lớn. Định hướng kỹ thuật này biến hệ thống trở thành lựa chọn lý tưởng cho các nền tảng tự động như OpenClaw.

Khi ngành công nghiệp AI được phân lớp, Nvidia duy trì thế thống trị về cơ sở hạ tầng, vi mạch và là một trong số ít các tập đoàn phương Tây đầu tư mạnh mẽ vào mô hình mã nguồn mở, tạo đối trọng với các phòng thí nghiệm tại Trung Quốc như Kimi hay Qwen.

Kiến trúc lai Mamba-MoE và hiệu suất xử lý

Điểm khác biệt cốt lõi của Nemotron 3 Super nằm ở việc ứng dụng kiến trúc lai Mamba-MoE. Khác với các mô hình Mixture of Experts (MoE) truyền thống, kiến trúc Mamba thay đổi hoàn toàn cách thức diễn giải luồng dữ liệu của LLM.

Hệ thống vận hành dựa trên Mô hình Không gian Trạng thái (SSM) nhằm phân tích dữ liệu theo tuyến tính. Cơ chế này ngăn chặn việc hình thành một cửa sổ ngữ cảnh quá lớn chứa thông tin không liên quan, từ đó duy trì hiệu suất phản hồi tối ưu. Hệ thống cấu trúc các lớp Mamba để mang lại hiệu quả sử dụng bộ nhớ và năng lực tính toán cao gấp 4 lần, trong khi các lớp Transformer đảm nhiệm vai trò suy luận nâng cao.

Ở cơ chế MoE, mô hình chỉ kích hoạt 12 tỷ trên tổng số 120 tỷ tham số hoạt động trong quá trình suy luận. Hãng phát triển cũng áp dụng kỹ thuật Latent MoE mới, tăng độ chính xác bằng cách kích hoạt bốn chuyên gia xử lý với mức chi phí tài nguyên tương đương một chuyên gia khi tạo mã thông báo (token) tiếp theo. Tính năng dự đoán đa mã thông báo cho phép hệ thống xuất ra đồng thời nhiều từ vựng trong tương lai, đẩy tốc độ tính toán nhanh gấp 3 lần.

Mở rộng cửa sổ ngữ cảnh và đánh giá hiệu năng

Thông số kỹ thuật đáng chú ý tiếp theo của Nemotron 3 Super là khả năng hỗ trợ cửa sổ ngữ cảnh 1 triệu mã thông báo, lớn gấp 4 lần so với Kimi 2.5. Đối với các hệ thống AI tự chủ, dung lượng cửa sổ ngữ cảnh tỷ lệ thuận với chất lượng nội dung phản hồi. Yếu tố này giúp đại diện của Nvidia vượt trội hơn toàn bộ các LLM mã nguồn mở hiện hành, tiệm cận sức mạnh của Opus 4.5 dù bị giới hạn ở mức 120 tỷ tham số.

Quá trình kiểm tra thực tế trên bộ công cụ PinchBench chuyên đánh giá hệ thống tự chủ cho thấy Nemotron 3 Super đạt điểm số 85,6%. Kết quả này cao hơn các mô hình đối thủ bao gồm Opus 4.5, Kimi 2.5 và GPT-OSS 120b. Đối với nhóm người dùng cá nhân vận hành khối lượng công việc lớn thông qua OpenClaw, Nemotron 3 Super thiết lập một tiêu chuẩn hiệu suất hoàn toàn mới.

Nhu cầu về sức mạnh điện toán được tối ưu hóa đến mức hệ thống chỉ yêu cầu một đơn vị xử lý đồ họa (GPU) duy nhất để hoạt động ổn định. Sự xuất hiện của mô hình này minh chứng cho xu hướng mở rộng quy mô của các hệ thống AI trong tương lai, cho thấy các LLM đang dần vượt qua rào cản điện toán để mở ra tiềm năng triển khai trực tiếp trên thiết bị đầu cuối.

Nguồn: wccftech