NVIDIA và OpenAI vừa đưa dòng mô hình mã nguồn mở gpt-oss đến tay người dùng phổ thông, mở ra hiệu năng AI vượt trội trên các PC và workstation sử dụng GPU RTX.
Mô hình AI mạnh mẽ từng chỉ có trên cloud, giờ chạy mượt ngay tại nhà
Trong thông báo hôm nay, NVIDIA cho biết đã hợp tác với OpenAI để mang gpt-oss – dòng mô hình AI mở mới nhất – đến cộng đồng người dùng cá nhân. Những mô hình AI từng chỉ vận hành trong trung tâm dữ liệu giờ đây chạy siêu nhanh ngay trên máy tính cá nhân có trang bị GPU RTX.
Jensen Huang, nhà sáng lập kiêm CEO của NVIDIA, nhấn mạnh:
“OpenAI đã cho thế giới thấy điều kỳ diệu có thể xây dựng trên nền NVIDIA AI – và giờ họ đang thúc đẩy sự đổi mới trong phần mềm mã nguồn mở. Các mô hình gpt-oss giúp nhà phát triển toàn cầu phát triển trên nền tảng tiên tiến, củng cố vị thế công nghệ AI của Mỹ – tất cả đều vận hành trên hạ tầng AI lớn nhất thế giới.”
Hai mô hình AI mới – tốc độ cao, xử lý dài, thiết kế cho RTX
Sự kiện ra mắt đánh dấu một thế hệ AI chạy trên thiết bị cá nhân nhanh và thông minh hơn, nhờ sức mạnh từ GPU GeForce RTX và RTX PRO. Dòng gpt-oss hiện có hai phiên bản:
- gpt-oss-20b: Tối ưu hóa cho các PC AI dùng RTX có ít nhất 16GB VRAM, đạt tốc độ lên đến 250 token/giây trên GPU RTX 5090.
- gpt-oss-120b: Phiên bản lớn hơn, dành cho workstation chuyên nghiệp dùng GPU RTX PRO.
Cả hai mô hình đều được huấn luyện trên GPU NVIDIA H100, và là những mô hình đầu tiên hỗ trợ MXFP4 – một kỹ thuật mới giúp tăng chất lượng và độ chính xác mô hình mà không làm giảm hiệu năng so với phương pháp cũ.
Các điểm nổi bật khác:
- Hỗ trợ độ dài ngữ cảnh đến 131.072 tokens – dài nhất trong số các mô hình AI chạy cục bộ hiện nay.
- Kiến trúc mixture-of-experts (MoE) linh hoạt, hỗ trợ chain-of-thought, thực hiện chỉ dẫn, và sử dụng công cụ.
Người dùng có thể bắt đầu ngay với các công cụ sau:
- Ollama App: Ứng dụng dễ dùng nhất để thử nghiệm gpt-oss, với giao diện trực quan và tối ưu hóa sẵn cho GPU RTX.
- Llama.cpp: NVIDIA hợp tác với cộng đồng mã nguồn mở để cải thiện hiệu năng, mới đây đã tích hợp CUDA Graphs giúp giảm độ trễ. Có thể bắt đầu tại GitHub của Llama.cpp.
- Microsoft AI Foundry: Các nhà phát triển Windows có thể truy cập gpt-oss qua Microsoft AI Foundry Local (bản thử nghiệm công khai). Chỉ cần gõ lệnh
Foundry model run gpt-oss-20btrong terminal để bắt đầu.
Sự kết hợp giữa NVIDIA và OpenAI hứa hẹn sẽ đưa khả năng AI cao cấp đến gần hơn với cộng đồng nhà phát triển và người dùng phổ thông, đồng thời đẩy nhanh bước tiến của mô hình mã nguồn mở trong kỷ nguyên AI chạy tại thiết bị cá nhân.
Nguồn: wccftech
