GPU “đồng nát” Nvidia V100 vẫn thắng Mac Studio 5.399 USD ở ngữ cảnh dài

Dàn máy tự lắp giá 1.042 USD dùng ba GPU Nvidia V100 đã ngừng sản xuất chạy mô hình Qwen 3.6 35B nhanh hơn Mac Studio M5 Max khi ngữ cảnh kéo dài.

Ngày đăng: Tác giả: YYHM Chuyên mục: Công Nghệ

Dàn máy tự lắp giá 1.042 USD dùng ba GPU Nvidia V100 đã ngừng sản xuất chạy mô hình Qwen 3.6 35B nhanh hơn Mac Studio M5 Max khi ngữ cảnh kéo dài.

Theo Tom’s Hardware, một người chơi homelab đã benchmark ba card Nvidia Tesla V100 16GB đã qua sử dụng, chạy mô hình ngôn ngữ Qwen 3.6 35B và đạt khoảng 100 token mỗi giây. Toàn bộ dàn máy, gồm bo mạch Supermicro X10DRG-Q, hai CPU Xeon E5-2687W và nguồn Corsair HX1500i, có giá khoảng 1.042 USD, rẻ hơn nhiều lần so với các giải pháp AI tiêu dùng hiện đại.

Bài blog gốc mang tên “Scaling ‘E-Waste’: LLMs on Multiple Decommissioned GPUs” so sánh chín cấu hình khác nhau, từ một đến ba card K80, P100 hoặc V100-16GB, trên cùng một bo mạch. Phép thử dùng llama.cpp với hơn 130 lượt chạy, bao gồm các mô hình Qwen 2.5, Gemma 4 và Qwen 3.6, ở nhiều mức lượng tử hóa Q4/Q8/F16 và kích thước ngữ cảnh từ 4K đến 128K token.

Vì sao phải dùng ba card GPU cũ thay vì một hoặc hai

Qwen 3.6 35B là mô hình kiểu hỗn hợp chuyên gia (MoE), chỉ kích hoạt khoảng 3 tỷ trong tổng số 35 tỷ tham số cho mỗi token được sinh ra, nên tốc độ xử lý nhanh hơn hẳn so với mô hình dense cùng kích thước. Tuy nhiên ở mức lượng tử hóa 8-bit (Q8), mô hình này không chạy được trên một hoặc hai V100, buộc phải dùng đủ ba card để đáp ứng yêu cầu bộ nhớ.

Ở Q8, ba V100 đạt 100,8 token/giây khi ngữ cảnh 4K, giảm còn 72,7 token/giây ở 128K, vẫn vượt ngưỡng 70 token/giây mà bài test coi là tốc độ “tương tác thời gian thực”. Trong khi đó, mô hình dense Qwen 2.5 32B hay Gemma 4 31B chỉ đạt khoảng 20-21 token/giây ở cùng điều kiện, cho thấy khoảng cách hiệu năng giữa kiến trúc MoE và dense lớn đến bốn, năm lần.

Nếu giảm xuống lượng tử hóa Q4, chỉ cần hai V100 đã đủ chạy Qwen 3.6 35B với tốc độ 77,1 đến 105,4 token/giây tùy độ dài ngữ cảnh. Theo người thực hiện benchmark, việc thêm card GPU chủ yếu giúp tăng dung lượng bộ nhớ để chạy mô hình lớn hơn, chứ không làm tăng tốc độ xử lý.

So với Mac Studio và DGX Spark, V100 cũ vẫn có chỗ đứng

Khi đối chiếu với Mac Studio M5 Max (cấu hình 40 nhân GPU, 128GB RAM hợp nhất, giá 5.399 USD) qua dữ liệu benchmark oMLX, Mac nhỉnh hơn một chút ở ngữ cảnh 4K và 32K, nhưng dàn ba V100 vượt lên ở 64K và 128K, nhanh hơn tới 19% ở mức ngữ cảnh dài nhất. Tom’s Hardware lưu ý hai hệ thống dùng runtime khác nhau nên số liệu chỉ mang tính tham khảo tương đối.

Với DGX Spark (giá niêm yết 4.700 USD), tốc độ đo được qua công cụ dgx-spark-bench chỉ đạt 45,8 token/giây, chưa bằng một nửa con số của dàn V100 ở ngữ cảnh 4K. Ở chiều ngược lại, phần cứng trung tâm dữ liệu hiện đại như hai card H100 hay một B200 bỏ xa dàn máy cũ, đạt lần lượt khoảng 315 và 455 token/giây ở 128K, dù các card này chạy mô hình full 16-bit thay vì 8-bit như V100.

Về mặt tiêu thụ điện, dàn V100 chỉ tốn khoảng 0,02 kWh cho một lượt chạy 128K với mô hình 35B, bằng một nửa so với P100 và thấp hơn nhiều lần so với K80 (0,35-0,45 kWh). Số liệu này chỉ tính riêng điện năng của GPU, chưa tính toàn bộ hệ thống. Người thực hiện dự án cho biết đang phát triển thêm bộ tản nhiệt riêng cho card V100 vốn không có sẵn hệ thống làm mát, đồng thời dự định thử nghiệm thêm các backend suy luận khác và kỹ thuật giải mã suy đoán để cải thiện tốc độ trong các bản test tiếp theo.

Tham khảo: Tom’s Hardware.

YYHM

Grrrr Grrrr

Tin mới