Phó chủ tịch Microsoft phát triển công cụ mã nguồn mở giúp theo dõi chính xác mức sử dụng VRAM của GPU

Bạn đã bao giờ tự hỏi chính xác những ứng dụng nào đang chiếm dụng bộ nhớ VRAM của GPU hay chưa? Scott Hanselman, Phó chủ tịch kiêm thành viên nhóm nhân sự kỹ thuật tại Microsoft/GitHub, vừa phát triển một công cụ mã nguồn mở mang tên GPU Taskman (gputaskman) nhằm giải đáp câu hỏi này với mức độ chi tiết vượt trội so với các phần mềm giám sát thông thường.

Trong bài đăng trên X ngày 3/11, Hanselman cho biết ông muốn có cái nhìn rõ ràng hơn về những tiến trình đang tiêu thụ bộ nhớ GPU, đồng thời kêu gọi các nhà phát triển khác cùng tham gia đóng góp cho dự án.

Khác với Task Manager mặc định của Windows, vốn đã cung cấp thống kê bộ nhớ GPU theo từng tiến trình, GPU Taskman tổng hợp mức sử dụng VRAM, RAM hệ thống mà GPU có thể truy cập, hoạt động của từng tiến trình và các thông số phần cứng trong cùng một giao diện dòng lệnh.

Công cụ này hiển thị nhiều thông tin quan trọng như mức sử dụng GPU, dung lượng VRAM đang tiêu thụ, nhiệt độ, công suất điện, xung nhịp, hoạt động bộ nhớ và các thông số kết nối PCIe. Đặc biệt, người dùng có thể xem chi tiết từng tiến trình đang chiếm dụng tài nguyên GPU.

GPU Taskman cũng có khả năng phân biệt nhiều nhóm tác vụ khác nhau, bao gồm xử lý giao diện desktop, trình duyệt web, trò chơi và ứng dụng AI. Đây là tính năng hữu ích khi người dùng cần tìm nguyên nhân khiến VRAM bị tiêu thụ bất thường hoặc xác định lý do GPU phải phụ thuộc nhiều vào RAM hệ thống.

GPU Taskman có thể nhận diện mô hình AI và nhu cầu bộ nhớ

Một trong những tính năng đáng chú ý nhất của GPU Taskman là khả năng hỗ trợ các tác vụ AI chạy trực tiếp trên máy tính. Theo tài liệu trên GitHub, công cụ có thể nhận diện một số mô hình AI tương thích, đồng thời cung cấp thông tin về kiến trúc, mức lượng tử hóa (quantization), số lượng tham số, trọng số mô hình (model weights) và dung lượng KV cache ước tính.

Hiện tại, GPU Taskman hỗ trợ nhận diện một số môi trường và ứng dụng AI phổ biến như llama.cpp, Ollama và LM Studio. Tuy nhiên, mức độ chi tiết của thông tin hiển thị sẽ phụ thuộc vào từng nền tảng cũng như dữ liệu mà công cụ có thể truy xuất.

Chẳng hạn, thay vì chỉ thông báo một ứng dụng AI đang chiếm dụng vài GB VRAM, GPU Taskman có thể giúp phân biệt phần bộ nhớ dành cho trọng số mô hình với dung lượng được sử dụng bởi KV cache và các bộ đệm phục vụ tính toán.

Để thực hiện điều này, công cụ kết hợp dữ liệu thống kê GPU từ hệ điều hành với thông tin siêu dữ liệu tiến trình, tệp mô hình, nhật ký hoạt động của môi trường chạy và các API cục bộ. Đáng lưu ý, một số thông số liên quan đến mô hình chỉ là giá trị ước tính, thay vì số liệu đo trực tiếp từ lượng bộ nhớ GPU thực tế được cấp phát.

Không chỉ phục vụ các tác vụ AI, GPU Taskman còn có thể hữu ích với game thủ PC khi cần tìm nguyên nhân gây ra những vấn đề hiệu năng liên quan đến bộ nhớ đồ họa. Tình trạng thiếu hụt VRAM có thể khiến trò chơi xuất hiện hiện tượng giật, khựng hình (stuttering) khi ứng dụng phải phụ thuộc ngày càng nhiều vào RAM hệ thống vốn có tốc độ truy cập chậm hơn.

Tuy nhiên, Hanselman lưu ý rằng việc GPU sử dụng RAM hệ thống không đồng nghĩa với việc VRAM đã bị tràn. Công cụ hiện cũng chưa thể nhận diện từng texture trong trò chơi hoặc xác định chính xác những tài nguyên nào đã bị loại khỏi VRAM để nhường chỗ cho dữ liệu khác.

Hỗ trợ Windows, Linux và macOS

GPU Taskman hỗ trợ card đồ họa NVIDIA và AMD trên Windows 10/11, đồng thời tương thích với Linux, WSL và các hệ thống macOS sử dụng Apple Silicon. Tuy nhiên, khả năng giám sát cụ thể sẽ khác nhau tùy nền tảng và phần cứng.

Dự án hiện vẫn được phát triển tích cực. Phiên bản mới nhất v0.3.5, phát hành ngày 10/11, bổ sung hỗ trợ GPU Intel trên Linux, khả năng theo dõi CPU và RAM hệ thống, cùng nhiều tùy chọn mới để ghi lại thống kê hoạt động của GPU.

GPU Taskman được phân phối theo giấy phép mã nguồn mở MIT và có thể tải xuống thông qua trang GitHub Releases. Người dùng Windows có thể lựa chọn phiên bản portable mà không cần cài đặt riêng Python. Ngoài ra, ứng dụng cũng hỗ trợ cài đặt thông qua kho phần mềm PyPI.

Dù vẫn đang ở giai đoạn thử nghiệm và một số chức năng giám sát cần được kiểm chứng thêm trên nhiều cấu hình phần cứng khác nhau, GPU Taskman đã cho thấy tiềm năng trở thành công cụ hữu ích đối với những người đam mê công nghệ, nhà phát triển và game thủ muốn hiểu rõ hơn cách GPU phân bổ tài nguyên trong quá trình hoạt động.