Vi xử lý AMD Ryzen 3D V-Cache tăng 88% hiệu suất mô hình AI RAG

Vi xử lý AMD trang bị công nghệ 3D V-Cache ghi nhận mức tăng hiệu suất 88% khi vận hành mô hình AI RAG so với phiên bản tiêu chuẩn.

Cơ chế hoạt động của mô hình AI RAG

Hiện tại, hệ thống trí tuệ nhân tạo được vận hành phổ biến thông qua hai phương thức chính. Phương thức đầu tiên là Mô hình ngôn ngữ lớn (LLM), được đào tạo trước trên các tập dữ liệu khổng lồ với nhiều tham số khác nhau.

Hạn chế của LLM xuất hiện khi hệ thống phải tạo phản hồi dựa trên những dữ liệu chưa từng được huấn luyện. Phương thức thứ hai mang tên RAG (Thế hệ tăng cường truy xuất) giải quyết triệt để vấn đề này. Mô hình RAG sử dụng cơ sở dữ liệu bên ngoài để truy xuất câu trả lời cho các truy vấn, cung cấp thông tin chi tiết và chính xác hơn dù thời gian xử lý nhỉnh hơn đôi chút so với LLM.

RAG phụ thuộc nhiều vào hoạt động tìm kiếm cơ sở dữ liệu vector. Mặc dù GPU là thành phần cốt lõi trong xử lý AI nhờ khả năng tính toán song song, một lượng lớn các tác vụ tìm kiếm vector lại được xử lý bởi CPU.

Khi số lượng yêu cầu tăng cao, CPU dễ gặp tình trạng quá tải, tạo ra điểm nghẽn cổ chai cho toàn bộ hệ thống. Khi các quy trình công việc ứng dụng AI tự chủ ngày càng phát triển, bộ xử lý trung tâm đóng vai trò quan trọng ngang bằng với GPU. Các CPU sở hữu cấu hình bộ nhớ đệm dung lượng lớn phát huy tác dụng rõ rệt trong việc giải quyết độ trễ.

Đơn cử, thuật toán tìm kiếm HNSW (Hierarchical Navigable Small World) chủ yếu dựa vào CPU khi GPU đang thực hiện tác vụ suy luận LLM. Bộ nhớ đệm lớn trên CPU giúp giảm thiểu thời gian HNSW truy xuất biểu đồ, từ đó cải thiện đáng kể hiệu suất AI.

Kết quả thử nghiệm hiệu suất thực tế

Để kiểm chứng hiệu quả của bộ nhớ đệm, nền tảng GiggleHD đã tiến hành chạy công cụ X3D RAG Benchmark trên nhiều dải vi xử lý, bao gồm cả thế hệ Ryzen 9000X3D mới nhất của AMD.

X3D RAG Benchmark là phần mềm nguồn mở được thiết kế để đo lường mức độ ảnh hưởng của kiến trúc và bộ nhớ đệm CPU đối với tính năng tìm kiếm vector dựa trên biểu đồ trong hệ thống RAG cục bộ. Quá trình đánh giá nhắm đến các hệ thống máy tính cá nhân và máy chủ quy mô nhỏ, xử lý khoảng 100.000 đến 200.000 vector. Kết quả thu được cho thấy sự chênh lệch rõ ràng.

Trong bài kiểm tra tìm kiếm hàng loạt 100K, các vi xử lý AMD Ryzen tích hợp công nghệ 3D V-Cache đạt tốc độ xử lý nhanh hơn 88% so với các phiên bản không có 3D V-Cache. Ở bài thử nghiệm tìm kiếm 200K, mẫu Ryzen 7 9850X3D cung cấp mức tăng hiệu suất vượt mốc 50% khi đặt cạnh phiên bản Ryzen 7 9700X có cùng cấu hình 8 nhân xử lý. Thời gian hoàn thành bài kiểm tra xây dựng chỉ mục 100K được cắt giảm 50%, trong khi bài thử nghiệm 200K ghi nhận mức giảm 39%.

Thông lượng xử lý trên các chip 3D V-Cache cũng vượt trội hơn hẳn. Đối với bài kiểm tra thông lượng RAG đồng thời, dòng CPU 8 nhân 3D V-Cache thể hiện hiệu năng xuất sắc. Ở hạng mục thông lượng TTFT (Thời gian phản hồi mã thông báo đầu tiên), khoảng cách giữa các vi xử lý thu hẹp lại do tác vụ này phụ thuộc nhiều vào sức mạnh tính toán của GPU hơn là CPU.

Tiềm năng ứng dụng và sản phẩm mới

Kết quả thử nghiệm khẳng định sức mạnh của các vi xử lý sở hữu bộ nhớ đệm lớn, đặc biệt là dải sản phẩm 3D V-Cache của AMD.

Công nghệ này chứng minh thiết bị phần cứng đảm bảo tốt cả hiệu suất giải trí điện tử lẫn vai trò của một vi mạch chuyên dụng cho mô hình AI RAG. Những ưu điểm nổi bật nhất bao gồm khả năng xử lý tìm kiếm vector mạnh mẽ, tốc độ xây dựng chỉ mục nhanh chóng và năng lực xử lý đồng thời hiệu quả.

Đây là nền tảng kỹ thuật quan trọng giúp hệ thống máy tính giải quyết mượt mà các khối lượng công việc liên quan đến trí tuệ nhân tạo. Theo kế hoạch từ nhà sản xuất, hãng công nghệ AMD sẽ chính thức tung ra thị trường mẫu vi xử lý Ryzen 9 9950X3D2 trong vài ngày tới. Điểm nhấn kỹ thuật của thiết bị mới nằm ở việc trang bị hệ thống khuôn 3D V-Cache kép.

Kiến trúc này mang lại mức dung lượng bộ nhớ đệm cao nhất từng xuất hiện trên một bộ xử lý máy tính để bàn thuộc dòng Ryzen. Giới chuyên môn nhận định phần cứng mới sẽ tiếp tục thiết lập những mức hiệu suất cao trong các bài kiểm tra năng lực tính toán và xử lý cơ sở dữ liệu trí tuệ nhân tạo.

Nguồn: wccftech