AMD hôm nay thông báo rằng Oracle Cloud Infrastructure (OCI) đã chọn bộ tăng tốc AMD Instinct MI300X với phần mềm mở ROCm để cung cấp sức mạnh cho phiên bản OCI Compute Supercluster mới nhất của mình có tên là BM.GPU.MI300X.8.
Đối với các mô hình AI có thể bao gồm hàng trăm tỷ tham số, OCI Supercluster với AMD MI300X hỗ trợ tới 16.384 GPU trong một cụm duy nhất bằng cách khai thác cùng một công nghệ mạng lưới siêu nhanh được các bộ tăng tốc khác sử dụng trên OCI. Được thiết kế để chạy các khối lượng công việc AI đòi hỏi khắt khe bao gồm suy luận và đào tạo mô hình ngôn ngữ lớn (LLM) đòi hỏi thông lượng cao với dung lượng bộ nhớ và băng thông hàng đầu, các phiên bản OCI bare metal này đã được các công ty bao gồm cả Fireworks AI áp dụng.
Andrew Dieckmann, phó chủ tịch công ty kiêm tổng giám đốc, Data Center GPU Business, AMD cho biết: “AMD Instinct MI300X và phần mềm mở ROCm tiếp tục phát triển mạnh mẽ như các giải pháp đáng tin cậy để cung cấp năng lượng cho khối lượng công việc AI OCI quan trọng nhất”. “Khi các giải pháp này mở rộng hơn nữa vào các thị trường AI chuyên sâu đang phát triển, sự kết hợp này sẽ mang lại lợi ích cho khách hàng OCI với hiệu suất cao, hiệu quả và tính linh hoạt trong thiết kế hệ thống lớn hơn”.
Donald Lu, phó chủ tịch cấp cao, phát triển phần mềm, Oracle Cloud Infrastructure cho biết: “Khả năng suy luận của bộ tăng tốc AMD Instinct MI300X bổ sung vào danh mục rộng lớn các phiên bản bare metal hiệu suất cao của OCI để loại bỏ chi phí phát sinh của máy tính ảo thường được sử dụng cho cơ sở hạ tầng AI”. “Chúng tôi rất vui mừng khi cung cấp nhiều lựa chọn hơn cho khách hàng muốn tăng tốc khối lượng công việc AI với mức giá cạnh tranh”.
Mang lại hiệu suất đáng tin cậy và lựa chọn mở cho đào tạo và suy luận AI
AMD Instinct MI300X đã trải qua quá trình thử nghiệm mở rộng được OCI xác thực, qua đó nhấn mạnh khả năng suy luận và đào tạo AI để phục vụ các trường hợp sử dụng tối ưu về độ trễ, ngay cả với kích thước lô lớn hơn và khả năng phù hợp với các mô hình LLM lớn nhất trong một nút duy nhất. Những kết quả về hiệu suất của Instinct MI300X này đã thu hút sự chú ý của các nhà phát triển mô hình AI.
Fireworks AI cung cấp một nền tảng nhanh được thiết kế để xây dựng và triển khai AI tạo sinh. Với hơn 100 mô hình, Fireworks AI đang tận dụng lợi ích của hiệu suất được tìm thấy trong OCI bằng cách sử dụng AMD Instinct MI300X.
“Fireworks AI giúp các doanh nghiệp xây dựng và triển khai các hệ thống AI phức hợp trên nhiều ngành công nghiệp và trường hợp sử dụng khác nhau”, Lin Qiao, CEO của Fireworks AI cho biết. “Dung lượng bộ nhớ khả dụng trên AMD Instinct MI300X và phần mềm mở ROCm cho phép chúng tôi mở rộng dịch vụ cho khách hàng khi các mô hình tiếp tục phát triển”.
