NVIDIA hôm nay đã công bố NVIDIA DGX Cloud Lepton — một nền tảng AI với thị trường tính toán kết nối các nhà phát triển trên thế giới xây dựng các ứng dụng AI vật lý và tác nhân thông minh với hàng chục ngàn GPU, có sẵn từ một mạng lưới các nhà cung cấp đám mây toàn cầu.
Để đáp ứng nhu cầu về AI, các Đối tác Đám mây của NVIDIA (NCP) bao gồm CoreWeave, Crusoe, Firmus, Foxconn, GMI Cloud, Lambda, Nebius, Nscale, Softbank Corp. và Yotta Data Services sẽ cung cấp GPU kiến trúc NVIDIA Blackwell và các kiến trúc NVIDIA khác trên sàn giao dịch DGX Cloud Lepton.
Các nhà phát triển có thể khai thác năng lực tính toán GPU ở các khu vực cụ thể cho cả điện toán theo yêu cầu và dài hạn, hỗ trợ các yêu cầu vận hành AI chiến lược và mang tính chủ quyền. Các nhà cung cấp dịch vụ đám mây và thị trường GPU hàng đầu dự kiến cũng sẽ tham gia vào nền tảng DGX Cloud Lepton.
Jensen Huang, người sáng lập kiêm CEO của NVIDIA cho biết: “NVIDIA DGX Cloud Lepton kết nối mạng lưới nhà cung cấp GPU toàn cầu của chúng tôi với các nhà phát triển AI.” “Cùng với các NCP, chúng tôi đang xây dựng một cơ sở AI quy mô toàn cầu.”
DGX Cloud Lepton giúp giải quyết thách thức quan trọng là đảm bảo các tài nguyên GPU hiệu suất cao, đáng tin cậy bằng cách hợp nhất quyền truy cập vào các dịch vụ AI đám mây và dung lượng GPU trong hệ sinh thái NVIDIA. Nền tảng này tích hợp với ngăn xếp phần mềm NVIDIA, bao gồm các dịch vụ vi mô NVIDIA NIM và NeMo, NVIDIA Blueprints và NVIDIA Cloud Functions, để tăng tốc và đơn giản hóa việc phát triển và triển khai các ứng dụng AI.
Đối với các nhà cung cấp đám mây, DGX Cloud Lepton cung cấp phần mềm quản lý mang lại chẩn đoán sức khỏe GPU theo thời gian thực và tự động hóa phân tích nguyên nhân gốc rễ, loại bỏ các thao tác thủ công và giảm thời gian chết.
Các lợi ích chính của nền tảng này bao gồm:
- Cải thiện năng suất và tính linh hoạt: Cung cấp trải nghiệm thống nhất trong quá trình phát triển, đào tạo và suy luận, giúp tăng năng suất. Các nhà phát triển có thể mua dung lượng GPU trực tiếp từ các nhà cung cấp đám mây tham gia thông qua thị trường hoặc mang đến các cụm máy tính của riêng họ, giúp họ linh hoạt và kiểm soát tốt hơn.
- Triển khai không ma sát: Cho phép triển khai các ứng dụng AI trên các môi trường đa đám mây và lai với gánh nặng vận hành tối thiểu, sử dụng các dịch vụ tích hợp để suy luận, thử nghiệm và đào tạo khối lượng công việc.
- Tính linh hoạt và chủ quyền: Cho phép các nhà phát triển truy cập nhanh vào các tài nguyên GPU ở các khu vực cụ thể, đảm bảo tuân thủ các quy định về chủ quyền dữ liệu và đáp ứng các yêu cầu về độ trễ thấp đối với khối lượng công việc nhạy cảm.
- Hiệu suất dự đoán: Cung cấp hiệu suất, độ tin cậy và bảo mật cấp doanh nghiệp cho các nhà cung cấp đám mây tham gia, đảm bảo trải nghiệm người dùng nhất quán.
Tiêu chuẩn mới cho hiệu suất đám mây AI
NVIDIA hôm nay cũng công bố NVIDIA Exemplar Clouds để giúp các Nhà cung cấp đám mây (NCP) tăng cường bảo mật, khả năng sử dụng, hiệu suất và khả năng phục hồi, sử dụng chuyên môn của NVIDIA, phần cứng và phần mềm tham chiếu, và các công cụ vận hành.
NVIDIA Exemplar Clouds tận dụng NVIDIA DGX™ Cloud Benchmarking, một giải pháp toàn diện để tối ưu hóa hiệu suất khối lượng công việc trên các nền tảng AI và định lượng mối quan hệ giữa chi phí và hiệu suất.
Yotta Data Services là NCP đầu tiên ở khu vực Châu Á – Thái Bình Dương tham gia sáng kiến NVIDIA Exemplar Cloud.
Tình trạng sẵn có
Các nhà phát triển có thể đăng ký để có quyền truy cập sớm vào NVIDIA DGX Cloud Lepton tại đây.
Xem bài phát biểu chính tại COMPUTEX của Huang và tìm hiểu thêm tại NVIDIA GTC Đài Bắc.
