NVIDIA hôm nay đã công bố việc tối ưu hóa trên tất cả các nền tảng của mình để thúc đẩy hiệu suất của Meta Llama 3, thế hệ mới nhất của mô hình ngôn ngữ lớn (LLM). Được xây dựng dựa trên công nghệ của NVIDIA, Llama 3 hiện đã sẵn sàng để sử dụng trên các thiết bị từ máy chủ đến PC, qua đó mở rộng khả năng tiếp cận và tăng cường đổi mới trong nghiên cứu và ứng dụng thực tiễn.
Sức mạnh học máy trên nền tảng khủng
Meta đã huấn luyện Llama 3 trên một cụm máy tính chứa 24,576 GPU NVIDIA H100 Tensor Core, kết nối bằng mạng NVIDIA Quantum-2 InfiniBand. Với sự hỗ trợ từ NVIDIA, Meta đã tinh chỉnh mạng lưới, phần mềm và kiến trúc mô hình để phù hợp nhất với LLM của mình. Gần đây, Meta còn tiết lộ kế hoạch mở rộng cơ sở hạ tầng của mình lên tới 350,000 GPU H100.
Ứng dụng thực tiễn của Llama 3
Hiện tại, Llama 3 đã được tăng tốc bởi GPU NVIDIA và có sẵn cho việc sử dụng trong đám mây, trung tâm dữ liệu, thiết bị biên và PC. Các nhà phát triển có thể trải nghiệm Llama 3 thông qua trình duyệt tại ai.nvidia.com, nơi nó được đóng gói dưới dạng dịch vụ micro NVIDIA NIM với giao diện lập trình ứng dụng chuẩn, có thể triển khai mọi nơi.
Doanh nghiệp có thể tinh chỉnh Llama 3 với dữ liệu của họ sử dụng NVIDIA NeMo, một khung làm việc mã nguồn mở cho LLMs, là một phần của nền tảng NVIDIA AI Enterprise được bảo mật và hỗ trợ. Các mô hình tùy chỉnh có thể được tối ưu hóa cho suy luận với NVIDIA TensorRT-LLM và triển khai với NVIDIA Triton Inference Server.
Hiệu năng tối ưu trên thiết bị và PC
Llama 3 cũng được chạy trên NVIDIA Jetson Orin cho robot và thiết bị tính toán biên, tạo ra các trợ lý tương tác như trong Jetson AI Lab. Hơn nữa, GPU NVIDIA RTX và GeForce RTX cho máy trạm và PC tăng tốc suy luận trên Llama 3, cung cấp cho các nhà phát triển mục tiêu hơn 100 triệu hệ thống được tăng tốc bởi NVIDIA trên toàn cầu.
Kết nối cộng đồng thông qua mô hình mở
Là một người đóng góp tích cực cho mã nguồn mở, NVIDIA cam kết tối ưu hóa phần mềm cộng đồng giúp người dùng giải quyết những thách thức khó khăn nhất. Mô hình mã nguồn mở cũng thúc đẩy sự minh bạch trong AI và cho phép người dùng chia sẻ rộng rãi công việc về an toàn và sức bền của AI.
Để tìm hiểu thêm về nền tảng suy luận AI của NVIDIA, bao gồm cách sử dụng các kỹ thuật tiên tiến như thích ứng hạng thấp để tăng tốc các LLM mới nhất, hãy truy cập trang web của NVIDIA.
