HomeAINVIDIA và Meta thúc đẩy sức mạnh AI với mô hình ngôn...

NVIDIA và Meta thúc đẩy sức mạnh AI với mô hình ngôn ngữ Llama 3

Published on

NVIDIA hôm nay đã công bố việc tối ưu hóa trên tất cả các nền tảng của mình để thúc đẩy hiệu suất của Meta Llama 3, thế hệ mới nhất của mô hình ngôn ngữ lớn (LLM). Được xây dựng dựa trên công nghệ của NVIDIA, Llama 3 hiện đã sẵn sàng để sử dụng trên các thiết bị từ máy chủ đến PC, qua đó mở rộng khả năng tiếp cận và tăng cường đổi mới trong nghiên cứu và ứng dụng thực tiễn.

Sức mạnh học máy trên nền tảng khủng

Meta đã huấn luyện Llama 3 trên một cụm máy tính chứa 24,576 GPU NVIDIA H100 Tensor Core, kết nối bằng mạng NVIDIA Quantum-2 InfiniBand. Với sự hỗ trợ từ NVIDIA, Meta đã tinh chỉnh mạng lưới, phần mềm và kiến trúc mô hình để phù hợp nhất với LLM của mình. Gần đây, Meta còn tiết lộ kế hoạch mở rộng cơ sở hạ tầng của mình lên tới 350,000 GPU H100.

Ứng dụng thực tiễn của Llama 3

Hiện tại, Llama 3 đã được tăng tốc bởi GPU NVIDIA và có sẵn cho việc sử dụng trong đám mây, trung tâm dữ liệu, thiết bị biên và PC. Các nhà phát triển có thể trải nghiệm Llama 3 thông qua trình duyệt tại ai.nvidia.com, nơi nó được đóng gói dưới dạng dịch vụ micro NVIDIA NIM với giao diện lập trình ứng dụng chuẩn, có thể triển khai mọi nơi.

meta llama 768x403 1 MMOSITE - Thông tin công nghệ, review, thủ thuật PC, gaming

Doanh nghiệp có thể tinh chỉnh Llama 3 với dữ liệu của họ sử dụng NVIDIA NeMo, một khung làm việc mã nguồn mở cho LLMs, là một phần của nền tảng NVIDIA AI Enterprise được bảo mật và hỗ trợ. Các mô hình tùy chỉnh có thể được tối ưu hóa cho suy luận với NVIDIA TensorRT-LLM và triển khai với NVIDIA Triton Inference Server.

Hiệu năng tối ưu trên thiết bị và PC

Llama 3 cũng được chạy trên NVIDIA Jetson Orin cho robot và thiết bị tính toán biên, tạo ra các trợ lý tương tác như trong Jetson AI Lab. Hơn nữa, GPU NVIDIA RTX và GeForce RTX cho máy trạm và PC tăng tốc suy luận trên Llama 3, cung cấp cho các nhà phát triển mục tiêu hơn 100 triệu hệ thống được tăng tốc bởi NVIDIA trên toàn cầu.

Kết nối cộng đồng thông qua mô hình mở

Là một người đóng góp tích cực cho mã nguồn mở, NVIDIA cam kết tối ưu hóa phần mềm cộng đồng giúp người dùng giải quyết những thách thức khó khăn nhất. Mô hình mã nguồn mở cũng thúc đẩy sự minh bạch trong AI và cho phép người dùng chia sẻ rộng rãi công việc về an toàn và sức bền của AI.

Để tìm hiểu thêm về nền tảng suy luận AI của NVIDIA, bao gồm cách sử dụng các kỹ thuật tiên tiến như thích ứng hạng thấp để tăng tốc các LLM mới nhất, hãy truy cập trang web của NVIDIA.

tin mới nhất

Innodisk trình làng giải pháp AI tại biên và chiến lược thương hiệu mới tại Computex 2024

Innodisk, nhà cung cấp giải pháp AI hàng đầu toàn cầu, đang trưng bày...

COLORFUL Tại COMPUTEX: Vươn Lên Tầm Cao Mới Với AI

Công ty TNHH Công Nghệ COLORFUL, nhà sản xuất linh kiện máy tính để...

Lenovo Legion Go sẽ nhẹ hơn trong với phiên bản “LITE”

Lenovo có thể đang lên kế hoạch cho một chiếc máy chơi game cầm...

Dòng CPU AMD Ryzen 9000 chính thức ra mắt

Dòng CPU AMD Ryzen 9000 "Granite Ridge" được cho là sẽ lên kệ bán...

G502X – KỶ NIỆM 10 NĂM RA MẮT CHUỘT GAMING G502 CỦA LOGITECH G

Logitech G vừa chính thức ra mắt chuột gaming G502X, biểu tượng mới trong...

tin liên quan