Kiến trúc HBM hiện nay được xây dựng theo dạng xếp chồng 3D, kết nối nhiều đế DRAM IC với đế cơ sở thông qua mạng lưới kết nối xuyên silicon TSV. Các mô-đun này dù tách biệt với GPU nhưng vẫn được gắn chung trên một đế trung gian silicon interposer chuẩn đóng gói 2.5D, sau đó liên kết với bộ xử lý XPU qua giao diện vật lý PHY.

Để đáp ứng nhu cầu tính toán khổng lồ của AI, thế hệ HBM4 sắp tới sẽ được đẩy lên giới hạn mới với cấu trúc lên đến 16 lớp 16-Hi. Mẫu bộ nhớ đầu bảng này cung cấp dung lượng tối đa 48GB cùng băng thông vượt ngưỡng 2 TB/s. Đáng chú ý, dù sử dụng tới hơn 20.000 điểm TSV và hàng ngàn vi điểm tiếp xúc micro bump, HBM4 vẫn cải thiện được 40% hiệu suất năng lượng và giảm 14% nhiệt trở so với thế hệ HBM3E.

Việc gia tăng mật độ linh kiện đi kèm với bài toán nan giải về nhiệt lượng và mức tiêu thụ điện năng. Để giải quyết, SK Hynix đang ứng dụng giải pháp Advanced MR-MUF cho các mẫu HBM3E 16 lớp nhằm giảm độ dày lõi chip và thu hẹp khoảng cách các điểm tiếp xúc.

Tuy nhiên, để vượt qua giới hạn của cấu trúc 16 lớp trong tương lai, hãng đang đi sâu nghiên cứu phương pháp ghép nối lai Hybrid Bonding. Công nghệ này giúp thu hẹp khoảng cách TSV xuống dưới 18 micron và giảm tới 35% điện trở nhiệt. Tương tự đối thủ Samsung, SK Hynix cũng đang phát triển giải pháp tản nhiệt cục bộ I-HBM nhằm tạo ra luồng thoát nhiệt chuyên dụng ngay sát các điểm nóng khu vực PHY, giúp cải thiện thêm 30% hiệu năng làm mát.

Trong bản trình bày giải pháp 2.5D HBM, SK Hynix đã hé lộ việc ứng dụng công nghệ đóng gói Intel EMIB bên cạnh các chuẩn CoWoS quen thuộc. Động thái này phần nào củng cố các tin đồn về một liên doanh bộ nhớ chiến lược sắp diễn ra giữa hãng và Intel.

Về định hướng tương lai, SK Hynix đang đặt mục tiêu hiện thực hóa kiến trúc tích hợp 3D toàn diện. Ngay khi các công nghệ sản xuất vi mạch logic và đóng gói đạt đủ độ chín, kiến trúc này sẽ cho phép xếp chồng trực tiếp cụm HBM lên thẳng trên đỉnh các bộ tăng tốc AI, giúp tối ưu hóa triệt để không gian và băng thông truyền tải dữ liệu.