Nvidia H200 là chip AI mới nhất của Nvidia, được thiết kế cho các siêu máy tính hoặc đào tạo AI. H200 có hiệu suất gấp đôi so với chip AI H100 hiện tại, với khả năng suy luận của các mô hình AI dữ liệu lớn được cải thiện đáng kể.
H200 được xây dựng trên kiến trúc Hopper giống bản tiền nhiệm, nhưng được cải tiến đáng kể về dung lượng bộ nhớ và băng thông. Sản phẩm sử dụng bộ nhớ HBM3e dung lượng 141 GB, băng thông 4,8 TB/s, so với H100 dùng bộ nhớ HBM3 80 GB và băng thông 3,35 TB/s.
Mẫu chip mới sẽ được trang bị trong các bo mạch Nvidia HGX với cấu hình gồm bốn hoặc tám GPU. Ngoài ra, hãng cung cấp “siêu chip” GH200, kết hợp giữa H200 và CPU Grace với tổng cộng 624GB bộ nhớ.
Amazon Web Services, Google Cloud, Microsoft Azure và Oracle sẽ là những nền tảng điện toán đám mây đầu tiên trang bị H200 khi sản phẩm ra thị trường năm sau.
Nvidia chưa công bố giá của H200, nhưng mẫu chip tiền nhiệm H100 đình đám hiện nay được các công ty AI săn lùng ở mức giá 25.000-40.000 USD.
Những điểm nổi bật của chip AI Nvidia H200:
- Hiệu suất gấp đôi so với H100
- Khả năng suy luận của các mô hình AI dữ liệu lớn được cải thiện đáng kể
- Dung lượng bộ nhớ và băng thông được cải thiện đáng kể
- Tương thích với các hệ thống H100 trước đây
- Có thể được sử dụng trong các siêu máy tính hoặc đào tạo AI
