H100 Hazne Hızlandırıcı Tam Üretimde, DGX Sevkiyatı 23. Çeyrek’te

NVIDIA’nın sonbahar GTC etkinliği tüm hızıyla devam ederken, şirket bu sabahki açılış konuşmasında şu ya da bu şekilde ana işinin büyük kısmına değindi. İşletme tarafında, en uzun süredir beklenen güncellemelerden biri, piyasaya sürüldüğünde bu yılın 3. çeyreğinde çıkması planlanan NVIDIA’nın H100 “Hopper” hızlandırıcısının sevkiyat durumuydu. Görünen o ki, 3. Çeyrek zaten neredeyse H100’ün üzerinde olduğundan, 3. Çeyrek kullanılabilirlik tarihini yapmayacak. Ancak NVIDIA’ya göre hızlandırıcı tam üretim aşamasında ve ilk sistemler OEM’lerden Ekim ayında gönderilecek.

İlk olarak Mart ayında NVIDIA’nın yıllık bahar GTC etkinliğinde tanıtılan H100, NVIDIA’nın sunucular, hiper ölçekleyiciler ve benzer pazarlar için yeni nesil yüksek performanslı hızlandırıcısıdır. Hopper mimarisine dayanan ve TSMC’nin 4nm “4N” işlemi üzerine inşa edilen H100, NVIDIA’nın çok başarılı A100 hızlandırıcısının devamı niteliğindedir. Diğer değişikliklerin yanı sıra, şirketin en yeni hızlandırıcısı, HBM3 bellek, tensör çekirdeklerinde trafo modelleri için destek, dinamik programlama desteği, daha sağlam izolasyona sahip çok eşgörünümlü GPU’nun güncellenmiş bir sürümünü ve her ikisi için de çok daha fazla işlem hacmini uygular. vektör ve tensör veri tipleri. NVIDIA’nın devasa 80 milyar transistörlü GH100 GPU’sunu temel alan H100 hızlandırıcı, maksimum 700 Watt TDP ile güç tüketimi açısından da sınırları zorluyor.

NVIDIA’nın bahar GTC etkinliğinin bu nesil için üretim pencereleriyle tam olarak uyumlu olmadığı göz önüne alındığında, bu yılın başlarında yapılan H100 duyurusu, NVIDIA’nın ilk H100 sistemlerini Q3’te göndereceğini belirtiyordu. Ancak NVIDIA’nın bugün açıklanan güncellenmiş teslimat hedefleri, 3. Çeyrek tarihinin kaydığı anlamına geliyor. İyi haber şu ki, NVIDIA’nın tabiriyle H100 “tam üretimde”. Kötü haber şu ki, üretim ve entegrasyon tam zamanında başlamamış gibi görünüyor; Bu noktada şirket, ilk üretim sistemlerinin 4. çeyreğin başlangıcı olan Ekim ayına kadar müşterilere ulaşmasını beklemiyor.

Konuları biraz daha genişleterek, sistemlerin ve ürünlerin piyasaya sürüldüğü sıra, temelde NVIDIA’nın olağan stratejisinin tersine dönüyor. NVIDIA’nın iş ortakları, önce en yüksek performanslı SXM form faktörü parçalarına dayalı sistemlerle başlamak yerine, daha düşük performanslı PCIe kartlarıyla başlıyor. Diğer bir deyişle, Ekim ayında sevk edilen ilk sistemler PCIe kartlarını kullanacak ve NVIDIA’nın ortakları daha hızlı SXM kartlarını ve HGX taşıyıcı kartlarını entegre eden sistemleri ancak yılın ilerleyen zamanlarında gönderecekler.

Bu arada, NVIDIA’nın HGX platformunu temel alan ve genellikle ilk gönderilen sistemler arasında yer alan amiral gemisi DGX sistemleri, şimdi sonuncular arasında olacak. NVIDIA bugün DGX H100 sistemleri için ön siparişleri açıyor ve teslimat 2023’ün 1. çeyreğine, yani 4 ila 7 ay sonraya yapılacak. Bu, son birkaç nesilde NVIDIA’nın peşinden gitmek için beklemek zorunda kalan NVIDIA’nın sunucu ortakları için iyi bir haber, ancak bu aynı zamanda bir ürün olarak H100’ün sistemlerde sevkiyata başladığında en iyi adımlarını atamayacağı anlamına da geliyor. gelecek ay.

Basınla yaptığı ön brifingde NVIDIA, H100’ün neden geciktiğine dair ayrıntılı bir açıklama yapmadı. Üst düzeyde konuşmasına rağmen, şirket temsilcileri gecikmenin bileşen nedenlerinden olmadığını belirtti. Bu arada şirket, önce PCIe sistemlerinin gönderilmesinin nedeni olarak PCIe kartlarının görece basitliğini gösterdi; bunlar büyük ölçüde genel PCIe altyapısı içinde tak ve çalıştırken, H100 HGX/SXM sistemleri daha karmaşıktı ve bitirmesi daha uzun sürdü.

İki form faktörü arasında da bazı dikkate değer özellik farklılıkları vardır. SXM sürümü, HBM3 belleği kullanan tek sürümdür (PCIe, HBM2e kullanır) ve PCIe sürümü daha az çalışan SM gerektirir (114’e karşı 132). Bu nedenle, eğer gerçekten bir faktörse, NVIDIA’nın erken verim sorunlarını gizlemesi için burada biraz kıpırdatma alanı var.

NVIDIA için işleri karmaşık hale getiren DGX H100’ün CPU tarafı, Intel’in tekrar tekrar ertelenen 4’üne dayanmaktadır.^inci şu anda hala tamamen sabitlenmiş bir yayın verisine sahip olmayan nesil Xeon Ölçeklenebilir işlemciler (Sapphire Rapids). Daha az iyimser tahminler, NVIDIA’nın kendi çıkış tarihi ile uyumlu olan 1. Çeyrek’te piyasaya sürülecek – ancak bu pekala tesadüf olabilir. Her iki durumda da, Sapphire Rapids için genel kullanılabilirliğin olmaması burada NVIDIA’ya herhangi bir iyilik yapmıyor.

Nihayetinde, NVIDIA DGX’i gelecek yıla kadar gönderemeyecek olduğundan, NVIDIA’nın sunucu ortakları onları PCIe tabanlı sistemlerle yumruk atmakla kalmayacak, aynı zamanda HGX tabanlı sistemlerle kapıdan ilk çıkan onlar olacak. Muhtemelen bu ilk sistemler, mevcut nesil ana bilgisayarları veya zamanında hazırsa muhtemelen AMD’nin Cenova platformunu kullanacak. H100 sistemlerini göndermesi planlanan firmalar arasında Supermicro, Dell, HPE, Gigabyte, Fujitsu, Cisco ve Atos gibi olağan şüpheliler var.

Bu arada, herhangi bir donanım satın almadan önce H100’ü denemek isteyen müşteriler için, H100 artık NVIDIA’nın LaunchPad hizmetinde mevcut.

Son olarak, H100’den söz etmişken, NVIDIA, NVIDIA AI Enterprise yazılım yığınları için bir lisanslama güncellemesini duyurmak için bu haftaki GTC’yi de kullanıyor. H100 artık yazılım için 5 yıllık bir lisansla geliyor; bu, 5 yıllık bir aboneliğin normalde CPU soketi başına 8000 ABD doları olması nedeniyle dikkate değer.