昨日、Nvidia は次期 H100 GPU「Hopper」を発表しました。 Tensor Coreは新しいものをインストールしました
MPerf ベンチマークはワークロードを測定しますチップが事前トレーニングされた機械学習モデルを新しいデータにどの程度うまく適用できるかを示す「出力」。 MLCommons として知られる業界企業のグループは、潜在的な顧客に機械学習のパフォーマンスを提示するための標準化された指標を提供するために、2018 年に MLPerf ベンチマークを開発しました。
特に、H100 はBERT-Large ベンチマーク。Google が開発した BERT モデルを使用して自然言語処理のパフォーマンスを測定します。 Nvidia は、この特定の結果を、特に変換モデルのトレーニングを高速化するホッパー アーキテクチャの Transformer Engine に起因すると考えています。これは、H100 が OpenAI の GPT-3 のような将来の自然言語モデルを加速できることを意味します。GPT-3 は、さまざまなスタイルで文章を作成し、会話をチャットできます。
まだ開発中のこのチップは、同社のフラッグシップ データ センター GPU として A100 に取って代わると予測されています。