VRAM と GPU、その間にある「もう一段」── レジスタ・L1・L2 の階層
VRAM と HBM って同じようなもんか、から掘っていったら、「GPU と VRAM」という 2 ブロックの説明の裏にもう 1 段隠れた階層があることに気づいた学習ログ。
タグ
#GPU
6 件
-
-
GPU クラスターのレール最適化 ── 32 ポートなのに IB スイッチが 8 台もいる理由
1 ラックに GPU サーバー 4 台 × 8 GPU = 32 ポートなのに、なぜ IB スイッチ (InfiniBand スイッチ) が 8 台もいてポートはスカスカなんや？ ── AI クラスターの『レール最適化』を、8 本のパラレルワールドとして腹落ちするまでの学習ログ。
-
壊れる前提の GPU クラスタ ── チェックポイントは HBM から RAM へ「避難」する
1 パケットのロスも許さない GPU クラスタが、なぜ「潰れたら作り直す」k8s の上で回るのか。その鍵であるチェックポイントの足回り (HBM → ホスト RAM の退避) を、network エンジニアの目で追った学習ログ。
-
AI チップが熱い本当の理由は「計算」やなく「通信」 ── 銅の壁と、光への移行
GPU が熱いのも巨大化するのも、主犯は計算やなくデータ移動やった。銅線の物理的な限界と、チップの際から光で繋ぐ (CPO / シリコンフォトニクス) 話。
-
AI のボトルネックは『箱と箱のあいだ』：GPU が待つ崖と、IB vs Ethernet の戦争
「AI の発展でネットワークがボトルネック」を、どこが詰まるかまで物理で特定した学習ログ。詰まるのは GPU の中でもユーザーへの配信でもなく、サーバとサーバのあいだ (NVLink → InfiniBand の 15 倍の崖)。学習の all-reduce が崖からはみ出して GPU が待つ時間こそが本体で、その先には IB vs Ethernet の思想戦争があった、と腹落ちするまでの記録。
-
LLM 推論サーバーの中身：HBM 同士が話している
Claude のような LLM が動いているサーバーとネットワークの物理層を、HBM を中心に整理した学習ログ。CPU は脇役で、データは HBM ↔ HBM で完結する設計になっている、と腹落ちするまでの記録。
