马斯克称Grok 3约需要10万张英伟达H100训练 目前最大的问题就是卡不够
山外的鸭子哥
埃隆马斯克日前在 X/Twitter 上表示，通用人工智能 (AGI) 最快将在明年或 2026 年超过人类智力，不过这需要大量的处理器进行训练，同时也这也需要耗费大量的电力。
xAI 目前正在加紧训练 Grok 2，此版本预计会在 5 月完成训练，Grok 2 训练过程中使用了 20,000 张英伟达 H100 加速卡，埃隆马斯克称未来的迭代需要更多资源，Grok 3 的训练大约需要 10 万张 H100 加速卡。
马斯克表示人工智能技术的进步目前主要受两个因素制约：第一个是先进处理器，例如想要获得 10 万张 H100 加速卡并不容易，这不仅需要耗费大量的资金，也因为英伟达产能问题需排队；第二就是电力供应的限制。
H100 加速卡的最大功耗约为 700W，10 万张 H100 加速卡同时运作则会产生 7,000 万 W 也就是 70MW，70MW 的功率对于一个企业来说已经是个相当高的用电功率，但不要忘记这些加速卡还需要大量的工业制冷设备进行散热。
因此运营一个包含 10 万张 H100 加速卡的数据中心的功率是个天文数字，这对人工智能公司来说用电成本可能都需要花费大量的资金。
不过电力问题总得来说还是可以解决的，但芯片供应在未来两年能不能赶上来还是个大问题，尤其是现在初创人工智能公司非常多，每个公司都需要大量的加速卡，所以 xAI 想要购买更多的显卡可能也需要更长时间。
