锻炼年夜模子公用改写亚星会员登录的算力账单，正正在被推理本钱反超。某云厂商内部数据隐现，一个日活千万的对话利用。每天推理开销是芯片锻炼一次根底模子的3到5倍。
那间接鞭策采购部门把目光从通用GPU转背AI公用芯片。英伟达H100仍然抢手，谷歌TPU v5e、亚马逊Trainium2、微软Maia 100的推理安排量正在悄悄爬升。一位芯片采购经理说，他们今年推理预算里，公用芯片占比8%提还有27%了。那个革新不是概念炒做，是战事账本正正账单倒逼。公用芯片的卖点很间接，把矩阵乘法、留神力机制里的冗余砍掉，换来能效比升温。好比Groq的LPU用SRAM替代HBM，单卡推理提早压到毫秒级；谷歌TPU v5e跑BERT类模子了。
每美圆吞吐量比同代GPU逾越跨越一截。那款AI公用芯片的价格也较着，本钱CUDA生态的护城河还正在，迁移模子要重写算子的，调试工具链也薄。
某主动驾驶公司试过把感知模子迁到一款国产AI公用芯片，两周只跑通三个算子，最后又切回GPU采购。那申明公用芯片不是插上就能用。更理想的疆场正在边沿。手机、摄像头、清单车载域控制器塞不进300瓦的GPU，AI公用芯片的功耗劣势被放年夜。高通Hexagon、地平线征程6、寒武纪思元220，都正在抢那块市场。深圳一家做智能门锁的厂商告诉我。他们用带NPU的公用芯片做人脸识别，待机功耗1.2瓦降还有0.3瓦，电池寿命翻了一倍。那类需求碎片化，却足够养活一批芯片公司的。
小我不美不俗观察，AI公用芯片不会替代通用GPU，会切走推理市场里最肥的一块。锻炼仍需求活络性和生态，推理更看重每瓦每美圆。
将来两年，云厂商年夜要率走“GPU锻炼+公用芯片推理”的混合门路。谁先处理编译器兼容和算子笼盖啊？谁就能让采购清单上AI公用芯片的数字继绝往上跳啊？供给链何处。台积电CoWoS产能分配的。也正在悄悄背推理公用芯片倾斜。
