钛媒体App 2月21日消息，一家名为Groq的初创公司在AI圈爆火。主要因其自研的LPU芯片在AI推理技术上，通过优化架构和减少内存瓶颈，实现了高效率和低延迟，在处理大模型时的速度远超英伟达GPU，每秒生成速度接近500 tokens，而GPT-4仅40tokens。 不过，原Facebook人工智能科学家，原阿里技术副总裁贾扬清发文分析，因为Groq小的可怜的内存容量（230MB），在运行Llama-2 70b模型时，需要305张Groq卡才足够，而用H100则只需要8张卡。从目前的价格来看，这意味着在同等吞吐量下，Groq的硬件成本是H100的40倍，能耗成本是10倍。如果运行三年的话，Groq的硬件采购成本是1144万美元，运营成本是76.2万美元或更高。8卡H100的硬件采购成本是30万美元，运营成本是7.2万美元或略低。