在互联规模层面,得益于Groq Compiler和Groq RealScale芯片间互连技术,Groq芯片构建了一个共享的资源架构集群,能够在MoE(混合专家)万亿参数模型上高效运行,提供所需的规模和速度,以跟上不断变化的 AI 模型格局,而非出现输出速度瓶颈。而且,Groq针对近乎线性的扩展性进行了优化,相比于传统的GPU,14nm的Groq算力芯片可以从底层架构设计来应对 AI 工作负载扩展的挑战,能效比英伟达GPU最高可提升10倍。
可靠性层面,根据开放式大模型评估框架OpenBench数据显示,Groq与基于英伟达GPU 的 API 提供商上Together AI 运行Kimi-K2-Instruct 模型的MMLU实例,结果表明,Groq的准确率更高,在STEM、Social Sciences等方面都比肩GPU AI Infra能力。