英伟达阻击国产 AI 芯片,
Intel 研究人员提出新 AI 方法,更高效地在 CPU 上部署 LLM
2023.11.11
据站长之家报道,大型语言模型(LLM)因在文本生成、语言理解和文本摘要等任务中的卓越表现而备受欢迎,但其庞大的模型参数却需要大量内存和专用硬件。为了降低推断所需的计算功率,Intel 的研究人员提出了一种有效的方法,支持自动的 INT-4 权重量化流程,可以在 CPU 上高效部署 LLM。此外,他们设计了一个特定的 LLM 运行时,具有高度优化的内核,可以加速 CPU 上的推断过程。
原文链接