CG艺术大佬向AI下“战书”
Together 联合斯坦福等机构开启 RedPajama 计划,旨在创建完全开源的大型语言模型
2023.04.23
据 VentureBeat 报道,总部位于加州的专注于建立去中心化云和开源模式的公司 Together 近日宣布了 RedPajama 计划。据悉,RedPajama 是 Together、Ontocord.ai、ETH DS3 Lab、斯坦福 CRFM、Hazy Research 和 MILA 魁北克人工智能研究所之间的一个合作项目,旨在创建领先的、完全开源的大型语言模型(LLM)。其训练将基于 LLaMA 的 1.2 万亿 token 数据集。这些数据使任何组织都能对模型进行预训练,并可获得许可。
在未来几周,Together 将发布一整套 LLM 和基于 RedPajama 数据集的指令调整版本。该公司强调,即将推出的模型将是完全开源的,并且在商业上是可行的。
原文链接