大模型被指抄袭,李开复的零一万物致歉

来自: 互联网 收藏 发布:如意潇湘网

北京商报讯(记者 魏蔚)3月15日,创新工场创始人李开复创办的大模型公司零一万物,针对其开源Yi大模型涉嫌抄袭LLaMA一事作出说明,并“表达诚挚的歉意,我们正在各开源平台重新提交模型及代码并补充LLaMA 协议副本的流程中,承诺尽速完成各开源社区的版本更新”。

零一万物是李开复创办的大模型创业公司,3月6月开源了预训练大模型 Yi-34和Yi-6B。不过,开发者ehartford在Yi-34B的Hugging Face开源主页上表示,称该模型使用了Meta LLaMA的架构 ,只对两个张量名称进行了修改 ,分别为input_layernorm和post_attention_layernorm。ehartford还表示,希望该公司在模型被大量使用之前考虑重命名张量以符合LLaMA架构,并将这一更改应用到官方模型中。

根据零一万物的说明,零一万物在训练模型过程中,沿用了GPT/LLaMA的基本架构,由于LLaMA社区的开源贡献,让零一万物可以快速起步。零一万物从零开始训练了 Yi-34B 和 Yi-6B 模型,并根据实际的训练框架重新实现了训练代码,用自建的数据管线构建了高质量配比的训练数据集(从3PB原始数据精选到3T token高质量数据)。除此以外,在 Infra 部分进行算法、硬件、软件联合端到端优化,实现训练效率倍级提升和极强的容错能力等原创性突破。这些科学训模的系统性工作,往往比起基本模型结构能起到巨大的作用跟价值。

“在零一万物初次开源过程中,我们发现用和开源社区普遍使用的LLaMA 架构会对开发者更为友好,对于沿用LLaMA部分推理代码经实验更名后的疏忽,原始出发点是为了充分测试模型,并非刻意隐瞒来源”,对此,零一万物提出说明并表达诚挚的歉意,“我们正在各开源平台重新提交模型及代码并补充LLaMA 协议副本的流程中,承诺尽速完成各开源社区的版本更新”。

(责任编辑:王治强 HF013)

鲜花

握手

雷人

路过

鸡蛋
相关推荐
热门排行
电子邮箱:624937665@qq.com
客服电话:18890353030
公司地址:湖南省长沙市开福区新河街道湘江北路三段1500号A3区北辰国荟5302室

Powered by 湖南聚嘉财经网络科技有限公司 © 2025 ruyici.top Inc.( 湘ICP备2024089860号-1 )