如果说复制了一个OpenAI的ChatGPT的成本仅需600美元你会不会感到意外呢?事实上,斯坦福的科学家们真的做到了。
上周,斯坦福大学基础模型研究中心上周宣布,其研究人员使用 OpenAI 的 GPT API 对 Meta 的 LLaMA7B 大型语言模型 进行了“微调”,而且价格非常便宜。
结果就是斯坦福大学研究人员用600美元的成本,复制了OpenAI的GPT-3模型,并给自己的模型起了一个有趣的名字:Alpaca。他们利用了开放AI提供的预训练数据集和一些开源代码,只用了两个月就完成了复制。他们还在网上发布了自己的模型和代码,供其他人使用和改进。
这些科学家在其惊人简单的预算明细中表示,根据研究人员使用专有模型训练Alpaca所花费的时间,他们在 OpenAI 的 API 上投入“不到500美元”,在 LLaMA 上投入“不到100美元”。
虽然GPT-3是一个非常昂贵和复杂的模型,但是它并不是不可复制或独一无二的。复制品Alpaca模型虽然比GPT-3小很多,但是在一些任务上表现得很好,甚至超过了GPT-3。尽管如此,Alpaca确实也有“语言模型的几种常见缺陷,包括幻觉、毒性和刻板印象”。
这也可以当作一个典型的例子,证明了 OpenAI 这样的软件可能是容易复制的。
郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。
关键词:
90年代初沪深交易所成立,我国资本市场蹒跚起步,走过了从无到有,从小到大的发展历程。作...
2023-03-20 16:32
20日,中国人民银行授权全国银行间同业拆借中心公布最新一期贷款市场报价利率:1年期LP...
2023-03-20 16:25
,华硕ROGPhone7手机近期在Geekbench跑分网站上首次亮相,可能是7D版本...
2023-03-20 15:15
记者注意到,宁波银保监局在核准“江昱洁担任昆仑信托总裁申请”同时,还核准其昆仑信托董事...
2023-03-20 14:44
近年来,随着全球能源储量逐渐微缩以及全社会环保意识的提高,新能源汽车越来越受到公众的关...
2023-03-20 13:45
转化医学研究数据) 智通财经APP讯,基石药业-B公布,公司在2023年3月举行的第...
2023-03-20 12:57
,荣耀在全球市场推出一款新的入门级手机——70Lite,共有钛银、海洋蓝以及午夜黑三种...
2023-03-20 11:49
3月18日,中国气象局、中国气象学会在京启动2023年世界气象日纪念活动,并以此为契机...
2023-03-20 09:26
关于老年听力健康的十个问题》指出,我国65岁以上老年人约1/3存在中度以上听力损失,而...
2023-03-18 15:17
《人民日报》 人力资源和社会保障部日前发布数据显示,前11月,全国城镇新增就业达到1...
2023-03-18 14:20
2023-06-26 13:34
2023-05-08 17:57
2022-05-12 09:17
2022-05-12 09:16
2022-05-12 09:16
2022-05-12 09:15