衡宇 金磊 发自 凹非寺

　　量子位 | 公共号 QbitAI

　　就在适才 ，模天王小川的再降开源大模子又有了新措施——

　　百川智能
，正式宣告130亿参数通用狂语言模子（Baichuan-13B-Base）。版本

　　而且民间对于此的开源可商可部评估是：

功能最强的中英文百亿参数目开源模子
。

　　与此一起出道的收费署，尚有一个对于话模子Baichuan-13B-Chat，用即以及它的模天INT4/INT8两个量化版本 。

　　但更紧张的再降一点是（划重点），残缺开源
！版本收费可商用！开源可商可部

　　就在不久前的收费署6月15日，百川智能才适才宣告其第一款70亿参数目的用即中英口语语模子Baichuan-7B。

　　当时的模天版本便已经拿下多个天下威信Benchmark榜单同量级测试榜首；同样作为开源大模子，风闻清华北少数已经用上了 。再降

　　仅仅时隔25天，版本更大
、更强的版本再次袭来，不患上不说，王小川在技术上的措施是有够紧锣密鼓的了。

　　那末这次号称的“最强开源大模子”，详细展现又是奈何样呢？

　　多规模逾越ChatGPT

　　老例子  ，先摸棱两可地说一下Baichuan-13B的根基个“模”质料：

　　中英双语大模子
，130亿参数 ，在1.4万亿token数据集上磨炼 ，残缺开源
、收费可商用。

　　1.4万亿ztoken这个磨炼数据量，逾越LLaMA-13B磨炼数据量的40%
，因此后开源的13B尺寸模子天下里，磨炼数据量最大的模子
。

　　此外，Baichuan-13B高下文窗口长度为4096——这就不患上不提到其与7B版本残缺差距的编码方式
。

　　7B版本接管RoPE编码方式，而13B运用了ALiBi位置编码技术 ，后者可能处置长高下文窗口 ，致使可能判断逾越磨炼时期读取数据的高下文长度，从而更好地捉拿文本中高下文的相关性 ，让预料或者天生更精确 。

　　作为一款中英文双语大模子 ，Baichuan-13B接管了相对于失调的中英文语料配比以及多语言对于齐语料 ，从而在中英两种语言上都有不俗展现。

　　主流百亿参数13B开源模子benchmark下场

　　来看看Baichuan-13B在中文规模的测评下场。

　　在评测集C-EVAl上，Baichuan-13B在做作迷信、医学、艺术、数学等规模争先LLaMA-13B、Vicuna-13B划一尺寸的狂语言模子
。

　　社会迷信以及人理迷信规模，水平比ChatGPT还要好上一点。

　　英文规模的展现也算不错 ，能比同尺寸的其余开源模子，如LLaMA-13B、Vicuna-13B都有更好的展现。

　　个别而言
，非业余用户以及有详细需要的企业，对于有对于话功能的对于齐模子有更重的好奇心 。

　　鉴于这个情景  ，百川智能这次在宣告与磨炼模子底座Baichuan-13B-Base的同时，还宣告了其对于话模子Baichuan-13B-Chat及其INT4/INT8两个量化版本。

　　来看看对于话模子的实际展现下场——

　　让它写个商品介绍邮件，它能写出酱婶儿的：

　　数据推理能耐若何 
？

　　也浅测了一番 ：

　　至于互联网上太古或者起初盛行的种种梗，Baichuan-13B-Chat彷佛也没在怕的：

　　民间介绍，为了保障模子的纯挚度，Baichuan-13B-Base以及Baichuan-13B-Chat不针对于任何benchmark测试妨碍专项优化 ，具备更高的效力以及可定制性
。

　　为甚么要残缺开源 、可商用？

　　正如咱们适才提到的，这次百川智能推出的Baichuan-13B-Base是对于学术钻研残缺凋谢 。

　　不光如斯，所有开拓者均可经由邮件向百川智能恳求授权
，在取患上民间商用允许后即可收费商用。

　　而且据民间的说法
，百川智能是为了飞腾运用的门槛，才同时开源了Baichuan-13B-Chat的INT8以及INT4两个量化版本。

　　这样一来，在近乎无损的情景下 ，即可能将模子部署在如3090等破费级显卡上
。

　　想必良多小过错就要问了  ，百川智能为甚么要走这么一条路 ？

　　着实假如看下Meta在大模子上的开源之路，即可窥知一二。

　　咱们都知道大模子在磨炼的老本极高 ，因此像OpenAI以及google两大科技巨头最后抉择的是闭源的“路数” ，它们为的便因此此保障自己的优势。

　　而Meta其后所推出的LLaMa则与之“背道而驰”，但所迸收回来的后劲却是有目共睹——

　　快捷排汇大批开拓者
，在LLaMa根基上迭代出了种种ChatGPT的替换品 ，致使在功能的展现上是可能坚持GPT-3.5的那种 。

　　加之业界对于大模子未来睁开态势已经告竣为了一个共识：

　　相似安卓以及iOS
，将会是开源以及闭源共存的形态 。

　　因此，开源在大模子的睁开中未然成为一股不可或者缺的中松软力。

　　……

　　那末你对于王小川的新大模子 ，有何意见呢？

责任编纂
 ：韦子蓉

(责任编辑：百科)

• ·NBA8位巅峰期超长巨星：无乔丹魔术师，科比第8，4人超17赛季巴特尔的儿子，王治郅的儿子，李楠的儿子，一对比差距还真不小！
• ·原创 文殊身为菩萨，为何会被乌鸡国国王泡在河里？也不看看国王背景是谁
• ·独家丨上市公司买房也被坑？吉比特称3.7亿买到122套问题房，开发商回应
• ·NBA历史初次！2022
• ·鉴赏高校需要买“门票”？花30元进校，想要深度游，还要另付向导费
• ·[瞎话板]波尔津吉斯更新Ins晒照：愿望下个赛季是我的最佳赛季
• ·官宣！3笔签约达成，湖人双喜临门，快船再砸4.4亿，最大垃圾合同北大才女48岁至今未婚，朱迅问：“你最想嫁给谁？”不料她说的名字让全场哄堂大笑！
• ·港交所行政总裁欧冠升：互联互通优化扩容力度前所未有以为她们退圈了，原来是被“医美”害惨了，这11位女星已物是人非