なべいいずみ(鍋井泉)网

功能逾越Llama2

时间:2025-03-17 12:57:32 来源:

高功能、可商用,国产大模子又有开源新动向 。

8 月 7 日 ,百亿参数高功能通用大模子「XVERSE-13B」宣告开源 。

  • Hugging Face:https://huggingface.co/xverse/XVERSE-13B

  • Github:https://github.com/xverse-ai/XVERSE-13B

而 XVERSE-13B 的打造者  ,正是前腾讯公司副总裁姚星教师于2021年初建树的AI 与元宇宙技术效率公司元象 XVERSE。

姚星姚星

在去职守业以前,姚星主导建树了腾讯首总体工智能试验室 AI Lab(2016 年)以及首个机械人试验室 Robotics X (2018 年) ,曾经增长腾讯在机械学习、合计机视觉、语音到做作语言处置等前沿 AI 技术的钻研与运用 ,主导推出多个有行业影响力的运用与产物 ,搜罗国家围棋队 AI 陪练「绝艺」 、王者光华 AI「绝悟」、中国首款临床用智能显微镜、AI 驱动的新药发现平台「云深智药」及腾讯智慧种植妄想 iGrow 等 。

打造最强功能的开源大模子

XVERSE-13B 是当初同尺寸中下场最佳的多语言大模子 ,可收费商用。它具备了高功能、全开源 、可商用等诸多优势,能大大飞腾高校以及企业部署运用大模子的老本 ,不光实现为了国产可替换 ,也是中文运用更好的抉择  。

在多项威信的尺度中文以及英文测评中 ,功能逾越了 Llama-2-13B、Baichuan-13B 等国内外开源大模子(见下图一)  。

图一
:经由多项威信测评�,XVERSE-13B 是当初同尺寸中下场最佳的多语言大模子。图一 :经由多项威信测评,XVERSE-13B 是当初同尺寸中下场最佳的多语言大模子 。

作为一个通用大模子,XVERSE-13B 可提供文本天生  、自动化写作  、数据合成 、知识问答  、多语言翻译 、特色化交互、人物脚色饰演、业余小助手等多方面的天生效率 ,在医疗 、文旅、金融以及娱乐等多个行业具备广漠运用远景 。

据清晰 ,元象近期还将宣告大模子 Chat 版 ,开箱即用  ,不断优化开拓者体验。

磨炼语料对于大模子下场至关紧张。XVERSE-13B 构建了一个高达 1.4 万亿高品质 、多样化 tokens 的磨炼数据集,同时优化采样策略以及数据机关方式,让模子反对于中 、英 、俄 、西等 40 多种语言,而且多语言使命处置的功能与下场俱佳。

XVERSE-13B 反对于 8192 的高下文窗口 ,是同尺寸模子中最长的 ,从而能卓越应答重大场景,好比更长的多轮对于话、知识问答与摘要等,运用规模更普遍。

模子运用尺度 Transformer 收集妄想,从零开始磨炼,还自主研发多项关键技术,搜罗高效算子 、显存优化 、并行调解策略、数据 - 合计 - 通讯重叠 、平台以及框架协划一 ,让磨炼功能更高 ,模子晃动性强,在千卡集群上的峰值算力运用率可抵达 58.5%,位居业界前线 。

多个威信中文测评中展现优异 ,逾越 Baichuan-13B

为验证模子各项能耐 ,XVERSE-13B 经由 C-Eval、AGIEval 以及 GAOKAO-Bench 等三个最具影响力的中文测评基准的综合评估(图二),展现优异,逾越了同参数规模主流模子 ,如 Baichuan-13B、Llama-2-13B  、Ziya-LLaMA-13B 等。 

图二:在多个威信中文测评中,XVERSE-13B 展现逾越了同参数规模的主流模子。图二  :在多个威信中文测评中 ,XVERSE-13B 展现逾越了同参数规模的主流模子 。

在中文 C-Eval 的测评中(图三) ,XVERSE-13B 综合评分抵达了 54.7 分,逾越了同参数规模的主流模子。C-EVAL 测评基准由上海交通大学、清华大学以及爱丁堡大学散漫建树,是面向中口语语模子的综合魔难测试集,拆穿困绕了 52 个来自差距行业规模的学科。

图三:C-Eval 中文测评服从
。图三:C-Eval 中文测评服从 。

在 AGIEval 测评里 ,XVERSE-13B 综合评分抵达 41.4 分  ,逾越了同参数规模主流模子(图二) 。AGIEval 测评基准由微软钻研院建议 ,旨在周全评估根基模子在人类认知以及下场处置相关使命上的能耐,搜罗了中国的高考、法律魔难 ,以及美国的 SAT、LSAT 、GRE 以及 GMAT 等 20 个果真且松散的民间退学以及职业资历魔难。

在 GAOKAO-Bench 测评中 ,XVERSE-13B 综合评分抵达了 53.9 分,清晰争先于同参数规模的主流模子(图二) 。GAOKAO-Bench 测评基准是复旦大学钻研团队建树的测评框架,以中国高考问题作为数据集 ,用于测评大模子在中口语语清晰以及逻辑推理能耐方面的展现  。

英文测评展现争先 Llama-2-13B

XVERSE-13B 的英文展现同样卓越,在英文最威信评测 MMLU 中,其综合评分高达 55.1 分,简直在所有维度逾越了同参数规模的主流模子(图四) ,搜罗 Llama-2-13B、Baichuan-13B 等。

图四
:MMLU 英文测评服从。图四  :MMLU 英文测评服从 。

MMLU 由加州大学伯克利分校等驰名高校配合打造,会集了迷信 、工程、数学 、人文、社会迷信等规模的 57 个科目 ,主要目的是对于模子的英文跨学科业余能耐妨碍深入测评  。其内容普遍 ,从低级水平不断涵盖到低级业余水平。

需要夸张的是,测评只反映了大模子底座的中间能耐 ,元象将不断迭代优化 ,周全提升模子能耐。

收费可商用 哈工大争先运用助力钻研

秉持开源肉体 ,XVERSE-13B 代码接管 Apache-2.0 协议 ,向学术钻研残缺开源,企业惟独重大挂号,即可收费商用 。

哈尔滨工业大学(下称「哈工大」)作为我国最先处置做作语言处置钻研的顶级科研团队,已经争先运用 XVERSE-13B 大模子增长相关钻研使命。哈工大合计机迷信与技术学院张伟男教授展现 ,「开源是互联网时期主流方式 ,不光能贡献社区,增长技术不断立异,还能运用协同处置算法透明性、晃动性  、公共信托度等特色下场。」

元象 XVERSE 独创人姚星展现 :「着实天下的感知智能(3D)  ,与着实天下的认知智能(AI) ,是探究通用家养智能(AGI)的异曲同工 ,也是元象不断探究 3D 与 AI 前沿技术的能源。XVERSE-13B 是咱们在国产技术自主自强上迈出的一小步  ,而开源凋谢将激发大模子生态去世气愿望 ,让 AI 的未来睁开迈出一大步 ,为实体经济 、数字经济的睁开注入单薄能源。咱们期待与泛滥企业与开拓者携手,独创大模子商用新纪元 。」

推荐资讯
英超-B席格拉利什破门哈兰德缺席 曼城2-1卢顿结束4轮不胜

英超-B席格拉利什破门哈兰德缺席 曼城2-1卢顿结束4轮不胜

德甲多特蒙德主场取胜问题不大。

德甲多特蒙德主场取胜问题不大。

尤文图斯VS紫百合:352出击,意大利中场妖星坐镇,小基耶萨冲锋男性50岁之后眉毛突然变长,说明了什么?医生:多数人被蒙在鼓里

尤文图斯VS紫百合:352出击,意大利中场妖星坐镇,小基耶萨冲锋男性50岁之后眉毛突然变长,说明了什么?医生:多数人被蒙在鼓里

曼城1-1利物浦!哈兰德创纪录,阿森纳机会:赢球即可登顶美国人评论各国街头:印度很脏,日本很干净,中国只有4个字。

曼城1-1利物浦!哈兰德创纪录,阿森纳机会:赢球即可登顶美国人评论各国街头:印度很脏,日本很干净,中国只有4个字。

重返 DPOY+ 西部第一,再看戈贝尔交易,森林狼还亏麻了吗 省队教练、前羽毛球国手不幸溺亡!年仅31岁、结婚不到2个月…8-1!国乒轻松击败韩国队夺冠,孙颖莎:胜利离不开每个人的付出因世界杯北京站比赛受伤,林孝埈退出首尔站赛事

重返 DPOY+ 西部第一,再看戈贝尔交易,森林狼还亏麻了吗 省队教练、前羽毛球国手不幸溺亡!年仅31岁、结婚不到2个月…8-1!国乒轻松击败韩国队夺冠,孙颖莎:胜利离不开每个人的付出因世界杯北京站比赛受伤,林孝埈退出首尔站赛事

德媒:泛滥迹象表明劳尔将执教柏林联,估量周日宣告

德媒:泛滥迹象表明劳尔将执教柏林联,估量周日宣告

copyright © 2016 powered by なべいいずみ(鍋井泉)网   sitemap