腾讯发布开源MoE大语言模型Hunyuan
时间:2024-12-29 10:54:58 来源:鸥水相依网 作者:综合 阅读:347次
11月5日消息,腾讯腾讯今日宣布推出业界参数规模最大、发布效果最好的开源开源MoE大语言模型Hunyuan-Large。
Huanyuan-large模型的模型总参数量为389B、激活参数为52B、腾讯训练token数量为7T、发布最大上下文长度为256K、开源词表大小为12.8w。模型
在技术创新方面,腾讯Hunyuan-large通过高质量的发布合成数据来增强模型训练,弥补了自然数据的开源不足。
其中,模型该模型预训练支持处理高达256K的腾讯文本序列,大幅提升了长文本上下文的发布处理能力,能够更高效地完成长文本任务。开源
据了解,Hunyuan-large在CMMLU、MMLU、CEva1、MATH等多学科综合评测集上表现优异,在中英文自然语言处理、代码生成、数学运算等9大能力维度中全面领先,超越了Llama3.1和Mixtral等一流开源模型。
此外,腾讯还宣布将推出自研的长文评测集“企鹅卷轴(PenguinScrolls)”,以填补行业在真实长文评测集上的空白。
企鹅卷轴基于公开的金融、法律、学术论文等长文本构建,文本长度从1K到128K不等,覆盖深度阅读理解和长文推理任务。
(责任编辑:百科)
最新内容
热点内容
- ·皇马与利雅得新月同组,姆巴佩、内马尔有望明夏赛场相遇
- ·大学生夜骑开封被郑州共享单车联合叫停:超区骑行将被系统强锁
- ·《龙腾世纪:影障守护者》PC无预载 因没有任何DRM
- ·早报:马卡报为梅西颁发特别奖
- ·ZPY在NH时骂ZPY怂,12月来NH骂12月怂,AZ来NH骂AZ怂,怎么谁来谁怂呢
- ·国产显卡重大里程碑!摩尔线程首个DX12驱动发布
- ·淘宝重大决定!关闭全额仅退款评价入口 预计一年减少265万条中差评
- ·《崩坏:星穹铁道》走近星穹 「乱破:白枭•忍者爆发四散之卷」
- ·iPhone SE 4影像敲定:前后摄像头都是LG供货
- ·KK官方对战平台超爽地图《苍天陨落》解锁防守新方式!这次来点不一样的!