会员登录 - 用户注册 - 设为首页 - 加入收藏 - 网站地图 腾讯发布开源MoE大语言模型Hunyuan!

腾讯发布开源MoE大语言模型Hunyuan

时间:2024-12-29 10:54:58 来源:鸥水相依网 作者:综合 阅读:347次

11月5日消息,腾讯腾讯今日宣布推出业界参数规模最大、发布效果最好的开源开源MoE大语言模型Hunyuan-Large。

Huanyuan-large模型的模型总参数量为389B、激活参数为52B、腾讯训练token数量为7T、发布最大上下文长度为256K、开源词表大小为12.8w。模型

腾讯发布开源MoE大语言模型Hunyuan

在技术创新方面,腾讯Hunyuan-large通过高质量的发布合成数据来增强模型训练,弥补了自然数据的开源不足。

其中,模型该模型预训练支持处理高达256K的腾讯文本序列,大幅提升了长文本上下文的发布处理能力,能够更高效地完成长文本任务。开源

据了解,Hunyuan-large在CMMLU、MMLU、CEva1、MATH等多学科综合评测集上表现优异,在中英文自然语言处理、代码生成、数学运算等9大能力维度中全面领先,超越了Llama3.1和Mixtral等一流开源模型。

此外,腾讯还宣布将推出自研的长文评测集“企鹅卷轴(PenguinScrolls)”,以填补行业在真实长文评测集上的空白。

企鹅卷轴基于公开的金融、法律、学术论文等长文本构建,文本长度从1K到128K不等,覆盖深度阅读理解和长文推理任务。

(责任编辑:百科)

相关内容
  • [流言板]希罗末节追身命中首记三分,延续连续55场比赛命中三分纪录
  • 《龙腾世纪:影幛守护者》成就列表已泄露 浪漫关系将不会与成就挂钩
  • 欧冠积分榜:皇马落到第17名,曼城跌出前五,利物浦全胜领跑
  • 淘宝重大决定!关闭全额仅退款评价入口 预计一年减少265万条中差评
  • 患者称做彩超时有第三方工程师闯入 东莞市中医院回应
  • 建造、战斗,打出你的王牌:《萌兽镇:建城卡斗》(Wild Country) 将于 10 月 26 日在 PC、Xbox 和 Switch 上发布!
  • 《机甲战士5:部族》,《寂静之地:前方之路》等游戏支持DLSS 3
  • 建造、战斗,打出你的王牌:《萌兽镇:建城卡斗》(Wild Country) 将于 10 月 26 日在 PC、Xbox 和 Switch 上发布!
推荐内容
  • 马雷斯卡:俱乐部没要求我们去争冠,卖球员解决财政问题是目标
  • 科幻恐怖《时间旅者:重生曙光》公布 Bloober Team打造
  • 《刀剑神域:碎梦边境》首个角色DLC发售 斯托蕾雅登场
  • 悬疑叙事解谜游戏《孙美琪疑案》2024试玩版现已登陆Steam新品节
  • [流言板]TES发布人员变动公告:Ggoong和Ben加入战队共同担任副教练
  • 空牙系列2合一Steam页面上线  发售日期待定