腾讯发布开源MoE大语言模型Hunyuan
发布时间：2024-12-27 16:24:45 作者：玩站小弟 
我要评论
我要评论11月5日消息，腾讯今日宣布推出业界参数规模最大、效果最好的开源MoE大语言模型Hunyuan-Large。Huanyuan-large模型的总参数量为389B、激活参数为52B、训练token数量为
。
11月5日消息，腾讯腾讯今日宣布推出业界参数规模最大、发布效果最好的开源开源MoE大语言模型Hunyuan-Large。
Huanyuan-large模型的模型总参数量为389B、激活参数为52B、腾讯训练token数量为7T、发布最大上下文长度为256K、开源词表大小为12.8w。模型
在技术创新方面，腾讯Hunyuan-large通过高质量的发布合成数据来增强模型训练，弥补了自然数据的开源不足。
其中，模型该模型预训练支持处理高达256K的腾讯文本序列，大幅提升了长文本上下文的发布处理能力，能够更高效地完成长文本任务。开源
据了解，Hunyuan-large在CMMLU、MMLU、CEva1、MATH等多学科综合评测集上表现优异，在中英文自然语言处理、代码生成、数学运算等9大能力维度中全面领先，超越了Llama3.1和Mixtral等一流开源模型。
此外，腾讯还宣布将推出自研的长文评测集“企鹅卷轴（PenguinScrolls）”，以填补行业在真实长文评测集上的空白。
企鹅卷轴基于公开的金融、法律、学术论文等长文本构建，文本长度从1K到128K不等，覆盖深度阅读理解和长文推理任务。
相关文章
错过了双11、双12的小伙伴们，别气馁，2025年货节就快来啦，持续时间长达1个月，有很多机会挑选自身需要的物件。这几年各种家电慢慢成为了新年货，不仅实用性强，而且口碑也很好，用在家里非常实在！在这里2024-12-27
12月20日消息，在哥本哈根的媒体沟通会上，真我14 Pro、真我14 Pro+正式对外公布，新品将于1月份在全球上市发售，价格尚未公布。据悉，真我14 Pro系列全球首发温度感应变色技术，由真我联合2024-12-27
大伙儿有没有发现，之前都是新势力爱吹智驾，现在老牌车企却一个比一个积极。前不久有消息说，比亚迪正在疯狂加码智驾，整合了一波智驾部门，把人码齐钱管够，就为了明年要在全系车型推出智驾版，连 6.98 万起2024-12-27
居世界第90名创近10年新低！中国申办世界杯最快也得2046年
12月20日消息，国际足联公布了2024年年终国家队的排名，和上个月一样，国足排名仍居世界第90名，而这个名次也创下了近10年国足年终排名的新低。此前，国足历史最低国际足联排名是第109名，这一排名出2024-12-27
近日“仙剑之父”姚壮宪接受媒体采访，聊了聊《仙剑》系列游戏在破圈出海方面所面临的难点。他还大赞《黑神话：悟空》，认为其改编很成功。姚壮宪认为，对于任何一款国产游戏而言，首先要赢得国内年轻用户的喜爱，才2024-12-27
12月5日讯热刺主帅波斯特科格鲁力挺状态起伏的孙兴慜，认为不应轻易质疑这位32岁的球星，并以萨拉赫为例说明年龄不是问题。当被问及是否应该因为孙兴慜年龄增长而调整对他的期望时，波斯特科格鲁："大约一年前2024-12-27
最新评论