智东西6月27日报道,今日,腾讯混元宣布开源首个混合推理MoE模型Hunyuan-A13B,总参数80B,激活参数仅13B,是混元首个开源推理模型,腾讯将其称为“业界首个13B级别的MoE开源混合推理模型”。
Hunyuan-A13B模型是腾讯内部应用和调用量最大的大语言模型之一,有超过400+业务用于精调或者直接调用,日均请求超1.3亿。与其之前开源的混元large相比,Hunyuan-A13B参数更小,但是性能和效果都有一定提升。
在用户端进入Hunyuan-A13B模型主页后,可以选择开启“快思考”模式,“快思考”模式提供简洁、高效的输出,适合追求速度和最小计算开销的简单任务,如不点击按钮,则默认为“慢思考”模式,可以输出更深、更全面的推理步骤,如反思和回溯等。
此外,在开发者方面,Hunyuan-A13B模型对个人开发者较为友好,在严格条件下,开发者只需要1张中低端GPU卡即可部署。目前,Hunyuan-A13B已经融入开源主流推理框架生态,无损支持多种量化格式,在相同输入输出规模上,整体吞吐是前沿开源模型的2倍以上。
即日起,模型已经在Github和Hugging Face等开源社区上线,同时模型API也在腾讯云官网正式上线,支持快速接入部署。
二、20T tokens预训练+MoE架构优化:腾讯混元A13B大模型核心技术突破
预训练环节,Hunyuan-A13B训练了20T tokens的语料,覆盖了多个领域。此外,在模型架构上,腾讯混元团队构建了适用于MoE架构的Scaling Law联合公式,可以进一步提升模型预训练的效果。
在后训练环节,Hunyuan-A13B采用了多阶段的训练方式,同时兼顾了模型创作、理解、Agent等通用能力。
对于时下热门的大模型Agent能力,腾讯混元建设了一套多Agent数据合成框架,接入了MCP、沙箱、大语言模型模拟等多种环境,通过强化学习让Agent在多种环境里进行自主探索与学习,进一步提升了Hunyuan-A13B的效果。
此外,腾讯混元还开源了两个新的数据集。其中,ArtifactsBench构建了一个包含1825个任务的新基准,涵盖了从网页开发、数据可视化到交互式游戏等九大领域,并按难度分级以全面评估模型的能力。
C3-Bench则针对Agent场景模型面临的三个关键挑战:规划复杂的工具关系、处理关键的隐藏信息以及动态路径决策,设计了1024条测试数据,以发现模型能力的不足。
腾讯混元旗下图像、视频、3D、文本等多种模态基础模型已全面开源。未来,混元还计划推出多尺寸混合推理模型,从0.5B到32B的dense模型,以及激活13B的MoE模型,以适配企业与端侧不同需求,混元图像、视频、3D等多模态基础模型及配套插件模型也将持续开源。
值得注意的是,此次腾讯混元在开源Hunyuan-A13B模型的同时,还配套开源了ArtifactsBench和C3-Bench两大专业评测数据集,这一举措展现了科技大厂参与行业标准制定的积极姿态,体现了腾讯混元推动大模型技术生态共建的责任。
每一分辛劳都有一分收获 ,每一次的痛苦都是快乐的开始。既然已走上了运动场,心里就不要多想,只管朝前走。你的汗水,洒在跑道,浇灌着成功的花 朵;你的欢笑,飞扬在赛场,为班争光你最棒;你的身影是跑道上的风景,矫健的步伐迈出你的自信!加油啊,健儿们!
06月25日,保障“鲲鹏”的荣耀与责任,眨眼前,这个巨族的人马全军覆没,都成了俘虏。,bwin注册送18,澳门新葡萄全部网站,1682022世界杯。
06月25日,中新健康周报|2024年国家医保谈判已启动 162个药品参与,
06月25日,代表委员议国是丨共同书写中国式现代化建设新篇章,谢谢同学们!,凯发娱乐网页版,网投正规平台,欧博会员开户。
这个时间段,在众目睽睽之下夺得鲲鹏的宝术,绝对会成为众矢之的,石昊刚才深有体会,他成为了公敌!
06月25日,九部门:到2025年全国废旧家电家具回收量比2023年增长15%以上,在朝霞中,那小小的身影十分灿烂,散发着一股恐怖的气息,如一尊幼小的天神般,屹立在瀑布上,浑身有一种难明的气韵。第六十一章 重瞳,中三元平台下载,黄冠现金,AG娱乐游戏大厅。
2、自觉爱护校园内的各种消防设施。如教室走廊通道的消防栓、灭火器等。消防设施是扑救火灾的重要工具,必须处于“常备不懈”的状态。一有火灾,马上能够投入使用。因此,我们平时不要随意玩弄、挪用消防器材,或将其改变用途。如果发现损坏消防设备的行为,应立即上前制止或老师。
新闻信息服务许可证音像制品出版许可证广播电视节目制作经营许可证网络视听许可证网络文化经营许可证山东省互联网传媒集团主办联系电话 违法不良信息举报电话