找回密码
 注册

QQ登录

只需一步,快速开始

搜索
查看: 23|回复: 2

[数码资讯] 京东开源 JoyAI-LLM-Flash 大模型:总参数 48B,激活参数 3B

[复制链接]
  • 打卡等级:已臻大成
  • 打卡总天数:720
发表于 2026-2-16 09:05 | 显示全部楼层 |阅读模式

马上注册,查看更多内容,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?注册

×
京东昨天在 Hugging Face 平台开源了 JoyAI-LLM-Flash 大模型,拥有 3B 激活参数以及 48B 总参数,在 20 万亿文本 Token 上进行预训练,擅长前沿知识理解、推理能力、编程、智能体等方面。



据介绍,这款模型拥有全新优化框架 FiberPO,能够将纤维丛理论(fiber bundle theory)引入强化学习,并在训练中使用 Muon 优化器,通过微调 SFT、DPO 以及强化学习(RL)进一步训练。

同时,这款模型结合了 Muon 优化器以及稠密 MTP(Multi-Token Prediction),解决了传统模型规模扩展时不稳定的问题,相比非 MTP 版本吞吐量提升 1.3x-1.7x。
  • 打卡等级:已臻大成
  • 打卡总天数:709
发表于 2026-2-16 09:33 | 显示全部楼层
谢谢分享。
回复 支持 反对

使用道具 举报

  • 打卡等级:已臻大成
  • 打卡总天数:722
发表于 2026-2-16 10:00 | 显示全部楼层
感谢分享!
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

文字版|手机版|小黑屋|RSS|举报不良信息|精睿论坛 ( 鄂ICP备07005250号-1 )|网站地图

GMT+8, 2026-2-16 17:11 , Processed in 0.139456 second(s), 4 queries , Redis On.

Powered by Discuz! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表