阿里云方面表示,Qwen-14B-Chat是在基座模型上经过精细的监督式微调SFT(Supervised Fine Tuning)得到的对话模型。借助基座模型强大性能,Qwen-14B-Chat生成内容的准确度大幅提升,也更符合人类偏好,内容创作上的想象力和丰富度也有显著扩展。同时,Qwen-14B进一步提高了小尺寸模型的性能上限,在MMLU、C-Eval、GSM8K、MATH、GaoKao-Bench等12个权威测评中取得优秀成绩,超越所有测评中的SOTA(State-Of-The-Art)大模型,也全面超越Llama-2-13B,比起Llama2的34B、70B模型也并不逊色。
此前,8月3日,阿里云将70亿参数的通义千问模型开源,包括通用模型Qwen-7B和对话模型Qwen-7B-Chat。阿里云方面透露,Qwen-7B等模型在魔搭社区上线后,一个多月下载量破100万。随着Qwen-14B的开源,Qwen-7B也全新升级,核心指标最高提升22.5%。
阿里云智能集团首席技术官(CTO)周靖人在接受采访时介绍,Qwen-14B和Qwen-7B处于不同量级,相比此前开源的Qwen-7B,Qwen-14B的整体容量在增加,推理、算数等各种能力也会有所增强,在12个权威测评中的结果也有全面提升。