百度文心大模型最近推出的文心5.1版本,取得了不少的关注。本文仅为文心 5.1 版本通俗解读,不构成产品推荐或使用建议。这个版本注重实际用处,没有过多的宣传,核心就是在成本和能力之间找到了一个很好的平衡点。
一、文心5.1核心特点
很多大模型都在走参数多少、算力多强方向,而文心5.1把重点放在了“实用”和“省钱”上。
1、成本较小
文心5.1是在文心5.0的基础上,优化了子模型矩阵得来的,把总参数量和激活参数量都做了一定的压缩,最终的预训练成本较低,百度文心官方发布,大概只有行业内同规模模型的6%。并不是能力的减弱,而是通过技术优化,减少了不必要的算力浪费,减少了使用大模型的中小企业的资金成本。
2、能力适配
它的能力不算最顶尖,但完全能够满足日常及企业基础需求,不管是日常的内容创作、智能问答,还是企业用到的知识管理、自动化办公,都能轻松应对。而且不用复杂配置,普通人或者开发者,只要简单操作就能上手,不用花大量时间去调试。
3、专注问题
文心5.1没有过多的功能,所有升级都围绕实际使用场景,例如提升推理速度、优化内容生成的准确性,避免出现答非所问、逻辑混乱的情况,主打一个实用简易。

文心5.1核心特点
二、核心技术拆解
1、多维弹性预训练技术
以前的大模型,一种参数规模就要重新训练一次,特别浪费算力和时间。而这个技术,能实现“一次训练,多种复用”,训练的时候可以灵活调整模型的深度与宽度,生成不同规模的子模型,不用重复训练,这样就大大节省了成本与时间。
2、分离式全异步强化学习
这个技术主要解决大模型训练时的三个问题:训练和推理脱节、算力浪费、训练不稳定。它把训练、推理、奖励等环节分开,各自独立运行,按需分配算力,不仅提高了资源利用率,还保证了训练的稳定性,不需要频繁调整参数。另外,文心 5.1 已按规定完成生成式人工智能服务备案,合规向公众提供服务。
3、OPD多阶段强化学习管线
很多大模型会出现一个问题:强化了某一项能力,另一项能力就会下降,比如提升了写作能力,推理能力就变弱了。这种畸形的状态文心5.1中通过分阶段训练,把不同能力的训练分开进行,再整合优化,避免出现“顾此失彼”的情况,让各项能力都能平衡的提升。
三、实际使用价值
不管是普通人、开发者,还是中小企业,都能找到它的特点和用处,门槛相对较低。对于普通人来说,日常写文案、整理资料、答疑解惑等等,文心5.1都能帮忙,不用自己花大量时间琢磨;对于开发者来说,接入它的API很简单,不用复杂配置,能快速把大模型能力融入自己的项目;对于中小企业来说,低成本的优势很明显,不用投入大量资金,就能用上大模型,提升办公效率、优化服务,不用再被高成本、高门槛拦住,这也是它的核心价值之一。