一、国产AI软硬件适配迎来阶段性升级
最近这些年,国内人工智能相关技术一直在自主研发这条路上慢慢发展,目前市面上已经有不少可以正式投入使用的国产AI芯片。不过在实际使用的时候,国产AI芯片还是存在明显的问题。很多国产芯片本身硬件参数是达标的,但是AI大模型和芯片之间适配做得不好,就会出现显存闲置、算力白白浪费的情况。这种情况一方面增加了企业搭建AI系统的成本,另一方面也阻碍了国产芯片和本土AI模型进一步推广普及。
现阶段业内普遍使用FP16和BF16两种数据运算格式,这两种格式的优点是能保证AI模型计算结果准确,但缺点也很突出,就是占用显存空间很大,对配套硬件的要求比较高。对于体量较小的技术团队来说,很难承担高昂的硬件采购费用。面对这个行业普遍存在的问题,DeepSeek的技术团队对旗下所有AI模型,完成了适配国产AI芯片的FP8格式改造。FP8是一种占用显存更小的数据格式,本次改造只改动了模型底层的运算逻辑,不会改动模型原本的输出效果,也弥补了国产AI软硬件适配不协调的问题。
国产AI软硬件适配迎来阶段性升级图
二、FP8适配的技术优化路径与实际表现
2.1 基于国产芯片架构的深度适配优化
DeepSeek本次开展的FP8适配工作,并不是简单修改数据格式实现表面兼容。市面上不同品牌的国产AI芯片,内部运行逻辑都存在差别,行业通用的FP8标准,原本是按照海外芯片的架构设计的。如果直接照搬这套通用标准用到国产芯片上,很容易出现AI回复卡顿、内容识别错误、内存溢出崩溃等各类运行故障。
为了避免上述故障出现,DeepSeek技术团队改动了模型底层的运算代码,同时调整了芯片内部缓存的调用方式。除此之外,团队还搭配使用了动态精度调节、内存数据精简两项辅助技术,让模型的运行逻辑能够贴合国产芯片本身的运行规律。经过一系列调整之后,DeepSeek全系模型能够在多款主流国产芯片上稳定运行,规避了浅层适配带来的各类运行隐患。
2.2 算力与显存资源实现双向提质
根据多款主流国产AI芯片对外公布的测试数据来看,完成FP8适配之后,模型的硬件资源消耗得到了明显改善。在控制模型参数、输入文本长度完全相同的测试条件下,模型占用的显存平均减少了将近一半。目前市面上主流的中大参数AI模型,都能实现对应的显存优化,也解决了低配国产芯片无法带动大模型运行的普遍问题。
在算力利用层面,国产AI芯片的实际有效算力提升幅度在12%-20%之间,同时减少了芯片内部无效数据传输造成的资源损耗。在智能对话、代码编写、数据分析这些日常使用场景中,适配后的模型运行速度波动不大,整体运行状态比较稳定,能够满足个人用户和中小型企业的日常使用需要。
DeepSeek技术团队开展了上万组对照测试,测试结果表明,适配后的模型在文本阅读理解、逻辑分析、代码编写这些基础功能上,和适配之前几乎没有差别。这次技术调整,兼顾了硬件资源使用效率和用户实际使用感受。
三、适配优化对行业发展的积极作用
DeepSeek本次完成FP8适配优化,对国内AI行业整体发展有着积极的意义。显存和算力利用率同步提升之后,企业不需要采购大批量AI芯片设备,就可以正常运行大模型相关业务。这就降低了AI落地的硬件成本,资金和技术储备不足的中小微企业、传统制造企业,也有能力引入AI工具,让AI技术落地到更多实体行业当中。
站在行业长远发展的角度来看,本次适配工作摆脱了以往大模型依赖海外配套量化工具的现状,摸索出了一套国产大模型搭配国产AI芯片的落地方法。这套方法可以给国内其他AI企业提供参考,推动上下游企业同步进行技术优化,补齐国内AI软硬件配套短板,帮助国内AI行业降低对外技术依赖,进一步降低AI应用的使用门槛。
备注:本文为AI辅助产业资讯整理,测试数据来源于DeepSeek官方公开技术白皮书,未引用第三方未公开实测数据