如今手机 AI 应用十分普及，但多数功能都需要联网依托云端运行，网络差时容易卡顿，还存在个人数据泄露的隐私隐患。同时普通手机本地 AI 能力有限，难以处理复杂问题。对此字节跳动优化出轻量化 70B 大模型，可在高配手机本地运行，有效弥补了手机 AI 的各类短板。
一、70B端侧模型落地，打破移动端算力局限
其实大部分普通的手机用户，都不太清楚大模型参数到底代表着什么。简单直白地说，大模型的参数数值越高，理解、推理、创作能力越强。700亿参数的大模型，整体的综合性能是比较出色的，在之前很长一段时间里，这种规格的大模型，只能够在专业的算力设备和云端服务器当中运行使用，没办法搭载在手机设备上。
以前手机上面搭载的本地AI大模型，大多都是7B、14B这种小参数版本，这种小参数模型，只能应付日常简单的聊天、基础的文案编辑这类比较轻松的使用场景。一旦碰到需要整理长篇文字、分析复杂逻辑、汇总专业内容这类情况，模型的能力就会显得很不够用。字节跳动这次做出的版本更新，不再只是单纯优化小参数模型，成功实现了百亿级大模型和高性能手机的适配，很大程度提升了手机AI的整体使用效果。
70B端侧模型落地示意图
二、轻量化优化升级，兼顾体积与实用性能
这一次官方对模型进行迭代更新，并没有采用那种直接删减参数的简单粗暴的办法。研发团队是通过各种各样的方式一点点进行优化调整，在有效缩小模型整体体积、降低手机耗电情况的同时，完整保留了大模型原本拥有的核心功能。这样一来，模型既可以很好地适配手机设备，也不会丢失原本的各项使用性能。
研发团队在优化过程中，用到了量化处理、模型剪枝、缓存优化等相关技术，同时还专门针对手机GPU做了对应的适配调整，这样就有效减少了模型运行时需要占用的手机内存和算力资源。也解决了之前大模型搭载在手机上时，经常出现的加载速度慢、运行容易卡顿、耗电速度过快这些常见问题。就算手机断开网络连接，纯本地运行这个模型，也能维持比较稳定的运行速度，日常使用起来会顺畅很多。
对比现在市面上其他厂商的手机模型优化方案来看，字节跳动这一次的更新优化，会更加贴合我们日常使用手机的实际场景。不会为了迁就手机硬件设备，就强行削弱模型本身的各项功能，做到了模型使用性能和手机设备适配效果的双向兼顾。
三、脱离云端依赖，提升用户隐私与使用体验
这一次的技术更新，带给用户最直观的改变就是，手机AI不再需要时时刻刻依赖网络和云端服务器才能使用。以前我们使用手机AI功能的时候，所有的操作数据都必须上传到云端进行处理，如果遇到没有网络或者网络质量很差的情况，AI功能就完全用不了。而且数据在传输的过程中，也会存在一定的隐私泄露风险。
现在有了这款轻量化的70B端侧大模型之后，像文字问答、内容创作、文本总结、本地文件整理这些常用操作，全部可以直接在手机本地完成运行计算。不需要连接网络就可以快速响应人的需求，不仅解决了网络延迟带来的不好的使用体验，也大幅减少了个人数据向外传输的情况，让用户的隐私安全得到了更好的保障。
除了这些优势之外，升级更新后的新模型，处理各类复杂任务的能力显著提升。像多轮深度对话、长篇内容解读、创意文案撰写这些以前手机AI很难完成的工作，现在都可以顺利稳定地做好。这也让手机AI不再只是一个简单的辅助工具，能够适配我们日常办公、学习、生活当中的各种各样使用场景。
当下不少科技企业都在钻研端侧AI技术，而百亿级70B大模型手机端流畅运行，有着很高的技术难度。字节跳动此次模型升级，推动了大参数AI模型适配手机设备，为行业优化提供了新思路。随着技术不断发展，离线、安全的手机AI会成为未来的主流。