登录
淘宝 MNN 团队开源的 MNN-Pocket-0.3B，11 月 6 日冲上热榜。IT之家当天在微博报道了这件事。 MNN 仓库的发布记录写的是 11 月 4 日。 项目负责人陈志文 5 日晚补了说明。IT之家GitHub小红书
先给结论：这是一个 3 亿参数的手机端语言模型，INT4 包 173MB，支持 32K 上下文，Apache 2.0 开源，在 iPhone 18 Pro 上离线解码约 350 token/s。
它不是缩小版 ChatGPT，更像一个能嵌进 App 流程里的本地小模型。
350 token/s，测的是解码
官方 README 写得很清楚：350 token/s 是 iPhone 18 Pro 上的解码速度。GitHub
技术报告的速度表只列了 iPad Pro M5 和骁龙 8 Gen 5，没有 iPhone 18 Pro；测试条件是 512 token 上下文、INT4、贪婪解码、五次取中位数。
iPad Pro M5 用 Metal 解码 466 token/s；骁龙 8 Gen 5 用 CPU 251、OpenCL 138。 也就是说，安卓旗舰大约在 138 到 251 之间。MNN 技术报告
还要分清 prefill 和 decode。350 是逐 token 生成的速度，不是整段回答的端到端延迟。
iPad Pro M5 的 prefill 是 8721 token/s，iPhone 18 Pro 没给。长上下文还有 KV cache 开销，官方没有给出 32K 下的速度数据。
350 token/s 是真的，但对应短上下文、顶配设备、解码阶段。理解成“手机回复和云端一样快”，会高估。
173MB，才是能进 App 的原因
手机应用先看内存。MNN 团队定的线是峰值内存 300MB 以内、解码 200 token/s 以上。
MNN-Pocket-0.3B 的 INT4 包 173MB，在 iPad Pro M5 上峰值内存 228MB，刚好压线。MNN 技术报告
体积能压这么小，词表也做了减法：从约 15 万砍到 6.4 万。
INT4 量化最后用了量化感知训练，官方称平均分只掉 0.41。ModelScope
这也解释了它为什么能进淘宝这类 App：173MB 的模型文件和 200MB 级的运行内存，多数近几年中高端手机都能承受。
不过，173MB 只是语言模型本身。技术报告里的全离线语音助手，整包存储 2018MB，iPhone 13 Pro 上峰值内存 1591MB，解码 130.2 token/s。
ASR、TTS 也要算进去，173MB 不是整个 AI 功能的体积。
它能干什么，不能干什么
官方在 11 个中英文基准上给了平均分 50.00，同期 MiniCPM4-0.5B 是 46.81，Qwen3-0.6B 是 44.28。按 11 项等权平均，它排第一。ModelScope
IFEval、IFEval-zh、GSM8K、HumanEval 都是同组第一。
C-Eval 只有 38.86，MiniCPM4-0.5B 是 67.98。 这说明世界知识不是它的强项。MNN 技术报告
技术报告的结论也承认，知识密集任务和复杂推理仍然吃力。MNN 技术报告
它更适合意图识别、表单填写、评论抽取、短对话、离线语音助手。报告里的电商评论观点抽取微调实验，F1 80.15，超过 Qwen3-1.7B 的 78.59。MNN 技术报告
真正的信号
这次发布最值得看的，不是 350 这个数字，而是 173MB、228MB 峰值内存、200 token/s 这三条线同时被压住。
端侧模型的竞争，正在从“能不能在手机上跑”变成“能不能塞进一个真正的 App，还不影响别的功能”。
淘宝的动机很直接：评论理解、语音交互、用户意图、搜索推荐，都是电商 App 的高频短链路任务。
0.3B 的本地模型比每次请求云端更便宜、更可控；Apache 2.0 也降低了试用门槛。GitHub
需要保留的疑问也有。350 token/s 目前只有官方数据，技术报告的速度表没列 iPhone 18 Pro。
“跑 100 次增量耗电不到 1%”是团队的自述。 测试负载没有公开。小红书
骁龙 8 Gen 5 上只有 138 到 251 token/s。第三方复现前，这些数字都该加个“官方口径”。
但方向很清楚：手机里的 AI 不一定是“什么都能聊的助手”，也可以是一堆很小、很快、很便宜的模型，藏在每个 App 的具体功能里。MNN-Pocket-0.3B 是往这个方向走的一步。
