Google AI Edge Gallery Tutorial - How To Run LLMS Locally On Your Phone

Google 刚刚做了件挺实在的事：把 LLM 塞进了你的手机里，不需要联网，不需要付 API 费用，就在本地跑。

AI Edge Gallery 这个 app 现在已经上架 iOS 和 Android。你可能会说，端侧 LLM 不是早就有了吗？Llama 在手机上跑也不是新闻了。但 Google 这次的玩法不太一样——他们不是发个 SDK 让你自己折腾，而是直接给了一个开箱即用的 gallery app，里面集成了多个模型，还附带完整的 tutorial。换句话说，他们在降低这件事的门槛，从「开发者能做」变成「产品经理也能看懂」。

这个时机值得琢磨。现在大家都在往两个方向跑：一边是 OpenAI、Anthropic 这些公司把模型越做越大，推理成本越来越高；另一边是 Meta、Google 这些巨头在端侧狂卷。表面上看是技术路线之争，实际上是商业模式的分野。云端 API 按 token 收费，用得越多交得越多；端侧模型一次部署，之后的 inference 成本几乎为零。对开发者来说，这不是性能问题，是成本结构问题。

当然，端侧模型的能力肯定比不上 GPT-4 或 Claude 3.5 Sonnet，这是物理限制。但问题是，你真的需要每个场景都用最强的模型吗？文本分类、情感分析、简单的 QA、实时翻译——这些场景用小模型完全够，而且 latency 更低，用户体验反而更好。Google 这步棋的聪明之处在于，他们不是要你在云端和端侧之间二选一，而是在培养一个新的开发习惯：先想想这个任务能不能在本地搞定，搞不定再调云端 API。

更关键的是隐私。现在用户对数据敏感度越来越高，尤其是在中国市场，合规压力只会越来越大。如果你的 AI 功能全靠云端，每条用户输入都要上传，这在某些场景下就是个死结。端侧 LLM 天然解决了这个问题——数据不出设备，没有传输，没有存储，也就没有泄露风险。对 to C 产品来说，这可能是个被低估的卖点。

Google 这个 gallery 本质上是个教育工具，但教育的对象不只是开发者，还有整个行业。他们在告诉市场：端侧 AI 不是 demo，是可以落地的方案。这对国内的手机厂商、app 开发者都是个信号——如果你还在纠结要不要自己训练小模型，或者担心端侧部署太复杂，现在可以直接拿 Google 的方案试试水温。

端侧 AI 的战争才刚开始，但战场已经从实验室转移到了每个人的口袋里。