为什么我对本地模型感兴趣

很多移动端 AI 场景并不需要永远联网。图片去水印、OCR 辅助、离线翻译、文本分类，这些任务一旦能在设备本地完成，体验会稳定很多，隐私边界也更清晰。

TFLite 的现实感

TFLite 的优点不是”最先进”，而是足够工程化。模型体积、推理速度、设备兼容性和 Android/iOS 集成路径都相对清楚。真正麻烦的是模型前后处理：尺寸归一化、颜色通道、量化精度、输出解释，这些地方一错，结果就会完全失真。

我最在意的优化点

  • 模型加载只做一次，避免每次任务都重复初始化
  • 前处理和后处理尽量避免多余的 bitmap 拷贝
  • 把推理放到后台线程，UI 只消费状态

本地 AI 的价值不只是省一次请求，而是让产品在”没有网络的时候”依然成立。 开发笔记

什么时候不该本地做

如果模型太大、设备覆盖太差、结果对精度要求极高，或者需要持续热更新能力，那就不该为了”本地”而本地。好方案应该是场景驱动，而不是理念驱动。