大模型的端侧部署

出于数据隐私性或者网络可达形的考虑，AI模型有时需要离线部署。作为绝大多数人最易获取的计算设备，智能手机端侧部署是实现普适AI最直接、最必然的方式。目前移动端部署大模型有以下方式：

Termux 是一个适用于 Android 的终端模拟器，其环境类似于 Linux 环境。在termux中，可以使用llama-cpp或ollama等方式进行LLM的推理。

Chaquopy 提供了在 Android 应用中添加 Python 组件所需 SDK，相比其他方案，该方式支持的 python 版本受限且 LLM 推理所需的部分 pip 包需要自行构建。

MNN-LLM 是一个机器学习训练和推理框架，和 MLC-LLM 类似，该方案提供了 LLM 在端侧设备的运行时解决方案并进行了大量的算子优化。

ExecuTorch 是 PyTorch 社区针对现有 pytorch 模型在边缘设备上推理提供的解决方案，与此对应的有 Google AI Edge。

目前来说，Termux、MNN-LLM 已有部分成功应用案例，长远来看，MNN-LLM 和 ExecuTorch 则更有可能成为主流。