MNN Chat官方下载2025安卓版

MNN Chat 2025安卓版(com.alibaba.mnnllm.android)，高效部署大语言模型！支持千问、百川、LLAMA等多种模型，兼容Tensorflow、ONNX等格式。亮点在于多模态大模型支持，新增LLM单步执行、扩展采样算法等功能，CPU/GPU性能大幅优化，加载速度更快。适用于手机、PC等设备，快来体验流畅的AI对话！

MNN Chat是什么

MNN-LLM是基于MNN引擎开发的大语言模型运行方案，解决大语言模型在本地设备的高效部署问题(手机/个人电脑/嵌入式设备)。支持常见的千问/百川/智谱/LLAMA等大语言模型。

MNN Chat怎么用

1、在本站下载安装软件，打开后进入主页，进入主页可以看到AI模型，大家可以根据自己的需求选择想要部署的AI模型；

2、然后选择需要下载的文件，直接点击就能快速下载；

3、还可以在搜索框输入关键词进行搜索下载。

支持哪些

支持 Tensorflow、Caffe、ONNX、Torchscripts 等主流模型文件格式，支持CNN / RNN / GAN / Transformer 等主流网络结构。

支持多输入多输出，支持任意维度的输入输出，支持动态输入（输入大小可变），支持带控制流的模型

算子丰富，支持 178 个Tensorflow Op、52个 Caffe Op、163个 Torchscipts Op、158 个 ONNX Op（ONNX 基本完整支持）

支持 服务器 / 个人电脑 / 手机 及具有POSIX接口的嵌入式设备，支持使用设备的 CPU / GPU 计算，支持部分设备的 NPU 计算（IOS 11 + CoreML / Huawei + HIAI / Android + NNAPI）

支持 Windows / iOS 8.0+ / Android 4.3+ / Linux  及具有POSIX接口的操作系统

使用说明

1、兼容 Tensorflow、Caffe、ONNX、Torchscripts 等多种主流模型文件格式，并适配 CNN、RNN、GAN、Transformer 等主流网络架构。

2、具备多输入多输出能力，可处理任意维度的输入输出数据，支持动态输入（即输入大小不固定），同时兼容含有控制流的模型。

3、算子库丰富，涵盖 178 个 Tensorflow 操作符、52 个 Caffe 操作符、163 个 Torchscripts 操作符、158 个 ONNX 操作符（ONNX 操作符基本实现全面支持）。

4、广泛适用于服务器、个人电脑、手机以及具有POSIX接口的嵌入式设备，支持利用这些设备的 CPU、GPU 进行计算，同时部分设备还支持 NPU 计算（如 IOS 11 及以上版本的 CoreML、华为 HIAI、Android NNAPI）。

5、操作系统兼容性强，支持 Windows、iOS 8.0 及以上版本、Android 4.3 及以上版本、Linux 以及具有POSIX接口的其他操作系统。

MNN Chat最新版本更新内容

LLM 相关更新

App 发布

Android

新增Android的大模型应用（LLM / Diffusion），详见 apps/Android/MnnLlmChat/README.md

iOS

新增 iOS 的大模型应用，详见 apps/iOS/MNNLLMChat/README.md

新特性

模型支持

支持 Qwen2-VL / Qwen2-Audio / Qwen2.5-VL 等多模态大模型的导出和运行。

支持 DeepSeek-R1-1.5B-Qwen 和 DeepSeek-R1-7B-Qwen

LLM 单步执行支持

新增了对 LLM 单步执行的支持，便于调试和优化模型推理过程。

LLM 扩展采样算法支持

扩展了采样算法的支持，提升了模型推理的灵活性和多样性。

LLM 导出模型时支持输出历史 Token 的概率值

在导出 LLM 模型时，新增了输出历史 Token 概率值的功能，便于后续分析和优化。

LLM-CPU 支持 mmap 文件缓存

新增了对 mmap 文件缓存的支持，使二次加载模型时避免内存重排，提升了加载效率。

性能优化

CPU 多线程性能进一步提升

对 LLM 多线程性能进行了优化，进一步提升了整体推理速度。

CPU prefill 性能优化

优化了 CPU 上 prefill 性能，使 1024 token 输入和 512 token 输入的 prefill 性能持平。

GPU 优化 OpenCL AutoTuning 耗时

优化了 OpenCL AutoTuning 的耗时，避免了首次推理耗时过长的问题。

GPU 优化：Metal / OpenCL 支持 fp16 的 scale/bias，支持对称量化优化

Metal / OpenCL 后端支持 fp16 的 scale/bias 和对称量化优化的支持，提升了推理效率。

LLM 加速：Metal / OpenCL 后端支持 scale/bias 使用 fp16

Metal / OpenCL 支持 scale/bias 使用 fp16（设置 precision = low 时启用），进一步优化了 GPU 推理性能。