如何在安卓手机上本地安装和运行LLM?
创始人
2024-12-12 14:00:59

了解如何将AI的力量径直带入到你的安卓手机上:没有云,没有互联网,只有纯粹的设备端智能!

在安卓手机上本地运行大语言模型(LLM)意味着你可以在不依赖云服务器或互联网连接的情况下访问人工智能(AI)模型。这种本地环境通过确保数据安全、并在设备端来确保隐私。随着移动硬件领域的发展,在本地运行AI模型已成为了现实。MLC Chat应用程序可以让你很容易直接在手机上体验这种功能强大的技术。

本文将解释在安卓手机上本地运行LLM的重要性,并提供了使用MLC Chat应用程序安装和运行LLM的逐步教程。

为什么在安卓手机上运行LLM?

LLM通常在云服务器上运行,因为它们需要强大的算力。虽然安卓手机在运行LLM方面存在一定的限制,但它们也带来了令人兴奋的可能性。

  • 增强隐私:由于整个计算工作都在你的手机上进行,所以你的数据保持在本地,这对于你共享的任何敏感信息都至关重要。
  • 离线访问:访问这些模型或与之交互不需要持续的互联网连接。这对偏远地区或互联网接入有限的用户尤其有用。
  • 成本效率:在云服务器上运行LLM需要处理能力和云存储等运营成本。这种方法为用户提供了一种经济的解决方案。

在安卓上安装和运行MLC Chat的逐步指南

MLC Chat应用程序旨在使用户能够在包括手机在内的各种设备上本地运行大语言模型(LLM)并与之交互,无需依赖基于云的服务。按照以下步骤,即可在安卓设备上本地运行LLM。

第1步:安装MLC Chat应用程序

首先,你需要从下面给出的链接下载MLC Chat应用程序的APK(112MB)。

MLC Chat应用程序APK文件:https://llm.mlc.ai/docs/deploy/android.html

下载APK后,点击文件开始安装。

第2步:下载LLM

成功安装应用程序后,打开它,你将看到可供下载的LLM列表。大小和功能各异的模型可供使用,比如LLama-3.2、Phi-3.5和Mistral。根据你的需要选择模型,然后点击它旁边的下载图标即可开始下载。比如说,由于我使用的是像红米Note 10这样的中档手机,于是选择了Qwen-2.5之类的轻量级模型,以获得更流畅的性能。

第3步:运行已安装的LLM

一旦下载了模型,旁边就会出现一个聊天图标。点击该图标即可启动模型。

模型准备就绪后,你可以开始输入提示,并在本地与LLM进行交互。

比如说,在红米Note 10这样的设备上,运行Qwen2.5之类的小模型提供了相当流畅的体验,每秒生成约1.4个词元(token)。虽然与Galaxy S23 Ultra等高端设备相比,这一性能要逊色一些,但它仍然可以完成诸如简短对话和简单内容生成之类的基本任务。

结论

通过MLC Chat应用程序在安卓设备上本地运行LLM为你与AI模型进行交互提供了一种易于访问、保护隐私的方式。性能在很大程度上取决于你手机的硬件。如果用户需要离线访问AI模型、实时尝试LLM或关注隐私,这一解决方案很理想。随着移动硬件不断改进,本地LLM的功能只会越来越强大,这将成为AI技术一个令人兴奋的前沿。

相关内容

热门资讯

云应用安全与影子IT管控:Pi... 影子IT的隐患与治理挑战 随着SaaS应用的快速普及,员工在未获IT部门授权的情况下自行使用云存储、...
2026年预算4000多手机怎... 对于预算在4000多的朋友来说,2026年的手机市场选择非常丰富,无论是追求学习效率的大学生,还是想...
华为昇腾310/910芯片通过... 5月28日消息,华为昇腾310和昇腾910芯片正式通过了中国信息安全测评中心的安全可靠等级I级认证。...
跟AI聊了300小时,真有人被... AIPress(AI普瑞斯) AI真能把人夸傻掉。 这不是危言耸听。 据《纽约时报》报道,去年五月,...
谷歌AI搜索遭用户抵制,Duc... 上周,谷歌宣布对搜索功能进行大规模改版后,笔者在路上无意间听到一名女性正在打电话,说她要换用Duck...