这是 Local AI Club 的第一篇可发布实践指南。目标只有一件事:在你自己的电脑上跑通一次本地对话,不要求独立显卡。

文中步骤以 Ollama 为例,因为它安装面广、命令短。同样的流程也可以用 llama.cpp 或 LM Studio 完成;选择工具时,优先看你是否需要图形界面、是否要自己管理模型文件。

开始前先确认设备

先看三件事:

  1. 内存:16GB 可以跑 7B 级量化模型;32GB 会宽松很多。
  2. 磁盘:预留至少 8GB 给模型和运行时。
  3. 网络:第一次下载模型需要联网;之后可以离线对话。

没有独显也可以继续。速度会慢一些,但完成第一次对话通常没问题。

安装运行时

到 Ollama 官网下载对应系统的安装包,或按官方文档用包管理器安装。安装完成后,在终端确认命令可用:

bash
ollama --version

能打印出版本号即可。

拉取一个入门模型

7B 级开放模型适合第一次尝试:体积可控,普通笔记本也能加载。具体模型名以 Ollama 当前目录为准,例如:

bash
ollama pull qwen2.5:7b

下载完成后,模型文件会留在本机。之后即使断开网络,也可以继续对话。

完成第一次对话

bash
ollama run qwen2.5:7b

进入对话后,先问一个短问题,例如“用三句话解释什么是本地大模型”。如果模型开始逐字回复,说明推理链路已经通了。

用 /bye 退出。

怎样判断这次运行是否成功

满足下面三条,就可以把这次实验记为“已跑通”:

  • 模型能加载,而不是立刻因内存不足退出
  • 能完整回答至少一轮问题
  • 你知道模型文件和运行时装在本机的哪个位置

速度慢、风扇响,都不算失败。第一次的目标是跑通,不是刷榜。

常见卡住的地方

  • 内存不够:改用更小的量化版本,或先关掉浏览器和其他占内存的应用。
  • 命令找不到:重新打开终端,或确认安装程序已经把 ollama 加入 PATH。
  • 下载中断:再执行一次 pull,客户端通常会续传。

下一步

跑通之后,可以继续比较 Ollama、llama.cpp 和 LM Studio,或记录你这台设备的内存占用和生成速度。Local AI Club 后续文章会按设备、引擎和复现状态来组织这些记录。