这是 Local AI Club 的第一篇可发布实践指南。目标只有一件事:在你自己的电脑上跑通一次本地对话,不要求独立显卡。
文中步骤以 Ollama 为例,因为它安装面广、命令短。同样的流程也可以用 llama.cpp 或 LM Studio 完成;选择工具时,优先看你是否需要图形界面、是否要自己管理模型文件。
开始前先确认设备
先看三件事:
- 内存:16GB 可以跑 7B 级量化模型;32GB 会宽松很多。
- 磁盘:预留至少 8GB 给模型和运行时。
- 网络:第一次下载模型需要联网;之后可以离线对话。
没有独显也可以继续。速度会慢一些,但完成第一次对话通常没问题。
安装运行时
到 Ollama 官网下载对应系统的安装包,或按官方文档用包管理器安装。安装完成后,在终端确认命令可用:
ollama --version
能打印出版本号即可。
拉取一个入门模型
7B 级开放模型适合第一次尝试:体积可控,普通笔记本也能加载。具体模型名以 Ollama 当前目录为准,例如:
ollama pull qwen2.5:7b
下载完成后,模型文件会留在本机。之后即使断开网络,也可以继续对话。
完成第一次对话
ollama run qwen2.5:7b
进入对话后,先问一个短问题,例如“用三句话解释什么是本地大模型”。如果模型开始逐字回复,说明推理链路已经通了。
用 /bye 退出。
怎样判断这次运行是否成功
满足下面三条,就可以把这次实验记为“已跑通”:
- 模型能加载,而不是立刻因内存不足退出
- 能完整回答至少一轮问题
- 你知道模型文件和运行时装在本机的哪个位置
速度慢、风扇响,都不算失败。第一次的目标是跑通,不是刷榜。
常见卡住的地方
- 内存不够:改用更小的量化版本,或先关掉浏览器和其他占内存的应用。
- 命令找不到:重新打开终端,或确认安装程序已经把
ollama加入 PATH。 - 下载中断:再执行一次
pull,客户端通常会续传。
下一步
跑通之后,可以继续比较 Ollama、llama.cpp 和 LM Studio,或记录你这台设备的内存占用和生成速度。Local AI Club 后续文章会按设备、引擎和复现状态来组织这些记录。
