ollama大模型框架入门教程-ollama安装

说明：

• 介绍如何安装ollama
• 测试环境：ubuntu18.04 + 1080Ti显卡 + 16G内存

步骤：

• 1. 安装ollama，执行脚本

curl -fsSL https://ollama.com/install.sh | sh

• 其他安装方式，可以参考官网

• 安装根据网速不同，需要10-30分钟不等。当你运行 ollama --version 命令成功查询到版本时，表示 Ollama 的安装已经顺利完成，接下来便可以用 pull 命令从在线模型库下载模型来玩了

$ ollama --version
ollama version is 0.1.42

• 1.1 配置服务
• 编辑文件sudo vim /etc/systemd/system/ollama.service
• 增加Environment="OLLAMA_HOST=0.0.0.0"

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0"
Environment="PATH=/home/ubuntu/anaconda3/bin:/home/ubuntu/anaconda3/condabin:~/anaconda3/bin:/usr/bin:/usr/local/cuda-12.0/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"

[Install]
WantedBy=default.target

• 1.2重启服务

systemctl daemon-reload
systemctl restart ollama

• 2. 下载模型
• 以中文微调过的 Llama2-Chinese 7B 模型为例，下述命令会下载接近 4GB 的 4-bit 量化模型文件，需要至少 8GB 的内存进行推理，推荐配备 16GB 以流畅运行。

$ ollama pull llama2-chinese

• 下载其他模型，更改llama2-chinese为对应的模型名称即可

• 典型最新模型有：llama2-chinese，llama3，qwen2，可以查看官网在线模型列表

• 3. 测试模型

• 通过如下命令进入交互模式

• 测试llama2-chinese模型

$ ollama run llama2-chinese
>>>

• 输入提示词即可获取推理后的结果

• 测试llama3模型

$ ollama run llama3
>>>

• 测试qwen2模型

$ ollama run qwen2
>>>

• 4. 更多命令

ollama list能显示所有安裝在本机的模型
ollama rm <model_name>能刪除安裝的模型
ollama pull <model_name>能安裝或更新模型
ollama cp <model_name_1> <model_name_2>能复制模型，用來定制不同的提示词 (prompts) 及不同的溫度 (temperature)

演示视频