ollama大模型框架入门教程-ollama安装

说明：

介绍如何安装ollama
测试环境：ubuntu18.04 + 1080Ti显卡 + 16G内存

步骤：

1. 安装ollama，执行脚本

curl -fsSL https://ollama.com/install.sh | sh

其他安装方式，可以参考官网
安装根据网速不同，需要10-30分钟不等。当你运行 ollama --version 命令成功查询到版本时，表示 Ollama 的安装已经顺利完成，接下来便可以用 pull 命令从在线模型库下载模型来玩了

$ ollama --version
ollama version is 0.1.42

1.1 配置服务
编辑文件sudo vim /etc/systemd/system/ollama.service
增加Environment="OLLAMA_HOST=0.0.0.0"

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0"
Environment="PATH=/home/ubuntu/anaconda3/bin:/home/ubuntu/anaconda3/condabin:~/anaconda3/bin:/usr/bin:/usr/local/cuda-12.0/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"

[Install]
WantedBy=default.target

1.2重启服务

systemctl daemon-reload
systemctl restart ollama

1. 下载模型
以中文微调过的 Llama2-Chinese 7B 模型为例，下述命令会下载接近 4GB 的 4-bit 量化模型文件，需要至少 8GB 的内存进行推理，推荐配备 16GB 以流畅运行。

$ ollama pull llama2-chinese

下载其他模型，更改llama2-chinese为对应的模型名称即可
典型最新模型有：llama2-chinese，llama3，qwen2，可以查看官网在线模型列表
1. 测试模型
通过如下命令进入交互模式
测试llama2-chinese模型

$ ollama run llama2-chinese
>>>

输入提示词即可获取推理后的结果
测试llama3模型

$ ollama run llama3
>>>

测试qwen2模型

$ ollama run qwen2
>>>

1. 更多命令

ollama list能显示所有安裝在本机的模型
ollama rm <model_name>能刪除安裝的模型
ollama pull <model_name>能安裝或更新模型
ollama cp <model_name_1> <model_name_2>能复制模型，用來定制不同的提示词 (prompts) 及不同的溫度 (temperature)

演示视频