< >
Home » ollama大模型框架入门教程 » ollama大模型框架入门教程-ollama安装

ollama大模型框架入门教程-ollama安装

说明:

  • 介绍如何安装ollama
  • 测试环境:ubuntu18.04 + 1080Ti显卡 + 16G内存

步骤:

    1. 安装ollama,执行脚本
curl -fsSL https://ollama.com/install.sh | sh
  • 其他安装方式,可以参考官网

  • 安装根据网速不同,需要10-30分钟不等。当你运行 ollama --version 命令成功查询到版本时,表示 Ollama 的安装已经顺利完成,接下来便可以用 pull 命令从在线模型库下载模型来玩了

$ ollama --version
ollama version is 0.1.42
    1. 下载模型
  • 以中文微调过的 Llama2-Chinese 7B 模型为例,下述命令会下载接近 4GB 的 4-bit 量化模型文件,需要至少 8GB 的内存进行推理,推荐配备 16GB 以流畅运行。
$ ollama pull llama2-chinese
  • 下载其他模型,更改llama2-chinese为对应的模型名称即可

  • 典型最新模型有:llama2-chinese,llama3,qwen2,可以查看官网在线模型列表

    1. 测试模型
  • 通过如下命令进入交互模式

  • 测试llama2-chinese模型

$ ollama run llama2-chinese
>>>
  • 输入提示词即可获取推理后的结果

  • 测试llama3模型

$ ollama run llama3
>>>
  • 测试qwen2模型
$ ollama run qwen2
>>>
    1. 更多命令
ollama list能显示所有安裝在本机的模型
ollama rm <model_name>能刪除安裝的模型
ollama pull <model_name>能安裝或更新模型
ollama cp <model_name_1> <model_name_2>能复制模型,用來定制不同的提示词 (prompts) 及不同的溫度 (temperature)

演示视频

纠错,疑问,交流: 请进入讨论区点击加入Q群

获取最新文章: 扫一扫右上角的二维码加入“创客智造”公众号


标签: ollama大模型框架入门教程