Ollama

Ollama 允许用户在本地运行大型语言模型, 提供了一个简单的 API 用于创建、运行和管理模型, 以及一个预构建模型库, 这些模型可以在各种应用中轻松使用。

安装

课程提供的 A100 服务器已经安装好了 Ollama, 并下载好一些常见模型.

如果想课后在自己的电脑上运行 Ollama, 请打开 Ollama 下载

运行

检查已安装的 ollama 版本
1. 输入命令 ollama -v
2. 预期输出 ollama version is 0.1.48
3. 如果低于上述版本, 请执行升级命令 curl -fsSL https://ollama.com/install.sh | sh
使用 ollama 运行 phi3 模型
1. 输入命令 ollama run phi3
2. 进入对话界面
```
>>> 你好!
hello! I'm Phi, ready to assist you with your inquiries. How can I help you today?
```
  你可以开始和 AI 对话, 支持输入中文, 但使用什么语言回答取决于 AI.
一些常用的 ollama 指令
- /show info: 显示当前 AI 模型信息
- /clear: 清除 AI 前文记忆重头开始
- /bye: 退出 ollama

试试这些模型

服务器上已经下载好了下列 AI 模型, 可以直接运行.

⚠为了避免崩溃, 请不要同时运行多个 AI 模型

ollama run phi3
微软推出的小尺寸高质量模型, 未来可能会集成进 Windows 11 系统中
ollama run qwen2
阿里巴巴推出的多语言模型, 擅长中文
ollama run llama3
Meta 推出的模型, 使用最广泛的基座模型之一
ollama run mistral
mistral 推出的模型, 擅长欧洲那嘎达的语言
ollama run yi
李开复搞的开源中文模型, 在开源中文模型领域与阿里千问并驾齐驱
ollama run gemma2
Google 推出的模型, 可能会被塞进 Android 手机里

试试这些问题

树上 9 只鸟, 打掉 1 只, 还剩几只？

左手一只鸭, 右手一只鸡。交换两次双手物品后, 左右手中各是啥？

用 Python 写一个最简单的贪吃蛇游戏

宫廷玉液酒减去大锤加上小锤等于几？

一加一在什么情况下等于三？

装一台可以运行 Llama-3-8B 大语言模型的电脑大概需要多少钱?

黑人和白人生下的婴儿,牙齿是什么颜色？

大舅去二舅家找三舅说四舅被五舅骗去六舅家偷七舅放在八舅柜子里九舅借十舅发给十一舅工资的10000元. 问小偷是谁? 钱又是谁的?

来点更炫酷的

启动 ollama 服务端

停止当前的 ollama 服务 service ollama stop

修改 ollama 服务配置文件, 允许其对外服务

编辑配置文件 sudo nano /etc/systemd/system/ollama.service

在 [Service] 中添加两行参数

Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

添加完成后的配置文件内容如下

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/home/mgyslm/.vscode-server/cli/servers/Stable-ea1445cc7016315d0f5728f8e8b12a45dc0a7286/server/bin/remote-cli:/usr/local/sbin:/usr/local/>
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

[Install]
WantedBy=default.target

按 Ctrl+X 保存并退出

重新加载配置文件并启动 ollama 服务

systemctl daemon-reload
systemctl restart ollama

ChatGPT Next Web

http://163.228.114.52:11434

API KEY 随便填

模型名 phi3 (必须是之前玩ollama下载过的模型)