记录如何在电脑中部署AI

yolo 发布于 2024-12-10 344 次阅读


warning:里面的部分资源的下载需要代理,请提前调试好
warning:里面下载的东西需要占用C盘,请给C盘留够空间

空间就是海绵,挤挤总是有的(我把Steam的游戏给卸了,留下来的空间给C盘扩容了

安装环境:Hyper-V&Windows10(本机是Win11,但我已经安装过了

网上的AI模型很多,开源、不开源的,还有些是免费、收费的。这里我选择了个不错的开源免费AI:Ollama

下载Ollama

Ollama官网

额,这里是不用代理的

请在官网中下载对应系统的Ollama环境

image-20241210124306257

按照提示,一直下载就好

下载好后长这样

image-20241210124721816

右下角还有个羊驼呢

image-20241210124835007

欧克,ai部署算是完成一半了,接下来我们要选择合适的模型,继续回到官网,点击Models

image-20241210125005569

里面很多模型呢,自己挑选一个即可,请注意,不同模型占用的空间不一样,请根据实际情况选择

我就选择3.1的8b了

image-20241210125415225

将后面的代码粘贴到终端运行即可

漫长的下载结束后,我们就喜提一个本地运行的ai

image-20241210130434152

下载Docker Desktop

这里就需要挂代理了

image-20241210130607895

下载我们需要的版本后,登录进去,这个的话,貌似也是被放在C盘的,所以C盘越大越好,不过不用太担心,这玩意占用2G

安装好后,在下面的命令框面板里

image-20241210130847601

输入这串代码

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

在这里说说为啥吧,在Ollama环境下,想安装UI界面的话,这个OpenWeb UI就是个不错的选择,它是Github上的一个开源项目,具体官网在这里

通过上面的代码,Docker会自动给我们设置3000的端口,在Docker里面直接打开本地web网站

image-20241210131659097

我们就大功告成了,第一次登录是注册管理员账号,注册好就能正常使用

image-20241210131925183

真的好神奇,完全不用上网使用,AI旅程就此开始咯

本来是想来个部署在服务器上的AI,然后在本机上远程连接来使用,可惜没实力,需要我做点设置来接听服务器端口,再有我的服务器太低配了,带不了最基础的AI,那个以后再说吧

这里记一些用得到的命令吧

当我们电脑有多个模型的时候,想卸载其中某个,只需要在终端运行

ollama list
ollama rm 模型名称

看,效果就长这个样子