记录如何在电脑中部署AI

yolo 发布于 2024-12-10 371 次阅读

warning:里面的部分资源的下载需要代理，请提前调试好
warning:里面下载的东西需要占用C盘，请给C盘留够空间

空间就是海绵，挤挤总是有的（我把Steam的游戏给卸了，留下来的空间给C盘扩容了

安装环境：Hyper-V&Windows10（本机是Win11，但我已经安装过了

网上的AI模型很多，开源、不开源的，还有些是免费、收费的。这里我选择了个不错的开源免费AI:Ollama

下载Ollama

Ollama官网

额，这里是不用代理的

请在官网中下载对应系统的Ollama环境

image-20241210124306257

按照提示，一直下载就好

下载好后长这样

image-20241210124721816

右下角还有个羊驼呢

image-20241210124835007

欧克，ai部署算是完成一半了，接下来我们要选择合适的模型，继续回到官网，点击Models

image-20241210125005569

里面很多模型呢，自己挑选一个即可，请注意，不同模型占用的空间不一样，请根据实际情况选择

我就选择3.1的8b了

image-20241210125415225

将后面的代码粘贴到终端运行即可

漫长的下载结束后，我们就喜提一个本地运行的ai

image-20241210130434152

下载Docker Desktop

这里就需要挂代理了

image-20241210130607895

下载我们需要的版本后，登录进去，这个的话，貌似也是被放在C盘的，所以C盘越大越好，不过不用太担心，这玩意占用2G

安装好后，在下面的命令框面板里

image-20241210130847601

输入这串代码

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

在这里说说为啥吧，在Ollama环境下，想安装UI界面的话，这个OpenWeb UI就是个不错的选择，它是Github上的一个开源项目，具体官网在这里

通过上面的代码，Docker会自动给我们设置3000的端口，在Docker里面直接打开本地web网站

image-20241210131659097

我们就大功告成了，第一次登录是注册管理员账号，注册好就能正常使用

image-20241210131925183

真的好神奇，完全不用上网使用，AI旅程就此开始咯

本来是想来个部署在服务器上的AI，然后在本机上远程连接来使用，可惜没实力，需要我做点设置来接听服务器端口，再有我的服务器太低配了，带不了最基础的AI，那个以后再说吧

这里记一些用得到的命令吧

当我们电脑有多个模型的时候，想卸载其中某个，只需要在终端运行

ollama list
ollama rm 模型名称

看，效果就长这个样子