1 Ollama搭建DeepSeek的本地大模型
1.1 硬件条件
以下是不同规模模型(从1.5B到671B参数)在本地化部署时的硬件要求列表:
模型规模 | 参数量 | CPU | GPU | 内存 | 存储 | 网络 | 备注 |
1.5B | 1.5亿 | 8核以上 | NVIDIA RTX 2080/Tesla T4 | 32GB | 500GB SSD | 1GbE | 单GPU可运行,适合轻量级任务 |
7B | 7亿 | 16核以上 | NVIDIA V100/RTX 3090 | 64GB | 1TB SSD | 1GbE | 单GPU或双GPU,适合中等复杂度任务 |
8B | 8亿 | 16核以上 | NVIDIA V100/RTX 3090 | 64GB | 1TB SSD | 1GbE | 单GPU或双GPU,适合中等复杂度任务 |
14B | 14亿 | 24核以上 | NVIDIA A100/V100 | 128GB | 2TB SSD | 10GbE | 多GPU推荐,适合较高复杂度任务 |
32B | 32亿 | 32核以上 | NVIDIA A100 (2-4块) | 256GB | 4TB SSD | 10GbE/InfiniBand | 高精度任务,需多GPU并行 |
70B | 70亿 | 64核以上 | NVIDIA A100 (4-8块) | 512GB | 8TB SSD | InfiniBand | 大规模任务,分布式训练 |
671B | 671亿 | 256核以上 | NVIDIA A100 (32块以上) | 2TB+ | 32TB+ SSD | InfiniBand | 极高复杂度任务,大规模集群 |
1.2 Ollama 的下载
Ollama 是一个开源区块链项目,专注于创建高效且灵活的智能合约平台,支持跨链协作、多链框架和自动化升级,由全球社区共同推动。
Ollama下载地址:Download Ollama on macOS
1.3 Ollama 的安装
下载完成后双击 OllamaSetup.exe 进行安装,安装界面如下图:
step1:点击install
step2:等待安装.....complete
1.4 获取DeepSeek本地大模型的下载命令
下载地址:https://ollama.com/library/deepseek-r1
1.5 Ollama 安装DeepSeek的本地大模型
step1:按下win+R键然后输入cmd 打开命令行窗口
step2:打开命令行窗口后,输入ollama -v返回版本号继续下一步操作,未返回则继续1.3 Ollama 的安装的操作
step3:在命令窗口输入大模型的下载命令ollama run deepseek-r1(这里大家在命令后加上:7b则可下载对应的模型例如ollama run deepseek-r1:1.5b),显示success字样则大模型安装成功,操作如下图操:
step4:打开浏览器,输入 “http://localhost:11434/”,显示 “Ollama is running”。(记住这个地址后面配置API地址需要用到)
1.6 DeepSeek的本地大模型免安装版(如果上述步骤都成功请跳过)
step1:上述步骤未成功的同学可以到我的网盘下载DeepSeek模型(仅提供7b版),后续需要使用的软件我也放在网盘中了,可以一起下载
百度网盘:链接:https://pan.baidu.com/s/1GW3NL93UGmsk2G3ceRQyqg
提取码:r155
step2:下载完成后,解压模型包
step3:拷贝models文件夹到 “C:\Users\% username%\.ollama\models”的路径下。如果要修改模型的保存地址,可以新建一个文件夹如 “D:\Model”的路径,然后在系统环境变量添加系统变量:“变量名:OLLAMA_MODELS,变量值:D:\Model”。操作步骤如下图
step4:在确保Ollama 安装完成后,按下win+R键然后输入cmd 打开命令行窗口,在命令窗口输入大模型的命令ollama run deepseek-r1启动模型
step5:打开浏览器,输入 “http://localhost:11434”,显示 “Ollama is running”。
2 聊天工具(ChatBox)
2.1 ChatBox的下载
ChatBox 是一个专注于聊天工具设计的开源平台,结合了高效的交互技术和丰富的功能,旨在为用户提供更流畅、更个性化的交流体验。
ChatBox下载地址:https://chatboxai.app/zh
2.2 ChatBox的安装
下载完成后双击 Chatbox-1.9.7-Setup.exe 进行安装,安装界面如下图:
step1:点击下一步
step2:点击安装
step3:点击完成
2.3 ChatBox的本地化配置
step1:打开ChatBox找到右下角的设置按钮,点击打开设置页面,然后选择Ollama API,操作如下图:
step2:输入部署好的模型地址http://localhost:11434(有服务器可以换成服务器地址),选择安装好的DeepSeek模型,然后点击保存按钮,操作如下图:
step3:断开网络,点击Just chat在ChatBox的右下角选择DeepSeek模型,然后输入你想的问题,点击发送按钮即可返回即可:
3 私有知识库(Cherry Studio)
3.1 Cherry Studio的下载
Cherry Studio是一个基于 Python 的开源平台或工具集,旨在为开发者提供一个高效、灵活的开发环境。它通常被用于软件开发、Web 开发、数据科学以及其他技术相关的工作中。
Cherry Studio下载地址:https://chatboxai.app/zh
3.2 Cherry Studio的安装
下载完成后双击 Chatbox-1.9.7-Setup.exe 进行安装,安装界面如下图:
step1:点击下一步
step2:点击安装
step3:点击完成
3.3 Cherry Studio的本地化配置
step1:打开Cherry Studio,点击右下角的设置按钮,选择Ollama然后输入DeepSeek的本地部署地址http://localhost:11434/v1/,然后点击添加按钮,操作步骤如下图:
step2:按下win+R键然后输入cmd 打开命令行窗口,在命令窗口输入查询大模型的命令ollama list,操作步骤如下图:
step3:复制查询到的模型名称粘贴到Cherry Studio的模型添加页面,然后点击添加模型按钮,操作步骤如下图:
step4:按下win+R键然后输入cmd 打开命令行窗口,在命令窗口输入命令ollama pull bge-m3下载清洗数据的模型,然后输入命令ollama list查询安装的模型,最后复制清洗数据的模型并添加到Cherry Studio的模型中,操作步骤如下图:
step5:选择发送消息,然后输入内容点击发送按钮,操作步骤如下图:
3.4 Cherry Studio的添加知识库
step1:选择知识库,然后点击添加知识库按钮,操作步骤如下图:
step2:在添加知识库页面输入名称,名称最好和你的知识库有关联,然后选择嵌入模型,再点击确定按钮,在右边添加你的知识库,操作步骤如下图:
step4:切断网络,点击消息助手,选择添加的知识库,输入问题可以正常返回知识库中的结果
搞完收工。。。。。。。。。。。。。赶快玩起来吧。
标签:ChatBox,Cherry,模型,点击,聊天工具,Studio,Ollama,输入 From: https://blog.csdn.net/weixin_42009760/article/details/145563698