首页 > 其他分享 >Ollama搭建DeepSeek本地大模型 + 聊天工具(ChatBox)+ 私有知识库(Cherry Studio)

Ollama搭建DeepSeek本地大模型 + 聊天工具(ChatBox)+ 私有知识库(Cherry Studio)

时间:2025-02-11 17:58:17浏览次数:53  
标签:ChatBox Cherry 模型 点击 聊天工具 Studio Ollama 输入

1 Ollama搭建DeepSeek的本地大模型

1.1 硬件条件

以下是不同规模模型(从1.5B到671B参数)在本地化部署时的硬件要求列表:

模型规模参数量CPUGPU内存存储网络备注
1.5B1.5亿8核以上NVIDIA RTX 2080/Tesla T432GB500GB SSD1GbE单GPU可运行,适合轻量级任务
7B7亿16核以上NVIDIA V100/RTX 309064GB1TB SSD1GbE单GPU或双GPU,适合中等复杂度任务
8B8亿16核以上NVIDIA V100/RTX 309064GB1TB SSD1GbE单GPU或双GPU,适合中等复杂度任务
14B14亿24核以上NVIDIA A100/V100128GB2TB SSD10GbE多GPU推荐,适合较高复杂度任务
32B32亿32核以上NVIDIA A100 (2-4块)256GB4TB SSD10GbE/InfiniBand高精度任务,需多GPU并行
70B70亿64核以上NVIDIA A100 (4-8块)512GB8TB SSDInfiniBand大规模任务,分布式训练
671B671亿256核以上NVIDIA A100 (32块以上)2TB+32TB+ SSDInfiniBand极高复杂度任务,大规模集群

1.2 Ollama 的下载

Ollama 是一个开源区块链项目,专注于创建高效且灵活的智能合约平台,支持跨链协作、多链框架和自动化升级,由全球社区共同推动。

Ollama下载地址:Download Ollama on macOS

1.3 Ollama 的安装

下载完成后双击 OllamaSetup.exe 进行安装,安装界面如下图:

step1:点击install

step2:等待安装.....complete

1.4 获取DeepSeek本地大模型的下载命令

下载地址:https://ollama.com/library/deepseek-r1

1.5 Ollama 安装DeepSeek的本地大模型

step1:按下win+R键然后输入cmd 打开命令行窗口

step2:打开命令行窗口后,输入ollama -v返回版本号继续下一步操作,未返回则继续1.3 Ollama 的安装的操作

step3:在命令窗口输入大模型的下载命令ollama run deepseek-r1(这里大家在命令后加上:7b则可下载对应的模型例如ollama run deepseek-r1:1.5b),显示success字样则大模型安装成功,操作如下图操:

step4:打开浏览器,输入 “http://localhost:11434/”,显示 “Ollama is running”。(记住这个地址后面配置API地址需要用到)

1.6 DeepSeek的本地大模型免安装版(如果上述步骤都成功请跳过)

step1:上述步骤未成功的同学可以到我的网盘下载DeepSeek模型(仅提供7b版),后续需要使用的软件我也放在网盘中了,可以一起下载

百度网盘:链接:https://pan.baidu.com/s/1GW3NL93UGmsk2G3ceRQyqg

提取码:r155

step2:下载完成后,解压模型包

step3:拷贝models文件夹到 “C:\Users\% username%\.ollama\models”的路径下。如果要修改模型的保存地址,可以新建一个文件夹如 “D:\Model”的路径,然后在系统环境变量添加系统变量:“变量名:OLLAMA_MODELS,变量值:D:\Model”。操作步骤如下图

step4:在确保Ollama 安装完成后,按下win+R键然后输入cmd 打开命令行窗口,在命令窗口输入大模型的命令ollama run deepseek-r1启动模型

step5:打开浏览器,输入 “http://localhost:11434”,显示 “Ollama is running”。

2 聊天工具(ChatBox)

2.1 ChatBox的下载

ChatBox 是一个专注于聊天工具设计的开源平台,结合了高效的交互技术和丰富的功能,旨在为用户提供更流畅、更个性化的交流体验。

ChatBox下载地址:https://chatboxai.app/zh

2.2 ChatBox的安装

下载完成后双击 Chatbox-1.9.7-Setup.exe 进行安装,安装界面如下图:

step1:点击下一步

step2:点击安装

step3:点击完成

2.3 ChatBox的本地化配置

step1:打开ChatBox找到右下角的设置按钮,点击打开设置页面,然后选择Ollama API,操作如下图:

step2:输入部署好的模型地址http://localhost:11434(有服务器可以换成服务器地址),选择安装好的DeepSeek模型,然后点击保存按钮,操作如下图:

step3:断开网络,点击Just chat在ChatBox的右下角选择DeepSeek模型,然后输入你想的问题,点击发送按钮即可返回即可:

3 私有知识库(Cherry Studio)

3.1 Cherry Studio的下载

Cherry Studio是一个基于 Python 的开源平台或工具集,旨在为开发者提供一个高效、灵活的开发环境。它通常被用于软件开发、Web 开发、数据科学以及其他技术相关的工作中。

Cherry Studio下载地址:https://chatboxai.app/zh

3.2 Cherry Studio的安装

下载完成后双击 Chatbox-1.9.7-Setup.exe 进行安装,安装界面如下图:

step1:点击下一步

step2:点击安装

step3:点击完成

3.3 Cherry Studio的本地化配置

step1:打开Cherry Studio,点击右下角的设置按钮,选择Ollama然后输入DeepSeek的本地部署地址http://localhost:11434/v1/,然后点击添加按钮,操作步骤如下图:

step2:按下win+R键然后输入cmd 打开命令行窗口,在命令窗口输入查询大模型的命令ollama list,操作步骤如下图:

step3:复制查询到的模型名称粘贴到Cherry Studio的模型添加页面,然后点击添加模型按钮,操作步骤如下图:

step4:按下win+R键然后输入cmd 打开命令行窗口,在命令窗口输入命令ollama pull bge-m3下载清洗数据的模型,然后输入命令ollama list查询安装的模型,最后复制清洗数据的模型并添加到Cherry Studio的模型中,操作步骤如下图:

step5:选择发送消息,然后输入内容点击发送按钮,操作步骤如下图:

3.4 Cherry Studio的添加知识库

step1:选择知识库,然后点击添加知识库按钮,操作步骤如下图:

step2:在添加知识库页面输入名称,名称最好和你的知识库有关联,然后选择嵌入模型,再点击确定按钮,在右边添加你的知识库,操作步骤如下图:

step4:切断网络,点击消息助手,选择添加的知识库,输入问题可以正常返回知识库中的结果

搞完收工。。。。。。。。。。。。。赶快玩起来吧。

标签:ChatBox,Cherry,模型,点击,聊天工具,Studio,Ollama,输入
From: https://blog.csdn.net/weixin_42009760/article/details/145563698

相关文章