Ollama

简介 什么是 ollama 官网：https://ollama.com/ 看官网介绍非常的简洁：启动并运行大语言模型 因此 ollama 的定位就是：简化大型语言模型（LLMs）的本地部署和使用。如果没有 ollama，我们想在本地部署一个大模型，还是会比较费劲的，从 Deepseek 检索到需要这么多步骤： 1. 选择模型：首先确定你想运行的模型，如 LLaMA、GPT 等，并获取其预训练权重或模型文件。 2. 环境配置：安装必要的软件和库，如 Python、PyTorch 或 TensorFlow，并确保你的硬件（如 GPU）支持模型运行。 3. 模型加载：编写代码加载模型权重，并初始化模型架构。这一步可能需要根据模型的具体实现进行调整。 4. 数据处理：准备输入数据，并进行必要的预处理（如分词、编码等），以便模型能够理解和处理。 5. 运行推理：将处理后的数据输入模型，执行推理任务（如文本生成、分类等），并获取输出结果。 6. 优化与调试：根据运行结果，可能需要调整模型参数、优化代码或处理硬件瓶颈，以确保模型高效运行。 7. 部署：如果需要长期使用，可以考虑将模型部署到服务器或云平台上，以便随时访问和调用。 可以看到，没有算法基础的开发者，将会很难去本地部署。 ollama可以做什么 最常用的一个作用：在自己电脑上部署大语言模型，比如 Deepseek、通义千问、Gemma 等各种开源的大语言模型。 重点：受限于我们家用电脑的性能，在本地部署大模型这件事情，更多的目标在于体验、探索和研究，而很难去真正的代替其他比如官方的服务来日常使用。因为同一个大模型，也会区分为不同的参数版本，参数越高，越智能，而官网的或者说满血的指的都是参数最高的那个版本，并且在网上进行对比的时候，也都是拿着最高参数的版本来评比，然而，高参数版本几乎都需要很高的算力，简单说就是对显卡的要求非常高，不是我们普通家用电脑能跑起来的。 所以，大家不要期望着自己在自己电脑上部署了一个之后，就可以免费平替 ChatGPT 或者 Deepseek 了。并且现在如果是日常查询使用、有很多免费的满血大模型，效果肯定是比自己的要好。 ollama部署 ollama 可以帮助我们快速部署大模型，但是它是一个后端服务，也就是说部署成功之后，我们可以在控制台里面有它进行交互。这样的体验还是很差劲的，因此我们可以同时部署一个对应的 web-ui 来进行可视化使用，就跟 Deepseek、ChatGPT 官网那样的聊天页面。 而这个 web-ui 就可以使用 open-webui（https://github.com/open-webui/open-webui） 为什么用这个呢，因为这个开源项目中直接还提供了包含 ollama 的 docker compose 部署，并且这个项目之前就叫做：ollama-webui（估计作者最初就是希望给 ollama 做一个前端页面，后面适配了其他的后端服务，改名为了open） 部署前提 Linux 操作系统（WSL也可） 已经安装 Docker 并且已经可以正常 pull 下镜像 不一定非得按照我前几期的教程来搞，只要满足上面条件即可，如果有问题，可以参考之前的教程，来让一个普普通通的 Windows 系统，达到上述条件： ...