【笔记】远端服务器部署大模型
发布网友
发布时间：2024-10-24 03:47
共1个回答
热心网友
时间：3分钟前
本文将指导你在服务器上部署本地大模型并调用API，主要使用Ollama、litellm和LM Studio这三种工具。Ollama快速简便，适合单模型部署；litellm可管理多个模型接口，适用于需要扩展的场景；LM Studio则提供了图形化界面，但同样支持单模型。
Ollama
首先在Ubuntu 20.04环境中安装，输入sudo密码并将其添加到系统命令。通过终端运行ollama的安装命令，成功后，你可以通过ollama pull下载模型并运行，如llama3:8b。服务启动后，接口地址为http://localhost:11434/api/chat。
litellm
使用Anaconda进行安装，先下载并激活Anaconda环境，然后安装litellm。激活Ollama模型接口后，通过litellm提供的OpenAI风格API进行开发调用。
LM Studio
LM Studio侧重于用户界面操作，适合有交互环境的系统。通过交互界面下载和设置模型，生成的API接口可以在终端查看。对于没有交互界面的服务器，需额外设置虚拟显示环境。
声明：本网页内容为用户发布，旨在传播知识，不代表本网认同其观点，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
E-MAIL:11247931@qq.com
E-MAIL:11247931@qq.com