企业内部部署模型,先确定谁管模型服务。供应商交付一体机、研发在工作站上试模型、运维团队维护多卡服务,这三种情况对部署方式的要求不同。
业务应用型(一体机交付)
一体机有两种常见的交付范围。一种连知识库、检索和问答页面一起交付,验收时可以拿自己的文档,从导入一直测到答案引用。另一种只提供模型 API,检索和业务流程由应用团队负责,就要从现有系统发一笔完整请求,把鉴权、流式响应和工具调用都走一遍。
交付前还要约定模型升级由谁做、升级失败如何回退,以及故障时能拿到哪些日志。只有一个 API 地址时,应用侧能看到请求超时,却很难单独判断是网关故障还是推理实例在排队。
研发应用型(经常切换模型)
研发内部试模型,可以在工作站上用 Ollama 拉起服务。需要在一处管理多种模型和推理后端时,可以看 Xinference。两者都要核对具体模型、量化格式和运行设备。尤其是从生产应用直接切换地址时,要用应用实际发送的请求做测试。比如 Ollama 实现了部分 OpenAI API,普通对话能返回,并不能说明应用依赖的每个字段和接口都可用。Ollama 接口兼容说明 · Xinference
工作站适合筛选候选模型。准备上线时,把选中的权重、对话模板和参数放回目标机器,在计划使用的引擎上再跑一次。开发机上验证过的工具调用,还要确认生产引擎能解析出相同的工具名和参数。
自行运维(单机多卡或小集群)
先看一个实例需要几张卡。如果模型和目标长度的缓存都能放进单卡,可以在多张卡上各跑一个副本,由网关分发请求。这样多张卡可以同时处理不同的请求。若单卡装不下,或者单请求延迟达不到要求,再评估用张量并行把一个实例拆到多卡。此时卡间要传数据,需要在实际互联条件下压测。单机多卡可以用 Docker Compose 管理进程,模型如何拆分仍由推理引擎配置。vLLM 并行部署说明
引擎可以从 vLLM 或 SGLang 中选支持目标模型的版本。需要处理图片时,直接用业务图片验收,核对该模型支持的输入类型、分辨率和显存占用。另有向量检索和重排需求时,先查现有引擎是否支持对应模型,再决定是否单独部署 TEI。检索流量和生成流量的高峰不同时,两类服务也可以独立扩容。SGLang · vLLM Pooling Models · TEI
多机也要区分两种情况。每台机器都能独立跑一个完整副本时,入口要解决的是路由、健康检查和故障摘除。一个副本必须跨机器才能放下时,才需要处理跨节点并行、节点间通信和整组实例的恢复。选哪种方式,取决于单个实例的大小和现有运维条件。
总结
一体机交付要验收完整业务请求,并约定出了问题由谁查。研发试模型要保留权重和运行参数,使选型结果能在生产机器上复现。自己维护多卡服务时,先测出一个实例在目标延迟下能完成多少请求,再决定增加副本还是调整并行方式。