Tag: enterprise-ai
All the articles with the tag "enterprise-ai".
企业级 LLM 私有化架构思考笔记(专栏总览)
Updated:系统性整理和复盘企业落地私有大模型(LLM)的实战经验与架构思考。从基座选型、算力规划到 Agent 调度,持续更新中。
企业级 LLM 私有化架构思考笔记(2):模型的部署
Updated:从一体机、研发工作站到多卡服务,按业务交付范围、模型大小和运维条件选择部署方式。
企业级 LLM 私有化架构思考笔记(3):模型的可观测性
Updated:企业私有化推理服务的监控重点。结合业务应用、推理引擎和 GPU 的数据,判断服务可用性、响应速度、并发容量和任务质量。