|
佰慧云Ai模型运管平台 佰慧云Ai模型运管平台是针对生成式 AI 场景度身定制的能力全面的推理服务平台。功能覆盖算力、模型和高可用可观测的企业级能力
支持的模型丰富 提供100+最新开源模型,从文本语音视频到 embedding/rerank 模型,始终保持最快适配。
多推理引擎支持 优化支持多种主流推理引擎,包括vLLM, SGLang, TensorRT,Transformers, MLX, LMDeploy等 广泛的硬件支持 支持多种硬件平台,支持国产 GPU,包括华为昇腾、海光、天数等。可同时支持多种硬件共同服务
更多企业级特性 支持用户权限管理、单点登录、批处理、多租户隔离、模型微调、可观测等众多企业级特性 分布式高性能 优化支持多种主流推理引擎,包括vLLM, SGLang, TensorRT,Transformers, MLX, LMDeploy等
生态丰富 多种主流开发框架已经原生支持 |