嘉為藍鯨作為數字研運解決方案的引領者，在保持研運一體化運維平臺穩定發展的同時，堅持創新，結合運維領域最新的大數據、機器學習和大語言模型技術，融入嘉為藍鯨上千家政企客戶的實踐經驗和發展訴求，推出的嘉為藍鯨運維數據與智能平臺，已經在多家頭部銀行和運營商客戶落地，幫助客戶解決海量規模下的運維質量、成本、效率和體驗問題，取得了良好的效果。

嘉為藍鯨運維大模型開發平臺V1.2（以下簡稱“LLMOps平臺”）發布，不僅進一步完善了嘉為藍鯨運維數據與智能中心的功能版圖，補充了運維大模型基礎技術能力，而且通過統一的AI Agent開發框架，提升了嘉為藍鯨應用融合大模型能力的速度，幫助嘉為藍鯨一體化運維解決方案完成了“平臺化”到“智能化”的躍遷。

LLMOps平臺致力于為運維全生命周期提供卓越的大模型賦能支持，為滿足不同業務場景需求提供自定義AI開發擴展能力。LLMOps平臺包含了大模型管理層、網關服務層、資源管理層。其中，大模型管理層提供靈活的模型服務以滿足不同場景需求，支持托管與私有化部署2種模型服務集成方式，默認內置60多種常見模型適配器，也以最快速度支持了DeepSeek V3、DeepSeek R1、QwQ-32B等最先進的大模型。

網關服務層Gateway屏蔽不同LLM模型之間的差異，為上層應用提供業界標準的OpenAI協議API接口，并提供權限、審計、監控、配額限流等管理能力。

LLM資源管理提供了AI場景建設過程中用到的各種資源、工具的支持。包括知識庫管理、工具管理、智能Agent管理、Prompt管理、長短記憶管理等。

01.LLMOps 平臺的核心功能包括

1）多模型接入

支持 60+ 模型接入框架，包括私有化部署和托管接入方式，同時通過LLM Gateway屏蔽不同LLM模型之間的差異，為上層應用提供業界標準的OpenAI協議的API，并提供權限、審計、監控、配額限流等管理能力。

2）私域知識管理

支持根據知識類型創建多個不同層級的知識庫，支持文件上傳、手工錄入、網頁知識等多種形式錄入知識，并使用 RAG 技術進行向量化處理，可在聊天過程中指定回復引用特定的知識庫。

3）工具開發支持

工具（Tools）功能在當前版本，主要是支持場景問答對接藍鯨產品或第三方系統的API，從第三方接口獲取數據知識后總結回復。核心流程是“新建工具”、“對話綁定工具”、“工具調用（FunctionCall）”、“大模型總結回復”等步驟。下一個版本計劃支持MCP協議，集成除API外更多類型的工具。

4）智能體開發框架

LLM Agent Framework ，是一個 LLM 智能 Agent 應用開發框架，提供單 Agent 智能代理與基于 Graph 編排的多 Agent 智能協同能力，使用 Graph 組合 Agent, Chain, Retriever 等各類子組件，編排業務流程，解決復雜多變的業務問題，同時最大程度保留可復用性。

作為整個嘉為藍鯨一體化運維體系的一部分，與一體化運維系統之間通過功能調用，以及數據和知識接入，形成有機互動，實現更為豐富的場景化應用。

基于LLMOps技術底座，嘉為藍鯨已經發布了多個大模型運維場景應用，推動運維體系從被動響應向主動預防轉變、自動化向智能化運維升級、知識驅動的運維決策閉環。

（1）LLMOps+DeepSeek 知識問答

DeepSeek通過先進的模型架構，帶來了高效率與低成本優勢，在運維問題推理和知識總結場景通過選擇高性能低成本的 DeepSeek-V3 或高效推理模型 DeepSeek-R1，兼具高準確率、低成本、高性能等優勢。

（2）嘉為藍鯨全棧智能觀測中心

有了AI助手智能小鯨（基于 LLM Agent Framework 開發的智能體）加持的嘉為藍鯨全棧智能觀測觀測中心，仿佛有了“千里眼”，業務系統的全景可觀測數據盡收眼底，能自動精準解析告警事件，快速定位故障根因，并提供高效解決方案。

（3）智能化IT服務臺

通過智能問答和智能提單，能大幅提升用戶自助解決率，降低服務臺一線人員壓力。

在ITSM工單處理完成后，可以利用AI輔助知識沉淀，助力知識管理，提高類似事件的處理效率。

（4）智能化技術賦能發布變更管理

在發布變更場景，借助大模型的意圖識別、知識檢索、工具調用能力，可以調用FAQ知識庫與行業最佳實踐，提供故障根因分析、修復路徑推薦及風險預警。還能支持回滾、降級等復雜場景的一鍵式操作。

（5）更多智能運維場景參考