2025 年 4 月 10 - 12 日，QCon 全球軟件開發大會 將在北京盛大召開。此次大會以 “智能融合，引領未來” 為主題，將匯聚各領域技術先鋒與創新者，共同探討行業發展新趨勢。

字節跳動 AI 應用 DevOps 平臺后端技術負責人楊晨已確認出席，并將發表題為《從原型到生產：AgentOps 加速字節 AI 應用落地實踐》的主題分享。隨著 LLM 的發展，越來越多的業務期望結合大模型能力構建其 AI 應用以智能化解決場景化問題。AI 應用的開發與傳統工程開發存在眾多開發范式的變革，AI 應用落地的過程中也存在諸多挑戰。本次演講將探討字節內應對上述挑戰的實踐，講述 AgentOps 平臺如何助力業務高效開發迭代 AI 應用。

楊晨作為字節跳動 Dev Platform 部門技術專家，AI 應用 DevOps 平臺后端技術負責人。持續關注 AI 應用開發者工具平臺的前沿動態及創新，從 0-1 落地字節 AI 應用 DevOps 平臺，對 AI 應用落地及效果調優有深入的理解與洞見。本次會議中，他的詳細演講內容如下：

演講提綱

1. 大模型時代的應用開發范式變革

• 微服務應用架構 VS AI 應用架構

• AI 應用開發范式

• AI Agent 的演進

2. AI 應用開發中的問題與挑戰

• 基于大模型的應用開發迭代方式有何不同？如何高效開發？

• 面對大模型的不確定性，如何高效評測 AI 應用以達到上生產要求？

• 如何對大模型自主驅動的 Agent / 應用更好進行觀測、運維？

• 效果不及預期，如何進行推理結果的優化提升？

3. 字節 AgentOps 落地實踐

3.1 AgentOps 平臺的整體架構

• AI 應用開發的全生命周期

3.2 Prompt 開發：從設計、調優到應用

• Prompt 調試優化工具與實踐

• Prompt 版本化管理與生產應用

3.3 效果評測：AI 應用的生存之道

• 評測標準與流程的建立

• 評測集與評估器

• • LLM-as-a-Judge

  • Code Evaluator

  • Human-in-the-loop

• 業務實踐

• • 基于 Golden Set 的效果準出評測

  • 基于線上數據回流的在線評測

3.4 可觀測：洞察 AI 應用的全鏈路

• Tracing 數據的采集與消費

• 開箱即用的會話聚合與指標分析

• 業務實踐

• • 可觀測在 Coze 和豆包上的實踐

3.5 數據飛輪：AI 應用效果提升的閉環

3.6 落地情況與經驗總結

• 在字節內場的落地情況

• 實踐難點與經驗總結

4. 未來展望

• AI 應用開發者的核心訴求

• Agent 元年對 AgentOps 平臺的機會與挑戰

您認為，這樣的技術在實踐過程中有哪些痛點？

• AI 應用開發的范式不斷創新與變革，如何尋求 AgentOps 的最佳實踐

演講亮點

• 字節跳動 AgentOps 的全流程實踐

• AI 應用效果評測、問題定位、效果迭代優化的一手經驗

聽眾收益

• 深入理解 AI 應用開發過程中會遇到的問題及解法

• AI 應用落地及效果調優的實踐經驗及最新認知

除此之外，本次大會還策劃了多模態大模型及應用、AI 驅動的工程生產力、面向 AI 的研發基礎設施、不被 AI 取代的工程師、大模型賦能 AIOps、云成本優化、Lakehouse 架構演進、越挫越勇的大前端等專題，屆時將有來自不同行業、不同領域、不同企業的 100+ 資深專家在 QCon 北京現場帶來前沿技術洞察和一線實踐經驗。

現在報名即可以享受 9 折優惠，單張門票立省 680 元，詳情可掃碼或聯系票務經理 18514549229 咨詢。