IPP評論是國家高端智庫華南理工大學公共政策研究院（IPP）官方微信平臺。

導語

9月21日至22日，以“人工智能與未來世界”為主題的華南理工大學公共政策研究院（簡稱“IPP”）第十一屆國際會議在廣州南沙召開。 在分議題“亞洲的AI發展”中，云從科技聯合創始人姚志強先生發表了題為“人工智能新范式引領企業智能變革”的演講。

姚志強分享了云從科技在大模型應用上的創新實踐。他認為，人工智能以及大模型技術要實現落地，需要結合具體場景，通過靈活的架構設計和創新思維，實現技術和產品的有機結合。

*以下文字內容來自嘉賓演講，略有刪改：

姚志強先生發表演講? ? ? ? ?

很高興有機會來到IPP國際會議，分享一些我們在產業落地以及如何使用AI大模型方面的經驗。

現如今，OpenAI打開了大模型的新世界大門，確實很令人震撼。我相信到這個時間點，應該沒有人懷疑AGI（通用人工智能）的時代一定會到來。

現在大家會有一個普遍感受，那就是技術發展的前景似乎很清晰，但是在路徑上又有很多問題，特別在落地轉化的過程中有很多“叫好不叫座”的現象。對于企業來說，投入了很多成本，但其實沒有賺到錢，最后發現賺到錢的人都是賣卡或者賣算力的。

這個問題從何而來？又應該如何進行思考？

首先，做信息化建設和相關硬件的企業正在經歷很大的改變，原先我們企業大致遵循的是（ 見下圖）左側的流程化過程——設定好具體環節，圍繞人去做事。

圖源：演講嘉賓PPT

現在大模型出現帶來了一個全新的思考方式。如果我們將智能體看作是“數字化的人”，就可以發現在未來，它可以像人一樣思考、執行，而不再需要提前設定。

但在實際落地中我們又發現了很多問題，比如說現在講的大語言模型，似乎除了被用于一些非嚴肅的娛樂應用之外，好像并沒有在哪個方向上給我們帶來了巨大變化。

很多企業投身于訓練大語言模型，像國內比較流行刷各種榜單。但最后回到實踐落地中，依舊面臨很多問題。這因而形成了很負面的一種狀況——投入很多但是收獲很少。

許多領先的AI技術公司仍舊面臨長期虧損。

有些企業有形成了一種觀念：我們是做技術的，所以我一定要掌握最先進的技術，開展技術基礎開發。 但這里有一個疑問，我們到底是做技術的公司，還是做產品的公司？很多企業把這件事給混淆了，因為大部分企業實際上都 是做產品的公司。

我們一定要做基礎科學研發嗎？還是說我們其實更擅長把技術應用好？我覺得后者可能是做產品的企業更應該關注的一件事。

姚志強先生在演講中介紹云從科技在AI大模型運用中的經驗。

技術在不斷迭代，特別是在OpenAI的引領下，我們則在后面不斷追趕的過程中，發現自研成本非常高，但是我們把太多資源投入在跟隨上，在產品創新領域投入不足。也就是說，沒有太多的人研究目前我們在產品落地方面應該怎么做。這就導致一個很奇怪的現象——學術上很熱鬧，大家買卡也很瘋狂，但最后核算下來基本上都在虧。

所以現在有人開始唱悲觀的論調，覺得未來的AI大模型不會有前途。我認為，大模型技術或者說未來的AGI是一定有前途的，只是企業層面可能面臨困難。

云從科技是一家做視覺起家的公司，我就舉一個視覺的例子，來看一看到底問題出在哪里。

云從科技公司通過像人一樣思考和工作的人機協同操作系統（CWOS），基于數據要素進行整合視覺、語音、NLP等多個領域大模型的實踐。

首先回顧一下，視覺大模型出現之前我們是怎么做的。在行為、安全生產等各種場景中，我們通過視覺監控這種形式檢測我們的不合規動作、危險行為以及設備安全。在現實生活生產中這種場景非常之多，非常復雜，我們叫做“長尾算法”。

我們發現，如果是以前的小模型算法，一般的實踐路徑都是先確定問題、采集數據，再做標注、做訓練，到現場再去實踐，發現不行再回過頭再采集數據，再調整參數模型，直到客戶接受為止。但是在經歷這么長一個周期后，我們卻發現產品很難滿足實際生產需要，離客戶的心理預期也差得很遠。

不常見的、復雜的場景依賴于精細化的規則和分析。圖源：演講嘉賓PPT

其次，這個周期非常長，每一次都是完整循環，成本非常高，在很多應用中只能選擇特別重要的事情做一下，很多需求就放棄了。

怎么應對這種情況？

回到最傳統的做法，就是用人來看這些視頻，可想而知效果有多差，因為隨著生產活動越來越復雜，設備越來越精密，需要做的事情也就越來越多，大型企業的安全規則都非常多，真正想把這些事情監控起來非常難。 所以結果就是，在沒有出現問題時，大家覺得所有系統都是正常的，一旦出事了，就發現系統全是漏洞。

大模型出現之后，我們發現它首先解決了這一問題。大模型屬于預訓練模型，事先已經解決了數據采集問題。它是一個有冷啟動功能的系統，不需要在事先采集很多數據重新訓練模型。當然，實際中我們還是要采集一些數據，但是不會像以前（使用小模型）那樣采集大量數據。

對企業的產品設計來說，大模型在降低成本的同時，又帶來了另外一個嚴重問題——參數規模巨大。這就造成，我們在訓練的過程中可能成本下降了，但是使用的時候成本又上升了。如果用大模型實時處理視頻流，這在當前幾乎是不可想象的。

實際解決方案的思路比較簡單。首先， 人做視覺監控判斷時，我們不是所有時候都集中注意力，首先是掃一眼，大概會有奇怪的事、引起警覺的事，我們才會仔細分辨。

所以我們設計了兩層架構：

第一層是傳統做法，也就是檢測掃描。這個監測基本上還是用以前的小模型。只要設計比較好的閾值，小模型可以把大多數有風險的可能性全部過濾出來，也就是說接下來只要在這些可能性中做更好的甄別就可以了。

通過多模態AI技術系統，對圖像和事件進行識別、解析，提高研判精度。

圖源：演講嘉賓PPT

在第一步中，小模型的成本、速度基本可以滿足我們的需求，所以有多少實時視頻都沒有問題，但是小模型的性能較差，如果閾值調得很低，很多情況被它過濾了，就會產生很多的虛警，這些虛警不是真正的風險，只是疑似風險，這會讓做最終判斷的人非常疲勞。

所以在第二步中，我們用視覺大模型，把整個畫面或者說連續的幾張圖做語義或者場景解析，翻譯成語言，再用語言大模型對語義進行理解。如此一來，我們就知道具體精確動作，是不是操作規程里允許/不允許的行為。

這一套流程讓我們很好解決了小模型時代解決不了的問題，克服了大模型無法實時、成本過高的問題。

姚志強先生回應現場觀眾提問

再舉一個非常經典的例子——室外設備漏油檢測。

通常，用視覺區分漏油與水漬非常困難。但是有了大模型，我們發現有一個非常好的解決辦法，就是讓智能體去查一下前兩天的天氣，是否有降雨？以此相對較準地判斷出來到底是水漬還是漏油。

我想表達的是，（上述案例）雖然看起來用了很多工程技巧，采取了一些折中的辦法，但是背后蘊含的理念仍然是讓機器像人一樣思考。

我們會發現，未來的系統很可能會是智能體集合，想要做什么事或者完成什么任務，只要把目標告訴它，它就能以目標為驅動，自動調用更多智能體。

上面提到的語言大模型可以理解為一個扮演指揮、管理角色的智能體，而具體視覺的小模型智能體，則是分工協作、負責執行的角色。只是在這里我們還停留在比較初級的層面，并沒有讓系統做到像人一樣自我學習、自我升級，在整個系統里，也一定還會有錯誤。 我們需要通過反饋繼續學習，繼續提升智能體的性能。

未來模式已經徹底改變了，只是說路還是要一步一步走。

文稿整理｜周浩鍇????

鄭永年：AI假裝是人類，中美怎么辦？｜IPP國際會議

IPP國際會議｜蔣余浩：中國人工智能創新發展路徑研究——基于“非線性創新觀”的探索

IPP國際會議｜孟維瞻：大國人工智能競爭如何塑造美國的政治變化？

關于IPP

華南理工大學公共政策研究院（IPP）是一個獨立、非營利性的知識創新與公共政策研究平臺。IPP圍繞中國的體制改革、社會政策、中國話語權與國際關系等開展一系列的研究工作，并在此基礎上形成知識創新和政策咨詢協調發展的良好格局。IPP的愿景是打造開放式的知識創新和政策研究平臺，成為領先世界的中國智庫。