IPP評(píng)論是國(guó)家高端智庫(kù)華南理工大學(xué)公共政策研究院（IPP）官方微信平臺(tái)。

導(dǎo)語

9月21日至22日，以“人工智能與未來世界”為主題的華南理工大學(xué)公共政策研究院（簡(jiǎn)稱“IPP”）第十一屆國(guó)際會(huì)議在廣州南沙召開。 在分議題“亞洲的AI發(fā)展”中，云從科技聯(lián)合創(chuàng)始人姚志強(qiáng)先生發(fā)表了題為“人工智能新范式引領(lǐng)企業(yè)智能變革”的演講。

姚志強(qiáng)分享了云從科技在大模型應(yīng)用上的創(chuàng)新實(shí)踐。他認(rèn)為，人工智能以及大模型技術(shù)要實(shí)現(xiàn)落地，需要結(jié)合具體場(chǎng)景，通過靈活的架構(gòu)設(shè)計(jì)和創(chuàng)新思維，實(shí)現(xiàn)技術(shù)和產(chǎn)品的有機(jī)結(jié)合。

*以下文字內(nèi)容來自嘉賓演講，略有刪改：

姚志強(qiáng)先生發(fā)表演講? ? ? ? ?

很高興有機(jī)會(huì)來到IPP國(guó)際會(huì)議，分享一些我們?cè)诋a(chǎn)業(yè)落地以及如何使用AI大模型方面的經(jīng)驗(yàn)。

現(xiàn)如今，OpenAI打開了大模型的新世界大門，確實(shí)很令人震撼。我相信到這個(gè)時(shí)間點(diǎn)，應(yīng)該沒有人懷疑AGI（通用人工智能）的時(shí)代一定會(huì)到來。

現(xiàn)在大家會(huì)有一個(gè)普遍感受，那就是技術(shù)發(fā)展的前景似乎很清晰，但是在路徑上又有很多問題，特別在落地轉(zhuǎn)化的過程中有很多“叫好不叫座”的現(xiàn)象。對(duì)于企業(yè)來說，投入了很多成本，但其實(shí)沒有賺到錢，最后發(fā)現(xiàn)賺到錢的人都是賣卡或者賣算力的。

這個(gè)問題從何而來？又應(yīng)該如何進(jìn)行思考？

首先，做信息化建設(shè)和相關(guān)硬件的企業(yè)正在經(jīng)歷很大的改變，原先我們企業(yè)大致遵循的是（ 見下圖）左側(cè)的流程化過程——設(shè)定好具體環(huán)節(jié)，圍繞人去做事。

圖源：演講嘉賓PPT

現(xiàn)在大模型出現(xiàn)帶來了一個(gè)全新的思考方式。如果我們將智能體看作是“數(shù)字化的人”，就可以發(fā)現(xiàn)在未來，它可以像人一樣思考、執(zhí)行，而不再需要提前設(shè)定。

但在實(shí)際落地中我們又發(fā)現(xiàn)了很多問題，比如說現(xiàn)在講的大語言模型，似乎除了被用于一些非嚴(yán)肅的娛樂應(yīng)用之外，好像并沒有在哪個(gè)方向上給我們帶來了巨大變化。

很多企業(yè)投身于訓(xùn)練大語言模型，像國(guó)內(nèi)比較流行刷各種榜單。但最后回到實(shí)踐落地中，依舊面臨很多問題。這因而形成了很負(fù)面的一種狀況——投入很多但是收獲很少。

許多領(lǐng)先的AI技術(shù)公司仍舊面臨長(zhǎng)期虧損。

有些企業(yè)有形成了一種觀念：我們是做技術(shù)的，所以我一定要掌握最先進(jìn)的技術(shù)，開展技術(shù)基礎(chǔ)開發(fā)。 但這里有一個(gè)疑問，我們到底是做技術(shù)的公司，還是做產(chǎn)品的公司？很多企業(yè)把這件事給混淆了，因?yàn)榇蟛糠制髽I(yè)實(shí)際上都 是做產(chǎn)品的公司。

我們一定要做基礎(chǔ)科學(xué)研發(fā)嗎？還是說我們其實(shí)更擅長(zhǎng)把技術(shù)應(yīng)用好？我覺得后者可能是做產(chǎn)品的企業(yè)更應(yīng)該關(guān)注的一件事。

姚志強(qiáng)先生在演講中介紹云從科技在AI大模型運(yùn)用中的經(jīng)驗(yàn)。

技術(shù)在不斷迭代，特別是在OpenAI的引領(lǐng)下，我們則在后面不斷追趕的過程中，發(fā)現(xiàn)自研成本非常高，但是我們把太多資源投入在跟隨上，在產(chǎn)品創(chuàng)新領(lǐng)域投入不足。也就是說，沒有太多的人研究目前我們?cè)诋a(chǎn)品落地方面應(yīng)該怎么做。這就導(dǎo)致一個(gè)很奇怪的現(xiàn)象——學(xué)術(shù)上很熱鬧，大家買卡也很瘋狂，但最后核算下來基本上都在虧。

所以現(xiàn)在有人開始唱悲觀的論調(diào)，覺得未來的AI大模型不會(huì)有前途。我認(rèn)為，大模型技術(shù)或者說未來的AGI是一定有前途的，只是企業(yè)層面可能面臨困難。

云從科技是一家做視覺起家的公司，我就舉一個(gè)視覺的例子，來看一看到底問題出在哪里。

云從科技公司通過像人一樣思考和工作的人機(jī)協(xié)同操作系統(tǒng)（CWOS），基于數(shù)據(jù)要素進(jìn)行整合視覺、語音、NLP等多個(gè)領(lǐng)域大模型的實(shí)踐。

首先回顧一下，視覺大模型出現(xiàn)之前我們是怎么做的。在行為、安全生產(chǎn)等各種場(chǎng)景中，我們通過視覺監(jiān)控這種形式檢測(cè)我們的不合規(guī)動(dòng)作、危險(xiǎn)行為以及設(shè)備安全。在現(xiàn)實(shí)生活生產(chǎn)中這種場(chǎng)景非常之多，非常復(fù)雜，我們叫做“長(zhǎng)尾算法”。

我們發(fā)現(xiàn)，如果是以前的小模型算法，一般的實(shí)踐路徑都是先確定問題、采集數(shù)據(jù)，再做標(biāo)注、做訓(xùn)練，到現(xiàn)場(chǎng)再去實(shí)踐，發(fā)現(xiàn)不行再回過頭再采集數(shù)據(jù)，再調(diào)整參數(shù)模型，直到客戶接受為止。但是在經(jīng)歷這么長(zhǎng)一個(gè)周期后，我們卻發(fā)現(xiàn)產(chǎn)品很難滿足實(shí)際生產(chǎn)需要，離客戶的心理預(yù)期也差得很遠(yuǎn)。

不常見的、復(fù)雜的場(chǎng)景依賴于精細(xì)化的規(guī)則和分析。圖源：演講嘉賓PPT

其次，這個(gè)周期非常長(zhǎng)，每一次都是完整循環(huán)，成本非常高，在很多應(yīng)用中只能選擇特別重要的事情做一下，很多需求就放棄了。

怎么應(yīng)對(duì)這種情況？

回到最傳統(tǒng)的做法，就是用人來看這些視頻，可想而知效果有多差，因?yàn)殡S著生產(chǎn)活動(dòng)越來越復(fù)雜，設(shè)備越來越精密，需要做的事情也就越來越多，大型企業(yè)的安全規(guī)則都非常多，真正想把這些事情監(jiān)控起來非常難。 所以結(jié)果就是，在沒有出現(xiàn)問題時(shí)，大家覺得所有系統(tǒng)都是正常的，一旦出事了，就發(fā)現(xiàn)系統(tǒng)全是漏洞。

大模型出現(xiàn)之后，我們發(fā)現(xiàn)它首先解決了這一問題。大模型屬于預(yù)訓(xùn)練模型，事先已經(jīng)解決了數(shù)據(jù)采集問題。它是一個(gè)有冷啟動(dòng)功能的系統(tǒng)，不需要在事先采集很多數(shù)據(jù)重新訓(xùn)練模型。當(dāng)然，實(shí)際中我們還是要采集一些數(shù)據(jù)，但是不會(huì)像以前（使用小模型）那樣采集大量數(shù)據(jù)。

對(duì)企業(yè)的產(chǎn)品設(shè)計(jì)來說，大模型在降低成本的同時(shí)，又帶來了另外一個(gè)嚴(yán)重問題——參數(shù)規(guī)模巨大。這就造成，我們?cè)谟?xùn)練的過程中可能成本下降了，但是使用的時(shí)候成本又上升了。如果用大模型實(shí)時(shí)處理視頻流，這在當(dāng)前幾乎是不可想象的。

實(shí)際解決方案的思路比較簡(jiǎn)單。首先， 人做視覺監(jiān)控判斷時(shí)，我們不是所有時(shí)候都集中注意力，首先是掃一眼，大概會(huì)有奇怪的事、引起警覺的事，我們才會(huì)仔細(xì)分辨。

所以我們?cè)O(shè)計(jì)了兩層架構(gòu)：

第一層是傳統(tǒng)做法，也就是檢測(cè)掃描。這個(gè)監(jiān)測(cè)基本上還是用以前的小模型。只要設(shè)計(jì)比較好的閾值，小模型可以把大多數(shù)有風(fēng)險(xiǎn)的可能性全部過濾出來，也就是說接下來只要在這些可能性中做更好的甄別就可以了。

通過多模態(tài)AI技術(shù)系統(tǒng)，對(duì)圖像和事件進(jìn)行識(shí)別、解析，提高研判精度。

圖源：演講嘉賓PPT

在第一步中，小模型的成本、速度基本可以滿足我們的需求，所以有多少實(shí)時(shí)視頻都沒有問題，但是小模型的性能較差，如果閾值調(diào)得很低，很多情況被它過濾了，就會(huì)產(chǎn)生很多的虛警，這些虛警不是真正的風(fēng)險(xiǎn)，只是疑似風(fēng)險(xiǎn)，這會(huì)讓做最終判斷的人非常疲勞。

所以在第二步中，我們用視覺大模型，把整個(gè)畫面或者說連續(xù)的幾張圖做語義或者場(chǎng)景解析，翻譯成語言，再用語言大模型對(duì)語義進(jìn)行理解。如此一來，我們就知道具體精確動(dòng)作，是不是操作規(guī)程里允許/不允許的行為。

這一套流程讓我們很好解決了小模型時(shí)代解決不了的問題，克服了大模型無法實(shí)時(shí)、成本過高的問題。

姚志強(qiáng)先生回應(yīng)現(xiàn)場(chǎng)觀眾提問

再舉一個(gè)非常經(jīng)典的例子——室外設(shè)備漏油檢測(cè)。

通常，用視覺區(qū)分漏油與水漬非常困難。但是有了大模型，我們發(fā)現(xiàn)有一個(gè)非常好的解決辦法，就是讓智能體去查一下前兩天的天氣，是否有降雨？以此相對(duì)較準(zhǔn)地判斷出來到底是水漬還是漏油。

我想表達(dá)的是，（上述案例）雖然看起來用了很多工程技巧，采取了一些折中的辦法，但是背后蘊(yùn)含的理念仍然是讓機(jī)器像人一樣思考。

我們會(huì)發(fā)現(xiàn)，未來的系統(tǒng)很可能會(huì)是智能體集合，想要做什么事或者完成什么任務(wù)，只要把目標(biāo)告訴它，它就能以目標(biāo)為驅(qū)動(dòng)，自動(dòng)調(diào)用更多智能體。

上面提到的語言大模型可以理解為一個(gè)扮演指揮、管理角色的智能體，而具體視覺的小模型智能體，則是分工協(xié)作、負(fù)責(zé)執(zhí)行的角色。只是在這里我們還停留在比較初級(jí)的層面，并沒有讓系統(tǒng)做到像人一樣自我學(xué)習(xí)、自我升級(jí)，在整個(gè)系統(tǒng)里，也一定還會(huì)有錯(cuò)誤。 我們需要通過反饋繼續(xù)學(xué)習(xí)，繼續(xù)提升智能體的性能。

未來模式已經(jīng)徹底改變了，只是說路還是要一步一步走。

文稿整理｜周浩鍇????

鄭永年：AI假裝是人類，中美怎么辦？｜IPP國(guó)際會(huì)議

IPP國(guó)際會(huì)議｜蔣余浩：中國(guó)人工智能創(chuàng)新發(fā)展路徑研究——基于“非線性創(chuàng)新觀”的探索

IPP國(guó)際會(huì)議｜孟維瞻：大國(guó)人工智能競(jìng)爭(zhēng)如何塑造美國(guó)的政治變化？

關(guān)于IPP

華南理工大學(xué)公共政策研究院（IPP）是一個(gè)獨(dú)立、非營(yíng)利性的知識(shí)創(chuàng)新與公共政策研究平臺(tái)。IPP圍繞中國(guó)的體制改革、社會(huì)政策、中國(guó)話語權(quán)與國(guó)際關(guān)系等開展一系列的研究工作，并在此基礎(chǔ)上形成知識(shí)創(chuàng)新和政策咨詢協(xié)調(diào)發(fā)展的良好格局。IPP的愿景是打造開放式的知識(shí)創(chuàng)新和政策研究平臺(tái)，成為領(lǐng)先世界的中國(guó)智庫(kù)。