當代職場人,“隨地移動辦公”是一種常態。
前一秒還在city walk,下一秒掏出筆記本往臺階上一放、就地辦公;候機室里,總有那么幾個人直到登機的前一秒還在筆記本上敲字疾書。
這是信息爆炸、連接無處不在的現代社會,在給予人類生活方便之余,隨手附贈的無奈。
合同簽訂前關鍵信息修改、稿件發布前的查漏補缺,種種突發狀況,都讓移動辦公處理文檔成為當下職場人的剛需。
手機屏幕越做越大,給人們在移動中閱讀更長的文檔提供了方便,但“處理”的步驟仍在困住職場人的手腳,隨身攜帶的筆記本仍然是肩頭沉重的負擔。
大模型的到來給解放職場人的肩膀帶來了可能,也給產學界攻克“難啃的硬骨頭”——文檔AI,帶來了突破口。
難啃的硬骨頭
1992年,Adobe聯合創始人查爾斯·希莫尼發明了PDF,連同十年前微軟的查爾斯·希莫尼發明的Word,聯手開啟了數字化辦公的時代。
堆積如山的紙質文檔工作被濃縮在一方屏幕之中,一度將人們處理文檔的效率推向了新的層級。但兩個查爾斯都不會想到,幾十年后的現在,這些數字文檔會反過來拖累職場人的工作效率。
工程師敲代碼前需要閱讀的技術文檔動輒幾百頁,分析師寫行業報告需要從幾十、上百家公司財報中抽絲剝繭、獲取趨勢共性,物理世界的紙質文件化身為14寸屏幕堆不下的數字文檔,同樣可以淹沒無數職場人。
人工智能發展幾十年,產學界很早就試圖用AI技術輔助人們處理文檔工作。從最早的規則啟發到神經網絡引入權重和數據訓練,基本的思路都是“人為歸納規則->轉換為機器語言(函數和代碼)->教授計算機規則”。
然而,隨著人們需要在電腦上處理的工作范圍越來越廣,文檔的復雜化發展沒有盡頭,有限的硬件算力和仍待完善的算法,都使得大部分文檔智能不那么智能。
例如一旦文章過長或是包含的圖文要素過多,文檔智能給出的摘要常常不夠準確,甚至和文檔內容風馬牛不相及;
或是用戶希望針對某一問題在文檔內容中找到相應的解答,文檔智能雖然會給出答案,卻不能溯源定位到原文,使得用戶無法進一步確定答案的準確性。
同時,隨著數字化深入到各行各業,文檔類型越發繁雜,每一類文檔對應一種處理規則,一種規則再對應一套算法的建立和后續的調試,整個流程逐漸變成了難以負擔,并且不具備經濟效益的繁重工作。
自動駕駛的難度眾所周知,而文檔AI面臨的挑戰并不比自動駕駛少。
一是數據。根據IDC口徑,2018年-2025年,全球數據量將從33ZB到增長到175ZB,其中80%是非結構化數據[1],包括圖像、音頻、傳感器數據等,共同特點是沒有統一格式、缺乏定義,難以表征;
二是理解能力。語言中的復雜語義、文檔的結構化都需要更強的邏輯演繹能力來理解和解讀,比如從“任務很困難,但小明堅持完成了”,推導出“小明持之以恒”,再比如一級標題和二級標題之間的遞進、表格表頭與數據的一一對應等。
三是專業性。尤其是在專業性極強的垂直行業,例如專業的論文,財經報告,律師卷宗等等,解讀這類文檔需要專業知識的長期積累。
直到大模型的出現,無需人工標注的數據和自監督學習機制,賦予了計算機自主進化的能力。
作為產學界最難啃的骨頭之一,文檔AI因此得到了突破的機會,HUAWEI Mate X6的系統級AI助手小藝率先作出了示范。
突破文獻綜述難題的創新探索
今年10月“原生鴻蒙”HarmonyOS NEXT正式登場,11月華為Mate品牌盛典,軟件層煥然一新,再次進化的智能體小藝聚焦了視線。
HUAWEI Mate X6的大屏和輕便為移動辦公而生,HarmonyOS NEXT將AI與操作系統深度融合,賦予了小藝處理復雜文檔時的突破性表現。
學術論文是典型的復雜文檔,其中包含大量抽象概念,混合艱深晦澀的文字表述,加上龐雜的數據圖表,依靠肉眼閱讀、人腦理解都費時費力。
但論文寫作逃不開閱讀、引用大量前人論文,尤其是文獻綜述環節,是學術圈知名“老大難”。
用HUAWEI Mate X6的文件管理器打開一篇學術論文,點擊右上角小藝星環呼喚出小藝,先生成一張思維導圖,快速掌握文章的邏輯脈絡和核心觀點。
用戶對生疏概念進行提問,小藝會給與解答,利用小藝連續問答精準溯源的能力,通過將相關文字高亮,用戶可以直接定位到原文做進一步理解,或是根據解答繼續追問。這個舉動就像人類寫論文標注數據來源和出處的習慣,為的就是追求嚴謹和準確,打消閱讀者對生成內容準確性的顧慮。同時,借助高亮溯源的特性,閱讀者也能快速找到想詳細了解的段落,進一步提升閱讀效率。
閱讀過程中,遇到陌生的概念,不用到搜索引擎上搜索,直接問小藝,從“深度學習和神經網絡的關系”到“多模態LLM和一般模型的區別”,都能迅速給與解答。
得益于多模態內容感知能力,哪怕是論文包含復雜的圖表和大段抽象的文字表述,也可以讓小藝將其轉換為精美易讀的圖文摘要,繪聲繪色、通俗易懂。比如讓小藝進行論文解讀,用小藝根據文檔生成好看易讀的圖文編排呈現,能更清晰地給出抽象概念的區別,便于理解。不得不說,在需要處理非結構化、多樣化表格或圖文混排等復雜文檔情況下,華為的版面理解模型在內容解析能力上的提升,讓小藝具有了更大的優勢。
表格數據也是學術論文中常常出現的表達形式,但其在呈現趨勢、差異等方面存在不夠直觀的問題。
依托于鴻蒙系統打造的系統級文檔助手,也讓小藝有了智能感知用戶意圖的能力,在遇到類似“LLM歷年參數規模”的表格數據時,就可以復制其中的大部分文字,小藝完整識別后提取數據,生成“LLM參數規模散點圖/直線圖”,展現趨勢,一句話即可根據文檔內容生成圖表,就省得我們自己倒進數據表再手動拉數據畫圖了。而這就是系統與AI深度綁定的結果。
小藝之所以能正確識別文檔,并給出準確的摘要,這也要歸功于華為的版面理解模型,正因為有了這項能力的賦能,小藝才能做到準確的高亮溯源、一句話生成圖表等動作,事實上它還可以理解文檔的頁碼,即便是將文檔的某一頁刪掉或保留這種操作,都能動動嘴巴讓小藝代勞。
國內學者還經常遭遇全英文文獻的困擾,貫穿全文的英文專有名詞,即使翻譯APP不離手,也免不了閱讀速度大大降低。小藝不僅能提供全文翻譯,還可以生成中文摘要、提供中文問答來幫助用戶更快地領會文獻核心。
幾十頁的學術論文,靠小藝可以極大地縮短閱讀時間,將自己從繁雜的信息中解放出來,更高效地獲取對自己的研究真正有價值的論據和數據。
財報同樣充斥著大量的文字、數據和圖表內容。分析師寫行業報告,需要梳理幾十上百份財報,抽取出關鍵數據做線性回歸分析。
有了小藝,想要對財報中的表格數據進一步分析,同樣可以借助小藝的多模內容精準感知解讀的能力,獲得分析繪圖,還可以直接一句話生成自定義表格,例如“把第一季度、第二季度收入畫成餅狀圖”等要求。
小藝能夠輕松扮演“研究助手”、“助理分析師”,最關鍵的就是前面所提到的,其依托的是領先業內的版面理解模型。
版面分析模型是復雜文檔處理的基礎,它將文檔按照區域劃分,定位標題、文字、圖片、表格等關鍵信息,再進行解讀,是執行表格提取等后續操作的前提,其精度決定了這些操作的準確性。
小藝背后的版面理解模型通過增加長序列、RAG、Grounding等技術辦法,提升了解析文檔的能力,并實現了端對端的優化。
其中,長序列是指文檔中的上下文,也就是“前景提要”和“背景知識”,模型能夠利用的上下文越長,對內容的理解能力越強,直接影響摘要生成、翻譯等功能。
RAG即檢索增強生成技術,當用戶向小藝提出一個問題,RAG技術負責從各類數據源檢索相關聯的信息提供給模型,綜合這些信息回答用戶的問題。
Grounding則用來引用具體的概念、事件,通過建立與現實世界的聯系,確保小藝生成內容的可靠性,更準確地理解、描述圖像、視頻等多媒體數據。
強大的模型賦予了小藝領先業內的文檔處理能力,是其綜合能力的其中一隅。
隨時在線的文檔助手
職場上要求的不只是工作能力,主觀能動性、有求必應也被視作責任心的體現。
類似地,用戶對于文檔智能助手的期待也不只是足夠強的處理文檔“硬實力”,更容易開啟、隨叫隨到等等“軟實力”,也對用戶體驗至關重要。
而小藝的深厚“內功”就在于此。
與HarmonyOS NEXT的深度融合,使得小藝晉升為系統級AI助手,調配算力、線程、內存等系統資源更加靈活。
相當于跑堂傳話的小廝升職成為執掌人事調度、采買等事務的大管家,真正擁有了接管用戶生活、工作瑣事的能力。
小藝的文檔智能也因此實現了“隨叫隨到”,與用戶的交互方式更加自然,將調用方式濃縮為了幾個簡單而日常的動作:
拖——比如導師通過郵件附件發來的要求閱讀的學術論文、在社交軟件中與人做學術討論時對方發來推薦閱讀的文獻,都可以直接拖拽至屏幕底部的小藝導航條,小藝能夠識別并解讀、生成總結摘要,用戶可以針對摘要進行提問、追問。
圈——閱讀文獻時,遇到難以理解的理論或專業術語,可以用指關節對內容進行圈選,小藝能識別圈選的內容并快捷地推薦“問問小藝”、“識圖搜索”等高頻功能,用戶點擊“問問小藝”就可以針對理論與小藝進行問答。
喚——在圖書館等需要保持安靜的環境里閱讀材料和論文時,借助“小藝私語”功能,可以在不打擾周圍人的情況下使用文檔AI功能,只需要抬起手機、在距離麥克風約5厘米左右的區域直接說出需求即可,即使是悄悄說,小藝也能聽見。
更自然的交互方式+更強大的處理能力,讓小藝的文檔能力真正落到了實際,幫助學者、以及更多的職場人從重復而繁重的工作中解放,轉而將更多精力放在能夠創造更大效益、體現自身獨特價值的事務中,提升獲得感和成就感。
這些情緒價值被放大到生活中,也將讓人們對“AI改變生活”的愿景有了實感。
2024年被視作大模型入端元年,AI助手作為人們調用大模型最直接的媒介被寄予厚望。人們希望AI助手能切實為自己分擔瑣碎的事務和工作。
處理復雜文檔是困擾AI產業多年的疑難雜癥,也是現代社會人們繁重和低效率工作的縮影,成為AI終端和智能體繞不開的大山。
小藝文檔助手的突破給產業提供了一個全新的范本,也標志著一個隱形的AI超級入口——文檔,正在向無數產業參與者,敞開大門。
參考資料
[1]數字化世界—從邊緣到核心,IDC
[2]“盤古”開天記,AI落地時,《華為技術》第90期
[3]盤古3.0:中國大模型突圍的一個典型樣本,遠川研究所
[4]文檔智能:數據集、模型和應用,BFT智能機器人研究
[5]文檔能否成為AI的超級入口?出海同學會
作者:何律衡
編輯:李墨天
視覺設計:疏睿
責任編輯:何律衡
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.