AI技術在推動泛視覺應用快速普惠發展的背后,始終離不開ISP(圖像信號處理引擎)這一核心技術的支撐,作為圖像成像的關鍵,ISP決定了畫質的清晰度、噪聲、不同光照成像表現等,是AI進行視頻結構化、內容識別、行為分析、事件判斷的關鍵。
ISP的重要性,讓泛視覺產業鏈企業加快了成像技術的迭代進程,以讓用戶在無感中享受到更精美的畫質,體驗到更智能的AI應用。作為國內優秀的SoC芯片及智慧視覺解決方案提供商,國科微基于其將近20年的技術積累,近年已在人工智能與圖像處理技術結合方面持續取得突破,4月22日,國科微又重磅發布自研AI ISP品牌——圓鸮。
普惠AI,“圓鸮”應聲落地
在深度學習、自然語言處理、計算機視覺、大語言模型、邊緣AI、強化技術等AI技術的持續進步推動下,手機、電腦、平板、智能駕駛、智能座艙、機器人、安防監控、門鎖/門鈴、工業自動化等領域泛視覺應用快速增長,并帶動CIS、SoC芯片等核心器件持續出貨。
相比CIS的重要性,SoC芯片的三大處理能力同樣不可忽視,分別為VENC(視頻編碼器)、NPU(神經網絡處理器)以及ISP,其中ISP作為基礎的圖像處理單元,有著悠久的應用歷史,技術成熟度高,創新突破難度大,其迭代進程往往被行業所忽視。
與此同時,面對各類復雜的環境原有的ISP處理能力已無法滿足市場對更高畫質、更高處理能力的需求,迭代優化變得越來越困難,“看得清”的能力亟待有新的突破。
據國科微智慧視覺產品線高級市場經理潘雨介紹,公司在傳統ISP技術基礎上,利用AI算法,通過大量的素材以及豐富的參數構建AI視覺處理模型,突破了傳統ISP技術天花板,帶來全新視覺效果,這就是國科微的圓鸮AI ISP技術。
取名“圓鸮”,則是國科微對自研AI ISP引擎在暗光增強、細節處理等能力上的自信,寓意圓鸮AI ISP能夠像貓頭鷹一樣擁有敏銳的洞察能力以及捕捉能力。
六大特性,鑄就領先的ISP應用
ISP的能力如何,低照度環境下的成像能力最能直接體現。
以手機為例,現在手機的夜視成像能力基本都可以做到優于人眼目視的效果,夜晚暗處的細節,人眼可能無法分辨,但通過手機視頻可以清晰識別。不過相比基于傳統ISP實現的影像,手機的夜視能力仍相對較弱,這主要由于手機結構限制所導致。
即便如此,基于傳統ISP實現的影像仍有許多不足,主要由于傳統ISP通常通過增益來提升畫面亮度,導致畫面噪聲增多(俗稱“雪花”),抑制難度大,進而導致畫面亮度及干凈度均不利于AI應用;且照度越低,圖像畫面的效果越差,甚至到無法識別的地步。
而圓鸮AI ISP超感光降噪技術,基于智能降噪的算法模型,通過AI有效區分出圖像中的信號和噪聲,以8dB的信噪比提升能力,精準降噪,實現低照度場景下高清成像。發布會現場,國科微向筆者展示了基于圓鸮AI ISP實現的畫質效果。
同一照度場景下(0.001Lux),肉眼僅能看到一片漆黑,傳統ISP處理的圖像可輕微辨識畫面輪廓,但畫面昏暗,色彩嚴重失真,圖像細節無法辨識。而圓鸮AI ISP處理的圖像,色彩鮮明、細節清晰、畫面艷麗、圖像干凈無噪聲,逼近常規亮度下的畫質效果。
現場同步與2家頭部企業競品方案進行比較,筆者比對發現,三家方案對靜態的處理能力差別不大,重點在于對運動影像的處理能力上,圓鸮AI ISP表現更優,其低照度成像能力達到了行業領先水平。
國科微ISP研發中心負責人王璽林向記者表示,國科微擁有成熟的傳統算法團隊和AI算法團隊,兩個團隊深度融合,構建了完整的技術鏈條?!疤貏e是在降噪技術領域,國科微做了大量的儲備,成就了圓鸮AI ISP實現更加優異的黑光全彩效果。”他說。
事實上,超感光降噪技術只是圓鸮AI ISP的能力之一,其還支持多光譜融合、超級穩像、超級廣角、快速對焦、RGBIR。
其中,多光譜融合技術支持將紅外光與可見光圖像信息融合,超低照度場景下僅補充紅外光,即可實現黑光全彩應用;超級穩像即防抖技術,支持IMU 6軸傳感信息智能分析運動姿態,精準補償修正動態視頻,配合防抖鏡頭等技術,將獲得更佳的防抖效果;超級廣角則是多圖像無畸變拼接,方便構建大視野視頻影像。
普通變焦方案,往往出現聚焦不準、響應速度慢等問題,基于PDAF快速對焦技術,圓鸮AI ISP可實現精準對焦,避免低照度下對目標物體反復對焦、虛焦的情況;RGBIR技術則實現單個SoC與單個圖像傳感器設備,無需濾光片(IR-CUT)即可輸出全彩和黑白兩種圖像,不僅簡化了成像設備結構,還降低了后期運維的故障率。
圓鸮AI ISP的如上表現,確實對傳統ISP技術實現了跳級躍遷,并在細節處理上明顯優于部分同行方案。
此前市場有觀點分析認為,AI ISP已經達到了ISP的技術天花板,那么,如上表現是否是圓鸮AI ISP的極限?對此,潘雨表示,“這只是圓鸮AI ISP的開始。”據其披露,接下來,國科微將在超分、電子透霧、圖像拼接、超級寬動態等方面繼續提升圓鸮AI ISP的能力。
王璽林向記者透露,圓鸮AIISP未來將從三大維度實現技術突破與迭代升級:在超級寬動態技術方向,不斷拓展動態范圍邊界,有效攻克戶外強光、逆光等復雜光照環境下的監控難題,讓畫面細節更清晰、視野范圍更寬廣;在降噪技術方向,通過融合更先進的深度學習算法,優化AI模型架構,進一步提升黑光全彩成像效果;在幾何處理技術領域,聚焦畫面拼接、光學防抖、魚眼矯正等關鍵環節,以創新技術手段實現圖像幾何變換的精準優化,為用戶帶來更優質、更穩定的視覺體驗。
“我們希望在未來,國科微圓鸮AIISP成為一個通用的ISP基座平臺,方案商基于這個平臺可以更快捷地開發有競爭力的產品。”王璽林說。
縱向全覆蓋,滿足全域創新需求
基于圓鸮AI ISP的良好表現,國科微已開發出首款芯片GK7606V1系列,據介紹,搭載圓鸮AI ISP的GK7606V1,快速聚焦上,對算力資源的需求降低了53%,內置雙核Cortex A55處理器,支持4K編解碼,具有高畫質、低碼率、低內存、低延時以及低功耗等優勢。
GK7606V1系列同時植入NPU,擁有2.5TOPS算力,支持Transformer、RNN網絡,以及30+免費授權使用的自研AI算法,便于用戶針對AI需求進行靈活配置,滿足專業安防、中高端消費類IPC、運動DV、行車、圖傳等創新需求,并在安防行業頭部企業取得良好反饋。
需指出的是,GK7606V1系列重點面向高端場景,而針對市場所需的高性價比方案,國科微目前正在基于圓鸮AI ISP開發GK7206V1系列芯片,新一代產品支持雙核Cortex A7處理器并內置RISC-V小核,算力為1TOPS,支持4K@25 H.264/H.265編碼,支持AOV、快啟,支持雙MIPI+DVP三目輸入。
據介紹,GK7606V1系列開發工作已進入到即將上市的階段,其特點是低功耗應用,未來將重點滿足分銷、模組、消費類等領域的創新需求,與GK7606V1系列形成高低定位互補,為智能安防、行車記錄儀、無人機圖傳、運動DV、會議攝像頭等應用領域提供豐富的解決方案。
結語
隨著科技的不斷進步,泛視覺應用正以前所未有的速度滲透到我們生活的每一個角落。從智能手機的夜景拍攝到智能駕駛的視覺輔助,從安防監控的高清成像到工業自動化的精準檢測,ISP技術作為這一切的核心支撐,始終在幕后默默發力。國科微憑借多年的技術沉淀和創新精神,成功推出了圓鸮AI ISP品牌,為泛視覺應用的未來發展注入了新的活力。
圓鸮AI ISP不僅在低照度成像、降噪、多光譜融合等關鍵技術上實現了突破,更通過與SoC芯片的深度融合,為不同應用場景提供了高效、智能的解決方案。無論是高端市場的專業需求,還是高性價比的大眾應用,國科微都展現出了強大的技術實力和市場洞察力。
未來,隨著圓鸮AI ISP在更多領域的落地生根,以及國科微在老舊視頻質量提升、電子透霧等新技術上的持續探索,我們有理由相信,泛視覺應用將迎來更加廣闊的發展空間,而國科微也將繼續引領行業潮流,為用戶帶來更加智能、便捷、高效的視覺體驗。
(校對/鄧秋賢)
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.