▲ 點擊上方 藍字 關注我們，不錯過任何一篇干貨文章！

全民AI時代，世界似乎陷入了一種狀態，如果產品不沾點AI，都不好意思拿出來宣傳一番。現在我們正處在AI的第四次浪潮之中，相比前幾次浪潮，無論從智能化上來講，還是從商業化來講，AI都更加成熟了。

樹莓派作為重要的嵌入式產品，也在默默發力，在最近不斷合作推出AI套件產品，為創客提供更強大的AI能力。

付斌｜作者

電子工程世界（ID：EEworldbbs）｜出品

與索尼推出AI攝像頭

去年，索尼半導體解決方案公司（SSS, Sony Semiconductor Solutions）宣布對樹莓派進行戰略投資，并為其提供AI技術支持。彼時，索尼就表示，將會把圖像傳感器融入到樹莓派之中。

最近兩天，產品終于正式亮相，索尼半導體（SSS）和Raspberry Pi宣布推出一款內置AI處理器的新型 AI 相機。該相機與所有Raspberry Pi計算機兼容，并圍繞索尼的IMX500智能視覺傳感器構建。

IMX500具有內置的AI攝像頭功能，可卸載Raspberry Pi的AI功能，也就是說有自己的計算資源，不會占用樹莓派的資源，也不用單門配一個GPU。IMX500可以捕獲圖像并進行AI處理，然后再將數據發送到主機。該傳感器采用堆疊式配置，具有片上SRAM和數字信號處理（DSP）引擎。

AI攝像頭的主要參數包括：

• 4056 x 3040 分辨率（約12.3 MP）

• 7.857毫米對角線，寬高比為1/2.3

• 1080p視頻，最高240 fps

• AI處理視頻幀率達到30 fps

• 片上AI處理、ISP和HDR視頻

• Tensor input大小從64 x 48到640 x 480（int8或uint8）

• 8.4 MB固件、網絡權重文件和工作內存

• 攝像頭尺寸25 mm × 24 mm × 11.9 mm

• libcamera和Picamera2庫以及rpicam-apps應用程序套件已經提供對Tensor元數據的軟件支持。

支持一直是Raspberry Pi的強項之一，這款相機也不例外。與其他Pi硬件一樣，AI相機附帶了大量的設置和應用文檔。任何Raspberry Pi用戶只需一個 Linux 命令行操作即可完成安裝。使用包含的示例可以立即開始設置后操作。除此之外，Pi AI 相機與索尼的 AITRIOS AI 傳感開發平臺兼容。

與Hailo推出AI套件

前陣子，樹莓派與Hailo基于合作開發了AI套件Raspberry Pi AI Kit。它將本地、高性能、高能效的推理集成到各種應用程序中，同時支持x86和Arm架構，價格為70美元。

可能有的人會說， Raspberry Pi 3本身就已經可以應用在AI中了，不過它主要基于云端的AI，而最新的AI套件與Raspberry Pi 5可以在邊緣獨立運行較小的模型和優化的AI大模型。

Raspberry Pi AI套件包括M.2 HAT+和13TOPS性能的Hailo-8L AI加速模塊。HAT指的是硬件附加在頂部，也就是把這個套件擰在另一塊板子上。

M.2 HAT+本質上是一個PCIe到NVMe的轉換器，它允許用戶將M.2外設（如NVMe固態硬盤以及其他PCIe外設）連接到樹莓派5的PCIe接口上。這對于連接提供更高讀寫速度和更大容量的NVMe SSD尤為重要。

13TOPS在邊緣領域已經非常強了，畢竟RISC-V Linux 筆記本電腦僅提供 2TOPS的邊緣AI算力。而Hailo這家以色列的一家初創邊緣AI公司，曾經將Hailo-8與英偉達的Jetson Nano和 Xavier NX的性能進行了比較，并且取得了不小的優勢。

Hailo首席技術官Avi Baum表示，Hailo-8L每處理3 TOPS約消耗1瓦功率，最高約5瓦。對于典型的嵌入式工作負載（如實時處理60 FPS視頻），只需要1～2瓦。

Raspberry Pi AI Kit主要功能包括：

• 每秒13萬億次運算（TOPS）的推理性能

• 以8Gbps運行的單通道PCIe3.0接口

• 與Raspberry Pi圖像軟件子系統完全集成

• 與第一方或第三方相機的兼容性

• 加速器硬件的高效調度：在單個攝像頭上運行多個神經網絡，或同時運行兩個攝像頭的單個/多個神經網絡

對AI套件，Hailo給出了六大應用潛力：

• 物體檢測：這一突破性技術賦予了人工智能程序通過機器學習精準識別圖像中各類物體并自動分類的能力。物體檢測作為人工智能辨識不同主體的核心手段，它能夠解析物體的圖像內容、精準定位其在畫面中的坐標，并能快速匹配與之相同標簽的物體特征；

• 圖像分割與增強：人工智能通過圖像分割技術，將像素群劃分為更小的、更易于管理的區域。這一過程不僅有助于物體檢測，還能通過每次專注于一個區域來加速圖像處理。圖像分割對于圖像增強至關重要。

• 姿態預測：為了全面理解圖像的構成，人工智能程序不僅需要能夠識別圖像中的內容，還需要能夠識別物體的位置。這正是姿態預測發揮作用的地方。姿態預測對于機器學習程序收集圖像和視頻數據至關重要，同時，在生成新圖像和視頻時，生成式人工智能軟件也可能會用到這一技術。

• 面部檢測與識別：對于人工智能系統而言，更為艱巨的任務在于應對人類面部表情的千變萬化，它須具備識別并準確標注這些不同情緒表達的能力。樹莓派人工智能套件所搭載的這項面部識別技術，可用于安全軟件、娛樂、社交媒體等多個領域，還能強化圖像生成技術。例如，在移除圖像中的某些物體后，該技術能夠智能填充背景，確保圖像的完整性和自然度。

• 深度估測：深度估測技術通過精準度量圖像內部像素間的距離，科學計算出物體與鏡頭間的實際距離。最新的人工智能技術則能獨辟蹊徑，自主構建獨特的視覺視角，實現更為精準與高效的深度估測。

• 語義分割：語義分割作為計算機視覺領域的一項關鍵任務，通過精細地為圖像中的像素組分配標簽，實現了對復雜場景中不同物體的準確辨識與理解。

工程師怎么看

目前來說，可以說樹莓派已經提供了兩種AI選擇，不過兩者稍有區別：AI套件的理論性能高于AI攝像頭，可以支持更廣泛的模型，但只Raspberry Pi 5兼容；AI攝像頭更緊湊，總成本更低，與所有型號Raspberry Pi兼容。

工程師認為，可以說樹莓派開始正兒八經的做AI開發了，加上樹莓派5的售價也沒那么離譜了，如果搭配AI套件能夠在千元以內，千以內13TOPS算力已經非常足夠了；如果不是樹莓派5，并且正在進行需要圖像分類的項目，那么AI攝像頭絕對值得考慮，特別是它的易用性。

不過，對于樹莓派來說，RK3588依然是一座大山，這種情況下，在性價比上就要和RK3588的各種派掰掰手腕了。

參考文獻

[1]AAC：https://www.allaboutcircuits.com/news/raspberry-pi-teams-up-with-sony-to-launch-ai-camera/

[2]Raspberry Pi：https://www.raspberrypi.com/news/raspberry-pi-ai-kit-available-now-at-70/

[3]樹莓派開發者：

[4]Hailo：

歡迎將我們設為“星標”，這樣才能第一時間收到推送消息。

免費領取Autosar入門與實踐資料包！

掃碼添加小助手回復“進群”

和電子工程師們面對面交流經驗