傳統(tǒng)MLLM在視覺感知和理解人類語言指令方面等通用任務(wù)上一直表現(xiàn)出極大的潛力,但缺乏與現(xiàn)實(shí)環(huán)境的物理交互能力。而具身智能往往受限于單一模態(tài)的感知與決策瓶頸。智源最新發(fā)布RoboBrain,融合了多模態(tài)大模型+具身智能,突破了像“提起茶壺并將水倒入杯子”的現(xiàn)有MLLMs任務(wù)難題。
該論文已被CVPR2025錄用,商湯、Figure等巨頭都在紛紛下場(chǎng)具身智能交互新模型,找準(zhǔn)方向,這就是下一個(gè)頂會(huì)風(fēng)口!
研夢(mèng)非凡邀請(qǐng)了曾在某上市公司擔(dān)任高級(jí)算法工程師的張導(dǎo)師,4月23日獨(dú)家上線《RoboBrain-開啟具身智能交互新紀(jì)元!》從機(jī)器人領(lǐng)域難點(diǎn)數(shù)據(jù)集ShareRobot入手,到RoboBrain模型結(jié)構(gòu),重點(diǎn)演示RoboBrain推理Demo?。?/strong>
掃碼找助教預(yù)約直播300+篇相關(guān)論文(各大頂會(huì)最新機(jī)器人+140篇多模態(tài)+120篇大模型)
課程內(nèi)容
MLLM機(jī)器人基本信息
潛在應(yīng)用場(chǎng)景
應(yīng)用能力
(1) 長(zhǎng)距離操作任務(wù)規(guī)劃
(2) 物體可供性感知
(3) 操作軌跡預(yù)測(cè)
(4) 視覺問答任務(wù)
大規(guī)模、細(xì)粒度數(shù)據(jù)集ShareRobot
特性
(1)細(xì)粒度
(2)多維度
(3)高質(zhì)量
(4)大規(guī)模
(5)豐富多樣性
(6)易擴(kuò)展性
數(shù)據(jù)篩選原則
數(shù)據(jù)標(biāo)注流程
(1)規(guī)劃標(biāo)注
(2)可供性標(biāo)注
(3)軌跡標(biāo)注
數(shù)據(jù)構(gòu)造過程
RoboBrain模型結(jié)構(gòu)(重點(diǎn))
視覺編碼器(ViT)+Projectior+大語言模型(LLM)
可供性感知和軌跡預(yù)測(cè) A-LoRA + T-LoRA
訓(xùn)練流程

Phase1通用 OV 訓(xùn)練
Phase2機(jī)器人訓(xùn)練
Rob oBrain推理Demo演示(重點(diǎn))
掃碼預(yù)約領(lǐng)300+篇相關(guān)論文(各大頂會(huì)最新機(jī)器人+140篇多模態(tài)+120篇大模型)
張老師
985高校碩士畢業(yè),現(xiàn)在某上市公司擔(dān)任高級(jí)算法工程師
在自動(dòng)駕駛感知領(lǐng)域有超5年工作經(jīng)驗(yàn),熟練掌握python、pytorch,對(duì)目標(biāo)檢測(cè)、目標(biāo)跟蹤、圖像分割、點(diǎn)云、多模態(tài)、模型輕量化和部署方向有多年的項(xiàng)目經(jīng)驗(yàn)。
同學(xué)們面臨的科研困境
輔導(dǎo)少-導(dǎo)師放養(yǎng)
選題難-擔(dān)心方向踩坑
沒idea-創(chuàng)新點(diǎn)挖不到
實(shí)驗(yàn)難-沒數(shù)據(jù)bug多
寫作難-沒結(jié)構(gòu)沒邏輯
投稿難-期刊會(huì)議要求不了解
想做好科研,用對(duì)方法、找對(duì)領(lǐng)路人非常重要。
研夢(mèng)非凡1v1定制化論文指導(dǎo) 選靠譜的
論文輔導(dǎo)周期比較長(zhǎng),建議大家選擇正規(guī)機(jī)構(gòu),確保簽訂合同、費(fèi)用透明以及流程規(guī)范化。研夢(mèng)非凡背靠研途考研(名師張雪峰、徐濤),深耕教育行業(yè)十余年,一直秉持著重交付,重口碑的公司理念,信譽(yù)有保障。
4對(duì)1服務(wù):導(dǎo)師+班主任+助教+教研全程跟進(jìn)
1、頂會(huì)審稿人主講
負(fù)責(zé)經(jīng)典論文+前沿論文講解
idea給予/方向建議
寫作方法
投稿建議
2、私人群
每個(gè)同學(xué)都有與主講導(dǎo)師私人討論的小群
方便隨時(shí)進(jìn)行idea探討以及課程內(nèi)容答疑
3、全程線上meeting
隨時(shí)開麥溝通
學(xué)習(xí)溝通群文字/語音答疑
4. 班主任實(shí)時(shí)督學(xué),跟進(jìn)學(xué)習(xí)進(jìn)度
掃碼預(yù)約研夢(mèng)非凡1v1導(dǎo)師meeting
通過Meeting獲得科研大牛的選題分析、idea思路等指導(dǎo)
論文指導(dǎo)方案
idea并不是直接拍腦門拍出來的,是一遍一遍實(shí)驗(yàn)、跑代碼、改模型、思路修正的過程中產(chǎn)生的。研夢(mèng)非凡1V1定制化論文指導(dǎo),和研夢(mèng)導(dǎo)師一起找idea,研夢(mèng)導(dǎo)師指導(dǎo)實(shí)驗(yàn),共同解決數(shù)據(jù)問題。全程手把手,1對(duì)1,輔導(dǎo)至你成功發(fā)表為止。我們授之以漁重交付——搭建論文寫作框架,增刪改查,針對(duì)性實(shí)驗(yàn)指導(dǎo)!哪里薄弱補(bǔ)哪里。
輔導(dǎo)方案經(jīng)過上千位同學(xué)驗(yàn)證和優(yōu)化,已經(jīng)非常成熟、且高效。掃碼咨詢指導(dǎo)方案
研夢(mèng)非凡可指導(dǎo)的研究方向
研夢(mèng)非凡現(xiàn)有idea
掃碼優(yōu)化你的idea/指導(dǎo)構(gòu)思idea
研夢(mèng)非凡導(dǎo)師團(tuán)隊(duì)
研夢(mèng)非凡的導(dǎo)師來自海外QStop50、國(guó)內(nèi)華五、C9、985高校的教授/博士導(dǎo)師/博士后,世界500強(qiáng)公司算法工程師,以及國(guó)內(nèi)外知名人工智能實(shí)驗(yàn)室研究員。
這是一支實(shí)力強(qiáng)大的高學(xué)歷導(dǎo)師團(tuán)隊(duì),在計(jì)算機(jī)科學(xué)、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等領(lǐng)域,積累了豐富的科研經(jīng)歷,研究成果也發(fā)表在國(guó)際各大頂級(jí)會(huì)議和期刊上,在指導(dǎo)學(xué)員的過程中,全程秉持初心,堅(jiān)持手把手個(gè)性化帶教。包括但不限于以下導(dǎo)師~~
<<< 左右滑動(dòng)見更多 >>>
掃碼加助教為你匹配合適課題的大牛導(dǎo)師
Q&A
Q:具體的報(bào)名流程?A:掃碼添加顧問老師企業(yè)微信→匹配導(dǎo)師→導(dǎo)師Meeting→簽署協(xié)議→科研輔導(dǎo)開始→論文發(fā)表成功。
Q:沒有基礎(chǔ)怎么辦?A:提供基礎(chǔ)課程,供學(xué)員在課下自主學(xué)習(xí)基礎(chǔ)內(nèi)容。
Q:你們可以代寫嗎?A:不可以,我們不代寫,會(huì)全程輔導(dǎo)至你成功發(fā)表為止。
Q:你們是如何保錄的?A:真正的保錄不是走后門暗箱操作,這樣潛藏的風(fēng)險(xiǎn)遠(yuǎn)超過學(xué)生寶貴前程。我們憑借的是資深導(dǎo)師的指引、高效的輔導(dǎo)策略及嚴(yán)謹(jǐn)?shù)牧鞒蹋瑤椭鷮W(xué)生解決在論文撰寫過程中遇到的問題,提高學(xué)生的科研素養(yǎng)和論文質(zhì)量。
Q:如何收費(fèi)?A:不同的分區(qū)價(jià)格不同,meeting后會(huì)根據(jù)你的情況給你做詳細(xì)的介紹。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.