ICLR 2025將于4月24日在新加坡舉行,今年的paper list已經公布。大模型仍然火爆,而"優化、高效、自適應和魯棒”等關鍵技術的熱度也很高。不難看出,學界的研究重點已經向模型優化、訓練效率提升轉變。
為了幫助大家高效找idea,我們特為大家整理了ICLR 2025、2024收錄論文(LLM方向公開全部107篇)及百篇大模型必讀論文!
另外,研夢非凡于4月15日(周二),還邀請了大模型資深算法工程師楊導師,為大家獨家詳解ICLR 2025高分論文《Dobi-SVD:Differentiable SVD for LLM Compression 》,從傳統的SVD回顧,到Dobi-SVD的核心創新、與LoRA等參數高效微調方法的互補性,延伸至與其他壓縮技術的融合方案!為大家的科研idea提供靈感!
掃描二維碼找助教0元預約本周直播課!
凡預約還可再領大模型必讀論文及ICLR論文!
課程內容
論文創新點核心根據
創新點凝練
a. 無需原始預訓練數據
基礎介紹
a. 模型剪枝方法研究
DOBI-SVD方法(重點)
a. 如何獲得最優的截斷位置?
b. 如何實現權重的最優更新?
c. 如何克服長期被忽視的截斷局限性?
實驗評估
a. 實驗配置
b. 主實驗分析
c. 消融實驗分析
d. 討論
總結與展望(重點)
a. 探索該方法在更大規模模型(如百億/千億參數級別)上的適用性和擴展性
b. 可以研究與其他壓縮技術(如知識蒸餾、結構化剪枝等)的融合方案,以進一步提 升壓縮效率
掃描二維碼找助教0元預約直播課!
導師介紹
楊導師
世界top10大學計算機科學畢業博士
博士研究方向為計算機視覺,自然語言處理,高效的深度學習訓練和推理方法,大語言模型輕量化與高效微調技術。
多家公司擔任算法研究員,并進行計算機視覺,高效模型壓縮算法,多模態大語言模型的研究,包括模型量化,剪枝,蒸餾,編譯以及高效稀疏化訓練與推理。
【科研成果】在國際頂級會議CVPR,ICCV, EMNLP等發表13篇論文,并擔任CVPR,ICCV,ECCV,ICML,ICLR, NeurIPS等重要會議和期刊的審稿人。
多項發明專利,指導學生有耐心,教學嚴謹,思維邏輯縝密,已經指導數十篇論文。對于成果好的學生,幫助學生寫推薦信和指導申請碩/博申請。
【招收學生方向】計算機視覺,自然語言處理,高效模型壓縮算法,多模態大語言模型,包括模型量化,剪枝,蒸餾,編譯以及高效稀疏化訓練與推理,深度學習全棧研究。
研夢非凡可指導的研究方向
主流方向科研論文常用方法
研夢非凡現有idea
掃碼加助教了解更多可指導方向
研夢非凡科研論文指導方案
idea并不是直接拍腦門拍出來的,是一遍一遍實驗、跑代碼、改模型、思路修正的過程中產生的。研夢非凡1V1定制化論文指導,和研夢導師一起找idea,研夢導師指導實驗,共同解決數據問題。授之以漁——搭建論文寫作框架,增刪改查,針對性實驗指導!哪里薄弱補哪里!
全程1v1論文輔導掃碼咨詢助教
研夢非凡導師團隊
研夢非凡的導師來自海外QStop50、國內華五、C9、985高校的教授/博士導師/博士后,世界500強公司算法工程師,以及國內外知名人工智能實驗室研究員。
這是一支實力強大的高學歷導師團隊,在計算機科學、機器學習、深度學習等領域,積累了豐富的科研經歷,研究成果也發表在國際各大頂級會議和期刊上,在指導學員的過程中,全程秉持初心,堅持手把手個性化帶教。包括但不限于以下導師~~
<<< 左右滑動見更多 >>>
研夢非凡隸屬于蘇州研途教育,深耕考研輔導行業13年,累計服務1w+付費學員(60%高校學生/教師,40%職場精英);科研為本,質量為先!我們有:500+ 國內外頂尖高校博士/教授,互聯網大廠/獨角獸公司的高級算法科學家組成的教師團隊;深度定制的科研服務,根據每位學員的實際情況,提供個性化的科研輔導方案,確保交付結果;一站式、全方位科研支持,從選題到方案設計,從實驗實施到論文撰寫、成果發表,4V1全流程保姆式服務!
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.