近日,記者從安徽çœé‡åè¨ˆç®—å·¥ç¨‹ç ”ç©¶ä¸å¿ƒç²æ‚‰ï¼Œæœ¬æºé‡åã€åˆè‚¥ç¶œåˆæ€§åœ‹å®¶ç§‘å¸ä¸å¿ƒäººå·¥æ™ºèƒ½ç ”ç©¶é™¢ç‰æ©Ÿæ§‹è¯åˆæ”»é—œï¼Œåœ¨ä¸åœ‹ç¬¬ä¸‰ä»£è‡ªä¸»è¶…å°Žé‡åè¨ˆç®—æ©Ÿâ€œæœ¬æºæ‚Ÿç©ºâ€çœŸæ©Ÿä¸Šï¼Œå…¨çƒé¦–次é‹è¡Œåå„„åƒæ•¸AIå¤§æ¨¡åž‹å¾®èª¿ä»»å‹™ã€‚å¯¦é©—çµæžœé¡¯ç¤ºï¼Œåœ¨åƒæ•¸é‡æ¸›å°‘76%çš„å‰æä¸‹ï¼Œè¨“ç·´æ•ˆæžœå而æå‡8.4%ã€‚é€™ä¸€æˆæžœä¸åƒ…é©—è‰äº†é‡å計算助力實ç¾å¤§æ¨¡åž‹è¼•é‡åŒ–çš„å¯è¡Œæ€§ï¼Œæ›´ç‚ºç ´è§£å¤§æ¨¡åž‹â€œç®—力焦慮â€é–‹è¾Ÿäº†æ–°è·¯å¾‘。
  微調是指在通用大模型(如 DeepSeekã€Qwen)的基礎上,通éŽé€²ä¸€æ¥è¨“ç·´ç‰¹å®šé ˜åŸŸæ•¸æ“šï¼Œä½¿å…¶é©æ‡‰é†«ç™‚診斷ã€é‡‘èžé¢¨æŽ§ç‰å°ˆæ¥å ´æ™¯ã€‚傳統低秩微調é¢è‡¨æ€§èƒ½ç“¶é ¸ã€æ³›åŒ–能力有é™ç‰å•題,é‡åè¨ˆç®—æ†‘å€Ÿå…¶ç–ŠåŠ æ…‹å’Œç³¾çºæ…‹ç‰¹æ€§å¯åŒæ™‚探索海é‡åƒæ•¸çµ„åˆï¼Œå¯æå‡å¤§æ¨¡åž‹å¾®èª¿çš„æ•ˆçŽ‡ã€‚
  “就好比給經典模型è£ä¸Šäº†â€˜é‡å引擎’,讓兩者å”åŒç™¼åŠ›ã€‚â€æœ¬æºé‡å副總è£ç«‡çŒ›æ¼¢è¡¨ç¤ºï¼Œåœ˜éšŠå‰µæ–°è¨è¨ˆäº†â€œé‡ååŠ æ¬Šå¼µé‡æ··åˆåƒæ•¸å¾®èª¿â€ï¼Œé€šéŽé‡åè¨ˆç®—ç‰¹æ€§å¯¦ç¾æ™ºèƒ½â€œå¾®èª¿â€â€”—將模型權é‡è½‰åŒ–為é‡å神經網絡與張é‡ç¶²çµ¡æ··åˆæž¶æ§‹ï¼Œå‰è€…通éŽé‡åé–€æ“作æå–高ç¶éžç·šæ€§ç‰¹å¾ï¼Œå¼µé‡ç¶²çµ¡å‰‡å£“ç¸®åƒæ•¸è¦æ¨¡ã€‚
ã€€ã€€åœ¨â€œæœ¬æºæ‚Ÿç©ºâ€çš„é‡å芯片上,單批次數據å¯ç”Ÿæˆæ•¸ç™¾å€‹é‡å任務并行處ç†ã€‚實驗數據顯示,優化åŽçš„æ¨¡åž‹åœ¨å¿ƒç†å’¨è©¢å°è©±æ•¸æ“šé›†ï¼ˆCPsyCountD)上訓練æå¤±é™ä½Ž15%ï¼Œæ•¸å¸æŽ¨ç†ä»»å‹™ï¼ˆR1-Distill-SFTï¼‰çš„åš´æ ¼æº–ç¢ºçŽ‡å¾ž68%æå‡è‡³82%。åˆè‚¥ç¶œåˆæ€§åœ‹å®¶ç§‘å¸ä¸å¿ƒäººå·¥æ™ºèƒ½ç ”ç©¶é™¢å‰¯ç ”ç©¶å“¡é™³æ˜æ˜€è£œå……:“這是é‡åè¨ˆç®—é¦–æ¬¡â€˜çœŸæ©Ÿå¯¦æˆ°â€™å¤§æ¨¡åž‹ä»»å‹™ï¼Œè‰æ˜Žç¾æœ‰ç¡¬ä»¶å·²èƒ½åˆæ¥æ”¯æ’大模型微調?ï¼?/p>
ã€€ã€€æ“šä»‹ç´¹ï¼Œâ€œæœ¬æºæ‚Ÿç©ºâ€æ˜¯ç›®å‰æˆ‘國先進的å¯ç·¨ç¨‹ã€å·²äº¤ä»˜è¶…å°Žé‡å計算機,已為全çƒ139個國家超2300è¬äººæ¬¡æä¾›é‡å算力云æœå‹™ï¼Œå®Œæˆ35è¬å€‹é‡åé‹ç®—任務,涵蓋æµé«”動力å¸ã€é‡‘èžã€ç”Ÿç‰©é†«è—¥ç‰å¤šå€‹è¡Œæ¥é ˜åŸŸï¼ŒæˆåŠŸå®Œæˆå…¨çƒæœ€å¤§è¦æ¨¡çš„é‡å計算æµé«”動力å¸ä»¿çœŸï¼Œå¹¶æŽ¥å…¥é‡‘èžé‡å云實驗平臺用于探索金èžé ˜åŸŸæ›´é«˜æ•ˆçš„å•é¡Œè§£æ±ºæ–¹æ¡ˆã€‚ï¼ˆè¨˜è€…ã€€å¾æ…§åª›ï¼‰
ç‰¹åˆ¥è²æ˜Žï¼šä»¥ä¸Šå…§å®¹(å¦‚æœ‰åœ–ç‰‡æˆ–è¦–é »äº¦åŒ…æ‹¬åœ¨å…§)為自媒體平臺“網易號â€ç”¨æˆ¶ä¸Šå‚³å¹¶ç™¼å¸ƒï¼Œæœ¬å¹³è‡ºåƒ…æä¾›ä¿¡æ¯å˜å„²æœå‹™ã€‚
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.