改善AI模型學新忘舊,Google提出巢狀學習新解法

Google研究人員公開巢狀學習(Nested Learning)這項新模型訓練方法,主張把單一模型視為多個彼此銜接或並行的巢狀學習子問題,並以不同更新頻率運作,目標是在持續學習中降低災難性遺忘(Catastrophic Forgetting),同步提升長內容理解與記憶管理能力。
所謂的災難性遺忘,是模型持續學習時,新資料訓練會把權重往符合新任務的方向調整,結果把原先針對舊任務學到的特徵表示覆寫。

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *