研究团队研发BiDoRA技术 解锁小数据场景模型微调潜力
（图片来自网络）
研究团队研发BiDoRA技术，破解DoRA耦合问题，解锁小数据下模型微调潜力
如今，像GPT系列这样的大模型已展现强大通用能力，但针对特定领域应用时，传统微调需调整全量参数，消耗大量计算资源。参数高效微调（PEFT）技术应运而生，其中LoRA和DoRA是关键方法。DoRA通过分解模型权重为“大小”与“方向”维度优化，但存在同步优化这两个维度的“耦合”问题，导致过拟合与学习受限。
研究团队研发BiDoRA，核心是构建双层优化训练框架，将权重大小与方向的更新过程解耦。具体来说，BiDoRA将训练过程拆分为内层循环和外层循环：内层循环中，冻结权重大小，仅利用训练集学习方向；外层循环中，利用内层学到的最优方向，在验证集上更新权重大小。这种分步骤优化方式，有效抑制了过拟合，提升了模型泛化能力。
实验表明，BiDoRA在小数据场景（如生物医学领域）效果显著。例如，在预测肽类是否能穿透血脑屏障时，BiDoRA仅使用全量微调1/326的参数，就实现了更高的F1分数（92.0对89.4）；在预测蛋白质热稳定性时，BiDoRA使用全量微调1/408的参数，F1分数几乎相同（78.2对78.4）。BiDoRA在多项任务中持续优于现有先进方法，如LoRA和DoRA。
此外，研究团队在BiDoRA流程中增加了重训练阶段：固定学到的最优“大小”分量，合并训练集与验证集，对“方向”分量进行充分训练。这一优化进一步提升了BiDoRA性能，完全超越了DoRA，验证了理论预期。
研究团队未来计划优化BiDoRA训练效率、完善理论分析，并拓展生物医学领域应用，推动小数据场景下模型微调技术的发展。
（声明：该内容经AI精编）
查看原网页
最新新闻
- 2026年1月28日：昨日社会热门资讯汇总-早报速览（2026-01-28）
- 2026年1月28日：昨日文化热门资讯汇总-早报速览（2026-01-28）
- 2026年1月28日：昨日科技热门资讯汇总-早报速览（2026-01-28）
- 2026年1月28日：昨日体育热门资讯汇总-早报速览（2026-01-28）
- 2026年1月28日：昨日娱乐热门资讯汇总-早报速览（2026-01-28）
- 2026年1月28日：昨日财经热门资讯汇总-早报速览（2026-01-28）
- 2026年1月28日：昨日教育热门资讯汇总-早报速览（2026-01-28）
- 2026年1月28日：昨日汽车热门资讯汇总-早报速览（2026-01-28）
- 2026年1月28日：迈阿密国际新援雷吉隆右膝关节受伤 归期待定
- 2026年1月28日：阿森纳联赛阶段11连胜仅丢4球 本赛季前7场率先破门
- 2026年1月28日：交通运输部加强春运公路水路服务保障 推出保畅组合拳
- 2026年1月28日：凡人微光｜冰雪热潮中的平凡热爱故事
- 2026年1月28日：冰雪产业焕新：冷资源变热经济，打造全年发展‘旺火’
- 2026年1月28日：2025中国经济关键词：潜力释放 激活超大规模市场优势
- 2026年1月28日：大转折！2025年制造业利润大幅回升，反“内卷”改善价格预期
- 2026年1月28日：2026年中国外贸发展方向：从关键词看新布局
- 2026年1月28日：金沙江鱼儿回家之路：隧洞刷脸、电梯通行，生态保护见成效
- 2026年1月28日：走进“冰雪热”幕后：吉林省冰雪经济背后的劳动者故事
- 2026年1月28日：非洲留学生“小米”变身长沙经贸“纽带”，用直播架起中非经贸之桥
- 2026年1月28日：“一降一增”见证中国外贸破局前行
精彩评论（10）