Meta超级智能实验室首篇论文发布:REFRAG重新定义RAG技术

(图片来自网络)
Meta超级智能实验室首篇论文发布:REFRAG重新定义RAG技术
Meta超级智能实验室近日发布其首篇论文,提出名为REFRAG的高效解码框架,重新定义了检索增强生成(RAG)技术。该框架有望大幅提升RAG的效率,同时解决长上下文信息处理时存在的计算难题。
理解RAG与挑战
首先,我们先回顾RAG的工作原理与面临的挑战。RAG通过外部知识库检索信息,作为上下文辅助大语言模型(LLM)生成回答,但长上下文会导致LLM计算负担加重、延迟增加。Meta实验室发现RAG解码存在计算冗余,于是提出REFRAG。
REFRAG:创新解码框架
REFRAG采用“压缩、感知、扩展”三步流程优化信息处理:
- 压缩:将检索到的文档切分并生成紧凑向量表示,缩短输入长度,减少计算量;
- 感知:用强化学习策略网络判断哪些信息为核心,保留关键原始文本;
- 扩展:将压缩表示与核心原始文本混合输入LLM,平衡效率与性能。
通过这一设计,REFRAG在保持性能的同时,将首字生成延迟(TTFT)最高加速30倍,且未牺牲RAG回答的准确性与时效性。
性能验证
论文数据显示,REFRAG在推理速度、上下文处理能力等方面表现优异,在等效计算预算下可扩大上下文窗口16倍,为长上下文信息处理提供新方案。该研究不仅适用于RAG,也可拓展到多轮对话、长文档摘要等场景,为更高效AI应用提供思路。
(声明:该内容经AI精编)
查看原网页
最新新闻
- 2025年9月18日:微软又要砸40亿建AI数据中心2.0,全球最强AI基建新动态
- 2025年9月18日:欧冠比赛中多纳鲁马神扑扑出别克马头球瞬间成焦点
- 2025年9月18日:23年50号秀!黄蜂官方:球队签下自由球员前锋基昂泰-约翰逊
- 2025年9月18日:谷歌Chrome浏览器接入Gemini:智能解读网页与历史记录功能正式上线
- 2025年9月18日:西班牙后卫赫伊森吐槽足球判罚机制引争议
- 2025年9月18日:NBA与英国合作投资数百万美元 扩大英国民间篮球运动 试点欧洲联赛前的布局
- 2025年9月18日:机器人成康复训练‘新帮手’?科技突破助力周期运动精准化
- 2025年9月18日:腾讯阿里市值双涨,科技巨头发展路径引发关注
- 2025年9月18日:2025亚冠小组赛冲突事件:球员扭打球迷投掷杂物 比赛险中断
- 2025年9月18日:鲁伊-科斯塔:穆帅符合选帅标准 本菲卡新帅亮相发布会
- 2025年9月18日:B席谈德布劳内重返伊蒂哈德:宿命感让主场成主场作战
- 2025年9月18日:苹果更实惠MacBook预计2025年第四季度量产
- 2025年9月18日:一代经典旗舰SUV大众途锐停止供应 中国市场车型调整
- 2025年9月18日:苹果计划在台湾建立测试生产中心,为可折叠iPhone做前期准备
- 2025年9月18日:英伟达斥资50亿美元入股英特尔,双方合作定制AI芯片,英特尔股价暴涨近30%
- 2025年9月18日:杭州AI人才薪资亮眼,超三成岗位年薪超50万?
- 2025年9月18日:今日娱乐:李荣浩成iOS更新最大受益者
- 2025年9月18日:大六座SUV的价格防线被吉利银河M9撕开了口子|钛度车库
- 2025年9月18日:巴西前国脚奥古斯托宣布退役,曾效力北京国安5年夺1冠
- 2025年9月18日:皇马冬窗或报价曼联20岁中场 梅努标价9000万欧难阻多队兴趣
精彩评论(10)