Meta超级智能实验室首篇论文发布:REFRAG重新定义RAG技术

2025年9月8日
news

(图片来自网络)

Meta超级智能实验室首篇论文发布:REFRAG重新定义RAG技术


Meta超级智能实验室近日发布其首篇论文,提出名为REFRAG的高效解码框架,重新定义了检索增强生成(RAG)技术。该框架有望大幅提升RAG的效率,同时解决长上下文信息处理时存在的计算难题。


理解RAG与挑战


首先,我们先回顾RAG的工作原理与面临的挑战。RAG通过外部知识库检索信息,作为上下文辅助大语言模型(LLM)生成回答,但长上下文会导致LLM计算负担加重、延迟增加。Meta实验室发现RAG解码存在计算冗余,于是提出REFRAG。


REFRAG:创新解码框架


REFRAG采用“压缩、感知、扩展”三步流程优化信息处理:



  • 压缩:将检索到的文档切分并生成紧凑向量表示,缩短输入长度,减少计算量;

  • 感知:用强化学习策略网络判断哪些信息为核心,保留关键原始文本;

  • 扩展:将压缩表示与核心原始文本混合输入LLM,平衡效率与性能。


通过这一设计,REFRAG在保持性能的同时,将首字生成延迟(TTFT)最高加速30倍,且未牺牲RAG回答的准确性与时效性。


性能验证


论文数据显示,REFRAG在推理速度、上下文处理能力等方面表现优异,在等效计算预算下可扩大上下文窗口16倍,为长上下文信息处理提供新方案。该研究不仅适用于RAG,也可拓展到多轮对话、长文档摘要等场景,为更高效AI应用提供思路。

(声明:该内容经AI精编) 查看原网页

精彩评论(10)

  • 网友10 2025-09-08 18
    AI效率提升后,企业用起来成本更低,商机不错。
  • 网友9 2025-09-08 18
    如果孩子用AI学习更快了,肯定有帮助,支持这种优化。
  • 网友8 2025-09-08 18
    从技术角度看,REFRAG的压缩和感知策略有效,能提升系统扩展性。
  • 网友7 2025-09-08 18
    希望以后用AI工具更快了,学习方便点。
  • 网友6 2025-09-08 18
    这种优化计算的方法很厉害,解决长上下文问题有创意。
  • 网友5 2025-09-08 18
    感觉AI反应快了,以后用起来更好玩了。
  • 网友4 2025-09-08 18
    如果AI处理文档快了,工作用起来效率更高,很实用。
  • 网友3 2025-09-08 18
    REFRAG的思路很新,利用注意力机制优化,是AI领域进展,值得关注。
  • 网友2 2025-09-08 18
    以前用AI问问题有时候慢,现在可能快点了,对咱们用起来方便。
  • 网友1 2025-09-08 18
    这技术太酷了,能让AI回答问题更快,学习新技能不错!
查看“Meta超级智能实验室首篇论文发布:REFRAG重新定义RAG技术”相关搜索 >

最新新闻

An unhandled error has occurred. Reload 🗙