「Transformer八子」原作者重磅推出开源小模型,挑战大模型“规模迷信”传统

2025年12月19日
news

(图片来自网络)

近日,两位Transformer经典论文《Attention is All You Need》核心作者Ashish Vaswani与Parmar,联合推出的8亿参数开源小模型Rnji-1引发AI领域热议。


该模型由Essential AI Labs发布,旨在挑战“模型规模越大性能越强”的行业主流观点,为轻量化、开放式AI发展开辟新方向。



  • **核心挑战**:突破“规模优先”传统

  • **模型特点**:80亿参数、轻量化设计,采用全局自注意力与YaRN技术,在代码、数学、智能体推理上表现亮眼

  • **技术优势**:消费级GPU可运行,量化稳定,支持长上下文处理

  • **理念意义**:推动AI开源生态发展,让AI更易被普通用户使用


Ashish Vaswani曾表示,AI领域过度聚焦“尺寸竞争”可能阻碍技术本身发展,Essential AI Labs希望通过Rnji-1构建开放、轻量化AI生态。


Rnji-1在代码生成、数学推理等任务中表现优异,甚至能模拟程序执行行为,展现小模型也能实现高能力的特点。


这一举措也让行业看到,AI发展并非只有“巨兽模式”,轻量化、开源的小模型同样能推动技术前进,为AI普及创造条件。

(声明:该内容经AI精编) 查看原网页

精彩评论(10)

  • 网友10 2025-12-19 13
    从规模到能力,AI发展思路需要转变,这类开源值得推广。
  • 网友9 2025-12-19 13
    小模型也能做大事,开阔了眼界,支持研究。
  • 网友8 2025-12-19 13
    技术层面的创新,对AI普及有帮助,很积极。
  • 网友7 2025-12-19 13
    小模型好玩又省资源,赞!
  • 网友6 2025-12-19 13
    大模型时代过去,小模型时代来了,质量不错。
  • 网友5 2025-12-19 13
    模型架构有创新,对行业有启发作用。
  • 网友4 2025-12-19 13
    终于有不用 expensive 硬件的AI工具了,很实用。
  • 网友3 2025-12-19 13
    技术上有新突破,挑战传统确实需要勇气,看好方向。
  • 网友2 2025-12-19 13
    终于不用等大模型反应,小模型够快够用,很期待后续发展。
  • 网友1 2025-12-19 13
    这种小模型容易用,以后不用为算力发愁了,支持!
查看“「Transformer八子」原作者重磅推出开源小模型,挑战大模型“规模迷信”传统”相关搜索 >

最新新闻

An unhandled error has occurred. Reload 🗙