美团开源561B全模态大模型LongCat-Flash-Omni,推出首款AI通用助手App
(图片来自网络)
美团正式开源全模态模型LongCat-Flash-Omni,总参数量达5600亿、激活参数量270亿,是业界首个实现全模态覆盖、端到端架构、大参数量高效推理于一体的开源大语言模型,同时推出首款AI通用助手App,开启公测。
LongCat-Flash-Omni基于LongCat-Flash构建,采用高性能的Shortcut连接的混合专家(MoE)架构,集成了多模态感知和语音重建模块,支持128K tokens上下文窗口及超8分钟音视频交互。其在全模态基准测试中达到开源SOTA,同时在文本、图像、视频、语音等关键单模态任务中均有明显优势,实现“全模态不降智”。
LongCat官方App已开启公测,目前支持联网搜索、发起语音通话(视频通话功能后续上线),用户可在网页版和App端体验音频交互功能。目前上传图片等功能还在优化中,官方已修复部分安卓端问题。
从测试结果看,LongCat-Flash-Omni在多模态任务中表现亮眼:图像转文本、视频转文本任务中领先,音频能力在语音识别与生成等任务里也达到先进水平,跨模态理解与推理能力优异。
训练过程中,美团面临四大挑战(跨模态异构性、统一离线和流媒体能力、实时音视频交互、训练效率),并提出了相应创新技术:采用五阶段渐进式训练策略,从文本预训练逐步融入多模态数据,最终实现全模态融合与高效推理,使用超2.5万亿词元的多模态语料库,扩展上下文窗口至128K。
美团相信,LongCat-Flash-Omni的发布将加速多模态理解和通用人工智能系统发展,为下一代人机交互界面带来新可能,未来会探索更丰富的具身智能交互形式。
(声明:该内容经AI精编)
查看原网页
最新新闻
- 2025年11月3日:特斯拉简配策略成行业鲶鱼,中国新能源品牌应对挑战
- 2025年11月3日:360开源视觉语言对齐模型FG-CLIP2 屡破行业测试标杆
- 2025年11月3日:中兴通讯AI家庭产品矩阵亮相,对话负责人解析家端AI理念
- 2025年11月3日:快手双十一皮草节上线,首日皮草GMV同比增长286%
- 2025年11月3日:章泽天蜕变:从“奶茶妹妹”到独立女性 给嫁豪门女性上了一课
- 2025年11月3日:文荣奖红毯:郭宇欣健康身材成焦点,‘白幼瘦’审美引热议
- 2025年11月3日:全国首个奶酪检验检测数据集在上海数据交易所挂牌上链——食品质检数字化新突破
- 2025年11月3日:马伊琍49岁获国际影视肯定,官媒官宣事业新巅峰!
- 2025年11月3日:周杰伦与权志龙IP合作遭质疑 网友吐槽合作模式存疑
- 2025年11月3日:九旬老戏骨李明启谈容嬷嬷角色:承认救场属善意,呼吁网友理性对待
- 2025年11月3日:游本昌四天沉默见证真实人品,金靖发声撑腰成焦点
- 2025年11月3日:悬疑剧《树影迷宫》开播6集热度破8900,刘琳演技点燃观众,悬疑题材迎来新标杆
- 2025年11月3日:海内外专家共议增强抗战叙事 构建人类共同历史记忆
- 2025年11月3日:吉利拟借用沈阳原上汽通用工厂补充银河产能 涉汽车产业资源整合
- 2025年11月3日:马来西亚华裔姐弟海外探索中华文化,成为中马文化连接纽带
- 2025年11月3日:全球媒体聚焦:欧洲媒体称“十五五”规划为连接过去未来的重要纽带
- 2025年11月3日:第八届进博会特稿:乘开放东风 享共赢机遇——中国高水平开放为世界经济注入「东方暖流」
- 2025年11月3日:美联储政策两难 美国经济“裱糊”困境
- 2025年11月3日:双11直播电商转型:从流量博弈到价值沉淀,新标配引领品质化新阶段
- 2025年11月3日:文化中国行|运河之下建起‘水下立交桥’:古水利与现代工程的融合

精彩评论(10)