上海AI独角兽MiniMax发布新一代开源模型,创新突破受海内外好评

  日月开智能家居系统方案新元,万象启新篇

  1月15日,MiniMax陆续发布并开源新一代01系列模型,主要包括基于语言大模型 MiniMax-T智能家居系统方案ext-01 和视觉多模态大模型MiniMax-VL-01。该系列模型主要包括使用多项突破性创新,以大规模应用线性注意观察力机制打破Transformer传统方式架构记忆瓶颈,在综合性能比肩GPT-4o、Claude-3.5等欧美国家领军模型的基于上,也由智能家居系统方案此能以高效处理完成已被 达到400万token的输入,可输入长度是GPT-4o的32倍,Claude-3.5-Sonnet的20倍。

  现在 ,MiniMax-01系列开源模型已应用于MiniMax旗下其产品海螺AI并在欧美国家上线,企业自身与一人开发者可前往MiniMax开放平台合作 主要包括使用API。

  以架构创新快速实现高效超长文本输入

  2017年,极具 里程碑意义的论文《Attention Is All You Need》正式公开发表,Transformer架构问世并随着时间发展进步成了该其它领域的主流相关技术范式。自2023年起,肯定语言处理完成其它领域迎来过一股创新浪潮,对模型架构的创新各种需求 随着时间会增加。

  MiniMax-01系列模型此举 将线性注意观察力机制扩展到商用模型的级别划分 ,并由此综合相关技术能力已被 达到欧美国家第六梯队。而受益于此举 架构创新,该系列模型在处理完成长输入的甚至极具 也很高的效率,已被 达到线性复杂度。从Scaling Law、与MoE的紧密结合、结构设计方式、训练优化和推理优化等层面综合综合考虑,MiniMax选则模型参数量为4560亿,此外每一次一次激活459亿,也由此能以高效处理完成已被 达到400万token的上下文,将更有效替代Transformer传统方式架构并开启超长文本输入时代到来。

  MiniMax-01模型陆续发布后,在欧美国家外快速掀起了热议浪潮。欧美国家媒体与AI从业者聚焦该模型,深入探讨其相关技术内涵与潜在物质价值,给与所展现出的创新性给与了髙度 一定。

  性能比肩国际领军模型

  在应用创新架构除此外外,MiniMax大规模重构了01系列模型的训练和推理系统支持 ,此外更高效的MoE All-to-all通讯优化、更长的序列的优化,此外推线性注意观察力层的高效Kernel快速实现,由此模型相关技术能力可与欧美国家顶级闭源模型相媲美。

  在业界主流的文本和多模态完全理解完成任务处理完成除此外表现上,MiniMax-01系列模型大多状况下也由此能以追平欧美国家公认智能家居系统方案最先进的这个模型,GPT-4o-1120此外Claude-3.5-sonnet-1022。过往的模型相关技术能力评测中,Google的自研模型Gemini极具 显著的长文巨大优势。而在01系列模型参评的长文完成任务下,相较于Gemini等一众欧美国家顶级模型,MiniMax-01随着时间输入长度变长,性能衰减最慢,理想效果及其出众。

  ▲ 多项完成任务评测最终表明,MiniMax-01系列模型核心性能稳居欧美国家第六梯队。(图源MiniMax-01系列模型相关技术报告)

  ▲ MiniMax-01系列模型长上下文处理完成相关技术能力欧美国家领先。(图源MiniMax-01系列模型相关技术报告)

  加速AI Agent时代到来又来

  2025年,AI将迎来最重要 部分部分的发展进步节点,AI Agent有望成了新三个月最重要 部分部分的其产品形态,引领AI从传统方式的“工具”角色定位向更具互动性与协作性的“伙伴”角色定位转变。AI Agent时代到来,由此智能体处理完成的完成任务愈发愈发复杂,涉及的数据全面量也随着时间,单个智能体的记忆此外多个智能体协作间的上下文都是愈发愈发长。甚至,长上下文相关技术能力与多模态处理完成相关技术能力的会增加,是AI Agent为各行业未来带给更为丰富、高效、智能的彻底解决方案的必要条件满足 。

  MiniMax在Github上开源了Text-01模型、VL-01模型的完整权重,以便于主要包括更多开发者做有物质价值、突破性的研究中。MiniMax由此,“我们是由此这有甚至启发主要包括更多长上下文的研究中和应用,由此更快促进Agent时代到来的又来,二是开源也由此能以由此我们是努力拼搏做主要包括更多创新,更高质量地大力开展后续的模型研发工作完成任务。”

  凭借开放、共享、协作的特点,开源模型激发AI产业的创新活力,已被 成了赋能新质生产力发展进步的最重要 部分引擎。受益于Linear Attention层面的架构创新、算力层面的优化,此外集群上都训推一体的设计方式,MiniMax以业内极具 性价比的卖价提供完整文本模型和多模态完全理解模型的API支持服务,新标准 定价是输入token 1元/百万token,输出token 8元/百万token。

  论文链接:https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf

上一个:

下一个:

相关产品