据MiniMax公众号4月17日消息，中国MiniMax公司发布万亿参数MoE模型abab 6.5。abab 6.5系列包含两个模型：abab 6.5和abab 6.5s。abab 6.5包含万亿参数，支持200k tokens的上下文长度；abab 6.5s跟abab 6.5使用了同样的训练技术和数据，但是更高效，支持200k tokens的上下文长度，可以1秒内处理近3万字的文本。在各类核心能力测试中，abab 6.5开始接近GPT-4、Claude-3、Gemini-1.5等世界上最领先的大语言模型。

消息来源：https://mp.weixin.qq.com/s/xBoAP-6fZVQA9cEWT8gyfw