OpenELM是Apple苹果公司最新推出的系列高效开源的语言模型，包括OpenELM-270M、OpenELM-450M、OpenELM-1_1B和OpenELM-3B不同参数规模的版本（分为预训练版和指令微调版）。该大模型利用层间缩放策略在Transformer模型的每一层中进行参数的非均匀分配，以此提高模型的准确度和效率。该模型在公共数据集上进行了预训练，并且在多个自然语言处理任务上展现出了优异的性能。OpenELM的代码、预训练模型权重以及训练和评估流程全部开放，旨在促进开放研究和社区的进一步发展。
研究人员将OpenELM与PyThia、Cerebras-GPT、TinyLlama、OpenLM、MobiLlama和OLMo等模型进行了比较。在相似的模型大小下，OpenELM在ARC、BoolQ、HellaSwag、PIQA、SciQ和WinoGrande等主流的任务测试中的多数任务上展现出了更高的准确度。尤其是，与模型相比，OpenELM在参数数量和预训练数据更少的情况下，准确率依然更高。
Qwen2.5-Omni-3B 是阿里巴巴 Qwen 团队推出的轻量级多模态 AI 模型。是 Qwen2.5-Omni-7B 的精简版，专为消费级硬件设计，支持文本、音频、图像和视频等多种输入功能。参数量从 7B 缩减到 3...
Qwen2.5-Omni 是阿里开源的 Qwen 系列旗舰级多模态模型，拥有7B参数，Qwen2.5-Omni具备强大的多模态感知能力，能处理文本、图像、音频和视频输入，支持流式文本生成与自然语音合成输出，能实现实时语音和视...
Qwen2.5-Max是阿里云推出的超大规模MoE（Mixture of Experts）模型，使用超过20万亿tokens的预训练数据。模型在多个基准测试中表现卓越，超越了DeepSeek V3、Llama-3.1-405...
Qwen2.5-Math是由阿里巴巴Qwen团队推出的开源AI数学模型，是Qwen2-Math的升级版，支持中英双语。模型通过大规模数学数据预训练，结合CoT、PoT和TIR推理方法，提升解决数学问题的能力。...
Qwen2.5-Coder 是阿里Qwen 团队推出的全系列代码生成模型，推动开源代码语言模型的发展。在代码生成、代码推理、代码修复等任务上表现出色。系列涵盖了不同规模的模型1.5B/7B/0.5B/3B/14B/32B的六...
Qwen2.5-1M是阿里通义千问团队推出的开源模型，支持100万Tokens的上下文长度。模型包括Qwen2.5-7B-Instruct-1M和Qwen2.5-14B-Instruct-1M两个模型。在长上下文任务中表现出...
Qwen2.5 是阿里通义千问团队最新开源的最强AI大模型，具有多种参数规模的模型，包括 0.5B、1.5B、3B、7B、14B、32B 和 72B。模型在预训练时使用了最新的大规模数据集，包含多达 18 万亿个 token...
Qwen2-VL是阿里巴巴达摩院开源的视觉多模态AI模型，具备高级图像和视频理解能力。Qwen2-VL支持多种语言，能处理不同分辨率和长宽比的图片，实时分析动态视频内容。Qwen2-VL在多语言文本理解、文档理解等任务上表现...
全部评论
留言在赶来的路上...
发表评论