Meta释放Llama 4深夜开源,Moe Architecture采用,最大
时间:2025-04-09 10:15 作者:365bet体育

早些时候,外国媒体报道说,可以推迟的Meta(Meta)语言模型Llama 4在周六深夜发布。整个系列都采用了混合专家(MOE)和本地多模式训练的建筑,不再是诸如Llama 3的纯文本模型。MetaGenai的负责人Ahmad Al-Dahle,Llama 4说,表明了Meta可以开放AI资源的长期承诺,可以打开AI资源,整个开放资源,整个开放资源和最佳小型,中等,中等,中等和向上的切割模型。 Llama 4 Scout与媒体报道很快结合在一起,Meta此时发布了Llama 4 Scout和Llama 4 Maverick,以及Llama 4 Beveiew的最强预览。其中,Llama 4 Scout定位为最强的小型模型,其中170亿MGA激活参数和16个专家模型。它的销售点非常快,在本地支持多模式,并且有一个窗口导致1000万个+令牌多模式窗口上下文的多模式上下文,EquiValent处理超过20个小时的视频,可以遇到单个H100 GPU。 Llama 4 Maverick比DeepSeekllama 4 Maverick更好地定位为同类的最佳多模式模型,有128位专家,170亿个激活参数的激活参数,并在许多主要的GPT-4O基准标准上击败了GPT-4O和Gemini 2.0 Flash。推理和编码功能与新发布的DeepSeek V3相当,但是激活参数小于一半,可以在单个主机上执行。 Llama 4庞然大物将最强大的模型定位为预览Llama 4庞然大物,它被定位为迄今为止最强的元模型,也是世界上领先的LLM之一。它的性能优于GPT-4.5,Claude Sonnet 3.7和Gemini 2.0 Pro在许多STEM基准上。它使用FP8的准确性和练习32,000 GPU的超过30万亿个模式令牌,以及当Maverick Models代码为时代时,教师的模型。