发布日期:2024-07-26 20:20    点击次数:150

配资炒股平台排名 支持中文、开放权重,Cohere最新开源大模型Aya 23

中国外交部发言人林剑29日宣布,应中共中央政治局委员、外交部长王毅邀请,法国欧洲和外交部长塞茹尔内将于4月1日访华。林剑表示,此次访问系塞茹尔内外长就任后首次访华。中方期待同法方一道,就中法关系、中欧关系及共同关心的国际和地区问题等深入交流,延续双方良好对话势头,推动中法合作取得更多成果

5月24日,知名开源大模型厂商Cohere开源了新一代大模型——Aya 23。

据悉,Aya 23共有80亿和350亿两种参数,支持阿拉伯语、中文(简体和繁体)、捷克语、荷兰语、英语、法语、德语、希腊语、希伯来语等23种语言,可生成文本、代码、总结内容等。

目前,Cohere已经全面开放了Aya 23的权重,在遵守CC-BY-NC、C4AI的策略下可以商业化。

35B开源地址:https://huggingface.co/CohereForAI/aya-23-35B

8B 开源地址:https://huggingface.co/CohereForAI/aya-23-8B

在预训练方面,Aya 23基于Cohere Command系列模型,使用包括23种语言文本的数据混合进行预训练。

Aya-23-35B是Cohere Command R的进一步微调版本。预训练模型采用了标准的仅解码器Transformer架构,并行注意力和FFN层、SwiGLU激活、无偏置、RoPE(旋转位置嵌入)、BPE分词器以及分组查询注意力(GQA)。

实验数据显示,在鉴别性任务上,Aya 23模型在所有未见过的任务上都表现出色,这些任务包括XWinograd、XCOPA和XStoryCloze,使用零样本评估。

在多语言MMLU评估中,Aya 23模型在14种语言上的表现也优于其他模型。在多语言数学推理方面,Aya 23模型在MGSM基准测试中的表现超越了所有同类基线模型。

在生成任务方面配资炒股平台排名,Aya 23模型在机器翻译和摘要生成上的表现也显著高于其他具有相似参数的模型。

语言捷克语权重模型https发布于:湖北省声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。

  
友情链接:

Powered by 联华证券_在线炒股配资公司_专业配资炒股网 @2013-2022 RSS地图 HTML地图

Copyright Powered by365建站 © 2009-2029 联华证券 版权所有