马斯克xAI推出Grok-1.5大语言模型 可处理128k上下文

2024-03-29 深圳推广 前沿资讯

IT之家今日(3月29日)消息,马斯克旗下人工智能公司xAI今天在官方博客中宣布,正式推出Grok-1.5大语言模型

Grok-1.5具有改进的推理能力和128k的上下文长度,其中最显著的改进之一是其在编码和数学相关任务中的表现。Grok-1.5将在未来几天内在𝕏平台上向早期测试人员和现有的Grok用户推出。

马斯克xAI推出Grok-1.5大语言模型 可处理128k上下文 前沿资讯 第1张

在官方测试中,Grok-1.5在MATH基准上取得了50.6%的成绩,在GSM8K基准上取得了90%的成绩,这两个数学基准涵盖了广泛的小学到高中竞赛问题。此外,它在评估代码生成和解决问题能力的HumanEval基准测试中得分为74.1%。

附测试对比表如下:

马斯克xAI推出Grok-1.5大语言模型 可处理128k上下文 前沿资讯 第2张

长上下文理解方面,Grok-1.5能够在其上下文窗口内处理多达128ktokens的长上下文。这使得Grok的内存容量增加到之前上下文长度的16倍,从而能够理解更长文档中的信息。

马斯克xAI推出Grok-1.5大语言模型 可处理128k上下文 前沿资讯 第3张

据介绍,Grok-1.5构建在基于JAX、Rust和Kubernetes的自定义分布式训练框架之上。自定义训练协调器可确保自动检测到有问题的节点并将其从训练作业中剔除。xAI还优化了检查点、数据加载和训练作业重新启动,以最大限度地减少发生故障时的停机时间。

相关推荐://
  • 在富岳超算上训练大模型 日本联合研究团队发布Fugaku-LLM
    hover

    在富岳超算上训练大模型 日本联合研究团队发布Fugaku-LLM

    IT之家5月11日消息,由多方企业和机构组成的日本联合研究团队昨日发布了Fugaku-LLM大模型。该模型的最大特色就是其是在Arm架构超算“富岳”上训练的。 Fugaku-LLM模型的开发于2023年5月启动,初期参与方包括富岳超算所有者富士通、···

    2024-05-13
  • 数组赋值方式有哪些c语言
    hover

    数组赋值方式有哪些c语言

    c 语言中数组赋值方式有六种:1. 直接赋值;2. 使用数组初始化器;3. 使用指针;4. 使用循环;5. 使用 memcpy() 函数;6. 使用 scanf() 函数。 C 语言数组赋值方式 在 C 语言中,数组是一种数据结构,它用于存储同一类型数据的集合。···

    2024-05-10
  • 浏览器插件是什么语言写的
    hover

    浏览器插件是什么语言写的

    浏览器插件通常使用以下语言编写:前端语言:javascript、html、css后端语言:c++、rust、webassembly其他语言:python、java 浏览器插件是什么语言写的? 浏览器插件(也称为扩展程序)通常使用以下语言编写: 前端语言: JavaScri···

    2024-05-10
  • 全面走向“人工智能+” 国内首个汽车大模型标准发布
    hover

    全面走向“人工智能+” 国内首个汽车大模型标准发布

    IT之家4月28日消息,据央视新闻报道,针对汽车行业全面走向“人工智能+”的趋势和行业需求,中国信息通信研究院今天(28 日)发布了国内首个汽车大模型标准。 据悉,标准主要涵盖三个能力域,其中场景丰富度侧重评估汽车大模···

    2024-04-29
  • 讯飞星火大模型V3.5春季上新 V4.0 6月27日发布
    hover

    讯飞星火大模型V3.5春季上新 V4.0 6月27日发布

    IT之家今日(4月26日)消息,科大讯飞今日官宣,讯飞星火大模型 V3.5 春季上新,科大讯飞董事长刘庆峰发布讯飞星火大模型一系列新功能。 刘庆峰表示,目前星火大模型通用长文本能力,包括长文档信息抽取、长文档知识问答、长···

    2024-04-26
  • 2024 年构建大规模语言模型之旅
    hover

    2024 年构建大规模语言模型之旅

    2024 年将见证大型语言模型 (llm) 的技术跃升,研究人员和工程师不断突破自然语言处理的界限。这些拥有海量参数的 llm 正在彻底改变我们与机器的交互方式,实现更自然的对话、代码生成和复杂推理。然而,构建这些庞然大物并非易事,···

    2024-04-18
  • 李彦宏称大模型开源意义不大 周鸿祎:别被忽悠了
    hover

    李彦宏称大模型开源意义不大 周鸿祎:别被忽悠了

    在近日的一次内部讲话中,百度董事长李彦宏给开源大模型泼了不少冷水。 李彦宏认为,大模型开源的意义不大,闭源模型在成本和能力上会持续领先。 而对于大模型开源与闭源之争,360集团董事长周鸿祎在哈佛大学的演讲中表示,他···

    2024-04-15
  • ruby语言的特点有哪些
    hover

    ruby语言的特点有哪些

    ruby 语言的特点:易于学习,具有接近英语的简洁语法。面向对象,以对象方式组织数据和代码。动态类型化,允许变量在运行时更改数据类型。具有元编程功能,使程序员能够操作代码本身。支持块和闭包,提供强大的代码重用和可扩展性。···

    2024-04-10
在线客服 13691917840 提交需求 二维码