开yun体育网这是一个流程预测验的模子-开云(中国)Kaiyun·官方网站 登录入口

就在刚刚,马斯克一手开源行动,激励了大伙儿的高度心情——
xAI 当今清雅开源 Grok 2.5,Grok 3 将在半年后开源。

其实早在本月初的时候,马斯克就公开暗示过:
是时候开源 Grok 了,将会不才周。

天然开源的期间仍是跳动了他说的节点,但也正如网友所说:
迟到总比莫得的好。

42 个文献,500 个 G

xAI 官方残暴用 SGLang 来出手Grok 2,具体要领如下。
你不错把 /local/grok-2 换成任何你心爱的文献夹名字:
hf download xai-org/grok-2 — local-dir /local/grok-2
第二步,启动劳动器。
xAI 官方残暴装置最新版的 SGLang 推理引擎(版块号 >= v0.5.1,地址为:https://github.com/sgl-project/sglang/)。
然后用底下的大叫来启动推理劳动器:
python3 -m sglang.launch_server — model /local/grok-2 — tokenizer-path /local/grok-2/tokenizer.tok.json — tp 8 — quantization fp8 — attention-backend triton
值得一提的是,这个模子需要 8 个 GPU(每个王人得有跳动 40GB 的显存)才能出手。
终末一步,即是发送请求。
这是一个流程预测验的模子,是以咱们需要确保使用的是正确的聊天模板:
python3 -m sglang.test.send_one — prompt " Human: What is your name?nnAssistant: "
发送请求后,咱们就应该能看到模子会恢复它的名字了,即 Grok。
那么 xAI 最新开源的 Grok 2,到底是什么水平?
天然其智力定然是不足当下的各式起先进的主流模子,但咱们不错从旧年 xAI 发布的 Grok 2 干系模子的技能博客中略知外相。
其时,它在 LMSYS 名次榜上,总体 Elo 分数仍是迥殊了 Claude 和 GPT-4。

而且在一系列学术基准测试中,Grok 2 系列在磋商生级别科学常识(GPQA)、一般常识(MMLU、MMLU-Pro)和数学竞赛问题(MATH)等范畴达到了与其他前沿模子相竞争的性能水平。

不外有一说一,网友们天然认为马斯克开源的行动还挺好的,但也有不少诟病的言论。
举例在 HuggingFace 中,咱们并莫得看到 xAI 明确指出开源模子的参数权重。
因此网友们就只可字据以往的信息,臆度它是 2690 亿个参数的 MoE 模子。
其次,即是开源契约的问题,因为 xAI 在 HuggingFace 中的表述是这么的:

用网友的话来说,这基本上即是一个非交易许可的:
Mistral、Qwen、DeepSeek、微软,以致是 OpenAI 王人在用 MIT 或 Apache 2.0 许可来开源模子。

以及,亦然最进犯的少许,即是出手这个开源模子的条目:
谢谢,我当今只需要 8 块显存超 40GB 的 GPU ……

Two More Thing:
除了开源行动以外,马斯克还发布了 Grok APP 上的一些新功能。
此次的更新(v1.1.58)主如若聚焦在了AI 视频生成,具体后果如下:

感酷好的小伙伴不错在 APP 上体验喽。
以及马斯克还发了一段意旨的言论:
xAI 很快就会迥殊谷歌,但中国公司才是最大敌手。

参考聚积:
[ 1 ] https://x.com/elonmusk/status/1959379349322313920
[ 2 ] https://x.com/HuggingPapers/status/1959345658361475564
[ 3 ] https://x.com/elonmusk/status/1959384678768447976
[ 4 ] https://x.com/elonmusk/status/1959388879888302363
一键三连「点赞」「转发」「防范心」
接待在驳斥区留住你的念念法!
— 完 —
专属 AI 产物从业者的实名社群,只聊 AI 产物最落地的真问题 扫码添加小助手,发送「姓名 + 公司 + 职位」请求入群~
进群后,你将径直取得:
� � 最新最专科的 AI 产物信息及分析 � �
� � 不依期披发的热点产物内测码 � �
� � 里面专属实验与专科接头 � �
� � 点亮星标 � �
科技前沿证据逐日见开yun体育网
- 上一篇:开云体育(中国)官方网站甚而把皮质醇手脚肥美的元凶-开云(中国)Kaiyun·官方网站 登录入口
- 下一篇:没有了

