简报·YT
秋芝2046
已完成
能装120B大模型的笔记本，干活怎么样？
能装120B大模型的笔记本，干活怎么样？
视频以联想 Yoga Pro 15 RTX Spark 为例，讲解本地运行大模型的硬件瓶颈、统一内存方案及本地 AI 的实际用途。
- 评估本地大模型电脑，主要看三项：算力（GPU 等计算资源）、带宽（处理器与内存之间搬运数据的速度）和显存容量（能否容纳模型及其运行所需数据）。硬盘主要用于存放模型文件；模型运行时，需要把数据搬入显存或内存。
- 独立显卡的显存往往是运行大模型的容量瓶颈。视频举例称，消费级旗舰 RTX 5090 有 32GB 显存；而 72B、125B 等大模型通常无法完整放入普通消费级显卡的显存。
- 把模型卸载到系统内存可以扩大可用容量，但 CPU 与独立 GPU 之间的带宽较窄，数据搬运会拖慢推理速度。即使 MoE 模型每次推理只激活少量参数，模型的全部参数仍可能需要先加载，因此仍受容量限制。
- 视频介绍的方案是 NVIDIA 的 RTX Spark：将 CPU 与 Blackwell RTX GPU 集成在一颗芯片中，并采用最高 128GB 统一内存，让 CPU 与 GPU 共享内存空间，从而容纳更大的模型。视频称这套方案被装进联想 Yoga Pro 15 笔记本，可运行约 120B 参数的模型。
- 本地模型与云端模型各有取舍：云端像下馆子，模型选择多、能力上限高；本地像在家做饭，能力受设备限制，但可随时使用，也不必每次调用都付费。
- 视频展示了几类本地 AI 用途：开机后使用预装的天系 AI；通过 Agent 安装 Hermis、ComfyUI、Ollama 等工具并运行本地模型；批量生成 AI 视频素材，减少按次付费；以及在不联网的情况下处理合同、账本等敏感资料。
- 本地知识库可用于检索文件内容，例如查询某人的银行卡号和上月报销金额；也可批量读取文件夹中的 1,000 张发票并整理成表格或报告。敏感数据留在本机，可降低上传云端的风险。
- 视频认为，本地生成结果的质量可能不及云端，但对精度要求不高、需要批量制作的素材仍有实用价值。示例中，运行 MiniMax H3 的视频生成任务可排队过夜；视频称生成一个 720P、5 秒片段约需 5 分钟，并提到可运行更高画质版本。
- Yoga Pro 15 的其他配置包括：15.3 英寸 2.5K OLED 触屏、165Hz 刷新率、92.5Wh 电池和触控板数位笔功能。机身比传统游戏本轻薄，适合移动办公；视频还展示了其 3D 渲染能力。
- 选购建议是按用途权衡算力、带宽与内存容量。对 AI 创作者和开发者，如果长期需要本地运行大模型，视频认为这类采用统一内存设计的 RTX Spark 设备值得关注。
▸ 原始转写文字稿（3381 字符）
哪一核啊Ｂ这么一个笔记本Ｂ能跑千亿参数的大模型Ｂ满血的B-Max H3视频Ｂ染这样的3D场景Ｂ真的假的Ｂ朋友们Ｂ这是一期很及时而且必要的AIPC科普视频Ｂ因为就在这个月Ｂ你黄老板的RTX SparkＢ即将掀起PC笔记本的变革�那看完这期视频呢Ｂ我们会搞懂Ｂ在AI时代Ｂ选电脑�我们到底在看什么Ｂ这种新型AIPC又是怎么塞下千亿大模型的Ｂ以及本地模型Ｂ到底你干啥�对你是否有必要Ｂ那我也把常见的电脑布置Ｂ分别能跑多大的模型Ｂ给整理成了一张塑察表Ｂ大家可以点好收藏关注赞�我们出发Ｂ那我手里这台Ｂ就是刚发布的Ｂ搭载了NVIDIA NEX芯片的联想YOGA PRO 15RTX Spark笔记本电脑Ｂ但是在看电脑之前Ｂ我们得先补一点ＢAI时代Ｂ选电脑�必备的基础知识�电脑�是怎么运行本地大模型的Ｂ那我们呢Ｂ可以把一台配置比较齐全的PCＢ想象成一间厨房Ｂ这个厨房里呢Ｂ有一个全门的主厨Ｂ叫做CPUＢ还有一群人数众多的帮厨团队Ｂ叫GPUＢ主厨和帮厨面前呢Ｂ会各有一个备菜台Ｂ分别叫做内存和显存Ｂ备菜台Ｂ跟厨师之间呢Ｂ还有一条传送带Ｂ我们把这个传送带的宽度叫做带宽�楼下呢Ｂ还会有一个冷藏库�我们叫做硬盘�这个冷藏库里放着各种各样的食材�比如我们的本地模型文件Ｂ那我们去向AI提问Ｂ厨房的整个做菜过程是这样的Ｂ主厨会先收到点菜Ｂ然后指挥人从楼下的冷藏库里面Ｂ把这道菜所需要的全部食材Ｂ都给搬运到帮厨面前的备菜台上Ｂ然后再用传送带传送到帮厨的面前Ｂ帮厨一批一批的烹饪�做好了之后Ｂ再一点一点的Ｂ把菜品传给主厨�帮我们给端出来Ｂ这样我们就能吃上饭了�也就是收到了AI的回答Ｂ整个过程是不是还挺好理解的Ｂ那我们呢Ｂ可以细看一下Ｂ在这个过程当中Ｂ决定我们是否能吃到菜Ｂ以及上菜速度的是什么Ｂ以后大家看page呢Ｂ也就看这几个方面了Ｂ有没有这个帮厨团队�以及他的帮厨团队人数有多少Ｂ这是决定了Ｂ有没有人来帮我们做菜Ｂ以及这个做菜速度的根本Ｂ我们叫做算力Ｂ那第二呢Ｂ就是传送带的宽度了Ｂ传送带如果太慢了的话Ｂ太窄了Ｂ那厨师做的再快Ｂ他也会被等食材的这个时间给拖累Ｂ这个我们叫带宽Ｂ那第三呢Ｂ更卡脖子的Ｂ是帮厨团队面前的备菜台Ｂ它有多大的台子Ｂ我们能做多大的菜Ｂ我们叫做显存�但是呢Ｂ这个帮厨面前的这个备菜台Ｂ造价非常高Ｂ像我们消费级最好的独立显卡Ｂ5090Ｂ2万多了Ｂ但是它的备菜台也就32GＢ而且还应该很少人有吧Ｂ大家也可以在弹幕上报下你的台子是多大的Ｂ总之呢Ｂ之前大家的消费级PCＢ像这种72BＢ125B的大模型Ｂ直接就放不下Ｂ做不了这道菜的Ｂ那有生命的朋友就问了Ｂ这个主厨的台子Ｂ不可以借来用吗Ｂ主厨的台子Ｂ看着好像比帮厨的还大呢Ｂ确实可以Ｂ这个就叫做把模型卸载到内存Ｂ可是呢Ｂ在原来独立显卡的情况下Ｂ主厨和帮厨的台子中间Ｂ只有一条窄窄的传送带Ｂ放在主厨台子上这边的食材Ｂ要传给帮厨得一点一点挤过去Ｂ结果就是帮厨们大多时候Ｂ不是在做菜Ｂ而是在等食材了Ｂ那现在的模型Ｂ大家都知道Ｂ越来越大Ｂ对吧Ｂ而且Ｂ有的朋友可能还知道Ｂ其实很多的前沿模型Ｂ它都是MOE模型Ｂ这个125B的总参数量Ｂ你猜每次真正干活的参数Ｂ只需要多少币Ｂ没错Ｂ仅仅6币�但是呢Ｂ因为你全部的参数作为食材Ｂ都得先放到这个备菜台上来Ｂ所以有时候Ｂ就算你的算力Ｂ带宽都是够的�也会因为这个台子放不下而卡住Ｂ非常遗憾�那于是Ｂ英伟达就决定改造一种专为AI的超级厨房Ｂ就是这个RTX SparkＢ它用了个20核的GRIS CPU当主厨Ｂ再用了一个最高6144个CUDA核心的Blackwell RTX GPU当帮厨Ｂ这俩厨子给它做进了同一颗超级芯片Ｂ这就算力有了Ｂ它还让主厨和帮厨共用一张备菜台Ｂ从左右各几十计不连通的台子Ｂ做成了最高128GB的统一内存Ｂ备菜台Ｂ直接就变大了Ｂ那这就有了足够的空间Ｂ直接塞下前沿的大模型了Ｂ关键是Ｂ它这个整个厨房还非常小Ｂ直接就放进了Windows的笔记本里Ｂ然后Ｂ这个YogaPro15就直接能跑千亿参数的模型了ＢOK�但说到这里Ｂ新的疑惑又要来了Ｂ你说这本地再120BＢ它也比不过云端超算中心跑的万亿大模型啊Ｂ为什么我们还要费劲地去用本地模型呢Ｂ非常好的问题Ｂ其实呢Ｂ大家用AI就像吃饭一样Ｂ无非只有两种选择�要么下馆子Ｂ要么在家吃Ｂ那用云端AI呢Ｂ其实就有点像Ｂ下馆子和点外卖 选择非常丰富Ｂ多大的菜你都能点到Ｂ本地模型呢Ｂ就像你自己在家做饭�你肯定怎么都做不出佛跳墙来的Ｂ如果说Ｂ你永远都选择在外面吃饭Ｂ其实电脑配置的选择�确实只需要满足能上网Ｂ多应评几个程序Ｂ基本不卡Ｂ那就够了Ｂ但是Ｂ如果当AI变成了像吃饭一样频繁的事Ｂ那厨房Ｂ就可能变成每个家的标配了Ｂ如果有的人条件好呢Ｂ那他就会装大开放式的厨房Ｂ租了个单间Ｂ那他有可能也会有口锅�偶尔得煮个方便面Ｂ而这个Yoga Pro 15Ｂ这一类新的AIPCＢ其实就相当于一种拎包入住Ｂ能满足家常菜的一种新型厨房Ｂ那有这种厨房咱能干嘛呢Ｂ首先他拎包入住Ｂ比如这台Yoga Pro 15Ｂ它开机呢Ｂ就会自带这个天系AIＢ那网都不用连Ｂ我们就可以先来挤到家常小炒Ｂ比如说我们就可以先让他做一个小白朋友能看懂的Ｂ这一台电脑的自己的一个配置报告Ｂ你看看Ｂ说吃就吃上了Ｂ不知道小白朋友有没有看懂这个报告啊Ｂ那另外呢Ｂ现在折腾起本地模型也没有那么麻烦了Ｂ我们可以直接连个网啊Ｂ让这个自带的AgentＢ就去帮我们装一些常用工具Ｂ比如说HermisＢConfi UIＢ欧拉马Ｂ再带上一个125B的QueenＢ让他去干Ｂ那这就搞定了Ｂ其次在家吃饭Ｂ最爽的Ｂ不限量的吃外面卖的很贵的那种菜Ｂ换到AI来说Ｂ就是AI视频Ｂ一条10秒的C-Dance2.5价格都要多少块了Ｂ而本地MiniMax H3是无线抽的Ｂ那这是我用YogaPro15和C-Dance跑的同样的提示词�大家可以猜一猜哪个是0元抽Ｂ好啦Ｂ这是结果Ｂ家里的饭菜口味呢Ｂ肯定跟外面比起来会差一点Ｂ但是其实差点没那么大Ｂ那我们平时做一条10分钟的客户 要配一大堆并容素材�而精度要求其实没那么高Ｂ那我们就直接跑这个H3720P5秒的片段Ｂ大概也就5分钟一条Ｂ那如果大家想要更高画质 满血版的H3它也能带得动Ｂ你可以睡前呢Ｂ把一批都给它排好队 彻夜自动跑Ｂ当当Ｂ早上起来看见这几十条素材Ｂ你感觉一觉睡醒省了几百块Ｂ第四就是自己家的厨房 食品安全才最放心Ｂ换到AI里面呢Ｂ就是敏感数据的安全Ｂ比如有的朋友岗位特殊�工作单位特殊�你的资料交给云端AI�就相当于泄密Ｂ但是不用AI吧Ｂ又等于自降效率Ｂ大家的公司应该也不让把合同账本之类的机密发给随便的AI吧Ｂ不知道大家现在是怎么处理的Ｂ不会是在悄悄用吧ＢSTOP�快去管你的老板申请一个本地模型Ｂ那比如说我就可以把YOGA PRO15当成财务事宜的专用电脑�我直接在天行里面传入了账本 合同和各类的账密Ｂ做成了一个本地知识库�它这个本地知识库也是自带的Ｂ然后我只需要用本地模型完全不联网的情况下Ｂ问他Ｂ某某某的银行卡号和他上个月的报销金额是多少Ｂ方便Ｂ还有那种又批量又隐私的活Ｂ帮我把文件夹里一千张发票全部读取成表格Ｂ最后展示成报告Ｂ而且因为它一点额度都不用花Ｂ我都还可以切几个不同的模型Ｂ和agent之间互相去检验计算Ｂ最后呢Ｂ就是自己的厨房Ｂ随时能开火Ｂ而且这个YOGA PRO15呢Ｂ其实比过去那种游戏本要轻薄很多Ｂ15.3英寸的2.5K OLED可触屏Ｂ165Hz高刷Ｂ92.5Wh的大点池Ｂ还有叫全域妙写数位版的触控板Ｂ这个配置对应这个体积Ｂ就是你高铁Ｂ飞机Ｂ地下停车场Ｂ哪都好带Ｂ没网的地方你也能改PPTＢ而英伟达的老本行图形渲染依然很好Ｂ这个复杂的3D模型Ｂ它渲染的依旧很自滑Ｂ好了Ｂ到这里你应该了解了这类AIPC的选择逻辑和用途Ｂ减存�或内存Ｂ这三种指标以及它价格的一个平衡了Ｂ我也按照不同的用途整理了一张配置参考表Ｂ大家可以按照自己的需求对照着查看Ｂ你的厨房该怎么配Ｂ如果你是比较看重生产力的AI创作者或者开发者Ｂ你迟早都要装厨房的话Ｂ那这种新的RTX Spark是值得关注的Ｂ它相当于把去年英伟达那个桌面AI超算的芯片给搬进了笔记本Ｂ也欢迎大家在评论区聊聊Ｂ你的完美厨房应该是怎么样的Ｂ你又准备怎么用Ｂ记得点赞收藏关注Ｂ我们下次见啦Ｂ