简报·YT
老石谈芯
已完成
如果3.5亿个智能体同时干活，现在的芯片够用吗？
如果3.5亿个智能体同时干活，现在的芯片够用吗？
**一句话概括：**智能体规模快速增长后，瓶颈不再只是 GPU 算力，而是 CPU、内存、存储、执行环境和调度的整体协同；通过软硬件优化与专用加速，可以让数据中心以更高效率承载更多智能体。
要点
-
视频称，IDC 预计中国企业场景中的活跃智能体数量在 2026—2027 年单年同比增长超过 200%，到 2031 年达到 3.5 亿个。智能体大规模运行主要依赖数据中心，而不只是个人电脑。
-
智能体改变了数据中心的工作负载。传统生成式 AI 的流程主要集中在模型计算；智能体还需要执行代码和工具、检索数据、编排任务、保存状态并搬运数据。视频引用一项代码执行类智能体工作拆解：约 40% 时间用于模型调用，约 35% 用于工具执行，约 10% 用于检索与向量搜索，约 7% 用于编排调度，约 8% 用于状态搬运。也就是说，GPU 承担的任务不到一半，其余大量工作发生在主机侧。
-
CPU 核心数并不等同于实际可运行的智能体数量。内存容量与带宽、执行环境启动速度、数据搬运和任务调度都会影响并发能力。视频将每机柜可交付的智能体数量概括为：理论承载量 × CPU 调度有效性 × 资源平衡度 × 计算卸载效率。调度和资源平衡决定已有资源能否用好，专用加速则能释放通用 CPU 核心，提升承载上限。
-
视频介绍的英特尔至强 CPU 专用加速引擎包括：
- AMX：用于矩阵运算，可支持在 CPU 上运行小模型推理。
- IAA：用于内存数据压缩与解压。
- QAT：用于加解密和压缩、解压。
-
DSA：用于数据搬运与加速。
将这些规律性较强的任务交给专用引擎，可让通用核心更多用于智能体的控制、调度和执行。
-
KVCache 是大模型推理过程中产生的中间状态，可避免重复计算，但会随上下文增长而占用大量空间。视频介绍的分层存储包括 GPU 侧 HBM、主机 DRAM、本地 NVMe SSD 和远端共享存储，并补充两层：
- CXL 扩展内存：位于 DRAM 与本地 SSD 之间，访问延迟约 200—500 纳秒，可扩展容量，并支持多机共享 KVCache。
- KVCache 优化存储层：位于本地磁盘与远端存储之间，通过高性能网卡、SPDK 与 NVMe over RDMA 协同，将访问延迟压到约 50—100 微秒。
-
视频列出 KVCache 的四类问题：缓存装不下、已计算的缓存难以复用、多份材料中真正相关的内容有限，以及长对话会持续积累上下文。英特尔展示了四项对应工具：
- KVShrink：将暂时不用的 KVCache 从 GPU 显存移出并压缩；可借助 QAT 减少 CPU 开销。视频称缓存占用可降低 20%—28%，首 token 延迟基本不受影响。
- KVFuse：融合多份材料各自的 KVCache，尽量复用已有结果，避免全部推倒重算；通过小模型筛选关键 KV Token，再由主模型对必要部分重算。
- KVCascade：先用小模型筛出与问题相关的上下文片段，再交给主模型推理，同时需要兼顾答案质量，避免漏掉关键证据。
-
KVInfinity：预测下一步可能需要的 KVCache，并提前从远端存储加载到 HBM；AMX 用于小模型预测，QAT 负责压缩，DSA 负责数据搬运。
视频称，这套方案可使 KVCache 传输速率达到原来的 9.66 倍，无损压缩速率达到 1.42 倍，首次实验的最高改善幅度达到原来的 15 倍。
-
智能体执行代码、访问文件和调用工具时，需要隔离的 Sandbox（沙箱）。但创建、启动、恢复沙箱会产生开销；智能体等待模型或外部工具返回时，沙箱又可能处于闲置状态。视频介绍按使用状态管理沙箱：近期要继续使用的保持热状态，暂时等待的转为温状态，长时间不用的转为冷状态，需要时再恢复。
-
沙箱状态切换主要涉及数据搬运和压缩。视频称，DSA 可加速热状态沙箱的内存与 I/O 数据移动，IAA 可压缩温、冷状态沙箱数据，减少内存和 SSD 占用。引用的研究数据包括：使用 IAA 后，快照压缩比最高提升 4.5 倍，内存恢复速度最高提升 55%。基于 Firecracker 的演示中，在 64—128 个实例并发时，优化后快照恢复速度提升 39%—56%，保存速度提升 50%—60%，额外 CPU 占用不到 1%、额外内存开销不到 1 MB；在 200 毫秒启动时间限制下，至强 6 代处理器可运行 350 个并发沙箱，约为未优化方案的 1.46 倍。
-
总结来看，智能体基础设施需要让 CPU、GPU、内存、存储和加速器分工协作：减少重复计算，管理好 KVCache 与沙箱状态，并让资源能够独立扩展、有效调度。目标不是单纯堆叠某一种芯片，而是提高整套系统实际承载的智能体数量，同时兼顾稳定性、速度和成本。
▸ 原始转写文字稿（5546 字符）
你电脑里养的那个龙虾有多久没用过Ｖ今年3月深圳某科技公司楼下上演了一幕科技奇观Ｖ上千人排队等工程师在自己的电脑里安装一个名叫OpenCloud AI智能体Ｖ很多人甚至花钱找人安装Ｖ这个开源软件的Github星星数瞬间突破了25万Ｖ不到60天就成为了Github历史上增长最快的开源项目Ｖ可是在半年过去Ｖ当初那些花钱请人装龙虾的人也正在花钱请人把龙虾从自己的电脑里卸载给我�龙虾颇天的流量退潮了�是不是也代表着智能体也凉了呢Ｖ恰恰相反�一个龙虾倒下了Ｖ成千上万个智能体站起来Ｖ根据IDC的数据�2026到2027年Ｖ中国企业场景中活跃的智能体数量Ｖ单年同比增长超过了200%Ｖ到2031年Ｖ这个数字会达到3.5亿个Ｖ这么多的智能体Ｖ当然不会只呆在我们自己的电脑里Ｖ数据中心里那成百上千万台服务器才是他们真正干活的地方Ｖ但问题是Ｖ这些数据中心和里面的各种新到底有没有为智能体的大爆发做好准备�或者说这些基础设施要做怎样的升级�才能让上亿个智能体高效 稳定 低成本的同时干活呢Ｖ为了搞清楚这个问题Ｖ我去了趟苏州Ｖ参加了一年一度的英特尔技术创新和产业生态大会Ｖ三个月前Ｖ他们说CPU在智能体时代重回C位Ｖ那我很好奇Ｖ这段时间他们除了股价涨了20%Ｖ还有什么真正能落地的产品 技术或者方案好讲呢Ｖ结果比想象中还多不少Ｖ今天这期视频咱们就一起来看一下第一个问题是智能体到底给服务器和里面的芯片们带来了什么样的变化 过去的AI数学中心基本是围绕着GPU来设计的 因为那个时候的活很单纯 模型算完 答案堵出来 一轮就结束了 但是到了智能体这里 事情多出来了两步 模型给出了下一步的行动之后 得有人真正的去执行 执行完了之后还得把结果给保存下来 再把需要的信息给送回模型 那有研究就拆解过一个代码执行类智能体的一轮完整的工作 大约40%的时间是花在模型调用也就是GPU来做预填充和解码 还有35%花在工具执行上 比如说像跑沙箱 执行代码 另外10%花在检索 向量搜索这类数据服务上 7%花在编排和调度 还有8%花在状态搬运上 也就是说真正跑在GPU上的任务还不到一半 剩下的六成的时间都发生在主机侧或者说是CPU端 而且这四个主机侧的环节的需求还完全不同 有的要高并发 有的要高吞吐 还有的要低食盐 换句话说不是让GPU更忙了 它是把一整套新的工作任务和流程交给了主机侧的CPU以及内存存储系统 这个也正是这次英特尔在会上展示的重点 接下来我们就从硬件和软件两个方面分别来看先说CPU 智能体时代CPU重回C位这件事情 我们之前做过视频 但是我发现很多朋友对CPU还有一个刻板印象 那就是内核越多能同时跑的智能体肯定就越多理论上好像是这样 但实际上并不是CPU就像餐厅后厨的灶台 灶台越多 按说能够同时做的菜就越多但是上菜快不快并不只是取决于灶台的数量如果食材送不进来 案板不够用 厨师都在等洗好的锅 那灶台再多也是百大数据中心也是一样 CPU核心很多 但是内存不够 智能体的并发量就上不去执行环境启动太慢 工作流就会出现卡点 用户就得一直等数据搬运堵住了 GPU也可能会陷在那里所以核心数说的只是理论上能装多少 而客户真正买单的是实际能跑起来多少把中间这些因素归纳起来 可以用一个公式来表达那就是每个机柜可交付的智能体数等于理论承载量乘以CPU调度有效性乘以资源平衡度乘以计算卸载效率那咱们还是拿后出来打比方 灶台数量就是理论承载量派单派的好不好是CPU调度的有效性传菜切菜能不能跟得上是资源的平衡度而洗碗机切带机这些帮助厨师分担杂活的东西就是计算卸载效率其中CPU调度的有效性和资源平衡度更多的决定的是这套系统能不能把已有的CPU资源给用好比如说CPU的微架构内存带宽还有内存容量如果跟不上即使堆了很多的核心也很难真正的转化成智能体并发量所以他们决定了每个机柜可以交付的智能体数量的下限但是计算卸载解决的是另外一个问题能不能把通用CPU核心从大量辅助工作里给释放出来一个智能体在运行的时候并不是所有的计算都值得占用昂贵的通用核心数据压缩解压加解密内存搬运甚至是一部分的矩阵运算其实都有很强的规律性如果这些事情全部让CPU核心自己来做就像主厨除了炒菜还要自己去洗碗切菜搬食材厨房里人虽然很多但是真正花在炒菜上的时间却并没有那么多所以现在客家都会在CPU里集成各种不同的专用加速引擎把这些规律性强重复性高的工作卸载到这些硬件引擎上去执行杂货越少通用核心就能留下越多的算力去处理智能体真正需要的控制调度和执行同样数量的CPU核心最终就能支持更多的智能体并化所以这个参数决定着每个机柜可交付智能体数量的上限比如说英特尔智强CPU里就集成了四种AMX负责做高级矩阵运算可以在CPU上跑小模型的推理IAA负责内存数据的压缩和解压QAT负责加解密和压缩解压缩DSA负责数据流的搬运和加速他们共同作用就把那些原本占用CPU通用核心的杂货给接过去了把这些核尽可能多的省出来留给真正需要它的任务相对于在后厨上加上了洗碗机和切菜机这一系列自动化的厨房电器这样的主厨就有更多的时间甚至就能把全部的精力都放在炒菜上再来看看存储内存现在涨上天大家都知道原因之一就是大模型在计算过程中会产生大量的中间结果也就是KVCache下次再处理同样的内容如果这些结果还在就可以拿来直接用不用重新再动用昂贵的GPU资源从头再算所以就需要尽可能多的把KVCache这些中间结果给暂存起来但问题是这些中间结果非常的占地方上下文越长KVCache就越大全部留在GPU旁边的HBM显存力成本不仅高还不一定能完全放得下但是如果全部都丢掉重算还有浪费GPU算力的事就不可避免所以业界的共识就是给KVCache设计一套分层存储机制大概是四层最上面是HBM速度最快容量最小价格也最贵再往下是主机的DRAM再往下是本地的NVMe SSD最下面是远端的共享存储很有意思的是英特尔这次又在这四层上又细切出来了两层有点像哈利波特的九又四分之三站台一个是第2.5层也就是CXL扩展内存它的食言在200到500纳秒相比第二层的主机DRAM可以做到性能相近但是容量增加很多这次大会的展区就有基于CXL内存迟化的KVCache卸载方案不仅能够扩展容量还能实现多台机器之间共享KVCache另外一个就是在本地磁盘和远端存储之间的第3.5层它专门为KVCache仿能优化能够通过高性能网卡SPTK和NVME over RDMA的协同把访问延迟压到50到100微秒这个量级服务的也是KVCache这种要的极量又大的数据前面说的这些硬件提供了智能体运行的底座但是怎么把这些能力聪明的给用起来就得靠软件了这次英特尔展示了两类软件优化技术分别面向的是KVCache和智能体杀相咱们先从KVCache开始前面说KVCache是大模型运行过程中产生的中间状态或者说是草稿对于智能体来说它的KVCache会膨胀的很快因为它是一个持续推理的过程上下文越长工具返回的内容就越来越多草稿纸自然也就越扑越大但是麻烦和问题也就都来了咱们从一个例子来看比如说我开了个公司叫老实芯片店生意很好所以要签很多很多的合同很麻烦所以我部署了一个合同审阅智能体员工每天就用它来查公司的合同模板法务规范还有历史案例一个员工丢过去一份几十页的供应商合同让他来对照公司规范找出有风险的条款这一下一份长合同加上一套法务规范KVCache可能就有好几个G全放在HBM里又规模放不下直接丢掉明天另外一个员工来问同一份规范又得从头再算一遍而且公司的法务规范标准模板这些东西恰恰就是每天会被反复读取的东西再比如说某次审阅要同时参考三四份的材料合同原文公司规范还有两个历史案例等等这几份之前可能都分别处理过各自都有现成的KVCache但是因为是分开算出来的直接拼起来往往结果都不对传统做法也只能推倒重算而且这几百页材料里和这次提问真正相关可能就那么两三页条款剩下的都在陪跑而且还把主模型的输入给占得满满当当最后这位员工和智能体来会讨论了半个小时上下文一直在增长直到把整个存储系统给承报了所以你看就这么几个再普通不过的场景它已经暴露出了KVCache的四个问题装不下算过的用不上上下文里有用的没几句还撑不了很久所以为了解决这些问题Intel做了一个KVCache智能加速套件正好有四个工具专门定点爆破这四个卡点第一个叫KVShrink它的思路是把暂时不用的KVCache从GPU显存里给拿出去并且压缩掉就像收拾桌面一样常看的放在桌子上暂时不用的整理进柜子这样桌面就能腾出地方来继续处理新的文件而压缩和解压缩的过程正好可以交给智强内置的QAT技术不用占CPU的资源速度还更快单靠这一项技术缓存占用就能降低20%到28%而且AI的手次延迟基本还不受影响第二个是KVFuse它把这几份独立文档的KVCache给融合起来看有没有能够复用的中间结果只对必要的部分来做重计算而不是推导重来思路听起来很简单对不对不过KV可不是随便剪几段拼起来就能用它和模型位置及上下文都有关系所以英特尔的方法是用一个小模型来挑出来若干个关键的KVToken主模型就可以只对选中的片段去做部分的重计算第三个工具叫KVCascade解决的是上下文太长但是有用的没几句这个问题它也是先用一个小模型去筛选出真正相关的片段再交给主模型继续推理就像拍照修片之前咱们得先做初筛当然了筛选也不能漏掉关键证据所以这里不能只看压缩掉多少上下文还要看最后的回答质量这个方法也说明了CPU和GPU的分工没有那么绝对CPU承担小模型的钱处理GPU继续处理更重的主模型计算两边共同来完成每一次的请求第四个工具叫KVInfinity负责提前备货它还是用小模型的思路去提前预测下一步要用哪些KVCache然后提前从远端的存储加载到HBM这个技术同时用到了三种硬件加速引擎AMX负责跑小模型做筛选和预测QAT负责压缩DSA负责远运所以这四个方案面向KVCache的处理其实是连成了一条完整的链路在老实芯片店的那个例子里法无规范标准合同模板这些内容是高度复用的今天老实查明天老张也查算过一次就压缩保存在主机内存或者是高速存储里下次直接调回来就行但一次查多份文档就把各自的KVCache融合起来用文档如果太长就先让小模型给筛一点员工聊了很久前面的上下文也不必一直站着险存需要的时候再提前的取回来就可以了那么这一顿猛如虎的操作下来KVCache传输速率能提升到原来的9.66倍无损压缩速率提升到1.42倍首次实验最高能改善到原来的15倍在这个过程中GPU专心计算新的TokenCPU和它的加速器负责筛选压缩搬运和调度存储负责把算过的结果给保管好这个就是软硬协同真正的意义它不是把每个部件各自做到最强而是让最贵的那块资源尽量少做重复的活少花时间去等待还有一个软硬协同的例子是沙箱前面KVCache说的是思考侧的变化那沙箱就是执行侧智能体和聊天AI最大的区别就是它有执行权限它要运行代码访问文件调用各种工具这样的问题就来了你敢不敢让一个AI直接在你的生产服务器里随便跑代码呢所以智能体需要一个与世隔离的执行环境这个就是沙箱Sandbox你可以把它理解成给每个智能体开个房里面怎么折腾都行但不会影响到外面的系统但是沙箱本身也要资源创建环境加载程序恢复数据都要花时间如果一个智能体任务只执行几秒钟而准备环境却花了很久那系统大部分时间其实都耗在了这些前腰上而且智能体也不是一直在执行代码它等待模型推理的结果或者是等待外部工具返回的时候它的沙箱其实是闲着的所以如果一直保留着但如果你直接去销毁了下次要用的时候又得从头创建启动一个新环境又会带来新的开销所以怎么办呢我们要按状态来管理沙箱马上还要接着干的我们保持热状态让它尽快恢复暂时等待但是还会继续进行的进入温状态减少占用长时间不用的冷沙箱就把状态进一步下沉到存储等需要的时候再把它给恢复起来就像我电脑里面的几百个浏览器的标签页正在看的页面也就没有必要一直占着同样多的资源所以热 温 冷之间的切换说到底就是两件事搬数据和压数据恰好各有一个专用引擎来对应处理对于热状态的煞箱可以靠DIC数据流加速引擎来加速内存和IO的数据移动温冷状态的煞箱要少占地方支枪里还有一个叫做IAA的加速引擎可以把部分甚至是绝大部分内存都给压缩起来从而减少内存和SSD的消耗启停也更快其实学术界也有相关的研究OSD224上一篇来自MIT康奈尔和英特尔研究院的论文也提到用了IAA之后快照压缩比最高提升4.5倍内存恢复速度最高提升55%大会现场我也看到了一个基于Firecracker是用轻量虚拟接杀箱给出的数据在64到128个实力并发的场景下采用杀箱优化技术之后快照恢复速度提升了39%到56%保存速度提升了50%到60%而额外的CPU占用不到1%额外内存开销不到1兆收益还会随着规模线性扩展在200毫秒的启动时间限制下志强6家处理器能跑起来350个并发杀箱是有伤的1.46倍年初大家还在围观AI终于会自己干活了现在热闹散了整个行业开始认真解决视频开头的问题怎样才能让成千上万个AI一直干下去而且干得又稳又快又便宜在软件层面KVCash管理减少了已经处理过的信息被反复计算的消耗沙箱状态管理让执行环境能够暂停和恢复不用每次都重新准备硬件层面把CPU GPU存储都做成能独立扩展的集群让调度更加高效资源更加平衡卸载的加速收益更高用硬件支撑智能体工作的全流程用软件把有限的资源跑起来更多的智能体所以龙虾不是凉了而是AI和智能体已经成为我们日常工作和生活的常态我觉得技术真正的普及和进步往往就发生在大家不再为它大惊小怪的时候好了 以上就本期视频的全部内容有用 请点赞 请关注我是金面公众师老师我们下期视频再见