### 5.3 算法瓶颈
---
曦菲在远行者待到第六个月的时候,她的轻量化感知模型已经成了团队的标配。
不是她吹的。是数据说话的——她的多专家门控模型在雨天、雾天、夜间场景下的准确率,比团队之前的基线模型高了8到12个百分点,而模型体积只有基线的八分之一。
林越在周会上说:"飒曦菲的方案应该申请专利。"
曦菲摇头:"不用。"
"为什么?"
"如果申请了专利,别人就不能用了。我希望更多的人能用。"
林越看了她一眼,没说话。后来他还是让法务走了流程,但专利申请人写的是远行者科技,曦菲的名字在发明人栏里。
曦菲没在意这些。她在意的是另一件事——
**模型已经到极限了。**
---
她花了两个星期,把模型从每一个角度压缩了一遍。
量化——把模型参数从32位浮点数压缩到8位整数。精度掉了一点,但推理速度快了四倍。
剪枝——把模型里不重要的神经元删掉。像修剪一棵树,把枯枝剪了,主干留着。模型小了30%,准确率几乎没掉。
蒸馏——用大模型教小模型,已经做过了,再榨不出多少了。
架构搜索——让AI自己找最优的网络结构。她试了,但搜索空间太大,算力不够,跑出来的结构跟她手动设计的差不多。
她把所有能用的手段都用上了。模型已经瘦得像一根竹竿了,再瘦就要骨折。
但即使这样,模型在车端芯片上的推理延迟仍然不理想。
她做了一组测试。
远行者用的是一款主流自动驾驶芯片,算力254 TOPS。她的模型在这块芯片上的推理延迟是45毫秒。45毫秒在60公里时速下意味着车盲开2.7米。可以接受,但不够好。
如果换一块更便宜的芯片呢?算力只有50 TOPS的那种,成本从一万五降到三千。她的模型在上面跑,延迟飙升到280毫秒。
280毫秒。60公里时速下盲开4.7米。不能接受。
**便宜芯片跑不动她的模型。贵芯片跑得动但太贵。**
这就是瓶颈。
---
她开始系统地研究这个瓶颈。
不是从算法角度——算法她已经压到极限了。是从**硬件角度**。
她让小飒帮她整理了一份自动驾驶芯片的对比表:
| 芯片 | 制程 | 算力(TOPS) | 功耗(W) | 单价(元) |
|------|------|-----------|---------|---------|
| A公司旗舰 | 5nm | 254 | 60 | 15000 |
| B公司主流 | 7nm | 128 | 35 | 8000 |
| C公司入门 | 14nm | 50 | 20 | 3000 |
| D公司国产 | 28nm | 16 | 15 | 1500 |
她盯着这张表看了很久。
数字之间的差距是巨大的。5nm芯片的算力是28nm芯片的16倍,价格是10倍。但5nm芯片的功耗是28nm的4倍——算力涨了16倍,功耗只涨了4倍,说明先进制程确实在能效上有巨大优势。
但问题是——5nm芯片太贵了。一辆十五万的车,装一块一万五的芯片,光芯片就占了成本的十分之一。如果一辆车要装多块芯片(感知、规划、控制各一块),那芯片成本就要三四万。
**没有人会花十五万买一辆车,其中四万是芯片。**
而便宜的28nm芯片呢?16 TOPS的算力,连她那个已经瘦到极限的模型都跑不动。
**算法已经到底了。问题在芯片。**
---
她把这个发现写成了一份报告,发给了林越。
林越看了之后,约她视频聊了一次。
"你说的这些,我都知道。"林越的语气比平时沉,"整个行业都知道。算法能优化的空间越来越小,芯片的成本压力越来越大。这不是你一个人的瓶颈,是所有人的瓶颈。"
"那行业里怎么解决这个问题?"
"两条路。一条是等制程进步——5nm到3nm到2nm,芯片越来越小,越来越便宜。但这条路越来越难,摩尔定律在放缓,每一代制程的进步都比上一代更贵、更难。"
"另一条呢?"
"芯片架构创新。不靠制程进步,靠架构改变来提升算力。比如专用加速器——为AI推理专门设计的芯片架构,比通用GPU效率高得多。"
"这个方向有人在做吗?"
"有。但不多。大部分公司还是在通用GPU上堆算力,因为生态成熟,开发成本低。做新架构风险太高——芯片流片一次几千万,如果架构设计有问题,几千万就打水漂了。"
曦菲没说话。
几千万。她连那两千块奖金都没领到。
但她脑子里有一个模糊的想法,像雾里的山——看不清轮廓,但她知道那里有东西。
---
她开始研究芯片架构。
这是她进入一个全新的领域。之前她学的是软件——代码、算法、模型。现在她要学硬件——电路、逻辑门、寄存器、时钟频率。
她让小飒帮她搜集资料,从最基础的开始学。
**晶体管**——芯片的基本单元。一个晶体管就是一个开关,开代表1,关代表0。所有的计算,归根结底都是无数个开关的开和关。
**逻辑门**——用晶体管组合成与门、或门、非门。逻辑门组合成加法器、乘法器、寄存器。寄存器组合成处理器。
**冯·诺依曼架构**——她学编程的时候就知道这个。CPU和内存分开,数据在两者之间来回搬运。这个架构统治了计算机七十年。
但她现在发现了一个问题——
**冯·诺依曼架构对AI推理来说,效率极低。**
AI推理的核心操作是矩阵乘法。大量的数字相乘再相加。在冯·诺依曼架构下,这些数字存在内存里,每次计算都要从内存搬到CPU,算完再搬回去。搬运的能耗是计算能耗的几十倍。
**大部分能量不是用来算的,是用来搬数据的。**
她想起了一个比喻——一个厨师(CPU)要做一千道菜(矩阵乘法),但所有食材(数据)都在仓库(内存)里。他每做一道菜,都要跑去仓库取食材,跑回来炒,炒完再跑回去放下成品。大部分时间花在跑路上,不是花在炒菜上。
**这就是冯·诺依曼瓶颈。**
"有没有不搬数据的架构?"她问小飒。
小飒搜索了一阵,给出答案:
> "有。存算一体架构。把计算单元直接放在存储单元里,数据不需要搬运,就地计算。目前有几种技术路线:基于SRAM的存算一体、基于RRAM的存算一体、基于忆阻器的存算一体。这些方向都还在研究阶段,尚未大规模商用。"
存算一体。厨师就住在仓库里,不用跑了。
曦菲觉得这个方向有意思。但她继续往下挖,发现存算一体也有自己的问题——制造工艺不成熟、精度不够、良率低。
"还有别的方向吗?"
> "光计算。用光代替电来传输和计算信息。光的速度比电快得多,而且光在传输过程中几乎不损耗能量。光计算被认为是突破冯·诺依曼瓶颈的潜在方向之一。"
**光。**
曦菲看到这个字的时候,停了一下。
光。
爷爷给她讲过光。光从星星出发,要走很久很久才到她的眼睛。
光很快。光不耗能。光可以同时传输很多路信号——不同颜色的光在同一根光纤里互不干扰。
如果用光来计算呢?
---
她开始研究光计算。
资料不多。这个方向太前沿了,大部分论文她看不懂——涉及光学、材料学、半导体物理,每一篇都堆满了她不认识的符号和术语。
但她像以前一样,一个概念一个概念地啃。
她学到了**马赫-曾德干涉仪**——一种光学器件,通过改变光波的相位来控制光的干涉,从而实现矩阵乘法。
她学到了**光子芯片**——用光代替电子来传输和处理信息的芯片。理论上,光子芯片的算力密度可以是电子芯片的几百倍,功耗只有其几分之一。
她学到了**相变材料**——一种可以在晶态和非晶态之间切换的材料。两种状态的光学性质不同,可以用来存储信息。相变材料跟光子芯片结合,可能实现光存储+光计算的一体化。
**相变光芯。**
这四个字在她脑子里亮了一下。
---
她把这个想法告诉了林越。
那天晚上加班,她跟林越在视频里聊。她把自己画的几张架构图举到摄像头前——画得很粗糙,铅笔画的,有的地方涂改了好几遍。
"林越,你看这个。现在的自动驾驶芯片瓶颈在两个地方:一是冯·诺依曼架构的数据搬运开销,二是制程限制了晶体管密度。如果绕开这两个限制,不用电子芯片,用光子芯片呢?"
林越看着她的图,沉默了一会儿。
"光子芯片?你知道这个方向有多难吗?"
"我知道。但我算了一下理论极限。"曦菲翻出另一张纸,上面写满了公式,"如果用相变材料做存储,用马赫-曾德干涉仪做计算,理论上算力密度可以达到……"
她报了一个数字。
林越的表情变了。
"你确定?"
"理论值。实际能做到多少我不确定。但即使打个对折,也是现在5nm芯片的五十倍以上。而且功耗——"
"功耗呢?"
"理论上是现在芯片的十分之一。因为光传输不耗能,相变材料存储不耗能,只有切换状态的时候耗一点电。"
林越摘下眼镜,揉了揉眼睛。
"曦菲,你知道你说的这个东西,如果真能做出来,意味着什么吗?"
"芯片成本从一万五降到几百块。"
"不止。"林越的声音低了下来,"意味着算力不再是瓶颈。不只是自动驾驶——整个AI行业都会被颠覆。大模型推理成本降一百倍,所有需要算力的应用都会爆发。"
曦菲没说话。
"但——"林越重新戴上眼镜,"你说的这些是理论值。光子芯片的工程化难度是天文级别的。全世界做光子芯片的公司凤毛麟角,而且都还在实验室阶段。你一个人——"
"我知道我一个人做不了。"曦菲打断他,"但我想先搞清楚方向对不对。如果方向是对的,后面的事可以慢慢来。"
林越看着她。
屏幕里的女孩光线很暗,但眼睛很亮。她举着几张铅笔画的纸,纸上写满了公式和架构图,有的地方被擦得发毛了。
"你多大了?"林越忽然问。
曦菲沉默了。
"我一直在猜。"林越说,"你的代码风格很干净,没有冗余,说明你受过很好的训练——但你的知识面有明显的断层,有些很基础的东西你不熟,但高级概念你反而理解得很深。这说明你是自学的,而且学得很快。你的声音、你的脸——你不像十六岁。"
曦菲把纸放下来,低下头。
"十二。"
空气安静了很久。
"十二岁。"林越的声音不是震惊,是一种很沉的东西,像石头落进深水里。
"你不用十二岁的身份入职。你不用任何身份。你只是——在学东西。"曦菲的声音很轻,"我没有骗你。你也没问过我。"
"我没问。"林越承认。
"那我还能继续在远行者做吗?"
林越又沉默了几秒。
"能。"他说,"但你要答应我一件事。"
"什么?"
"别熬夜了。你才十二岁。你的身体还要长。"
曦菲愣了一下。
然后她笑了。
这是她很久以来第一次真心笑——不是因为直播要笑,不是因为客人要看,是因为有人关心她长不高。
"好。"
---
但曦菲没有不熬夜。
她只是把熬夜的内容变了。
以前她熬夜写代码、跑模型。现在她熬夜研究光子芯片和相变材料。
她让小飒帮她搜集了所有能找到的光计算论文,从1970年代的早期理论到2024年的最新实验。几百篇论文,她一篇一篇地读,不懂的就问AI,AI不懂的就查教科书,教科书没有的就自己推。
她发现光计算这个方向被提出来很久了,但一直没火起来。原因很简单——电子芯片太强了。摩尔定律跑了六十年,电子芯片性能每两年翻一倍,光计算的理论优势被电子芯片的工程优势碾压了。
但现在情况变了。
摩尔定律在放缓。电子芯片的制程越来越难推进,3nm之后可能就到物理极限了。而AI对算力的需求在指数级增长——大模型每半年翻一倍。
**需求在涨,供给在停。**
**这就是矛盾。矛盾推动发展。**
辩证唯物主义告诉她,当旧的矛盾激化到一定程度,新的解决方案就会被催生。电子芯片的瓶颈,正在倒逼整个行业寻找新的计算范式。
光计算的机会,来了。
---
但曦菲也看到了光计算的致命问题。
光子芯片的制造工艺跟电子芯片完全不同。电子芯片用的是硅基CMOS工艺,几十年的积累,极其成熟。光子芯片用的是硅光工艺——在硅片上集成光波导、调制器、探测器——工艺复杂得多,良率低得多。
而且光子芯片的"存储"是个大问题。光不适合存储——光一停下来就没了,不像电子可以存在电容里。所以光计算系统通常需要一个电子存储器来配合,数据在光域计算,在电域存储。来回转换的开销,吃掉了光计算的一部分优势。
**存算分离的老问题,换了个马甲又回来了。**
直到她深入研究相变材料。
相变材料——比如Ge₂Sb₂Te₅(GST)——可以在晶态和非晶态之间切换。两种状态的光学折射率不同。用光照射它,可以通过改变光的强度来控制它的状态切换。读取的时候,用低功率光照射,检测透射光的变化,就知道它存的是0还是1。
**光存储。光计算。同一个器件。**
不需要光和电之间来回转换了。相变材料既是存储器,又是计算元件。数据存在那里,计算就在那里发生。不需要搬运。
**存算一体。光域实现。**
曦菲把这个思路整理成了一份文档,发给了林越。
文档不长,四页纸,但每一句话都是她自己推出来的。标题是:
**《基于相变材料的光存算一体架构:一种绕过高端制程的低成本高算力芯片设想》**
林越看了三天。
第三天晚上,他给曦菲打了一个电话。
"曦菲,我看了你的文档。"
"怎么样?"
"理论上是通的。但我有几个问题。"
"你说。"
"第一,相变材料的切换速度。GST的结晶时间大约是几十纳秒,跟SRAM的纳秒级访问速度差了一个数量级。这意味着你的光存算一体芯片在速度上可能不如电子芯片。"
"我知道。"曦菲说,"但相变材料的切换是并行的——一个光脉冲可以同时改变成千上万个相变单元的状态。串行速度慢,但并行度极高。总吞吐量可以远超电子芯片。"
"第二,相变材料的寿命。GST的相变循环次数大约是10的7次方到10的8次方。跟闪存的10的5次方差不多,但跟SRAM的无限次读写差远了。做存储可以,做计算——如果每个计算步骤都要改变相变状态,寿命会很快耗尽。"
"所以不能把相变材料当通用存储用。"曦菲说,"它的角色是权重存储——神经网络训练好之后,权重是固定的,写入一次就行,不需要反复擦写。推理的时候只是读取,不改变状态,没有寿命问题。"
"读取不改变状态?"
"低功率光读取不会引起相变。只有高功率光写入才会。读取和写入的功率窗口是分开的。"
林越沉默了。
"第三,也是最关键的——你怎么制造这东西?就算理论全通,工程上怎么实现?你连一块光子芯片都没流过片。"
曦菲也沉默了。
"我不知道。"她说,"但我想试试。"
电话两头都安静了。
"曦菲。"林越的声音变了,不是上级对下属的语气,更像是一个哥哥对妹妹,"你知道这条路有多长吗?从理论到流片,正常要三到五年,烧几千万到几个亿。你一个人——"
"我知道很长。"曦菲说,"但爷爷说过一句话。"
"什么?"
"光从星星出发,要走很久很久才到你的眼睛。但光一直在走。"
电话那头沉默了很久。
"你这个爷爷,"林越说,"是个了不起的人。"
曦菲没接话。她看着窗外,老城区的路灯在夜色里一盏一盏亮着,像一条发光的河。
"林越。"
"嗯。"
"你说的那些问题,我会一个一个解决的。但现在,我需要你帮我做一件事。"
"什么事?"
"帮我找一台可以做光学实验的设备。不需要太先进——只要有激光器、有光学平台、有基本的探测器就行。我想先验证相变材料在光域的存算可行性。"
"你在哪做实验?"
"在饭馆。"
"……什么?"
"在福满楼的后厨。晚上打烊之后,那里有足够的空间。"
林越沉默了五秒。
"你是认真的?"
"我是认真的。"
又是五秒。
"我帮你找。"林越说,"但你要答应我——真的别熬夜了。"
"好。"
她挂了电话。
然后她坐在窗台边,看着自己的手。
茧还在。打螺丝的茧,敲键盘的痕,现在又要加上——做光学实验的手。
她不知道光能不能算出答案。
但她知道,光一直在走。
---
*——未完,第六章:6.1 推理成本*