您现在阅读的是
哇叽文学www.wajiwx.cc提供的《学霸的模拟器系统》第202章 易碎的“玻璃糖”（求订阅求月票）(第1/2页)
上午九点五十五分,科瓦利斯会议中心c厅。
原本只能容纳两百人的分会场,此刻连过道里都站满了人。
空气闷热,混合着廉价咖啡和程序员身上特有的那种陈旧衬衫的味道。
这帮人当然不是冲着名不见经传的“以太动力”来的。
大家是来看上帝的。
就在刚才,杰弗里?辛顿和杨立昆这两个平时神龙见首不见尾的大佬,竟然联袂走进了这个偏僻的c厅,并且在前排正中间找了个位置坐下。
这一举动就像是在平静的鱼塘里扔了个深水炸弹。
原本还在隔壁b厅听贝叶斯网络报告的人,瞬间跑了一半过来围观。
“那个中国小子是谁?辛顿教授居然专门来听他的报告?”
“听说是个做ai制药的,昨天在展台那边忽悠了不少风投。”
第一排最右侧,谷歌技术总监魏斯博士已经打开了他那台厚重的戴尔外星人笔记本电脑。
屏幕上跑着一段b代码,那是他连夜让手下工程师复现的“全注意力机制”deory”报错框正一闪一闪。
魏斯看着走上台的林允宁,推了推眼镜。
他不是来砸场子的,他是来做“代码审查”的。
作为谷歌搜索算法的负责人之一,他太清楚工程实现的边界在哪里。
数学可以天马行空。
但服务器的内存条,才不会陪你演戏。
十点整。
林允宁站在讲台中央。
他没穿西装外套,只穿了一件挺括的白衬衫,显得身姿愈发挺拔。
领口,依旧系着雪若送的那条深蓝色的真丝领带。
雪若站在台下阴影处,抱着手臂,满意地点了点头。
这身打扮既有学术的严谨,又不失精英的锐利,卖相满分。
“早上好,我是林允宁。”
林允宁没有寒暄,直接按下了翻页笔。
投影幕布上跳出了一张图:一只大象被塞进了冰箱里,冰箱门被撑爆了,零件飞得到处都是。
台下响起了一阵稀稀拉拉的笑声。
“这就是目前的注意力机制。”
林允宁的声音通过麦克风传遍全场,平稳而清晰,“我们试图让神经网络记住每一个输入信号之间的关联,这很美好。但代价是,当我们需要处理长序列??比如一条完整的人类染色体,或者一本《哈利波特》时,我们需要
计算一个乘以n的巨大矩阵。”
他在黑板上写下了一个公式:
y=o
“对于n=1000,这没什么。但对于n=100,000,这意味着我们需要100亿次浮点运算和几十gb的显存。”
林允宁看向台下的魏斯,微微一笑,“魏斯博士昨天提醒我,在工业界,这叫死刑。你是对的。”
魏斯挑了挑眉,合上了电脑盖子,靠在椅背上。
这小子还算有点自知之明。
“但是,”
林允宁话锋一转,手里的翻页笔再次按下,“如果我们愿意牺牲一点‘精度”,来换取广度呢?”
屏幕上的ppt变了。
原本复杂的softaxv
这一行公式下方,出现了一个红色的叉。
"softx是一个非线性函数,它就像是一把锁,把q和k死死地锁在了一起,强迫我们必须先计算它们之间的关系。
“但如果我们引入一个核函数映射来近似softx......”
他在白板上飞快地写下了一行变换:
pt)v=ptv)
“根据矩阵乘法的结合律,”
林允宁敲了敲白板,“我们可以改变计算顺序。先算后面这一部分。原本那个n乘以n的巨大矩阵,消失了。取而代之的,是一个只有d乘以d的微型矩阵。”
台下原本有些嘈杂的议论声瞬间消失。
在座的都是聪明人,当那个括号的位置发生改变时,所有人脑子里的算盘都在疯狂拨动。
从平方级,变成了线性级。
“如果你这么做,你就毁了注意力。”
一个冷峻的声音打断了林允宁。
魏斯依然坐在椅子上,但他的眼神变得极其锐利。
作为谷歌搜索算法团队的核心人物,他虽然有着大厂高管特有的傲慢,但业务能力也极强,非常专业地指出了致命伤:
“林先生,这是一个聪明的数学把戏。但是,softx的作用不仅仅是归一化,它通过指数运算放大了强信号,抑制了弱信号。这叫‘赢家通吃’。
“正是因为这种尖锐的分布,ai才能精准地关注到那个最重要的词。
“而你用的核函数p??不管你用e还是re??它们都是平滑的。如果你把softx拿掉,你的注意力分布就会变得非常‘平”,非常‘模糊”。
“你确实把o降到了o,但你也把一个原本拥有锐利眼神的狙击手,变成了一个散光的近视眼。对于google搜索来说,这种模糊的匹配是不可接受的。”
魏斯的话音落下,台下响起了一阵低声的附和。
这才是真正的技术痛点。
没有免费的午餐。
你省了算力,就得亏精度。
程新竹在台下捏紧了拳头,手心全是汗。
她虽然不懂具体的数学,但她听得懂“近视眼”这个比喻。
台上的林允宁并没有慌张。
他甚至点了点头,表示赞同。
“您说得非常对,魏斯博士。”
林允宁坦然承认,“线性注意力确实会导致注意力分布的‘平滑化”。它没法像softx那样,在几万个词里精准地只盯着一个看。它看东西确实是‘模糊”的。”
他退出ppt,切到了代码终端界面。
“但是,工程学本质上就是关于取舍的艺术。”
林允宁输入了一行指令,加载了一个巨大的数据文件。
“这是人类1号染色体的基因序列片段,长度为100,000个碱基对。
“在这个尺度上,我们并不需要来说,‘看清大概的轮廓比‘看清某一个标点符号’重要一万倍。”
“run.”
林允宁按下了回车键。
大屏幕上,内存监控的波形图开始滚动。
如果是传统的o算法,这条红线会在0.1秒内冲破顶端,然后程序报错。
全场几百双眼睛死死盯着那条红线。
一秒。两秒。三秒。
红线微微抬起了一点点,大约占据了128b的内存,然后......变成了一条毫无波澜的直线。
【processg...100.done.】
【tipsed:3.42s.】
三秒钟。
处理完了十万长度的序列。虽然它的注意力可能是“散光”的,但它跑完了。
而魏斯电脑上的那个精准的softory”。
“一个能跑完的模糊算法,永远比一个跑不起来的完美算法有价值。”
林允宁看着台下的魏斯,语气诚恳,“魏斯博士,
-->>（本章未完，请点击下一页继续阅读）【请收藏哇叽文学 wajiwx.cc】