，那阁下又该如何应对呢？

随着韩路一的意念一动，面前的电脑已经打开了浏览器，一个个标签页被打开，各种关键词被输入到搜索引擎中。

主题：gpu核心优化，各种高校公开课、课程讲义、课件，网上公开的或者收费的论文，被各个研究院、实验室和硬件厂商的研究部门备份在冷僻的网络存储里吃灰的各种资料，全都飞快地进入韩路一的脑海里，然后在视界的操作下去芜存菁，只留下最核心、最相关的那些，其它无用的部分又被飞快丢弃。

为了让这个操作更高效，韩路一还给视界编写了一个学术插件。

网上的每一份或公开或隐藏的资料，都被视界打过分了。

英伟达的内部资料：

【资料价值：92】

【适配相关性：高】

【重复内容：低】

这是好东西。

哈佛大学公开课：

【资料价值：62】

【适配相关性：低】

【重复内容：高】

哈子，不是说你不好的意思哈，内容重复了主要是。

韩路一这次算是真正体会到了什么叫“知识滑过大脑皮层”的感觉。

各种各样的相关信息飞速地在脑海中穿行，其中最重要最本质的东西被整理归位。

这种感觉就很爽，就像是开了挂一样。

哦，原来我真开了啊，那没事了。

在视界的可编程界面里，韩路一开辟出了一个单独的地址，存放这些被视界整理出来最有用最相关的知识。

随着文档逐渐成型，视界面板上的内容也开始发生变化。

原本散乱漂浮的知识点，像是被一根根细线串在了一起，然后变成了一张复杂又有序的大网。

【技能结构识别中……】

【知识片段整理中……】

【推理路径压缩中……】

韩路一猛地睁开眼睛。

等等，让我有点儿仪式感。

“视界，加点！”

【算子适配lv1，已习得】

这下舒服了。

韩路一精神一振。

虽然所有的提示语都是他自己给自己写的插件，但是功能是实打实的。

韩路一打开江松然发过来的适配清单，滚动了一会儿，在里面找到了一个标着三个红色感叹号的条目。

fedattentionbackward，注意力融合反向算子。

这是汤圆的训练框架里最关键的算子之一，前向推理完全用不到，只有在反向传播计算梯度的时候才会触发。

正因为只在训练里出现，赵文渊和江松然他们一直没有去适配它。毕竟优先保了推理路径的流畅性，但是训练效率上的损耗是真实存在的，如果要想做训练，这个算子必须得做。

融合算子是什么？反向算子又是什么？

前向attention（注意力）大家都很熟悉了。

query、key、vae三组张量进来，算出注意力权重，再乘上v，得到输出。

推理的时候，最重要的是前向快。

但训练

章节内容不完整，请退出阅读模式查看完整内容！