则进行切分，在子计算完成之后，再进行合并运算，把所有的结果汇总起来。

数据块要切多大，对芯片工程师和算子工程师来说，都是不小的挑战，想要找到不大不小正合适的点，只能先通过数学方法进行粗算，然后在一次次地进行工程验证。

如果做纯数学运算不可以吗？

答案是不可以。

现在的gpu芯片，包括其他的计算核心如电脑cpu，或者手机芯片，采用的都是十纳米上下的制程量级。

像l100，是七纳米制程。

这是什么概念呢？

一根头发丝的直径大约是七万纳米，也就是说，如果把一根头发丝横切开来，可以并排放下整整一万根七纳米的晶体管。

在这个尺度下，传统经典物理学已经开始失效了。

电子不会再老老实实地沿着预设的路径运动，它们会隧穿，会跨越本不该跨越的绝缘层，直接跑到不该去的地方。

这意味着你用数学推导出来的“最优方案”，实际跑起来往往达不到理论极限。

物理世界会在最后一步给你打个折扣，而折扣打多少，则在每一块芯片都不完全相同。

所以工程师在规划切分数据块的时候，必须留有冗余；而冗余留多少，就要靠真实数据来校准了。

单是在这一步所要花费的时间，就要以月来计算。

但是对韩路一来说，这是一件一目了然的事情。

他伸出手，手指轻轻一捏，视界中虚拟的数据块就相应变小，传送带上的流动水流也更顺畅了起来，但是因为数据块太小，运算核心的负载也肉眼可见的降了下来，大量的空转让核心发出冷峻的嗡嗡声。

从视界的数据上看，整体的数值吞吐量反而下降了。

然后他的手指又微微张开，数据块相应变大，传送带上也变得更密集，整个流水线的运转效率再次提升。

很快，传送带开始承受压力，眼看着就要崩溃了。

这时候，韩路一的手指停了下来。

这就是最佳大小了。

在意念世界中，韩路一手掌一挥，这个最佳参数也被写进了电脑上的代码里。

易如反掌。

在虚拟投影的世界里，韩路一漂浮在半空中，俯视着经过调整之后正在高速有序的运转的机械工厂，心里涌出一种快感。

这种快感，就像是把俄罗斯方块堆的高高的，只留出边上的一个空列，来了一个长条一落到底，一下消除四行。

那样一种快感。

这是一种专属于工程师的快感。

韩路一再次打开视界，检查一下这个算子适配的实现情况。

【当前算子：fedattentionbackward】

【优化策略：块内重计算+数据块（tile）大小校准】

【单步耗时：468s→46s】

【显存读写量：理论最优值的109倍】

【利用率：31→91】

【状态：已适配✓】

韩路一看了一眼这组数字，脸上露出一点笑容。

单步耗时缩短到原来的十分之一，利用率从三成

章节内容不完整，请退出阅读模式查看完整内容！