黄氏定律
黄氏定律（英语：Huang's law）是计算机科学与工程领域的一个观察结果，即图形处理器（GPU）的发展速度远远快于传统的中央处理器（CPU）。根据摩尔定律，密集集成电路（IC）中的晶体管数量大约每两年增加一倍[1]。黄氏定律则指出，GPU的性能每两年将增加一倍以上[2]。这一假设的有效性受到质疑。
历史
2018年，时任英伟达首席执行官黄仁勋在加利福尼亚州圣荷西举行的GPU技术大会（GTC）上提出了这个观点[3]。他注意到英伟达的GPU“比五年前快了25倍”，而摩尔定律预计只能提高10倍[2]。随着微芯片组件变得越来越小，芯片的发展越来越难以达到摩尔定律的速度[4]。
2006年，英伟达GPU性能优势是其他CPU的4倍。2018年，英伟达GPU的速度是同类CPU节点的20倍：GPU的速度每年增加1.7倍。摩尔定律预测每两年增加一倍，然而英伟达的GPU性能每两年增加两倍多，实现了黄氏定律[5]。
黄氏定律指出，硬件、软件和人工智能之间的协同作用使新“定律”成为可能[A]。黄仁勋说：“创新不仅仅是芯片，而是整个堆栈”。他指出GPU对于新模式尤其重要[3]。消除瓶颈可以加快进程，为实现目标创造优势，“英伟达是一匹只会一招的小马”[7]。黄仁勋说：“加速计算是一种解放……比方说，你有一架飞机需要运送包裹，它需要12个小时才能送达。与其让飞机开得更快，不如集中精力研究如何更快地送达包裹，看看目的地的3D 打印技术。目标……是更快实现目标。”[7]
对于人工智能任务，黄仁勋表示AlexNet在两台英伟达的GTX 580处理器上需要6天才能完成训练过程，而在一台现代DGX-2 AI服务器上只需要18分钟，因此速度提升了500倍。与单纯关注CPU晶体管的摩尔定律相比，黄氏定律描述了架构、互连、存储器技术和算法的综合进步[2][6]。
巴拉特·拉姆森达尔（Bharath Ramsundar）写道，深度学习正在与“定制架构的改进”相互结合。例如，机器学习系统已经在区块链世界中实现，比特大陆“透过设计定制挖矿ASIC”攻击了“许多加密货币”，而这在以前是无法实现的。“然而，英伟达的巨大成就在于证明这些架构的改进不仅仅是特定应用的孤立胜利，也许广泛适用于所有计算机科学。”他们提出，广泛利用GPU和GPU堆栈（参见CPU堆栈）可以实现“深度学习架构的大幅成长”。黄氏定律承诺的“魔力”在于，随着搭载深度学习的新生软件越来越多，“GPU扩展带来的改进以及更广泛意义上的架构改进”将具体改善“现代软件堆栈的性能和行为”[8]。
对于黄氏定律批评之声不绝于耳。2020年，记者乔尔·赫鲁斯卡（Joel Hruska）在《ExtremeTech》杂志上撰文称“根本不存在黄氏定律”，称其为一种“幻觉”，是建立在摩尔定律所带来的利益之上的；而且现在就断定定律的存在还为时过早[9]。非营利研究机构Epoch发现，2006年至2021年GPU的价格表现（以 FLOPS/$ 计算）大约每2.5年增加一倍，比黄氏定律预测的速度慢得多[10]。
备注
参考资料
- ^ Drum, Kevin. Moore's Law is dead. Long live Huang's Law.. [2023-10-04]. （原始内容存档于2023-06-16）.
- ^ 2.0 2.1 2.2 2.3 Mims, Christopher. Huang's Law Is the New Moore's Law, and Explains Why Nvidia Wants Arm. Wall Street Journal. September 19, 2020 [2023-10-04]. （原始内容存档于2023-10-02） –通过www.wsj.com.
reprinted in Huang's Law is New Moore's Law and explains why Nvidia wants an arm. Yahoo!. September 29, 2020.[失效链接]
- ^ 3.0 3.1 Perry, Tekla S. Move Over, Moore's Law: Make Way for Huang's Law. IEEE Spectrum (IEEE). May 2018 [September 24, 2020]. （原始内容存档于2021-04-19）.
Graphics processors are on a supercharged development path that eclipses Moore’s Law. ... GPUs are also advancing more quickly than CPUs because they rely upon a parallel architecture, Jesse Clayton, an Nvidia senior manager, pointed out in another session."
- ^ Tibken, Shara. CES 2019: Moore's Law is dead, says Nvidia's CEO. CBS Interactive. CNET. 9 January 2019 [24 September 2020]. （原始内容存档于2021-03-26）.
- ^ Woodie, Alex. Nvidia Riding High as GPU Workloads and Capabilities Soar. HPCwire. 27 March 2018 [24 September 2020]. （原始内容存档于2023-02-05）.
- ^ 6.0 6.1 Goetting, Brittany. Advancing AI And 'Huang's Law' Could Be Why NVIDIA Moved To Acquire Arm. HotHardware. September 20, 2020 [September 24, 2020]. （原始内容存档于2023-05-31）.
- ^ 7.0 7.1 Hayes, Caroline. Jensen Huang: Moore's law is dead – long live AI. Electronics Weekly (Metropolis International). October 11, 2018 [September 24, 2020]. （原始内容存档于2023-05-28）.
... there are two dynamics controlling the computing industry today – the end of Moore’s law and software that can write itself, artificial intelligence, or AI. ... We can study where bottlenecks are. New software systems make the application go faster, not just the chip.
- ^ Ramsundar, Bharath. The Advent of Huang's Law. April 7, 2018 [September 24, 2020]. （原始内容存档于2023-07-04）.
- ^ Hruska, Joel. There's No Such Thing as 'Huang's Law,' Despite Nvidia's AI Lead. Extreme Tech. September 22, 2020 [2023-10-04]. （原始内容存档于2023-01-20）.
- ^ Marius Hobbhahn and Tamay Besiroglu (2022), "Trends in GPU price-performance". Published online at epochai.org. Retrieved from: https://epochai.org/blog/trends-in-gpu-price-performance （页面存档备份，存于互联网档案馆）
外部链接
- What is Huang's law? What is Moore's law? What is GPU? What is CPU? What is the difference? (Video). [2023-10-04]. （原始内容存档于2022-04-05） –通过YouTube.