并行计算
并行计算是一种同时使用多种计算资源解决计算问题的技术，是GPU的核心优势所在。与传统的CPU串行计算不同，GPU拥有数千个计算核心，可以同时处理大量相似的计算任务。
与GPU的关系
- GPU最初设计用于图形渲染，本质上是高度并行的计算设备
- CUDA技术使开发者能够利用GPU进行通用并行计算（GPGPU）
- 深度学习训练本质上是大规模矩阵运算，天然适合GPU并行计算架构
历史意义
- 2009年第一届GTC的核心议题就是推广GPU并行计算
- 传统CPU计算瓶颈促使科研人员转向GPU并行计算
- 并行计算是连接GPU硬件与AI应用的技术桥梁