This commit is contained in:
谭九鼎
2025-03-24 21:43:22 +08:00
committed by GitHub
parent 704f8b45b3
commit 46b47621b5

View File

@ -136,7 +136,7 @@ AI 框架充分赋能深度学习领域,为 AI 算法的开发者提供了极
AI 编译与计算架构负责 AI 模型在真正运行前的编译和系统运行时的动态调度与优化。当获取的网络模型计算图部署于单卡、多卡甚至是分布式 AI 集群的环境,运行期的框架需要对整体的计算图按照执行顺序调度算子与任务的执行、多路复用资源,做好内存等资源的分配与释放。包括并不限于以下部分:
- **编译优化**:如算子融合等。编译器根据算子的语义或者 IR 定义,对适合进行算子融合(多个算子并为一个算子)的算子进行合并,降低内核启动与访存代价。同时 AI 编译器还支持循环优化等类似传统编译器的优化策略和面向深度学习的优化策略(如牺牲一定精度的计算图等价代换等)。
- **编译优化**:如算子融合等。编译器根据算子的语义或者 IR 定义,对适合进行算子融合(多个算子并为一个算子)的算子进行合并,降低内核启动与访存代价。同时 AI 编译器还支持循环优化等类似传统编译器的优化策略和面向深度学习的优化策略(如牺牲一定精度的计算图等价代换等)。
- **优化器**运行时即时Just-in-Time优化内省Introspective优化等。运行时根据硬件隐藏的软件栈信息数据分布等只能运行时所获取的信息进一步对模型进行优化。