Skip to content

AI Infra概述

去年11月份在CS的自学生涯中遭遇了瓶颈，加上连续遭遇生理与心理上的双重打击，消沉了一段时间。考虑到接下来学业方面大概率以推进11408为主，在研究与工程方面上决定尽可能寻找一个贴近计算机基础学科的方向。经过一段时间的观察与思考，截至写这篇文章时，准备将AI Infra作为日后的主要研究方向。

AI Infra（AI Infrastructure, AI基础设施）技术栈1，是支撑现代大模型训练、微调、推理、服务化部署和AI Agent运行的整套软硬件体系。它不像传统后端服务那样“搭几台服务器装个k8s”就行，而是高度依赖计算效率、成本控制、稳定性和弹性。

AI Infra 并非单一技术模块，而是通过硬件与软件的深度协同，构建起支撑 AI 大模型任务全流程的技术底座，其核心特征在于“垂直整合”，从物理硬件到上层工具，各环节形成闭环，确保 AI 计算高效、稳定落地2。

AI Infra技术栈分层

自底向上，AI Infra 可分为硬件层和软件层，软件层又可分为资源调度&管理层、编译&计算架构、模型训练&推理框架、第三方框架、大模型&应用层、数据&存储层等。若系统庞大，还会设置观测/运维层以方便对系统进行监控与维护。

应用层（LLM / CV / ASR）
        ↓
推理引擎 / 训练框架
        ↓
通信库 + 调度器
        ↓
Kubernetes + 容器
        ↓
OS + 驱动
        ↓
GPU / Network / Storage

硬件层

硬件层面虽然看似简单，但是却是AI Infra领域投入成本最大的部分，是 AI Infra 的“骨架”。

如上图2，其主要模块可以根据职能划分为AI芯片（计算）、存储系统（存储）、高性能网卡（通信）。

形成一个AI集群，需要合理组合这些硬件模块，并利用软件层中的IaaS（Infrastructure as a Service）实现对资源的高效管理与调度。

软件层

软件层主要负责高效处理数据流动和资源管理与调度，AI Infra 的 “神经中枢”。可参考云计算3中的架构层次将其划分为如下几个层次:

  • IaaS（Infrastructure as a Service, 基础设施即服务）层: 聚焦资源落地，整合分散的计算、存储和网络资源，满足 AI 任务对海量数据的存储与快速读取需求，核心解决“计算、通信、存储”三大底层需求。除了后端所熟知的容器化技术（Docker等）、分布式调度框架（Kubernetes等）外，还有网络层（Interconnect & Cluster Network）的分布式训练与通信技术（Horovod、NCCL、Gloo等）；存储层（Storage Layer）的分布式存储技术（Ceph、Lustre、MinIO等）。

  • PaaS（Platform as a Service, 平台即服务）层: 聚焦硬件衔接与模型开发，负责编译上层代码、优化核心算子、将底层细节封装起来，提供模型搭建与训练的基础工具，从而提高算力利用率、降低底层基础门槛。如底层算子加速库（NVIDIA cuDNN、TensorFlow XLA、RAPIDS等）；深度学习框架（PyTorch、TensorFlow、Jax等）；推理加速框架（NVIDIA TensorRT、vLLM、ONNX Runtime等）。

  • SaaS（Software as a Service, 软件即服务）层: 聚焦AI任务的“高效执行”，而非通用应用。核心包含推理服务，如 Triton Inference Server，实现模型部署后的低延迟、高并发响应，支持动态批处理、模型动态加载；分布式并行框架，如 DeepSpeed、Megatron-LM、VeRL 通过数据并行、张量并行等技术，拆分大规模训练任务，适配多卡/多节点集群，解决单设备算力不足问题，直接支撑 AI 任务的落地执行2。

  • Maas（Model as a Service, 模型即服务）层: AI 领域特有的中间层，衔接 SaaS 层与终端用户，核心提供模型托管（存储、管理预训练模型、微调后模型）、模型版本、轻量化微调与 API 调用服务，让用户无需关注底层框架与硬件，直接通过接口调用模型能力，是大模型能力普惠化的关键环节，填补了 “模型开发” 与 “业务应用” 间的空白2。

一些前沿方向

  • 异构计算与编译优化

    • TVM: 开源的机器学习编译器，支持将高效计算图部署到不同硬件上，优化加速.

    • MLIR: LLVM 提供的多层次中间表示（MLIR），适用于编译与优化AI计算.

  • Serverless AI

    • FaaS: 提供一个Serverless框架，支持快速部署机器学习模型，优化推理延迟.

AI Infra的发展历程

AI Infra 发展历程-有没有大佬帮我解释一下AI Infra到底是干啥的？| 知乎

AI Infra依赖的基础学科45

斜体标注为11408考察内容

  • 计算机科学与技术

    • 计算机体系结构（Computer Architecture）

      • 基础理论: 处理器设计、内存层次结构、缓存优化、并行计算架构等

      • 关联: 硬件层（如 GPU、TPU、NPU）设计及优化、内存层次等。

      • 代表技术栈: H100/B200/Blackwell架构、RoCEv2、InfiniBand、Chiplet

    • 操作系统（Operating System）

      • 基础理论: 进程调度、内存管理、I/O 管理、文件系统等

      • 关联: AI Infra依赖操作系统（属软件层IaaS）来进行资源调度与管理，尤其是在容器化和虚拟化环境中的资源隔离和调度（例如 Kubernetes 和容器）。操作系统中的优化技术直接影响到 AI 训练时的效率和稳定性。

      • 代表技术栈: Ubuntu（Linux）、容器化技术（Docker、Containerd、Kubernetes）、SLURM、Flux、Volcano

    • 计算机网络（Computer Networking）

      • 基础理论: 网络协议、数据通信、网络拓扑等

      • 关联: 分布式训练依赖高速、低延迟的网络环境，如 InfiniBand、RDMA 等。网络优化对数据传输和模型参数同步至关重要。

      • 代表技术栈: RoCEv2、Ultra Ethernet、NCCL优化、SHARP

    • 并行与分布式计算（Parallel & Distributed Computing）

      • 基础理论: 分布式计算、负载均衡、容错性、消息队列、通信原语优化等

      • 关联: 大规模分布式训练、分布式文件系统（如 Ceph、Lustre）和分布式数据库的架构设计都依赖分布式系统的理论。高效的分布式计算可大幅度提升训练速度。

      • 代表技术栈: Megatron、DeepSpeed、FSDP、Colossal-AI、vLLM PagedAttention

    • 数据库管理（Database Management Systems）

      • 基础理论: 数据库设计、查询优化、事务管理、分布式数据库等

      • 关联: AI Infra 中的数据存储（尤其是大规模数据集的存储和管理）需要强大的数据库支持。开源数据库（如 MySQL、PostgreSQL）和分布式数据库（如 Cassandra、HBase）常用于存储训练数据和模型参数。

      • 代表技术栈: MySQL、PostgreSQL、Cassandra、HBase等

    • 编译原理（Compiler Theory）

      • 基础理论: 编译原理、语法分析、语义分析、代码生成、优化等

      • 关联: 编译优化决定资源利用是否高效，低效的优化会导致内核效率低下，同样硬件跑不出SOTA性能。

      • 代表技术栈: TorchInductor、OpenXLA、MoE路由编译优化、TVM等

  • 人工智能与机器学习

    • 机器学习与深度学习（Machine Learning & Deep Learning）

      • 基础理论: 监督学习、无监督学习、强化学习、神经网络等

      • 关联: AI Infra 的核心目标是高效训练与部署机器学习和深度学习模型。所有的模型训练框架、加速工具、推理引擎等都基于机器学习与深度学习的基础理论。

    • 自然语言处理（NLP）

      • 基础理论: 语言模型、序列建模、BERT、GPT 等

      • 关联: 在大语言模型（如 GPT、BERT）的训练过程中，AI Infra 需要大规模的计算资源、存储和通信能力，这些都与 NLP 的发展息息相关。

  • 数学

    • 线性代数（Linear Algebra）

      • 基础理论: 向量、矩阵运算、特征值分解、奇异值分解等

      • 关联: 线性代数是深度学习和AI的核心工具，模型训练过程中大量的矩阵运算依赖于线性代数。在优化算法（如梯度下降）和神经网络训练中，线性代数为数据处理提供了基础。

    • 概率论与数理统计（Probability Theory & Mathematical Statistics）

      • 基础理论: 概率分布、贝叶斯推断、假设检验等

      • 关联: AI 模型的构建、优化和评估都需要统计学原理。深度学习中的优化算法（如梯度下降）和调优技巧（如正则化、早停等）都离不开统计分析。

    • 控制论&优化理论（Control Theory & Optimization Theory）

      • 基础理论: 函数优化、梯度下降、凸优化、MoE路由、学习率调度、混合精度训练稳定性等

      • 关联: 训练过程依赖于多种优化算法。无论是深度学习的参数优化，还是分布式系统中的负载均衡、资源调度，都需要优化理论的支持。

    • 信息论（Information Theory）

      • 基础理论: 熵、信息增益、编码理论等

      • 关联: 在大规模数据处理和深度学习模型设计中，信息论为模型压缩、数据传输和通信提供了理论支持。例如，神经网络中的量化、蒸馏技术就借鉴了信息论中的编码与压缩思想。

  • 物理学

    • 信号处理与通信（Signal Processing & Communications）

      • 基础理论: 信号编码、解码、噪声抑制、滤波等

      • 关联: 在分布式训练中，通信效率至关重要。数据传输和模型同步需要应用信号处理理论，如压缩感知、量化、编码等技术，以优化带宽使用和减少通信开销。

    • 电路与半导体物理（Circuits & Semiconductor Physics）

      • 基础理论: 电流、电压、功率、晶体管、集成电路等

      • 关联: AI Infra 需要依赖硬件进行大规模并行计算，如 GPU 和 TPU。这些硬件的设计与工作原理需要半导体物理学、电子学等领域的支持。电路设计直接决定了计算性能与能效。

  • 工程自动化

    • 自动化与控制理论（Automation & Control Theory）

      • 基础理论: 控制系统设计、反馈机制、优化控制等

      • 关联: 在 AI Infra 中，尤其是在资源调度、负载均衡和自适应学习等方面，自动化与控制理论帮助实现智能调度与自我优化。

    • 系统工程（Systems Engineering）

      • 基础理论: 复杂系统建模、系统集成、性能分析等

      • 关联: AI Infra 本质上是一个高度复杂的系统工程。它需要考虑各个组件的协同工作、系统性能的调优、故障容错等。系统工程的理论和方法帮助设计高效、稳定的基础设施。

综合来看，AI Infra涉及广泛的基础学科，涵盖了计算机科学、数学、物理、工程以及人工智能等领域，综合度较高。但实际依赖占比最大的是计算机体系结构、并行与分布式计算、操作系统这三个学科。

与传统Infra的关系

  • 二者的共性不言而喻，无论是传统Infra还是AI Infra，二者都需要高效、稳定整合“计算、通信、存储”三大核心资源。基础设施之所以被称为基础设施，就是因为它能够为上层应用提供基础的支撑，使得上层应用能够更加高效、稳定地运行。

  • 二者的差异则更为关键，且根源在于核心硬件不同：传统 Infra 以 CPU 为核心，AI Infra 以 GPU 为核心，这种差异直接导致了通信、存储、软件适配的全链路不同2。

    从硬件逻辑看，CPU 擅长串行计算，适合处理复杂但低并发的任务；GPU 擅长并行计算，适合处理简单但高并发的任务。

    AI Infra 对通信与存储的要求远超传统 Infra：通信层面，GPU 集群需高带宽、低延迟的网络，否则会因数据传输慢拖慢并行计算；传统 Infra 用 10G/100G 以太网即可满足需求。

    存储层面，AI Infra 需高 IOPS 的 NVMe SSD 存储，以支撑每秒数十 GB 的训练数据读取；传统 Infra 用 HDD 机械硬盘即可应对文档、交易数据的存储需求。

行业分析

行业现状概述

人工智能基础设施市场持续呈现显著增长态势，这一趋势预计将在未来长期延续6。

有没有大佬帮我解释一下AI Infra到底是干啥的？ - wxz131的回答-1 | 知乎

就业分析

根据业务定位，AI Infra可分为数据Infra、训练Infra和推理Infra三类，分别从事大模型从数据管线搭建，训练到上线部署三个环节的工程化工作7。

行业内需求较高的通常是推理Infra，也有部分厂商将其与训练Infra合并为推训Infra一个岗位，主要处理的工作大概就是优化调度算法（用Python）；把某些模型网络层面的计算抽象成OP，再用Cuda kernel重写一遍（用C++）；又或者对着供应商那边工程师都有概率无法提供解决方案的特种AI加速器斗智斗勇，写了半年你自以为优雅的框架驱动洋洋得意，然后被通知今年硬件供应商换了一批7。

三大核心方向

有没有大佬帮我解释一下AI infra到底是干啥的？ - wxz131的回答-2 | 知乎

总结

AI Infra 行业的竞争本质是“垂直整合能力”与“认知深度”的竞争2。

核心原则是靠近模型、靠近硬件: AI Infra 的价值不在于孤立的中间层优化，而在于与上下游的垂直整合。要么主动参与模型设计，将 Infra 优化逻辑融入模型结构；要么深度协同硬件厂商，把硬件特性转化为 Infra 的技术壁垒2。

充分利用算力的，长远是赢家: AI Infra 的本质是“延续摩尔定律”，在硬件性能增速放缓的背景下，通过软硬件协同优化将硬件潜力发挥到极致。例如英伟达 GPU 正是凭借 Infra 层面的并行计算优化，实现每两年算力翻一倍，持续抢占 CPU 在 AI 领域的市场份额2。

开源项目参考

理论资料

学习社区/教程

学术资料4

高影响力论文
核心会议
高影响力项目组

工程资料

  1. 什么是 AI 基础设施？| IBM ↩

  2. 有没有大佬帮我解释一下AI infra到底是干啥的？ - wxz131的回答-1 | 知乎 ↩↩↩↩↩↩↩↩

  3. 深入高可用系统原理与设计 ↩

  4. 2025-2026 AI Infra技术栈全景 | Grok ↩↩

  5. AI Infra技术栈分析 | ChatGPT ↩

  6. AI infrastructure: Midyear 2025 update and future technology considerations | S&P Global ↩

  7. 在找工作过程中发现社交媒体上好多人在唱衰 AI infra，大家怎么看？ - 锦恢的回答| 知乎 ↩↩