下面的规划完全按“工作日晚上2小时 + 周末每天6小时”来估算，每周约22小时。从7月7日（下周一）开始。

一、总体目标（量化、可验收）

时间节点 目标
2026年10月1日 具备端侧模型部署工程师（初级） 岗位的面试通过能力：能独立完成 PyTorch → ONNX → TensorRT（含 INT8 量化）→ C++ 推理服务的完整链路，并能用 Nsight Systems 分析性能瓶颈
2026年12月31日 具备CUDA 基础编程能力：能手写矩阵乘（含 Shared Memory 优化）和归约 Kernel，优化后达到 cuBLAS 性能的 60% 以上
2027年3月31日 具备AI 推理引擎底层开发的入门能力：能读懂 TensorRT 源码中的关键模块，能写一个最简单的 TensorRT Plugin，能理解 TVM/MLIR 的基本概念和架构

二、阶段一：深度学习推理基础加固 + TensorRT 深度掌握（7月7日 → 9月6日，共9周）

核心逻辑：你已有 TensorRT 基础（ONNX → FP16 → C++ 推理），但偏“调通”而非“理解”。这阶段的目标是把“调通”升级为“掌握”。

理论学习（每周约 8 小时）

周次 学习内容 具体任务 验收标准
第1周 深度学习推理系统全景 阅读《AI 推理系统》第一章至第三章（或搜“AI推理系统 概述”文章） 能画出推理系统的完整数据流图（训练→导出→优化→部署→服务）
第2周 ONNX 原理 + 算子兼容性 阅读 ONNX 官方文档中“Operators”和“Versioning”部分 能说清 ONNX 的 IR 结构（Graph/Node/Tensor），知道怎么查算子支持版本
第3周 TensorRT 架构原理 阅读 NVIDIA TensorRT Developer Guide 中“Architecture”和“Optimization”章节 能用自己的话说清层融合、内核自动调优、显存复用三个优化机制
第4周 INT8 量化原理 学习量化基础（线性量化、对称/非对称、KL 散度校准） 能说清 INT8 量化的完整流程，知道校准数据集的作用
第5周 推理服务架构 学习 Triton Inference Server / TGIS 基本架构 能画出“客户端→网关→模型实例→返回”的架构图
第6-7周 CUDA 基础架构 学习 CUDA 编程模型（Grid/Block/Thread，内存层次） 能画出 GPU 内存层次图（Global/Shared/Register/Local）
第8-9周 性能分析工具 学习 Nsight Systems + Nsight Compute 基本用法 能说出 Nsight Systems 的时间线怎么看，Nsight Compute 的 SOL 指标怎么读

动手实操（每周约 14 小时）

周次 实操任务 具体产出 验收标准
第1周 环境重建 用 Docker 搭建一个可复现的 TensorRT 开发环境（含 CUDA、cuDNN、TensorRT） 写出一个 Dockerfile + docker-compose.yml，一键启动开发环境
第2-3周 ONNX 深度实践 写一个 Python 脚本：PyTorch 自定义模型 → 导出 ONNX → 用 ONNX Runtime 验证正确性 → 用 Netron 可视化 ONNX 结构 能熟练操作 ONNX 的 simplify、shape_inference 等工具
第4-6周 TensorRT 完整项目（C++ 版） 把之前的 ResNet-18 TensorRT 项目用 C++ 完整重写一遍，加上 INT8 量化（用校准数据集）和动态 Batch 支持 仓库包含 CMakeLists.txt，支持 make 编译，README 包含性能对比表（FP32/FP16/INT8）
第7-9周 性能分析报告 用 Nsight Systems 跑一遍推理全流程，截取时间线图，标注 H2D/D2H/Kernel 各部分耗时 输出一篇“性能分析报告”（Markdown 格式），包含截图 + 优化建议

阶段一结束检验（9月6日自测）

  1. 闭眼能画出：推理全链路流程图 + GPU 内存层次图
  2. 能当场写出：一个完整的 C++ TensorRT 推理程序框架（不用查文档）
  3. GitHub 仓库：包含上述所有产出，能直接 git clone && make && ./run 跑通
  4. 博客输出：至少一篇“TensorRT INT8 量化实践”技术文章

三、阶段二：CUDA 编程深入 + 推理优化进阶（9月7日 → 11月1日，共8周）

理论学习

周次 内容 具体任务 验收标准
第1-2周 CUDA 内存优化 学习 Shared Memory、Bank Conflict、Coalesced Access 能说出 Shared Memory 和 L1 Cache 的区别，Bank Conflict 的成因
第3-4周 CUDA 流和并发 学习 CUDA Stream、异步拷贝、多流并发 能画出“单流 vs 多流”的执行时间线对比图
第5-6周 TensorRT Plugin 开发 学习 TensorRT Plugin 的接口和注册流程 能画出 Plugin 的生命周期图（构建→序列化→反序列化→推理）
第7-8周 大模型推理基础 学习 KV Cache、Continuous Batching、PagedAttention（读 vLLM 论文或博客） 能说出大模型推理和 CNN 推理的三个关键差异

动手实操

周次 任务 具体产出 验收标准
第1-3周 CUDA 矩阵乘优化 从朴素实现 → Shared Memory 优化 → Bank Conflict 避免 → 向量化加载，每版记录耗时 优化版达到 cuBLAS 性能的 60%+，附性能对比表
第4-5周 CUDA 归约优化 实现并优化归约求和 Kernel（含线程束洗牌指令 __shfl_down_sync） 写出 3 个版本（朴素→优化→极致），附耗时对比
第6-8周 TensorRT Plugin 实战 写一个自定义 Plugin（如 Clip 或 Scale），集成到 TensorRT 引擎中 Plugin 能正确运行，推理结果和 PyTorch 一致

阶段二结束检验

  1. 能手写：一个 CUDA 矩阵乘 Kernel（含 Shared Memory）
  2. 能说清：TensorRT Plugin 的完整开发流程
  3. GitHub 仓库：cuda-matmul 和 trt-plugin-demo 两个仓库

四、阶段三：AI 编译器入门 + 大模型推理（11月2日 → 12月31日，共9周）

理论学习

周次 内容 具体任务 验收标准
第1-3周 AI 编译器架构 阅读 TVM 或 MLIR 的入门文章，理解“中间表示（IR）”“计算图优化”“算子生成” 能画出 AI 编译器的三层架构图（前端→中端→后端）
第4-6周 TensorRT-LLM / vLLM 阅读 vLLM 论文《Efficient Memory Management for Large Language Model Serving》 能说清 PagedAttention 的核心思想
第7-9周 AI Infra 全景 了解模型 serving、调度、自动扩缩容等基本概念 能画出一个完整的 AI 推理平台架构图

动手实操

周次 任务 具体产出 验收标准
第1-3周 vLLM 本地部署 在本地用 vLLM 部署一个 7B 模型（如 Qwen2-7B），记录吞吐量和延迟 输出一篇“vLLM 部署笔记”，含启动命令 + 性能数据
第4-6周 TensorRT-LLM 尝试 用 TensorRT-LLM 跑通一个 LLM 推理示例 能对比 vLLM vs TensorRT-LLM 的性能差异
第7-9周 端到端推理服务（最终项目） 用 C++ + TensorRT + 一个简单的 HTTP 库，封装一个支持多模型、多 Batch 的推理服务 服务能跑通，支持并发请求，附 QPS 测试数据

五、阶段性检测 + 自测清单

第一关（9月6日）“TensorRT 熟练者”

· 能说出 TensorRT 的三种优化机制
· 能独立完成 C++ TensorRT 推理程序的编写和编译
· 能跑通 INT8 量化并对比精度/性能
· 能用 Nsight Systems 分析推理耗时
· GitHub 有 3 个以上相关仓库（环境、TensorRT 项目、性能分析报告）

第二关（11月1日）“CUDA 入门者”

· 能手写矩阵乘 Kernel（含 Shared Memory）
· 能解释 Bank Conflict 和如何避免
· 能写出一个 TensorRT Plugin
· 优化后的矩阵乘达到 cuBLAS 性能的 60%+

第三关（12月31日）“推理工程师（初级）”

· 能用 vLLM 或 TensorRT-LLM 部署 LLM
· 能画出 AI 推理平台完整架构图
· 有一个端到端的 C++ 推理服务项目（可运行、可测试）
· 累计输出 3 篇以上技术博客

六、不同实习去向下的执行策略调整

如果去了哪里 调整建议
湃岛科技（端侧部署，300/day） 计划完全匹配。把工作中的模型部署项目直接纳入阶段一/二的产出中，替换掉部分模拟项目。
中孚恒升（AI应用，200/day） 工作内容偏应用层（RAG/Agent），与计划方向有偏离。下班后的时间完全按计划执行，工作内容当作“额外收入”和“软技能锻炼”，技术成长靠晚上和周末。
新媒体科技（低代码，100/day） 工作内容对技术成长帮助有限。建议严格执行计划，并在入职后一两个月评估是否值得继续待——如果发现下班后学习才是主旋律，而工作只是“副业”，可以考虑更早跳。

七、最后一句

你现在处在求职窗口期和技术成长窗口期的交汇点。无论最终去哪家实习，你的主线任务是：把“端侧模型部署 / 推理优化”这个能力树在接下来半年内扎牢。

等到今年 10 月秋招（26 届，如果你的毕业时间是 2026 年）或明年春招时，你手里有：

· 一份实习经历（无论在哪）
· 3+ 个可展示的 GitHub 仓库（TensorRT 项目、CUDA 项目、推理服务）
· 3+ 篇技术博客（有深度、有数据、有截图）

这个组合，足够你冲击 20K+ 的校招 offer。

从 7 月 7 日开始，每周复盘一次进度。我帮你把“开荒期”的路标都标好了，剩下的就是每周往前走一点。加油。