跳转到内容
WSJ
.
菜单
☰
首页
AI Infra
论文阅读
GitHub 项目
推荐资源
Star on GitHub
首页
/
AI Infra
/
推理引擎编写
/
Nano-vLLM 解读
Nano-vLLM 解读
01 · 项目概览与源码阅读路径
↗
02 · llm_engine.py: 初始化推理组件并驱动请求生成
↗
03 · sequence.py: 保存单个请求的生成状态与 KV 块视图
↗
04 · scheduler.py: 选择每轮请求并管理 KV 块资源
↗
05 · block_manager.py: 管理物理 KV 块与前缀缓存
↗