我目前专注于 AI Infra / LLM Inference / 推理系统优化。

主要关注 LLM Serving 的调度、KV Cache、Prefill / Decode 执行路径，以及 CUDA / GPU 性能分析。相比只停留在机制理解，我更喜欢通过 源码修改 → 可控 workload → trace / profiling → benchmark 去验证一个系统设计到底发生了什么。

• vLLM / LLM Serving — Scheduler、KV Cache、Continuous Batching、Prefix Cache、Chunked Prefill、Preemption
• CUDA / GPU Performance — CUDA Kernel、memory hierarchy、Nsight Compute、memory-bound vs compute-bound
• Inference Optimization — Prefill / Decode、TTFT / TPOT、吞吐、公平性与显存压力之间的取舍
• LLM Systems Engineering — 从企业 Agent 应用到推理引擎底层的工程实践

基于 vLLM v0.26 / MRV2 的调度研究项目，在真实 GPU 环境中追踪 Scheduler → KV Cache → MRV2 执行行为。

• 实现默认关闭的 Scheduler / MRV2 JSONL Trace 与可控 workload generator
• 复现 KV Cache 压力下的 waiting queue Head-of-Line Blocking
• 设计并实验 waiting bypass 策略：局部场景下 C TTFT median 33.250 s → 0.182 s
• 通过反例发现 preemption、公平性与吞吐退化，最终选择 不提交 upstream PR
• 使用 PyTorch Profiler / Nsight Compute 将调度行为与真实 GPU execution 对齐

我希望这个项目展示的不只是“做出了优化”，而是如何用证据判断一个优化 什么时候有效、什么时候不应该合入生产系统。

从零实现的 C++ / CUDA 张量库与 LLM inference runtime playground，用于理解现代推理引擎背后的核心机制。

• CUDA kernels：Matmul、Softmax、LayerNorm、Attention
• KV Cache、PagedAttention-style block table、Prefill / Decode
• Continuous Batching 与推理流程实验
• FP8 E4M3 Paged KV Cache reference，验证 4× storage reduction
• CUDA Benchmark + Nsight Compute profiling

我会把源码阅读、实验过程和结论整理成博客，而不只保留在代码仓库里。

• Blog — vLLM、LLM 量化、推理系统与工程实验
• AI Infra — 项目、学习路径与实验入口

LLM Serving
   ↓
Scheduler / KV Cache / MRV2
   ↓
CUDA / GPU Execution
   ↓
Evidence-driven Inference Optimization

目前继续沿着 vLLM 二次开发 + CUDA / GPU 性能分析 这条主线深入。

• Website: xiaoda.cloud
• Blog: xiaoda.cloud/blog
• GitHub: @Xiaoda11