Download Latest Version v0.6.0 source code.zip (50.4 MB) Google Add to Preferred Sources
Home / v0.5.7
Name Modified Size InfoDownloads / Week
Parent folder
README.md 2026-06-04 2.4 kB
0
v0.5.7 source code.tar.gz 2026-06-04 49.8 MB
0
v0.5.7 source code.zip 2026-06-04 50.2 MB
0
Totals: 3 Items   100.0 MB 0
  • 利用融合算子替换 DeepSeek-V4 中的多处朴素实现。
  • 优化 DeepSeek-V3.2 等模型中稀疏 attention 读取 indexer KV 的操作。
  • 集成 hpc-ops 中的 attention 算子。
  • 集成海光平台的若干 w8a8 算子。
  • 减少算子分发逻辑中的 CPU 开销。
  • 减少对请求的流量控制逻辑中的 CPU 开销。
  • 减少 MoE prefill 时布局转换逻辑中的 CPU-GPU 同步开销。
  • 允许请求中工具定义中的参数类型字段为非 str 类型。
  • 赤兔启动时一律根据 Infiniband 设备情况自动设置环境变量，不再依赖 script/ 目录中的额外启动脚本设置。
  • PD 分离兼容 MTP。
  • PD 分离部署支持 Grafana 监控面板。
  • 修复若干 KV cache 泄漏问题。
  • 删除一处对于 MTP 过于严格的 assert。
  • 修复 w8a8 MoE 的 triton 实现中的一处访存越界错误。
  • Replaced multiple brute-force implementation in DeepSeek-V4 with fused operators.
  • Optimized index KV reading in sprase attention in DeepSeek-V3.2 and similar models.
  • Integrated attention operators from hpc-ops.
  • Integrated multiple w8a8 operators on Hygon platforms.
  • Reduced CPU overhead in operator dispatchment.
  • Reduced CPU overhead in flow control of requests.
  • Reduced CPU-GPU synchronization overhead in layout transformation during MoE prefill.
  • Supported argument type field to have types other than str in tool definitions in requests.
  • Infiniband-related environment variables are now always configured automatically when starting Chitu, and no longer rely on extra starting scripts in script/.
  • PD-disaggregation is now compatible with MTP.
  • PD-disaggregation is now compatible with Grafana metrics pannel.
  • Fixed multiple KV cache leaks.
  • Removed an overly strict assertion for MTP.
  • Fixed an out-of-range memory access in the triton implementation of w8a8 MoE.

Official Docker images / 官方 docker 镜像:

Source: README.md, updated 2026-06-04