Download Latest Version v0.6.0 source code.zip (50.4 MB) Google Add to Preferred Sources
Home / v0.6.0
Name Modified Size InfoDownloads / Week
Parent folder
chitu-v0.6.0-nvidia_arch_90-x86_64-docker.run 2026-07-02 9.4 MB
0
chitu-v0.6.0-nvidia_arch_80_89-x86_64-docker.run 2026-07-02 19.3 MB
0
chitu-v0.6.0-muxi-x86_64-docker.run 2026-07-02 20.0 MB
0
chitu-v0.6.0-ascend_a2-aarch64-docker.run 2026-07-02 9.2 MB
0
README.md 2026-07-02 4.2 kB
0
v0.6.0 source code.tar.gz 2026-07-02 49.9 MB
0
v0.6.0 source code.zip 2026-07-02 50.4 MB
0
Totals: 7 Items   158.2 MB 0
  • 亮点：
  • 新增 chitu.run：单可执行文件即可启动多节点、多实例、PD 分离等复杂任务。
  • 新增功能：
  • 新模型：GLM-5.2。
  • 昇腾 910B 平台支持 GLM-5 系列。
  • 支持在请求中设置 reasoning_effort。
  • 增加 DeepSeek-V4 工具调用支持。
  • INT8 W8A8 MoE 增加 triton 算子实现。
  • 支持 prefill 上下文并行（Prefill CP），目前支持 DeepSeek-V3.x、GLM-5.x。
  • 性能优化：
  • 优化 DeepSeek Sparse Attention 的 FP8 prefill 性能。
  • 面向 DeepSeek-V4 的多处优化。
  • 集成海光平台的若干算子。
  • 面向海光平台优化多个辅助算子。
  • 优化 DP 时的元信息通信。
  • 增加 cuda_route_gate_norm 融合算子。
  • 增加 layer_norm 算子的 triton 实现。
  • 问题修复：
  • 使设置 infer.full_warmup 时对各分支情况的 warmup 更充分。
  • 修复设置 infer.full_warmup 时的 KV cache 分配错误。
  • 修复 MoE 串行回退实现的量化支持。
  • 修复 MoE dispatcher 的 allgather 实现处理空的 DP rank 时的错误。
  • 修复 infer.pp_size > infer.max_batch_size 时的错误。
  • 修复 PD 分离对长度超出限制的请求的错误处理。
  • 修复导致推理死锁的若干问题。
  • 修复启用 MTP 时 EP 通信 buffer 的潜在溢出问题。
  • 修复 DeepSeek Sparse Attention 中 indexer 的潜在 int32 下标溢出问题。
  • 持续迭代：
  • 重构 native layout 机制。
  • 利用 coordinator 分配赤兔内部使用的 TCP 端口。除 coordinator 本身外，其余内部端口不再需要用户指定。
  • 将 nvidia-ml-py 从必选依赖改为可选依赖，并不再使用上游已弃用的用法。
  • Highlight:
  • New chitu.run: Single executable to launch complex jobs including multi-node, multi-instance, or PD-disaggregation.
  • Features:
  • New model: GLM-5.2.
  • Supported GLM-5 series on Ascend 910B platform.
  • Supported resoning_effort in requests.
  • Supported tool calling for DeepSeek-V4.
  • New triton implementation for INT8 W8A8 MoE.
  • Supported Prefill Context Parallel (Prefill CP), supporting DeepSeek-V3.x, GLM-5.x.
  • Optimizations:
  • Optimized FP8 prefill of DeepSeek Sparse Attention.
  • Multiple optimizations for DeepSeek-V4.
  • Integrated multiple operators for Hygon platform.
  • Optimized multiple auxiliary operators for Hygon platform.
  • Optimized metadata communication for DP.
  • New fused operator cuda_route_gate_norm.
  • New triton implementation for layer_norm.
  • Bug fixes:
  • More comprehensive warmup when infer.full_warmup is set.
  • Bug fix on KV cache allocation when infer.full_warmup is set.
  • Bug fix on quantization in serial fallback of MoE.
  • Fixed the allgather implementation of MoE dispatcher for empty DP ranks.
  • Fixed for infer.pp_size > infer.max_batch_size.
  • Fixed error handling for out-of-limit sequence length in PD disaggregation.
  • Multiple fixes on dead locks.
  • Fixed potential buffer overflow in EP communication when MTP is enabled.
  • Fixed potential int32 index overflow in the indexer of DeepSeek Sparse Attention.
  • Continuous iteration:
  • Refactored native layout mechanism.
  • Allocate internal TCP ports in Chitu with coordinator. Explicit set of all internal TCP ports is no longer needed except for the coordinator itself.
  • Change nvidia-ml-py from a required dependency to an optional dependency, and drop deprecated usage of this package.

构建产物 1（推荐）： chitu.run 可执行文件。见下方“Assets”。

Artifact 1 (recommanded): chitu.run executable. See "Assets" below.

构建产物 2：docker 镜像：

Artifact 2: docker images:

Source: README.md, updated 2026-07-02