Download Latest Version 1.1.2 source code.zip (5.6 MB)
Email in envelope

Get an email when there's a new version of TextGen

Home / 1.1.1
Name Modified Size InfoDownloads / Week
Parent folder
1.1.1.tar.gz 2023-09-08 5.5 MB
0
1.1.1.zip 2023-09-08 5.6 MB
0
README.md 2023-09-08 569 Bytes
0
Totals: 3 Items   11.2 MB 0

v1.1.1版本

  1. 支持多卡推理，推理速度加倍，调库textgen做batch推理，多卡推理更方便、快速。

多卡数据并行，batch推理：

cd examples/gpt
CUDA_VISIBLE_DEVICES=0,1 torchrun --nproc_per_node 2 inference_multigpu_demo.py --model_type chatglm --base_model THUDM/chatglm-6b
  1. 优化ChatGLM-6B/Baichuan/LLaMA2/BLOOM的多轮对话SFT代码，逻辑合并到textgen/gpt下，统一处理多模型微调，加入prompt模板支持。

Full Changelog: https://github.com/shibing624/textgen/compare/1.1.0...1.1.1

Source: README.md, updated 2023-09-08