Download Latest Version Stable RL v1.0.0 source code.tar.gz (22.0 MB)
Email in envelope

Get an email when there's a new version of PaddleNLP

Home / v3.0.0-beta3
Name Modified Size InfoDownloads / Week
Parent folder
README.md 2024-12-13 23.9 kB
0
v3.0.0-beta3 source code.tar.gz 2024-12-13 20.9 MB
0
v3.0.0-beta3 source code.zip 2024-12-13 24.9 MB
0
Totals: 3 Items   45.9 MB 0

本次更新增强了PaddleNLP的基础体验，新增了Llama-3.2、DeepSeekV2模型，升级了TokenizerFast功能，重构了SFTTrainer。

此外，PaddleNLP还支持了优化器状态的卸载和重载功能，实现了精细化的重新计算，训练性能提升7%。在Unified Checkpoint方面，进一步优化了异步保存逻辑，新增Checkpoint压缩功能，可节省78.5%存储空间。 最后，在大模型推理、自动并行、多硬件支持、文档使用上，我们都进行了深度优化。

主要更新与增强

  1. 新增模型：

  2. 新增了Llama-3.2模型（#9199）、DeepSeekV2模型（#9250），进一步丰富了大型模型的选择。

  3. 基础架构改进：

  4. 重构了SFTTrainer和SFTConfig，提高了代码的可维护性。（#9318)
  5. 支持优化器状态的卸载和重载功能（#9467），有效降低了内存使用。
  6. 通过Hook实现了精细化的重新计算支持，例如，在llama模型上，训练性能可提升7%。（#9396）

  7. Unified Checkpoint优化：

    • 更新了异步保存逻辑（#9173, #9274, #9321），显著提升了检查点的保存与加载效率。
    • 增加了对专家并行的支持（#9055），使模型训练更加灵活。
    • 支持在开启sharding_comm_overlap时使用Unified Checkpoint。（#9392）
    • 新增了Checkpoint压缩功能，最多可节省78.5%的存储空间。（#9183）
    • 通过多线程技术减少了检查点的加载时间（#9034）。

  8. Tokenizer功能增强：

    • 允许在Tokenizer调用时指定padding_side参数（#9258），提升了用户体验。
    • Qwen tokenizer现支持添加特殊标记（#9344），增强了其灵活性。
    • 修复了TokenizerFast中缺失的clean_up_tokenization_spaces问题（#9304），提高了文本处理的准确性。
    • 统一了分词器的_pad函数到基类。#9280
    • 新增了对BertTokenizerFast的支持，并允许在调用时注册tokenizer。（#9353）
    • 改进了Qwen、Gemma、Yuan模型chat template的特殊输入处理。（#9462）

  9. 推理性能提升：

  10. 支持LLM推理直接量化内置bos模型（#9197）。
  11. 加强了对LLM推理中FP8 量化的支持（如#9328, [#9423]），满足了多样化的精度需求。

  12. 增强了投机解码（speculative decoding）和Append Attention 的支持。(#9180) (#9244)

  13. 硬件兼容性扩展：

  14. 加强了对Intel HPU的支持（#9273），现在支持动态图预测。
  15. 为XPU等国产硬件提供了统一检查点功能（#9312）。

  16. 修复了XPU和DCU支持中的错误，并提升了性能。#9414 和#9433

  17. 自动并行优化：

  18. 修复了自动并行过程中的多个问题（如#9217, [#9355]），确保了并行训练的稳定性。

  19. 更新了自动并行配置与检查点转换器（如#9136, [#9432]），提升了训练的灵活性和稳定性。

  20. 文档和测试更新：

  21. 更新了多个文档，包括LLM模型文档（如#9314）和量化文档（如#9330），确保了信息的时效性和准确性。
  22. 新增了多个测试用例，如分布式数据加载测试（#9438），提高了测试的覆盖率。
  23. 修复了文档中的链接错误和排版问题（如#9127, [#9515]），提升了用户体验。

本次更新标志着PaddleNLP的持续进步，为用户提供了更加全面、高效和稳定的NLP解决方案。我们期待在未来的版本中，继续为用户带来更多的创新和价值。

What's Changed

New Contributors

Full Changelog: https://github.com/PaddlePaddle/PaddleNLP/compare/v3.0.0-beta2...v3.0.0-beta3

Source: README.md, updated 2024-12-13