BISHENG Files

BISHENG 0.3.4 dev1 版来啦~ 1. 模型管理功能全面升级改造>>模型管理(模型管理) a. 兼容多种推理框架：正式支持主流开源 LLM 推理框架（ollama/llamacpp/xinference/vllm）部署模型及在线模型快速接入，并提供模型上下线操作和单日调用量控制能力。 b. 系统配置大幅简化：知识库、助手、评测等功能所依赖的模型可在模型管理中进行可视化配置，内置工具（Dalle3绘画、Bing 搜索、天眼查）秘钥在工具页面中进行可视化配置。 c. 基于以上功能，大幅简化了部署和配置使用毕昇的步骤，部署文档也变得格外清爽：私有化部署(私有化部署) 2. bisheng-unstructured组件变更为非必须部署，简化部署流程，并且新增对 OCR SDK 的支持（替换原RT中的闭源模型提供文档解析模型的推理服务）。 3. 增加 BishengLLM 组件： 可快速选择模型管理中已接入的 LLM，无需重复填写模型地址和 key>>BishengLLM(BishengLLM) 注：鉴于市面上已经存在 Ollama 等一批优秀的开源推理框架，与 bisheng-rt 模块功能存在部分重合，从0.3.4 版本开始，建议各位开发者使用上述开源框架进行各类模型（LLM、Embedding、Rerank）部署，bisheng-rt中闭源模型的能力未来将由 OCR-SDK 替代（本次dev1版本使用OCR SDK暂无法实现知识库问答溯源，一周后的Release版将支持，继续使用RT仍可以进行知识库问答溯源）。 对于暂时不想替换bisheng-rt的用户，可以继续使用，我们提供了相应升级方案，详见：版本升级注意事项(版本升级注意事项)