imClumsyPanda e02f49a49e

Merge branch 'dev' into dev

2023-07-11 20:24:18 +08:00

..

base

调整项目结构,适配远程LLM调用生成问题。新增fastchat_openai_llm.py实现fastchat openai报文报文形式调用

2023-05-31 00:00:35 +08:00

loader

Merge branch 'dev' into dev

2023-07-11 20:24:18 +08:00

__init__.py

调整项目结构,适配远程LLM调用生成问题。新增fastchat_openai_llm.py实现fastchat openai报文报文形式调用

2023-05-31 00:00:35 +08:00

chatglm_llm.py

Dev streaming oom (#722)

2023-06-26 19:12:50 +08:00

fastchat_openai_llm.py

1.增加对llama-cpp模型的支持；2.增加对bloom/chatyuan/baichuan模型的支持；3. 修复多GPU部署的bug;4. 修复了moss_llm.py的bug；5. 增加对openai支持（没有api,未测试);6. 支持在多卡情况自定义设备GPU (#664)

2023-07-11 19:36:50 +08:00

llama_llm.py

1.增加对llama-cpp模型的支持；2.增加对bloom/chatyuan/baichuan模型的支持；3. 修复多GPU部署的bug;4. 修复了moss_llm.py的bug；5. 增加对openai支持（没有api,未测试);6. 支持在多卡情况自定义设备GPU (#664)

2023-07-11 19:36:50 +08:00

moss_llm.py

1.增加对llama-cpp模型的支持；2.增加对bloom/chatyuan/baichuan模型的支持；3. 修复多GPU部署的bug;4. 修复了moss_llm.py的bug；5. 增加对openai支持（没有api,未测试);6. 支持在多卡情况自定义设备GPU (#664)

2023-07-11 19:36:50 +08:00

shared.py

1.增加对llama-cpp模型的支持；2.增加对bloom/chatyuan/baichuan模型的支持；3. 修复多GPU部署的bug;4. 修复了moss_llm.py的bug；5. 增加对openai支持（没有api,未测试);6. 支持在多卡情况自定义设备GPU (#664)

2023-07-11 19:36:50 +08:00