效果如何优化

如图所示，将该项目的README.md和该项目结合后，回答效果并不理想，请问可以从哪些方面进行优化


怎么让模型严格根据检索的数据进行回答，减少胡说八道的回答呢


When I try to run the `python knowledge_based_chatglm.py`, I got this error in macOS(M1 Max, OS 13.2)


萌新求教大佬怎么改成AMD显卡或者CPU？


输出answer的时间很长，是否可以把文本向量化的部分提前做好存储起来？


报错Use `repo_type` argument if needed.


无法打开gradio的页面


支持word，那word里面的图片正常显示吗？

如题，刚刚从隔壁转过来的，想先了解下


detectron2 is not installed. Cannot use the hi_res partitioning strategy. Falling back to partitioning with the fast strategy.

能够正常的跑起来，在加载content文件夹中的文件时，每加载一个文件都会提示：


cpu上运行webui，step3 asking时报错

web运行，文件加载都正常，asking时报错


建议弄一个插件系统

如题弄成stable-diffusion-webui那种能装插件，再开一个存储库给使用者或插件开发，存储或下载插件。


请教加载模型出错！？

AttributeError: module 'transformers_modules.chatglm-6b.configuration_chatglm' has no attribute 'ChatGLMConfig 怎么解决呀


从本地知识检索内容的时候，是否可以设置相似度阈值，小于这个阈值的内容不返回，即使会小于设置的VECTOR_SEARCH_TOP_K参数呢？谢谢大佬

比如 问一些 你好/你是谁 等一些跟本地知识库无关的问题


如何改成多卡推理？


能否弄个懒人包，可以一键体验？

能否弄个懒人包，可以一键体验？


连续问问题会导致崩溃

看上去不是爆内存的问题，连续问问题后，会出现如下报错


AttributeError: 'NoneType' object has no attribute 'as_retriever'


FileNotFoundError: Could not find module 'nvcuda.dll' (or one of its dependencies). Try using the full path with constructor syntax.

请检查一下cuda或cudnn是否存在安装问题


加载txt文件失败？


NameError: name 'chatglm' is not defined

This share link expires in 72 hours. For free permanent hosting and GPU upgrades (NEW!), check out Spaces: https://huggingface.co/spaces


打不开地址？


加载md文件出错

运行 webui.py后能访问页面，上传一个md文件后，日志中有错误。等待后能加载完成，提示可以提问了，但提问没反应，日志中有错误。 具体日志如下。


建议增加获取在线知识的能力

建议增加获取在线知识的能力


txt 未能成功加载

hinese. Creating a new one with MEAN pooling.


pdf加载失败

e:\a.txt加载成功了，e:\a.pdf加载就失败，pdf文件里面前面几页是图片，后面都是文字，加载失败没有报更多错误，请问该怎么排查？


一直停在文本加载处


File "/root/.cache/huggingface/modules/transformers_modules/chatglm-6b/modeling_chatglm.py", line 440, in forward     new_tensor_shape = mixed_raw_layer.size()[:-1] + ( TypeError: torch.Size() takes an iterable of 'int' (item 2 is 'float')


后续会提供前后端分离的功能吗？


安装依赖报错

(test) C:\Users\linh\Desktop\langchain-ChatGLM-master>pip install -r requirements.txt


问特定问题会出现爆显存


Expecting value: line 1 column 1 (char 0)

运行后 第一步加载配置一直报错：


embedding  https://huggingface.co/GanymedeNil/text2vec-large-chinese/tree/main是免费的，效果比对openai的如何？


这是什么错误，在Colab上运行的。

libcuda.so.1: cannot open shared object file: No such file or directory


只想用自己的lora微调后的模型进行对话，不想加载任何本地文档，该如何调整？


租的gpu,Running on local URL:  http://0.0.0.0:7860  To create a public link, set `share=True` in `launch()`.  浏览器上访问不了？？？


本地部署中的报错请教

您好，在本地运行langchain-ChatGLM过程中，环境及依赖的包都已经满足条件，但是运行webui.py,报错如下（运行cli_demo.py报错类似），请问是哪里出了错呢？盼望您的回复，谢谢！


报错。The dtype of attention mask (torch.int64) is not bool


[求助] pip install -r requirements.txt 的时候出现以下报错。。。有大佬帮忙看看怎么搞么，下的release里面的包


如何提升根据问题搜索到对应知识的准确率

外链知识库最大的问题在于问题是短文本，知识是中长文本。如何根据问题精准的搜索到对应的知识是个最大的问题。这类本地化项目不像百度，由无数的网页，基本上每个问题都可以找到对应的页面。


是否可以增加向量召回的阈值设定，有些召回内容相关性太低，导致模型胡言乱语


输入长度问题

感谢作者支持ptuning微调模型。


已有部署好的chatGLM-6b，如何通过接口接入？

已有部署好的chatGLM-6b，如何通过接口接入，而不是重新加载一个模型；


执行web_demo.py后，显示Killed，就退出了，是不是配置不足呢？


执行python cli_demo1.py


报错：ImportError: cannot import name 'GENERATION_CONFIG_NAME' from 'transformers.utils'

(mychatGLM) PS D:\Users\admin3\zrh\langchain-ChatGLM> python cli_demo.py


上传文件并加载知识库时，会不停地出现临时文件


向知识库中添加文件后点击”上传文件并加载知识库“后Segmentation fault报错。


langchain-serve 集成

Hey 我是来自 [langchain-serve](https://github.com/jina-ai/langchain-serve) 的dev！


大佬们，wsl的ubuntu怎么配置用cuda加速，装了运行后发现是cpu在跑

大佬们，wsl的ubuntu怎么配置用cuda加速，装了运行后发现是cpu在跑


在github codespaces  docker运行出错

docker run -d --restart=always --name chatglm -p 7860:7860 -v /www/wwwroot/code/langchain-ChatGLM:/chatGLM  chatglm


有计划接入Moss模型嘛

后续会开展测试，目前主要在优化langchain部分效果，如果有兴趣也欢迎提PR


怎么实现 API 部署？

利用 fastapi 实现 API 部署方式，具体怎么实现，有方法说明吗？


'NoneType' object has no attribute 'message_types_by_name'报错


能否指定自己训练的text2vector模型？


关于项目支持的模型以及quantization_bit潜在的影响的问题


运行python3.9 api.py  WARNING:  You must pass the application as an import string to enable 'reload' or 'workers'.

api.py文件最下面改成这样试试：


ValidationError: 1 validation error for HuggingFaceEmbeddings model_kwargs   extra fields not permitted (type=value_error.extra)


如果没有检索到相关性比较高的，回答“我不知道”

如果通过设计system_template，让模型在搜索到的文档都不太相关的情况下回答“我不知道”


请问如果不能联网，6B之类的文件从本地上传需要放到哪里

感谢大佬的项目，很有启发~


知识库问答--输入新的知识库名称是中文的话，会报error

知识库问答--输入新的知识库名称是中文的话，会报error，选择要加载的知识库那里也不显示之前添加的知识库


现在能通过问题匹配的相似度值，来直接返回文档中的文段，而不经过模型吗？因为有些答案在文档中，模型自己回答，不能回答文档中的答案。也就是说，提供向量检索回答+模型回答相结合的策略。如果相似度值高于一定数值，直接返回文档中的文本，没有高于就返回模型的回答或者不知道


Mac 运行    python3 ./webui.py 报 TypeError: The type of ChatGLM.callback_manager differs from the new default value; if you wish to change the type of this field, please use a type annotation


Not Enough Memory

运行命令行程序python cli_demo.py， 已经成功加载pdf文件, 报“DefaultCPUAllocator: not enough memory: you tried to allocate 458288380900 bytes”错误，请问哪里可以配置default memory


参与开发问题

1.是否需要进专门的开发群


对话框中代码片段格式需改进

最好能改进下输出代码片段的格式，目前输出的格式还不友好。


请问未来有可能支持belle吗


When i tried to change the knowledge vector store through `init_knowledge_vector_store`, the error `TypeError: cannot unpack non-iterable NoneType object` came out.


生成结果

你好，想问一下langchain+chatglm-6B，找到相似匹配的prompt，是直接返回prompt对应的答案信息，还是chatglm-6B在此基础上自己优化答案？


在win、ubuntu下都出现这个错误：attributeerror: 't5forconditionalgeneration' object has no attribute 'stream_chat'

在win、ubuntu。下载完模型后，没办法修改代码以执行本地模型，每次都要重新输入路径； LLM 模型、Embedding 模型支持也都在官网下的，在其他项目（wenda）下可以使用


[FEATURE] knowledge_based_chatglm.py: renamed or missing?

Not found. Was it renamed? Or, is it missing? How can I get it?


sudo apt-get install -y nvidia-container-toolkit-base执行报错


效果不佳几乎答不上来

提供了50条问答的docx文件


有没有可能新增一个基于chatglm api调用的方式构建langchain

我有两台8G GPU/40G内存的服务器，一个台做成了chatglm的api ；想基于另外一台服务器部署langchain；网上好像没有类似的代码。


电脑是intel的集成显卡；  运行时告知我找不到nvcuda.dll，模型无法运行

您好，我的电脑是intel的集成显卡，不过CPU是i5-11400 @ 2.60GHz   ，内存64G；


根据langchain官方的文档和使用模式，是否可以改Faiss为Elasticsearch？会需要做哪些额外调整？求解

本人新手小白，由于业务模式的原因（有一些自己的场景和优化），希望利用Elasticsearch做这个体系内部的检索机制，不知道是否可以替换，同时，还会涉及到哪些地方的改动？或者说可能会有哪些其他影响，希望作者和大佬们不吝赐教！


请问未来有可能支持t5吗

请问可能支持基於t5的模型吗?


[BUG] 内存溢出 / torch.cuda.OutOfMemoryError:


报错 No module named 'chatglm_llm'

明明已经安装了包，却在python里吊不出来


能出一个api部署的描述文档吗


使用docs/API.md 出错

使用API.md文档2种方法，出错


加载pdf文档报错？


上传的本地知识文件后再次上传不能显示，只显示成功了一个，别的上传成功后再次刷新就没了

您好，项目有很大启发，感谢~


创建了新的虚拟环境，安装了相关包，并且自动下载了相关的模型，但是仍旧出现：OSError: Unable to load weights from pytorch checkpoint file for


[BUG] 数据加载不进来

使用的.txt格式，utf-8编码，报以下错误


不能读取pdf


本地txt文件有500M，加载的时候很慢，如何提高速度？


[BUG] gradio上传知识库后刷新之后 知识库就不见了  只有重启才能看到之前的上传的知识库


[FEATURE] 可以支持 OpenAI 的模型嘛？比如 GPT-3、GPT-3.5、GPT-4；embedding 增加 text-embedding-ada-002


[FEATURE] 能否增加对于milvus向量数据库的支持 / Concise description of the feature


CPU和GPU上跑，除了速度有区别，准确率效果回答上有区别吗？


m1，请问在生成回答时怎么看是否使用了mps or cpu？

m1，请问在生成回答时怎么看是否使用了mps or cpu？


知识库一刷新就没了


本地部署报没有模型


[BUG] python3: can't open file 'webui.py': [Errno 2] No such file or directory


模块缺失提示

因为已有自己使用的docker环境，直接启动webui.py，提示


运行api.py后，执行curl -X POST "http://127.0.0.1:7861" 报错？

执行curl -X POST "http://127.0.0.1:7861" \      -H 'Content-Type: application/json' \      -d '{"prompt": "你好", "history": []}'，报错怎么解决


[BUG] colab安装requirements提示protobuf版本问题？

pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.


请问项目里面向量相似度使用了什么方法计算呀？


[BUG] 安装detectron2后，pdf无法加载


[BUG] 使用ChatYuan-V2模型无法流式输出，会报错

一方面好像是ChatYuan本身不支持stream_chat，有人在clueai那边提了issue他们说还没开发，所以估计这个attribute调不起来；但是另一方面看报错好像是T5模型本身就不是decoder-only模型，所以不能流式输出吧（个人理解）


[BUG] 无法加载text2vec模型


请问能否增加网络搜索功能

请问能否增加网络搜索功能


[FEATURE] 结构化数据sql、excel、csv啥时会支持呐。


TypeError: ChatGLM._call() got an unexpected keyword argument 'stop'

No sentence-transformers model found with name D:\DevProject\langchain-ChatGLM\GanymedeNil\text2vec-large-chinese. Creating a new one with MEAN pooling.


关于api.py的一些bug和设计逻辑问题？

首先冒昧的问一下，这个api.py，开发者大佬们是在自己电脑上测试后确实没问题吗？


有没有租用的算力平台上，运行api.py后，浏览器http://localhost:7861/报错

是不是租用的gpu平台上都会出现这个问题？？？


请问一下项目中有用到文档段落切割方法吗？

text_load中的文档切割方法用上了吗？在代码中看好像没有用到？


报错   raise ValueError(f"Knowledge base {knowledge_base_id} not found") ValueError: Knowledge base ./vector_store not found

File "/root/autodl-tmp/chatglm/langchain-ChatGLM-master/api.py", line 183, in chat


能接入vicuna模型吗

目前本地已经有了vicuna模型能直接接入吗？


[BUG] 提问公式相关问题大概率爆显存


安装pycocotools失败，找了好多方法都不能解决。


使用requirements安装，PyTorch安装的是CPU版本

如题目，使用requirements安装，PyTorch安装的是CPU版本，运行程序的时候，也是使用CPU在工作。


能不能给一个毛坯服务器的部署教程

“开发部署”你当成服务器的部署教程用就行了。


Error(s) in loading state_dict for ChatGLMForConditionalGeneration:

运行中出现的问题，7860的端口页面显示不出来，求助。


ChatYuan-large-v2模型加载失败


新增摘要功能

你好，后续会考虑新增对长文本信息进行推理和语音理解功能吗？比如生成摘要


[BUG] pip install -r requirements.txt 出错

pip install langchain -i https://pypi.org/simple


[BUG] 上传知识库文件报错


[BUG] AssertionError: <class 'gradio.layouts.Accordion'> Component with id 41 not a valid input component.


[BUG] CUDA out of memory with container deployment


[FEATURE] 增加微调训练功能


如何使用多卡部署，多个gpu

机器上有多个gpu,如何全使用了


请问这个知识库问答，和chatglm的关系是什么

这个知识库问答，哪部分关联到了chatglm，是不是没有这个chatglm，知识库问答也可单单拎出来


[BUG] 运行的时候报错ImportError: libcudnn.so.8: cannot open shared object file: No such file or directory

**问题描述 / Problem Description**raceback (most recent call last):


webui启动成功，但有报错


切换MOSS的时候报错

danshi但是发布的源码中，


vicuna模型是否能接入？

您好！关于MOSS模型和vicuna模型，都是AutoModelForCausalLM来加载模型的，但是稍作更改（模型路径这些）会报这个错误。这个错误的造成是什么


你好，请问一下在阿里云CPU服务器上跑可以吗？可以的话比较理想的cpu配置是什么？


你好，请问8核32g的CPU可以跑多轮对话吗？

什么样的cpu配置比较好呢？我目前想部署CPU下的多轮对话？


[BUG] 聊天内容输入超过10000个字符系统出现错误

聊天内容输入超过10000个字符系统出现错误，如下图所示：


能增加API的多用户访问接口部署吗？

默认部署程序仅支持单用户访问，多用户则需要排队访问。测试过相关的几个Github多用户工程，但是其中一些仍然不满足要求。本节将系统介绍如何实现多用户同时访问ChatGLM的部署接口，包括http、websocket（流式输出，stream）和web页面等方式，主要目录如下所示。


多卡部署

用单机多卡或多机多卡，fastapi部署模型，怎样提高并发


WEBUI能否指定知识库目录？


[BUG] Cannot read properties of undefined (reading 'error')


[BUG] 1 validation error for HuggingFaceEmbeddings model_kwargs extra fields not permitted.

模型加载到 100% 后出现问题：


上传知识库需要重启能不能修复一下


[BUG] 4块v100卡爆显存，在LLM会话模式也一样


针对上传的文件配置不同的TextSpliter

1. 目前的ChineseTextSpliter切分对英文尤其是代码文件不友好，而且限制固定长度；导致对话结果不如人意


[FEATURE] 未来可增加Bloom系列模型吗？根据甲骨易的测试，这系列中文评测效果不错


[BUG] v0.1.12打包镜像后启动webui.py失败 / Concise description of the issue


切换MOSS模型时报错

昨天问了下，说是transformers版本不对，需要4.30.0，发现没有这个版本，今天更新到4.29.1，依旧报错，错误如下


[BUG] pdf文档加载失败


建议可以在后期增强一波注释，这样也有助于更多人跟进提PR

知道作者和团队在疯狂更新审查代码，只是建议后续稳定后可以把核心代码进行一些注释的补充，从而能帮助更多人了解各个模块作者的思路从而提出更好的优化。


[FEATURE] MOSS 量化版支援


[BUG] moss模型无法加载


[BUG] load_doc_qa.py 中的 load_file 函数有bug


[FEATURE] API模式，知识库加载优化

如题，当前版本，每次调用本地知识库接口，都将加载一次知识库，是否有更好的方式？


运行Python api.py脚本后端部署后，怎么使用curl命令调用？

也就是说，我现在想做个对话机器人，想和公司的前后端联调？怎么与前后端相互调用呢？可私信，有偿解答！！！


上传知识库需要重启能不能修复一下

上传知识库需要重启能不能修复一下


[BUG] pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple


pip install gradio  报错


[BUG] pip install gradio 一直卡不动


[BUG] 简洁阐述问题 / Concise description of the issue

初次加载本地知识库成功，但提问后，就无法重写加载本地知识库


[FEATURE] 简洁阐述功能 / Concise description of the feature


在windows上，模型文件默认会安装到哪


[FEATURE] 兼顾对话管理

如何在知识库检索的情况下，兼顾对话管理？


llm device: cpu embedding device: cpu


[FEATURE] 简洁阐述功能 /文本文件的知识点之间使用什么分隔符可以分割？


[BUG] 上传文件失败：PermissionError: [WinError 32] 另一个程序正在使用此文件，进程无法访问。


[BUG] 执行python api.py 报错


model_kwargs extra fields not permitted (type=value_error.extra)

大家好，请问这个有遇到的么,？


[FEATURE] 性能优化


[BUG] Moss模型问答，RuntimeError: probability tensor contains either inf, nan or element < 0


有没有人知道v100GPU的32G显存，会报错吗？支持V100GPU吗？


针对于编码问题比如'gbk' codec can't encode character '\xab' in position 14: illegal multibyte sequence粗浅的解决方法


Could not import sentence_transformers python package. Please install it with `pip install sentence_transformers`.


支持模型问答与检索问答

不同的query，根据意图不一致，回答也应该不一样。


文本分割的时候，能不能按照txt文件的每行进行分割，也就是按照换行符号\n进行分割？？？

下面的代码应该怎么修改？


local_doc_qa/local_doc_chat 接口响应是串行


为什么找到出处了,但是还是无法回答该问题?


请问下:知识库测试中的:添加单条内容,如果换成文本导入是是怎样的格式?我发现添加单条内容测试效果很好.

我发现在知识库测试中`添加单条内容`,并且勾选`禁止内容分句入库`,即使 `不开启上下文关联`的测试效果都非常好.


[BUG] 无法配置知识库


[BUG] 部署在阿里PAI平台的EAS上访问页面是白屏


API部署后调用/local_doc_qa/local_doc_chat 返回Knowledge base samples not found


[FEATURE] 上传word另存为的txt文件报 'ascii' codec can't decode byte 0xb9 in position 6: ordinal not in range(128)

上传word另存为的txt文件报


创建保存的知识库刷新后没有出来，这个知识库是永久保存的吗？可以连外部的 向量知识库吗？


[BUG] 用colab运行，无法加载模型，报错：'NoneType' object has no attribute 'message_types_by_name'


请问是否需要用到向量数据库？以及什么时候需要用到向量数据库？

目前用的是 text2vec  ， 请问是否需要用到向量数据库？以及什么时候需要用到向量数据库？


huggingface模型引用问题

它最近似乎变成了一个Error？


你好，加载本地txt文件出现这个killed错误，TXT文件有100M左右大小。原因是？谢谢。


想请问一下，关于对本地知识的管理是如何管理？例如：通过http API接口添加数据 或者 删除某条数据

例如：通过http API接口添加、删除、修改 某条数据。


[FEATURE] 双栏pdf识别问题

试了一下模型，感觉对单栏pdf识别的准确性较高，但是由于使用的基本是ocr的技术，对一些双栏pdf论文识别出来有很多问题，请问有什么办法改善吗？


部署启动小问题，小弟初学求大佬解答

1.python loader/image_loader.py时，提示ModuleNotFoundError: No module named 'configs'，但是跑python webui.py还是还能跑


能否支持检测到目录下文档有增加而去增量加载文档，不影响前台对话，其实就是支持读写分离。如果能支持查询哪些文档向量化了，删除过时文档等就更好了，谢谢。


[BUG] 简洁阐述问题 / windows 下cuda错误，请用https://github.com/Keith-Hon/bitsandbytes-windows.git


[BUG] from commit 33bbb47,  Required library version not found: libbitsandbytes_cuda121_nocublaslt.so. Maybe you need to compile it from source?


[BUG] 简洁阐述问题 / Concise description of the issue上传60m的txt文件报错，显示超时，请问这个能上传的文件大小有限制吗

ERROR 2023-05-23 11:13:09,627-1d: Timeout reached while detecting encoding for ./docs/GLM模型格式数据.txt


[BUG] TypeError: issubclass() arg 1 must be a class


执行python3 webui.py后，一直提示”模型未成功加载，请到页面左上角"模型配置"选项卡中重新选择后点击"加载模型"按钮“


是否能提供网页文档得导入支持

现在很多都是在线文档作为协作得工具，所以通过URL导入在线文档需求更大


[BUG] history 索引问题

在比较对话框的history和模型chat function 中的history时， 发现并不匹配，在传入 llm._call 时，history用的索引是不是有点问题，导致上一轮对话的内容并不输入给模型。


[BUG] moss_llm没有实现


请问langchain-ChatGLM如何删除一条本地知识库的数据？

例如：用户刚刚提交了一条错误的数据到本地知识库中了，现在如何在本地知识库从找到，并且对此删除。


[BUG] 简洁阐述问题 / UnboundLocalError: local variable 'resp' referenced before assignment

在最新一版的代码中， 运行api.py 出现了以上错误（UnboundLocalError: local variable 'resp' referenced before assignment）， 通过debug的方式观察到local_doc_qa.llm.generatorAnswer(prompt=question, history=history,streaming=True)可能不返回任何值。


请问有没有 PROMPT_TEMPLATE 能让模型不回答敏感问题


[BUG] 测试环境 Python 版本有误


[BUG] webui 部署后样式不正确


配置默认LLM模型的问题


[FEATURE]是时候更新一下autoDL的镜像了

如题，跑了下autoDL的镜像，发现是4.27号的，git pull新版本的代码功能+老的依赖环境，各种奇奇怪怪的问题。


[BUG] tag:0.1.13 以cpu模式下，想使用本地模型无法跑起来，各种路径参数问题


[BUG] 有没有同学遇到过这个错！！！加载本地txt文件出现这个killed错误，TXT文件有100M左右大小。


API版本能否提供WEBSOCKET的流式接口

webui 版本中，采用了WS的流式输出，整体感知反应很快


[BUG] 安装bug记录


VUE的pnmp i执行失败的修复-用npm i命令即可

感谢作者！非常棒的应用，用的很开心。


请教个问题，有没有人知道cuda11.4是否支持？？？

请教个问题，有没有人知道cuda11.4是否支持？？？


请问有实现多轮问答中基于问题的搜索上下文关联么

在基于知识库的多轮问答中，第一个问题讲述了一个主题，后续的问题描述没有包含这个主题的关键词，但又存在上下文的关联。如果用后续问题去搜索知识库有可能会搜索出无关的信息，从而导致大模型无法正确回答问题。请问这个项目要考虑这种情况吗？


[BUG] 内存不足的问题

我用了本地的chatglm-6b-int4模型，然后显示了内存不足（win10+32G内存+1080ti11G），一般需要多少内存才足够？这个bug应该如何解决？


[BUG] 纯内网环境安装pycocotools失败


[BUG] webui.py 重新加载模型会导致 KeyError


chatyuan无法使用


[BUG] 文本分割模型AliTextSplitter存在bug，会把“.”作为分割符

阿里达摩院的语义分割模型存在bug，默认会把".”作为分割符进行分割而不管上下文语义。是否还有其他分割符则未知。建议的修改方案：把“.”统一替换为其他字符，分割后再替换回来。或者添加其他分割模型。


[BUG] RuntimeError: Error in faiss::FileIOReader::FileIOReader(const char*) a


[FEATURE] 安装，为什么conda create要额外指定路径 用-p ，而不是默认的/envs下面


[小白求助] 通过Anaconda执行webui.py后，无法打开web链接

在执行webui.py命令后，http://0.0.0.0:7860复制到浏览器后无法打开，显示“无法访问此网站”。


[BUG] 使用 p-tuningv2后的模型，重新加载报错

把p-tunningv2训练完后的相关文件放到了p-tunningv2文件夹下，勾选使用p-tuningv2点重新加载模型，控制台输错错误信息：


[小白求助]  服务器上执行webui.py后，在本地无法打开web链接


[FEATURE] 能不能支持VisualGLM-6B


你好，问一下各位，后端api部署的时候，支持多用户同时问答吗？？？

支持多用户的话，最多支持多少用户问答？根据硬件而定吧？


V100GPU显存占满，而利用率却为0，这是为什么？


[求助] 如果在公司内部搭建产品知识库，使用INT-4模型，200人规模需要配置多少显存的服务器？

如题，计划给公司搭一个在线知识库。


你好，请教个问题，目前问答回复需要20秒左右，如何提高速度？V10032G服务器。


[FEATURE] 如何实现只匹配下文，而不要上文的结果

在构建自己的知识库时，主要采用问答对的形式，那么也就是我需要的回答是在我的问题下面的内容，但是目前设置了chunk_size的值以后匹配的是上下文的内容，但我实际并不需要上文的。为了实现更完整的展示下面的答案，我只能调大chunk_size的值，但实际上上文的一半内容都是我不需要的。也就是扔了一半没用的东西给prompt，在faiss.py中我也没找到这块的一些描述，请问该如何进行修改呢？


你好，问一下，我调用api.py部署，为什么用ip加端口可以使用postman调用，而改为域名使用postman无法调用？


调用api.py中的stream_chat，返回source_documents中出现中文乱码。


[BUG] 捉个虫，api.py中的stream_chat解析json问题


windows本地部署遇到了omp错误


[BUG] bug14 ,"POST /local_doc_qa/upload_file HTTP/1.1" 422 Unprocessable Entity

上传的文件报错，返回错误，api.py


你好，请教个问题，api.py部署的时候，如何改为多线程调用？谢谢

目前的api.py脚本不支持多线程


你好，请教一下。api.py部署的时候，能不能提供给后端流失返回结果。


流式输出，流式接口，使用server-sent events技术。


计划增加流式输出功能吗？ChatGLM模型通过api方式调用响应时间慢怎么破，Fastapi流式接口来解惑，能快速提升响应速度


[BUG] 知识库上传时发生ERROR (could not open xxx for reading: No such file or directory)


api.py脚本打算增加SSE流式输出吗？

curl调用的时候可以检测第一个字，从而提升回复的体验


[BUG] 使用tornado实现webSocket，可以多个客户端同时连接，并且实现流式回复，但是多个客户端同时使用，答案就很乱，是模型不支持多线程吗


支持 chinese_alpaca_plus_lora 吗  基于llama的

支持 chinese_alpaca_plus_lora 吗  基于llama的，https://github.com/ymcui/Chinese-LLaMA-Alpaca这个项目的


[BUG] 现在能读图片的pdf了，但是文字的pdf反而读不了了，什么情况？？？


在推理的过程中卡住不动，进程无法正常结束


curl调用的时候，从第二轮开始，curl如何传参可以实现多轮对话？


建议添加api.py部署后的日志管理功能？


有大佬知道，怎么多线程部署api.py脚本吗？

api.py部署后，使用下面的请求，时间较慢，好像是单线程，如何改为多线程部署api.py：


[BUG] 上传文件到知识库 任何格式与内容都永远失败

上传知识库的时候，传txt无法解析，就算是穿content/sample里的样例txt也无法解析，上传md、pdf等都无法加载，会持续性等待，等到了超过30分钟也不行。


关于prompt_template的问题

请问这段prompt_template是什么意思，要怎么使用？可以给一个具体模板参考下吗？


[BUG] 简洁阐述问题 / Concise description of the issue


中文分词句号处理（关于表达金额之间的"."）

建议处理12.6亿元的这样的分词，最好别分成12 和6亿这样的，需要放到一起


ImportError: cannot import name 'inference' from 'paddle'

在网上找了一圈，有说升级paddle的，我做了还是没有用，有说安装paddlepaddle的，我找了豆瓣的镜像源，但安装报错cannot detect archive format


[BUG]  webscoket 接口串行问题（/local_doc_qa/stream-chat/{knowledge_base_id}）


[FEATURE] 刷新页面更新知识库列表

**功能描述以及改进方案**


[BUG] 使用ptuning微调模型后，问答效果并不好


[BUG] 多轮对话效果不佳

在进行多轮对话的时候，无论设置的history_len是多少，效果都不好。事实上我将其设置成了最大值10，但在对话中，仍然无法实现多轮对话：


RuntimeError: MPS backend out of memory (MPS allocated: 18.00 GB, other allocations: 4.87 MB, max allowed: 18.13 GB)


请大家重视这个issue！真正使用肯定是多用户并发问答，希望增加此功能！！！


在启动项目的时候如何使用到多张gpu啊？

**在启动项目的时候如何使用到多张gpu啊？**


使用流式输出的时候，curl调用的格式是什么？


使用本地 vicuna-7b模型启动错误

环境: ubuntu 22.04 cuda 12.1 没有安装nccl，使用rtx2080与m60显卡并行计算


为什么会不调用GPU直接调用CPU呢

我的阿里云配置是16G显存，用默认代码跑webui.py时提示


上传多个文件时会互相覆盖

1、在同一个知识库中上传多个文件时会互相覆盖，无法结合多个文档的知识，有大佬知道怎么解决吗？


[BUG] ‘gcc’不是内部或外部命令/LLM对话只能持续一轮


以API模式启动项目却没有知识库的接口列表？

请问如何获取知识库的接口列表？如果没有需要自行编写的话，可不可以提供相关的获取方式，感谢


程序以API模式启动的时候，如何才能让接口以stream模式被调用呢？

作者您好，我在以API模式进行程序启动后，我发现接口响应时间很长，怎么样才能让接口以stream模式被调用呢？我想实现像webui模式的回答那样


关于原文中表格转为文本后数据相关度问题。

原文中表格数据转换为文本，以 （X-Y：值；...） 的格式每一行组织成一句话，但这样做后发现相关度较低，效果很差，有何好的方案吗？


启动后LLM和知识库问答模式均只有最后一轮记录

拉取最新代码，问答时，每次页面只显示最后一次问答记录，需要修改什么参数才可以保留历史记录？


提供system message配置，以便于让回答不要超出知识库范围


[BUG] 使用p-tunningv2报错

按照readme的指示把p-tunningv2训练完后的文件放到了p-tunningv2文件夹下，勾选使用p-tuningv2点重新加载模型，控制台提示错误信息：


[BUG] 智障，这么多问题，也好意思放出来，浪费时间


[FEATURE] 我看代码文件中有一个ali_text_splitter.py，为什么不用他这个文本分割器了？


加载文档函数报错


参考指引安装docker后，运行cli_demo.py，提示killed


注意：如果安装错误，注意这两个包的版本  wandb==0.11.0 protobuf==3.18.3

Error1: 如果启动异常报错 `protobuf`  需要更新到 `protobuf==3.18.3 `


知识库对长文的知识相关度匹配不太理想有何优化方向

我们可能录入一个文章有 1W 字，里面涉及这个文章主题的很多角度问题，我们针对他提问，他相关度匹配的内容和实际我们需要的答案相差很大怎么办。


使用stream-chat函数进行流式输出的时候，能使用curl调用吗？

为什么下面这样调用会报错？？？


有大佬实践过 并行 或者 多线程 的部署方案吗？


多线程部署遇到问题？


[BUG] 用fastchat加载vicuna-13b模型进行知识库的问答有token的限制错误

当我开启fastchat的vicuna-13b的api服务，然后config那里配置好(api本地测试过可以返回结果)，然后知识库加载好之后(知识库大概有1000多个文档，用chatGLM可以正常推理)，进行问答时出现token超过限制，就问了一句hello；


现在的添加知识库，文件多了总是报错，也不知道自己加载了哪些文件，报错后也不知道是全部失败还是一部分成功；希望能有个加载指定文件夹作为知识库的功能


[BUG] moss模型本地加载报错

moss模型本地加载报错：


加载本地moss模型报错Can't instantiate abstract class MOSSLLM with abstract methods _history_len

(vicuna) ps@ps[13:56:20]:/data/chat/langchain-ChatGLM2/langchain-ChatGLM-0.1.13$ python webui.py  --model-dir local_models --model moss --no-remote-model


[FEATURE] 能增加在前端页面控制prompt_template吗？或是能支持前端页面选择使用哪个prompt？

目前只能在config里修改一个prompt，想在多个不同场景切换比较麻烦


[BUG] streamlit ui的bug，在增加知识库时会报错


[FEATURE] webui/webui_st可以支持history吗？目前仅能一次对话

试了下webui和webui_st都不支持历史对话啊，只能对话一次，不能默认开启所有history吗？


启动python cli_demo.py --model chatglm-6b-int4-qe报错

下载好模型，和相关依赖环境，之间运行`python cli_demo.py --model chatglm-6b-int4-qe`报错了：


重新构建知识库报错


[FEATURE] 能否屏蔽paddle，我不需要OCR，效果差依赖环境还很复杂

希望能不依赖paddle


question ：文档向量化这个可以自己手动实现么？

现有公司级数据500G+，需要使用这个功能，请问如何手动实现这个向量化，然后并加载


view前端能进行流式的返回吗？？

view前端能进行流式的返回吗？？


[BUG]  Load parallel cpu kernel failed, using default cpu kernel code


我在上传本地知识库时提示KeyError: 'name'错误，本地知识库都是.txt文件，文件数量大约是2000+。


model_config.py中有vicuna-13b-hf模型的配置信息，但是好像还是不可用？


ImportError: Using SOCKS proxy, but the 'socksio' package is not installed. Make sure to install httpx using `pip install httpx[socks]`.

应该代理问题，但是尝试了好多方法都解决不了，


[BUG] similarity_search_with_score_by_vector在找不到匹配的情况下出错


[FEATURE] 请问如何搭建英文知识库呢


谁有vicuna权重？llama转换之后的


[FEATURE] API能实现上传文件夹的功能么？

用户懒得全选所有的文件，就想上传个文件夹，请问下API能实现这个功能么？


请问在多卡部署后，上传单个文件作为知识库，用的是单卡在生成向量还是多卡？

目前我检测我本地多卡部署的，好像生成知识库向量的时候用的还是单卡


[BUG] python webui.py提示非法指令

(/data/conda-langchain [root@chatglm langchain-ChatGLM]# python webui.py


知识库文件跨行切分问题

我的知识库文件txt文件，是一行一条知识，用\n分行。


[FEATURE] bing搜索问答有流式的API么？

web端是有这个bing搜索回答，但api接口没有发现，大佬能给个提示么？


希望出一个macos m2的安装教程

mac m2安装，模型加载成功了，知识库文件也上传成功了，但是一问答就会报错，报错内容如下


为【出处】提供高亮显示

具体出处里面，对相关的内容高亮显示，不包含前后文。


[BUG] CPU运行cli_demo.py，不回答，hang住


关于删除知识库里面的文档后，LLM知识库对话的时候还是会返回该被删除文档的内容

如题，在vue前端成功执行删除知识库里面文档A.txt后，未能也在faiss索引中也删除该文档，LLM还是会返回这个A.txt的内容，并且以A.txt为出处，未能达到删除的效果


[BUG] 调用知识库进行问答,显存会一直叠加

14G的显存,调用的chatglm-6b-int8模型,进行知识库问答时,最多问答四次就会爆显存了,观察了一下显存使用情况,每一次使用就会增加一次显存,请问这样是正常的吗?是否有什么配置需要开启可以解决这个问题?例如进行一次知识库问答清空上次问题的显存?


[BUG] web页面 重新构建数据库 失败，导致 原来的上传的数据库都没了

web页面 重新构建数据库 失败，导致 原来的上传的数据库都没了


在CPU上运行webui.py报错Tensor on device cpu is not on the expected device meta!

在CPU上运行python webui.py能启动，但最后有：RuntimeError: Tensor on device cpu is not on the expected device meta!


OSError: [WinError 1114] 动态链接库(DLL)初始化例程失败。 Error loading "E:\xxx\envs\langchain\lib\site-packages\torch\lib\caffe2_nvrtc.dll" or one of its dependencies.哪位大佬知道如何解决吗？


[BUG] WEBUI删除知识库文档，会导致知识库问答失败

如题，从知识库已有文件中选择要删除的文件，点击删除后，在问答框输入内容回车报错


更新后的版本中，删除知识库中的文件，再提问出现error错误

针对更新版本，识别到一个问题，过程如下：


我配置好了环境，想要实现本地知识库的问答？可是它返回给我的

没有总结，只有相关度的回复，但是我看演示里面表现的，回复是可以实现总结的，我去查询代码


[BUG] NPM run dev can not successfully start the VUE frontend


[BUG] 简洁阐述问题 / Concise description of the issue


提一个模型加载的bug，我在截图中修复了，你们有空可以看一下。


[求助]关于设置embedding model路径的问题

如题，我之前成功跑起来过一次，但因环境丢失重新配置 再运行webui就总是报错


Lora微调后的模型可以直接使用吗

看model_config.py里是有USE_LORA这个参数的，但是在cli_demo.py和webui.py这两个里面都没有用到，实际测试下来模型没有微调的效果，想问问现在这个功能实现了吗


write_check_file在tmp_files目录下生成的load_file.txt是否需要一直保留，占用空间很大，在建完索引后能否删除


[BUG] /local_doc_qa/list_files?knowledge_base_id=test删除知识库bug

1.新建test知识库并上传文件（在vue前端完成并检查后端发现确实生成了test文件夹以及下面的content和vec_store


[BUG] vue webui无法加载知识库

拉取了最新的代码，分别运行了后端api和前端web，点击知识库，始终只能显示simple，无法加载知识库


不能本地加载moss模型吗？

手动下载模型设置local_model_path路径依旧提示缺少文件，该如何正确配置？


macos m2 pro docker 安装失败


[BUG] mac m1 pro  运行提示  zsh: segmentation fault


安装 requirements 报错

(langchainchatglm) D:\github\langchain-ChatGLM>pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/


[BUG] AssertionError


[FEATURE] 支持AMD win10 本地部署吗？