title: 加油~以及一些建议

detail: 加油，我认为你的方向是对的。


title: 当前的运行环境是什么，windows还是Linux

detail: 当前的运行环境是什么，windows还是Linux，python是什么版本？


title: 请问这是在CLM基础上运行吗？

detail: 请问是不是需要本地安装好clm并正常运行的情况下，再按文中的步骤执行才能运行起来？


title: [复现问题] 构造 prompt 时从知识库中提取的文字乱码

detail: hi，我在尝试复现 README 中的效果，也使用了 ChatGLM-6B 的 README 作为输入文本，但发现从知识库中提取的文字是乱码，导致构造的 prompt 不可用。想了解如何解决这个问题。


title: 后面能否加入上下文对话功能？

detail: 目前的get_wiki_agent_answer函数中已经实现了历史消息传递的功能，后面我再确认一下是否有langchain中model调用过程中是否传递了chat_history。


title: 请问：纯cpu可以吗？

detail: 很酷的实现，极大地开拓了我的眼界！很顺利的在gpu机器上运行了


title: 运行报错：AttributeError: 'NoneType' object has no attribute 'message_types_by_name'

detail: 报错：


title: 运行环境：GPU需要多大的？

detail: 如果按照THUDM/ChatGLM-6B的说法，使用的GPU大小应该在13GB左右，但运行脚本后，占用了24GB还不够。


请问本地知识的格式是什么？


title: 24G的显存还是爆掉了，是否支持双卡运行

detail: RuntimeError: CUDA out of memory. Tried to allocate 96.00 MiB (GPU 0; 23.70 GiB total capacity; 22.18 GiB already allocated; 12.75 MiB free; 22.18 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation.  See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF


title: 你怎么知道embeddings方式和模型训练时候的方式是一样的?

detail: embedding和LLM的方式不用一致，embedding能够解决语义检索的需求就行。这个项目里用到embedding是在对本地知识建立索引和对问句转换成向量的过程。


title: 是否能提供本地知识文件的格式？

detail: 是否能提供本地知识文件的格式？


title: 是否可以像清华原版跑在8G一以下的卡？

detail: 是否可以像清华原版跑在8G一以下的卡？我的8G卡爆显存了🤣🤣🤣


title: 请教一下langchain协调使用向量库和chatGLM工作的

detail: 代码里面这段是创建问答模型的，会接入ChatGLM和本地语料的向量库，langchain回答的时候是怎么个优先顺序？先搜向量库，没有再找chatglm么？ 还是什么机制？


在mac m2max上抛出了ValueError: 150001 is not in list这个异常


title: 程序运行后一直卡住

detail: 感谢作者的付出，不过本人在运行时出现了问题，请大家帮助。


title: 问一下chat_history的逻辑

detail: 感谢开源。


title: 为什么每次运行都会loading checkpoint

detail: 我把这个embeding模型下载到本地后，无法正常启动。


title: 本地知识文件能否上传一些示例？

detail: 如题，怎么构造知识文件，效果更好？能否提供一个样例


title: What version of you are using?

detail: Hi Panda, I saw the `pip install -r requirements` command in README, and want to confirm you are using python2 or python3? because my pip and pip3 version are all is 22.3.


有兴趣交流本项目应用的朋友可以加一下微信群


title: 本地知识越多，回答时检索的时间是否会越长

detail: 是的 因为需要进行向量匹配检索


title: 爲啥最後還是報錯 哭。。

detail: Failed to import transformers.models.t5.configuration_t5 because of the following error (look up to see


title: 对话到第二次的时候就报错UnicodeDecodeError: 'utf-8' codec can't decode

detail: 对话第一次是没问题的，模型返回输出后又给到请输入你的问题，我再输入问题就报错


title: 用的in4的量化版本，推理的时候显示需要申请10Gb的显存

detail: File "/root/.cache/huggingface/modules/transformers_modules/chatglm-6b-int4-qe/modeling_chatglm.py", line 581, in forward


title: 使用colab运行，python3.9，提示包导入有问题

detail: from ._util import is_directory, is_path


title: 运行失败，Loading checkpoint未达到100%被kill了，请问下是什么原因？

detail: 日志如下：


title: 弄了个交流群，自己弄好多细节不会，大家技术讨论 加connection-image 我来拉你

detail: 自己搞好多不清楚的，一起来弄吧。。准备搞个部署问题的解决文档出来


title: Error using the new version with langchain

detail: Error with the new changes:


title: 程序报错torch.cuda.OutOfMemoryError如何解决？

detail: 报错详细信息如下：


title: qa的训练数据格式是如何设置的

detail: 本项目不是使用微调的方式，所以并不涉及到训练过程。


title: The FileType.UNK file type is not supported in partition. 解决办法

detail: ValueError: Invalid file /home/yawu/Documents/langchain-ChatGLM-master/data. The FileType.UNK file type is not supported in partition.


title: 如何读取多个txt文档？

detail: 如题，请教一下如何读取多个txt文档？示例代码中只给了读一个文档的案例，这个input我换成string之后也只能指定一个文档，无法用通配符指定多个文档，也无法传入多个文件路径的列表。


title: nltk package unable to either download or load local nltk_data folder

detail: I'm running this project on an offline Windows Server environment so I download the Punkt and averaged_perceptron_tagger tokenizer in this directory:


title: requirements.txt中需要指定langchain版本

detail: langchain版本0.116下无法引入RetrievalQA，需要指定更高版本（0.136版本下无问题）


title: Demo演示无法给出输出内容

detail: 你好，测试了项目自带新闻稿示例和自行上传的一个文本，可以加载进去，但是无法给出答案，请问属于什么情况，如何解决，谢谢。PS: 1、今天早上刚下载全部代码；2、硬件服务器满足要求；3、按操作说明正常操作。


title: 群人数过多无法进群，求帮忙拉进群

detail: 您好，您的群人数超过了200人，目前无法通过二维码加群，请问您方便加我微信拉我进群吗？万分感谢


title: 群人数已满，求大佬拉入群

detail: 已在README中更新拉群二维码


requirements中langchain版本错误


title: Linux : Searchd in

detail: import nltk


title: No sentence-transformers model found

detail: 加载不了这个模型，错误原因是找不到这个模型，但是路径是配置好了的


Error loading punkt: <urlopen error [Errno 111] Connection


title: [不懂就问] ptuning数据集格式

detail: 大家好请教 微调数据集的格式有什么玄机吗？我看 ChatGLM-6B/ptuning/readme.md的demo数据集ADGEN里content为啥都写成 类型#裙*风格#简约  这种格式的？这里面有啥玄机的？ 特此请教


Embedding model请教


Macbook M1 运行 webui.py 时报错，请问是否可支持M系列芯片


new feature: 添加对P-tunningv2微调后的模型支持


title: txt文件加载成功，但读取报错

detail: 最新版的代码。比较诡异的是我的电脑是没有D盘的，报错信息里怎么有个D盘出来了...


title: 模型加载成功？文件无法导入。

detail: 所有模型均在本地。


title: 请问用的什么操作系统呢？

detail: ubuntu、centos还是windows？


detail: 更新代码后，运行webui.py，报错ModuleNotFoundError: No module named 'configs.model_config'。未查得解决方法。


title: 问特定问题会出现爆显存

detail: 正常提问没问题。


loading进不去？


title: 本地知识内容数量限制？

detail: 本地知识文件类型是txt，超过5条以上的数据，提问的时候就爆显存了。


title: 我本来也计划做一个类似的产品，看来不用从头开始做了

detail: 文本切割，还有优化空间吗？微信群已经加不进去了。


load model failed. 加载模型失败


title: 如何在webui里回答时同时返回引用的本地数据内容？

detail: 如题


title: 交流群满200人加不了了，能不能给个负责人的联系方式拉我进群？

detail: 同求


title: No sentence-transformers model found with name ‘/text2vec/‘，但是再路径下面确实有模型文件

detail: 另外：The dtype of attention mask (torch.int64) is not bool


请问加载模型的路径在哪里修改，默认好像前面会带上transformers_modules.


title: 为啥放到方法调用会出错，这个怎么处理？

detail: ```python


title: No sentence-transformers model found with name C:\Users\Administrator/.cache\torch\sentence_transformers\GanymedeNil_text2vec-large-chinese. Creating a new one with MEAN pooling.

detail: 卡在这块很久是正常现象吗


title: 微信群需要邀请才能加入

detail: RT，给个个人联系方式白


title: No sentence-transformers model found with name GanymedeNil/text2vec-large-chinese. Creating a new one with MEAN pooling

detail: ls GanymedeNil/text2vec-large-chinese


title: embedding会加载两次

detail: 你好，为什么要这样设置呢，这样会加载两次呀。


title: 扫二维码加的那个群，群成员满了进不去了


title: 执行python3 cli_demo.py 报错AttributeError: 'NoneType' object has no attribute 'chat'

detail: 刚开始怀疑是内存不足问题，换成int4,int4-qe也不行，有人知道是什么原因吗


title: 匹配得分

detail: 在示例cli_demo.py中返回的匹配文本没有对应的score，可以加上这个feature吗


title: 大佬有计划往web_ui.py加入打字机功能吗

detail: 目前在载入了知识库后，单张V100 32G在回答垂直领域的问题时也需要20S以上，没有打字机逐字输出的使用体验还是比较煎熬的....


title: Is it possible to use a verctorDB for the embedings?

detail: when I play, I have to load the local data again and again when to start. I wonder if it is possible to use


title: 请问通过lora训练官方模型得到的微调模型文件该如何加载？

detail: 通过lora训练的方式得到以下文件:


from langchain.chains import RetrievalQA的代码在哪里？


哪里有knowledge_based_chatglm.py文件？怎么找不到了？？是被替换成cli_demo.py文件了吗？


title: AttributeError: 'Chatbot' object has no attribute 'value'

detail: Traceback (most recent call last):


title: 控制台调api.py报警告

detail: you must pass the application as an import string to enable "reload" or "workers"


title: 如何加入群聊

detail: 微信群超过200人了，需要邀请，如何加入呢？


title: 如何将Chatglm和本地知识相结合

detail: 您好，我想请教一下怎么才能让知识库匹配到的文本和chatglm生成的相结合，而不是说如果没搜索到，就说根据已知信息无法回答该问题，谢谢


一点建议


title: windows环境下，按照教程，配置好conda环境，git完项目，修改完模型路径相关内容后，运行demo报错缺少

detail: 报错代码如下：


detail: When i tried to use the non-streaming, `ValueError: too many values to unpack (expected 2)` error came out.


title: 加载doc后覆盖原本知识

detail: 加载较大量级的私有知识库后，原本的知识会被覆盖


title: 自定义知识库回答效果很差

detail: 请问加了自定义知识库知识库,回答效果很差，是因为数据量太小的原因么


title: python310下，安装pycocotools失败，提示低版本cython，实际已安装高版本

detail: RT，纯离线环境安装，依赖安装的十分艰难，最后碰到pycocotools，始终无法安装上，求教方法！


[FEATURE] 支持 RWKV 模型（目前已有 pip package & rwkv.cpp 等等）


title: [BUG] 为啥主机/服务器不联网不能正常启动服务？

detail: **问题描述 / Problem Description**


title: [BUG] 简洁阐述问题 / Concise description of the issue

detail: **local variable 'torch' referenced before assignment**


title: 不支持txt文件的中文输入

detail: vs_path, _ = local_doc_qa.init_knowledge_vector_store(filepath)


title: 文件均未成功加载，请检查依赖包或替换为其他文件再次上传。 文件未成功加载，请重新上传文件

detail: 请大佬帮忙解决，谢谢！


title: [BUG] 使用多卡时chatglm模型加载两次

detail: chatglm_llm.py文件下第129行先加载了一次chatglm模型，第143行又加载了一次


title: [BUG] similarity_search_with_score_by_vector函数返回多个doc时的score结果错误


title: 可以再建一个交流群吗，这个群满了进不去。

detail: 上午应该已经在readme里更新过了，如果不能添加可能是网页缓存问题，可以试试看直接扫描img/qr_code_12.jpg


title: 请问这是什么错误哇？KeyError: 'serialized_input'

detail: 运行“python webui.py” 后这是什么错误？怎么解决啊？


title: 修改哪里的代码，可以再cpu上跑？


title: ModuleNotFoundError: No module named 'modelscope'

detail: 安装这个


title: 加载lora微调模型时，lora参数加载成功，但显示模型未成功加载？

detail: 什么原因呀？


title: [BUG] 运行webui.py报错：name 'EMBEDDING_DEVICE' is not defined

detail: 解决了，我修改model_config时候把这个变量改错了


title: 基于ptuning训练完成，新老模型都进行了加载，但是只有新的

detail: licitly passing a `revision` is encouraged when loading a model with custom code to ensure no malicious code has been contributed in a newer revision.


title: [BUG] 使用chatyuan模型时，对话Error，has no attribute 'stream_chat'


title: chaglm调用过程中 _call提示有一个 stop

detail: **功能描述 / Feature Description**


detail: 使用cli_demo的时候，加载一个普通txt文件，输入问题后，报错：“TypeError: Logger._log() got an unexpected keyword argument 'end'”


[BUG] 请问可以解释下这个FAISS.similarity_search_with_score_by_vector = similarity_search_with_score_by_vector的目的吗


title: [BUG] Windows下上传中文文件名文件，faiss无法生成向量数据库文件


title: cli_demo中的流式输出能否接着前一答案输出?

detail: 现有流式输出结果样式为:


title: 内网部署时网页无法加载，能否增加离线静态资源

detail: 内网部署时网页无法加载，能否增加离线静态资源


title: 我想把文件字符的编码格式改为encoding='utf-8'在哪修改呢，因为会有ascii codec can't decode byte报错

detail: 上传中文的txt文件时报错，编码格式为utf-8


title: Batches的进度条是在哪里设置的?能否关闭显示?

detail: 使用cli_demo.py进行命令行测试时,每句回答前都有个Batches的进度条


title: ImportError: dlopen: cannot load any more object with static TLS or Segmentation fault


title: 读取PDF时报错

detail: 在Colab上执行cli_demo.py时，在路径文件夹里放了pdf文件，在加载的过程中会显示错误，然后无法加载PDF文件


title: [BUG] webui报错 InvalidURL

detail: python 版本：3.8.16


title: [FEATURE] 如果让回答不包含出处，应该怎么处理


title: 加载PDF文件时，出现 unsupported colorspace for 'png'


title: 'ascii' codec can't encode characters in position 14-44: ordinal not in range(128) 经典bug

detail: 添加了知识库之后进行对话，之后再新增知识库就会出现这个问题。


title: 微信群人数超过200了，扫码进不去了，群主可以再创建一个新群吗


TypeError: 'ListDocsResponse' object is not subscriptable


title: [BUG]  加载chatglm模型报错：'NoneType' object has no attribute 'message_types_by_name'


title: [BUG] 执行 python webui.py 没有报错，但是ui界面提示 Something went wrong Expecting value: line 1 column 1 (char 0

detail: **环境配置**


title: 启动后调用api接口正常，过一会就不断的爆出 Since the angle classifier is not initialized


title: [BUG] write_check_file方法中，open函数未指定编码

detail: def write_check_file(filepath, docs):


title: 导入的PDF中存在图片，有大概率出现 “unsupported colorspace for 'png'”异常

detail: pix = fitz.Pixmap(doc, img[0])


请问流程图是用什么软件画的


title: mac 加载模型失败

detail: Explicitly passing a `revision` is encouraged when loading a model with custom code to ensure no malicious code has been contributed in a newer revision.


使用GPU本地运行知识库问答，提问第一个问题出现异常。


title: 想加入讨论群

detail: OK


有没有直接调用LLM的API，目前只有知识库的API？


title: 上传文件后出现 ERROR __init__() got an unexpected keyword argument 'autodetect_encoding'

detail: 上传文件后出现这个问题：ERROR 2023-05-22 11:46:19,568-1d: __init__() got an unexpected keyword argument 'autodetect_encoding'


title: 想问下README中用到的流程图用什么软件画的


title: No matching distribution found for langchain==0.0.174

detail: ERROR: Could not find a version that satisfies the requirement langchain==0.0.174


[FEATURE] bing是必须的么？


title: 同一台环境下部署了5.22号更新的langchain-chatglm v0.1.13和之前的版本，回复速度明显变慢

detail: 新langchain-chatglm v0.1.13版本速度很慢


title: Error reported during startup

detail: Traceback (most recent call last):


title: ValueError: not enough values to unpack (expected 2, got 1)on of the issue

detail: File ".cache\huggingface\modules\transformers_modules\chatglm-6b-int4\modeling_chatglm.py", line 1280, in chat


title: [BUG] API部署，流式输出的函数，少了个question

detail: **问题描述 / Problem Description**


title: 项目结构的简洁性保持


title: 项目群扫码进不去了

detail: 项目群扫码进不去了，是否可以加一下微信拉我进群，谢谢！微信号：daniel-0527


title: 请求拉我入群讨论，海硕一枚，专注于LLM等相关技术

detail: **功能描述 / Feature Description**


[BUG] chatglm-6b模型报错OSError: Error no file named pytorch_model.bin found in directory /chatGLM/model/model-6b


title: 现在本项目交流群二维码扫描不进去了，需要群主通过

detail: 现在本项目交流群二维码扫描不进去了，需要群主通过


title: RuntimeError: Only Tensors of floating point and complex dtype can require gradients

detail: 刚更新了最新版本：


title: RuntimeError: "LayerNormKernelImpl" not implemented for 'Half'

detail: 已经解决了 params 只用两个参数 {'trust_remote_code': True, 'torch_dtype': torch.float16}


[BUG] 文件未成功加载，请重新上传文件


[BUG] bug 17 ，pdf和pdf为啥还不一样呢？为啥有的pdf能识别？有的pdf识别不了呢？


title: [FEATURE] 简洁阐述功能 / Concise description of the feature


title: [BUG] webui.py 加载chatglm-6b-int4 失败


title: [BUG] webui.py  加载chatglm-6b模型异常


title: 增加对chatgpt的embedding和api调用的支持

detail: 能否支持openai的embedding api和对话的api？


title: [FEATURE] 调整模型下载的位置

detail: 模型默认下载到 $HOME/.cache/huggingface/，当 C 盘空间不足时无法完成模型的下载。configs/model_config.py 中也没有调整模型位置的参数。


title: [BUG] langchain=0.0.174 出错


title: [BUG] 更新后加载本地模型路径不正确


detail: docker 部署后,启动docker,过会儿容器会自动退出,logs报错 SystemError: 8bit 模型需要 CUDA 支持，或者改用量化后模型！ [NVIDIA Container Toolkit](https://github.com/NVIDIA/nvidia-container-toolkit) 也已经安装了


title: [BUG] 上传知识库超过1M报错


title: 打开跨域访问后仍然报错，不能请求

detail: 报错信息：


title: dialogue_answering 里面的代码是不是没有用到？，没有看到调用

detail: dialogue_answering 是干啥的


[BUG] 响应速度极慢，应从哪里入手优化？48C/128G/8卡


title: 纯CPU环境下运行cli_demo时报错，提示找不到nvcuda.dll

detail: 本地部署环境是纯CPU，之前的版本在纯CPU环境下能正常运行，但上传本地知识库经常出现encode问题。今天重新git项目后，运行时出现如下问题，请问该如何解决。


如何加载本地的embedding模型（text2vec-large-chinese模型文件）


title: ChatGLM-6B 在另外服务器安装好了，请问如何修改model.cofnig.py 来使用它的接口呢？？

detail: 我本来想在这加一个api base url 但是运行web.py 发现  还是会去连huggingface 下载模型


title: [BUG] raise partially initialized module 'charset_normalizer' has no attribute 'md__mypyc' when call interface `upload_file`


title: [BUG] raise OSError: [Errno 101] Network is unreachable when call interface upload_file and upload .pdf files


title: 如果直接用vicuna作为基座大模型，需要修改的地方有哪些？

detail: vicuna模型有直接转换好的没有？也就是llama转换之后的vicuna。


title: [BUG] 通过cli.py调用api时抛出AttributeError: 'NoneType' object has no attribute 'get'错误

detail: 通过`python cli.py start api --ip localhost --port 8001` 命令调用api时，抛出：


title: [BUG] 通过cli.py调用api时直接报错`langchain-ChatGLM: error: unrecognized arguments: start cli`

detail: 通过python cli.py start cli启动cli_demo时，报错：


title: [BUG] error: unrecognized arguments: --model-dir conf/models/

detail: 关键字参数修改了吗？有没有文档啊？大佬


title: [BUG] 上传文件全部失败

detail: ERROR:    Exception in ASGI application


title: [BUG] config 使用  chatyuan  无法启动

detail: "chatyuan": {


使用fashchat api之后，后台报错APIError 如图所示


title: [BUG] 启用上下文关联，每次embedding搜索到的内容都会比前一次多一段


local_doc_qa.py中MyFAISS.from_documents() 这个语句看不太懂。MyFAISS类中没有这个方法，其父类FAISS和VectorStore中也只有from_texts方法[BUG] 简洁阐述问题 / Concise description of the issue


title: [BUG] TypeError: similarity_search_with_score_by_vector() got an unexpected keyword argument 'filter'


title: please delete this issue

detail: sorry, incorrect submission. Please remove this issue!


title: [BUG] vue前端镜像构建失败

detail: **问题描述 / Problem Description**


title: ChatGLM-6B模型能否回答英文问题？

detail: 大佬，请问一下，如果本地知识文档是英文，ChatGLM-6B模型能否回答英文问题？不能的话，有没有替代的模型推荐，期待你的回复，谢谢


title: [BUG] 简洁阐述问题 / Concise description of the issue


KeyError: 3224