From 3d082bf566e2d17dbb81febec4ca8979305092d3 Mon Sep 17 00:00:00 2001
From: hzg0601 <hzg0601@163.com>
Date: Fri, 14 Jul 2023 13:45:07 +0800
Subject: [PATCH] =?UTF-8?q?=E5=9C=A8FAQ=E4=B8=AD=E7=BB=99=E5=87=BA?=
 =?UTF-8?q?=E5=8A=A0=E8=BD=BD=E9=87=8F=E5=8C=96=E7=89=88=E6=9C=AC=E5=A4=B1?=
 =?UTF-8?q?=E8=B4=A5=E7=9A=84=E5=8E=9F=E5=9B=A0=E5=92=8C=E8=A7=A3=E5=86=B3?=
 =?UTF-8?q?=E6=96=B9=E6=A1=88?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

---
 docs/FAQ.md | 17 +++++++++++++++++
 1 file changed, 17 insertions(+)

diff --git a/docs/FAQ.md b/docs/FAQ.md
index f7124770..2162671d 100644
--- a/docs/FAQ.md
+++ b/docs/FAQ.md
@@ -177,3 +177,20 @@ download_with_progressbar(url, tmp_path)
 Q14 调用api中的 `bing_search_chat`接口时，报出 `Failed to establish a new connection: [Errno 110] Connection timed out`
 
 这是因为服务器加了防火墙，需要联系管理员加白名单，如果公司的服务器的话，就别想了GG--!
+
+---
+
+Q15 加载chatglm-6b-int8或chatglm-6b-int4抛出`RuntimeError: Only Tensors of floating point andcomplex dtype can require gradients`
+
+疑为chatglm的quantization的问题或torch版本差异问题，针对已经变为Parameter的torch.zeros矩阵也执行Parameter操作，从而抛出`RuntimeError: Only Tensors of floating point andcomplex dtype can require gradients`。解决办法是在chatglm-项目的原始文件中的quantization.py文件374行改为：
+
+```
+    try:
+        self.weight =Parameter(self.weight.to(kwargs["device"]), requires_grad=False)
+    except Exception as e:
+        pass
+```
+
+    注：虽然模型可以顺利加载但在cpu上仍存在推理失败的可能：即针对每个问题，模型一直输出gugugugu。
+
+    因此，最好不要试图用cpu加载量化模型，原因可能是目前python主流量化包的量化操作是在gpu上执行的,会天然地存在gap。
\ No newline at end of file