阿里在12月1日進一步開源了 Qwen 的系列LMM大模型。其中體積最小的為 Qwen1.8億 參數的模型。算是中文領域3B以下最強的大模型之一了。 關鍵是，之前我6G顯存的電腦跑很多大模型本地都跑不起來，甚至很多6億，7億參數的模型都報錯顯存溢出，這個1.8B的應該是對沒有顯存或者顯存小于8G的用戶最友好的中文本地大模型了，所以我通過 llama.cpp 量化部署然后把模型打包成了一個可以本地CPU運行離線使用的整合包。

量化后q5_k_m.gguf 模型大小為1.31GB，加載后基礎內存占用也在1.3GB，在i5-12600K CPU上4線程可以達到14-15token/s，對終端設備非常友好。 我自己測試了一下它的對話能力，基本ok, 比起以往的小參數大模型效果好蠻多。

打開軟件后會自動打開一個黑色的窗口，在最下方有一個箭頭的地方可以輸入和大模型的對話內容，然后輸入回車 確認 就可以開始對話了，玩起來吧~

鏈接：https://pan.baidu.com/s/1WQQ8kaDilaagjoK5IrYZzA

提取碼：1111

編輯于 2024-01-16 10:57

聲明：本網站所提供的信息僅供參考之用，并不代表本網站贊同其觀點，也不代表本網站對其真實性負責。