freewebsys的专栏

编译成功，虽然有一点 warning 警告信息，问题不大。

报错，没有找到库，但实际上有代码。估计下一个版本会支持。

golang 的代码可以执行 f32 的模型，但是不能执行 f16 和 int4 的模型。这部分工作并没有开发完成。因为模型 有 26G 所以使用 CPU 执行速度并不快，有 0.37 tokens/s。项目目前看已经 10 个月没有更新了。从代码量看，确实都不算太多。可以研究研究里面的算法。

关于项目：https://github.com/gotzmann/llama.go确实是因为研究使用 c++ 在win 上面安装环境，折腾的时候特别的麻烦所以找到了这个使用 纯golang 编写的llama 模型执行项目 MIT 协议。golang 环境安装：其实就是执行了三次 go build 命令：3，下载模型，然后运行测试目前可能之支持使用 llama 模型：https://modelscope.cn/models/Xorbits/Llama-2-7B-Chat-GGML/files下载模型

参考的代码是 提到的 issues。/session 接口。

使用 wails 和 chatgpt-web项目 整合还是非常容易的。可以封装成接口路径地址。然后返回信息。

【代码】【wails】（3）：解决 go-chatglm.cpp 项目部署编译的问题，在Linux本地环境成功运行，可以使用CPU进行模型训练，速度还可以，后续可以将模型继承到wails项目中。

LaMA.cpp 项目是开发者 Georgi Gerganov 基于 Meta 释出的 LLaMA 模型（简易 Python 代码示例）手撸的纯 C/C++ 版本，用于模型推理。所谓推理，即是给输入-跑模型-得输出的模型运行过程。无需任何额外依赖，相比 Python 代码对 PyTorch 等库的要求，C/C++ 直接编译出可执行文件，跳过不同硬件的繁杂准备；虽然模型回答的不太对，但是可以运行了，速度确实还可以。那么，纯 C/C++ 版本有何优势呢？具有 F16 和 F32 的混合精度；

Wails 是一个可让您使用 Go 和 Web 技术编写桌面应用的项目。将它看作为 Go 的快并且轻量的 Electron 替代品。您可以使用 Go 的灵活性和强大功能，结合丰富的现代前端，轻松的构建应用程序。同时golang 开发相对友好些，各种库都十分丰富，也是一个非常不错的选择。