告别 OpenAI，一个命令行跨平台运行开源百川大模型 Baichuan2-13B-Chat-天涯论坛

u1jodi1q 发表于 2024-8-22 13:57:45

告别 OpenAI，一个命令行跨平台运行开源百川大模型 Baichuan2-13B-Chat

想要快速起始，只需在自己的设备上运行下面的命令行就可与 Baichuan2-13B-Chat 交互。这个命令行工具会自动下载并安装 WasmEdge 运行时、模型文件和用于推理的完全可移植 Wasm 应用。
bash <(curl -sSfL https://code.flows.network/webhook/iwYN1SdN3AmPgR5ao5Gt/run-llm.sh)
Baichuan2-13B-Chat 大模型是由于百川智能研发的 13B 大语言模型（LLM），其灵感来自于离线强化学习。据百川团队叫作，这种办法准许模型在无偏好标签的状况下从混合质量的数据中学习，使其能够供给乃至能够与繁杂的 ChatGPT 模型相媲美的卓越性能。
本文中，咱们将介绍：怎样在自己的设备上运行  Baichuan2-13B-Chat 大模型怎样为 Baichuan2-13B-Chat 大模型创建一个与 OpenAI 兼容的 API 服务咱们将运用 Rust + Wasm 技术栈研发和安排此模型的应用程序。不需要安装繁杂的 Python 包或 C++ 工具链！认识咱们选取这个技术栈的原由。
<img src="https://mmbiz.qpic.cn/mmbiz_png/3rGIVvYeu4CLZg0DIULxsIAvT636oSfnxbDSnpmHz96C3H4odr958d22W5Vibgicib7hRPd4VpqcqQ3rcalLp5TuQ/640?wx_fmt=png&from=appmsg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
<h2 style="color: black; text-align: left; margin-bottom: 10px;">在自己的设备上运行 Baichuan2-13B-Chat 大模型</h2>
过程1：经过以下命令行安装 WasmEdge。
curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install.sh | bash -s -- --plugin wasi_nn-ggml
过程2：下载该模型的GGUF 文件。因为模型的体积为几个 GB，下载可能需要一按时间。
curl -LO https://huggingface.co/second-state/Baichuan2-13B-Chat-GGUF/resolve/main/Baichuan2-13B-Chat-ggml-model-q4_0.gguf
过程 3：下载聊天应用程序的跨平台可移植 Wasm 文件。该应用程序让你能用命令行与模型聊天。该应用程序的Rust 源代码在这儿。
curl -LO https://github.com/second-state/LlamaEdge/releases/latest/download/llama-chat.wasm
完成啦！能够经过输入以下命令在终端与模型进行聊天。wasmedge --dir .:. --nn-preload default:GGML:AUTO:Baichuan2-13B-Chat-ggml-model-q4_0.gguf llama-chat.wasm -p baichuan-2 -r用户:
可移植 Wasm 应用程序会自动利用我设备上的硬件加速器（如 GPU）。
在我 M1 32G 内存的 Mac 上，速度约为每秒 7.85 个 token。
:一个苹果5元钱，2个苹果多少钱？
:两个苹果需要支付10元钱。
:
<h2 style="color: black; text-align: left; margin-bottom: 10px;">为百川大模型创建与 OpenAI 兼容的 API 服务</h2>
与 OpenAI 兼容的 Web API 让该模型可与区别的 LLM 工具和代理框架（如 flows.network、LangChain 、LlamaIndex 等）一块工作。
下载一个 API 服务器应用程序。它亦是一个跨平台可移植的 Wasm 应用程序，能够在各样区别 CPU 和 GPU 设备上运行。
curl -LO https://github.com/second-state/LlamaEdge/releases/latest/download/llama-api-server.wasm
而后，下载聊天设备人 Web UI，以经过聊天设备人 UI 与模型进行交互。
curl -LO https://github.com/second-state/chatbot-ui/releases/download/v0.1.0/chatbot-ui.tar.gz
tar xzf chatbot-ui.tar.gz
rm chatbot-ui.tar.gz
接下来，运用以下命令行起步模型的 API 服务器。而后，打开浏览器拜访 起始聊天！wasmedge --dir .:. --nn-preload default:GGML:AUTO:Baichuan2-13B-Chat-ggml-model-q4_0.gguf llama-api-server.wasm -p baichuan-2 -r用户:
还能够从另一个终端运用 curl 与 API 服务器交互。
curl -X POST http://localhost:8080/v1/chat/completions \  -H accept:application/json
 \  -H Content-Type: application/json
 \  -d {"messages":[{"role":"system", "content": "You are a helpful assistant."}, {"role":"user", "content": "李白是谁"}], "model":"Baichuan2-13B-Chat"}
就这般。WasmEdge 是运行 LLM 应用程序最简单、最快速、最安全的方式。尝试一下吧！
加入 WasmEdge Discord 提问和分享见解。倘若在运行这个模型时有任何问题，请拜访 second-state/LlamaEdge 提 issue，或预约 demo。
<h3 style="color: black; text-align: left; margin-bottom: 10px;">参考资料</h3>
 Baichuan2-13B-Chat 大模型: https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat

 认识咱们选取这个技术栈的原由: https://www.secondstate.io/articles/fast-llm-inference/

 WasmEdge: https://github.com/WasmEdge/WasmEdge

 GGUF 文件: https://huggingface.co/second-state/Baichuan2-13B-Chat-GGUF/tree/main

 Rust 源代码在这儿: https://github.com/second-state/llama-utils/tree/main/chat

 运行 LLM 应用程序最简单、最快速、最安全的方式: https://www.secondstate.io/articles/fast-llm-inference/

 WasmEdge Discord: https://discord.com/invite/U4B5sFTkFc

 second-state/LlamaEdge: https://github.com/second-state/LlamaEdge/

 demo: https://code.flows.network/webhook/vvAtEBUk6QMhVVLuw7IU

关于 WasmEdge
WasmEdge 是轻量级、安全、高性能、可扩展、兼容OCI的软件容器与运行环境。日前是 CNCF 沙箱项目。WasmEdge 被应用在 SaaS、云原生，service mesh、边缘计算、边缘云、微服务、流数据处理、LLM 推理等行业。
GitHub：https://github.com/WasmEdge/WasmEdge
官网：https://wasmedge.org/
‍‍Discord 群：https://discord.gg/U4B5sFTkFc
文档：https://wasmedge.org/docs
文案转载自Second State。<a style="color: black;">点击这儿阅读原文认识更加多</a>。
<img src="https://mmbiz.qpic.cn/mmbiz_png/GpkQxibjhkJyxMiaEmkhpdPs5vYIH2rJiaOZP88GAQr4tcseIibcdgBlWCFiaiaZ16kNG7iaepO9g28z6Jic0h9CGh2PTg/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
CNCF概况（幻灯片）
<img src="https://mmbiz.qpic.cn/mmbiz_png/GpkQxibjhkJxyapkOjiazruKNQ7DZ6t8TSh0QSYM4DlI86xnXiayciayIgBUaG8q8lFZ3FsibPJiaeCqAahrKicB220aA/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
扫描二维码联系咱们！
CNCF (Cloud Native Computing Foundation)成立于2015年12月，隶属于Linux  Foundation，是非营利性组织。 
CNCF（云原生计算基金会）致力于培育和守护一个厂商中立的开源生态系统，来推广云原生技术。咱们经过将最前沿的模式民主化，让这些创新为公众所用。请关注CNCF微X公众号。

qzmjef 发表于 2024-10-12 20:08:31

哈哈、笑死我了、太搞笑了吧等。

nykek5i 发表于 2024-11-9 17:51:49

你的见解独到，让我受益匪浅，非常感谢。

页: [1]

天涯论坛's Archiver

告别 OpenAI，一个命令行跨平台运行开源百川大模型 Baichuan2-13B-Chat