项目简介
充分利用大型语言模型 (LLM) 的潜能一般需要将其与其他计算或知识源集成。Edgechains 是专门为编排此类应用程序而设计的。
EdgeChains 是一个专为大型语言模型 (LLM)（如 OpenAI GPT、LLama2、Falcon 等）量身定制的开源思想链工程框架，重点关注企业级可安排性和可扩展性。
认识边缘链
在 EdgeChains，咱们采用独特的办法来实现生成式 AI - 咱们认为生成式 AI 是一项安排和配置管理挑战，而不是 UI 和库设计模式挑战。咱们基于在区别行业处理了这个问题的技术——Kubernetes 配置管理——并将其引入生成人工智能。Edgechains 创立在 jsonnet 之上，jsonnet 最初是由于 Google 基于管理 Borg 基本设备中海量配置代码的经验而构建的。
Edgechains 为您供给：
只需一个脚本文件：EdgeChains 的设计极其简单（无论是 Java、Python 还是 JS）。执行生产就绪的 GenAI 应用程序只需一个脚本文件和一个 jsonnet 文件。您必定会感到惊喜！
提示的版本掌控：提示是用 jsonnet 编写的。使它们易于版本掌控和差异化。
自动并行性：EdgeChains 运用 JVM 自动并行化跨 CPU、GPU 和 TPU 的 LLM 链和思想链任务。
容错性：EdgeChains被设计为拥有容错性，即使系统中的某些请求失败，亦能够继续重试和退避。
可扩展性：EdgeChains 设计为可扩展的，可用于在海量 API、提示长度和矢量数据集上编写思维链应用程序。
为何需要快速和连锁工程
大都数刚接触生成式人工智能的人认为运用 OpenAI 或其他法学硕士的办法便是简单地问它一个问题并让它神奇地回答。答案极其区别且繁杂。
即时工程的繁杂性
生成式 AI、OpenAI 和法学硕士需要您以非常详细的方式编写提示。每一种编写提示的办法都非常繁杂，况且非常繁杂——事实上，它是如此繁杂，以至于有为此发布的科研论文。例如。：
Reason & Act - REACT 风格提示链
HyDE 提示链 - 无需关联标签的精确零样本密集检索
FrugalGPT：怎样运用大型语言模型，同期降低成本并加强性能
提示爆炸 - 太多法学硕士的提示太多
另外，这些提示技术适用于一种法学硕士，但不适用于其他法学硕士。例如以特定方式为 GPT-3.5 编写的提示和链需要为 Llama2 重写以实现相同的目的。这会引起提示数量激增，从而给版本和管理带来挑战。
提示漂移
提示随时间而变化。这叫作为快速漂移。有足够多的已发布科研显示 chatGPT 的行径怎样变化。您的基本设备需要有足够的能力来随着这种变化进行版本/更改。倘若您运用库，其中提示隐匿在许多层下，那样您会发掘不可能执行此操作。即使您什么亦没做，您的生产代码亦会随着时间的推移而腐烂。
- ChatGPT 的行径怎样随时间变化？
生产中的可测试性
生产中的一大挑战是怎样持续测试您的提示和链并快速迭代它们。倘若您的提示位置于许多库和抽象层之下，这是不可能的。然则，倘若您的提示位置于代码之外并且是声明性的，那样这很容易做到。事实上，在 EdgeChains 中，您能够将全部提示和链规律放在 s3 或 API 中。
代币成本和衡量
每一个提示或链都有与其关联的代币成本。你可能认为某个提示很好……但它可能会消耗海量的代币。例如，思想链式提示消耗的输出标记最少是普通提示的 3 倍。您需要在框架中内置细粒度的跟踪和测绘才可管理此问题。Edgechains 内置了这个功能。
项目链接
https://github.com/arakoodev/EdgeChains
关注「GitHubStore」公众号
扫一扫以下微X
1 加入技术交流群，备注「研发语言-城市-昵叫作」
2 若招聘需要，技术合作等「商务合作」，备注「合作」
| 
发表于 2024-10-8 14:14:05