EdgeChains : 专为大型语言模型量身定制的开源思维链工程框架
<h2 style="color: black; text-align: left; margin-bottom: 10px;"><span style="color: black;">项目简介</span></h2>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">充分利用大型语言模型 (LLM) 的<span style="color: black;">潜能</span><span style="color: black;">一般</span>需要将其与其他计算或知识源集成。Edgechains 是专门为编排此类应用程序而设计的。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;">EdgeChains 是一个专为大型语言模型 (LLM)（如 OpenAI GPT、LLama2、Falcon 等）量身定制的开源思想链工程框架，重点关注企业级可<span style="color: black;">安排</span>性和可扩展性。</span></span></span></p>
<h2 style="color: black; text-align: left; margin-bottom: 10px;"><span style="color: black;"><span style="color: black;">认识</span>边缘链</span></h2>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;">在 EdgeChains，<span style="color: black;">咱们</span>采用独特的<span style="color: black;">办法</span>来实现生成式 AI - <span style="color: black;">咱们</span>认为生成式 AI 是一项<span style="color: black;">安排</span>和配置管理挑战，而不是 UI 和库设计模式挑战。<span style="color: black;">咱们</span>基于在<span style="color: black;">区别</span><span style="color: black;">行业</span><span style="color: black;">处理</span>了这个问题的技术——Kubernetes 配置管理——并将其引入生成人工智能。Edgechains <span style="color: black;">创立</span>在 jsonnet 之上，jsonnet 最初<span style="color: black;">是由于</span> Google 基于管理 Borg <span style="color: black;">基本</span><span style="color: black;">设备</span>中<span style="color: black;">海量</span>配置代码的经验而构建的。</span></span></span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">Edgechains 为您<span style="color: black;">供给</span>：</span></span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">只需一个脚本文件：EdgeChains 的设计极其简单（无论是 Java、Python 还是 JS）。执行生产就绪的 GenAI 应用程序只需一个脚本文件和一个 jsonnet 文件。您<span style="color: black;">必定</span>会感到惊喜！</p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">提示的版本<span style="color: black;">掌控</span>：提示是用 jsonnet 编写的。使它们易于版本<span style="color: black;">掌控</span>和差异化。</p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">自动并行性：EdgeChains <span style="color: black;">运用</span> JVM 自动并行化跨 CPU、GPU 和 TPU 的 LLM 链和思想链任务。</p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">容错性：EdgeChains被设计为<span style="color: black;">拥有</span>容错性，即使系统中的某些请求失败，<span style="color: black;">亦</span><span style="color: black;">能够</span>继续重试和退避。</p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">可扩展性：EdgeChains 设计为可扩展的，可用于在<span style="color: black;">海量</span> API、提示长度和矢量数据集上编写思维链应用程序。</p>
<h2 style="color: black; text-align: left; margin-bottom: 10px;"><span style="color: black;"><span style="color: black;">为何</span>需要快速和连锁工程</span></h2>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;">大<span style="color: black;">都数</span>刚接触生成式人工智能的人认为<span style="color: black;">运用</span> OpenAI 或其他法学硕士的<span style="color: black;">办法</span><span style="color: black;">便是</span>简单地问它一个问题并让它神奇地回答。答案极其<span style="color: black;">区别</span>且<span style="color: black;">繁杂</span>。</span></span></span></p>
<h3 style="color: black; text-align: left; margin-bottom: 10px;"><span style="color: black;">即时工程的<span style="color: black;">繁杂</span>性</span></h3>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;">生成式 AI、OpenAI 和法学硕士需要您以非常<span style="color: black;">详细</span>的方式编写提示。每一种编写提示的<span style="color: black;">办法</span>都非常<span style="color: black;">繁杂</span>，<span style="color: black;">况且</span>非常<span style="color: black;">繁杂</span>——事实上，它是如此<span style="color: black;">繁杂</span>，以至于有为此<span style="color: black;">发布</span>的<span style="color: black;">科研</span>论文。例如。：</span></span></span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;">Reason & Act - REACT 风格提示链</span></span></span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;">HyDE 提示链 - 无需<span style="color: black;">关联</span>标签的精确零样本密集检索</span></span></span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;">FrugalGPT：<span style="color: black;">怎样</span><span style="color: black;">运用</span>大型语言模型，<span style="color: black;">同期</span>降低成本并<span style="color: black;">加强</span>性能</span></span></span></p>
<h3 style="color: black; text-align: left; margin-bottom: 10px;"><span style="color: black;">提示爆炸 - 太多法学硕士的提示太多</span></h3>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;"><span style="color: black;">另外</span>，这些提示技术适用于一种法学硕士，但不适用于其他法学硕士。例如以特定方式为 GPT-3.5 编写的提示和链需要为 Llama2 重写以实现相同的<span style="color: black;">目的</span>。这会<span style="color: black;">引起</span>提示数量激增，从而给版本和管理带来挑战。</span></span></span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">提示漂移</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;">提示随时间而变化。这<span style="color: black;">叫作</span>为快速漂移。有足够多的已<span style="color: black;">发布</span><span style="color: black;">科研</span><span style="color: black;">显示</span> chatGPT 的<span style="color: black;">行径</span><span style="color: black;">怎样</span>变化。您的<span style="color: black;">基本</span><span style="color: black;">设备</span>需要有足够的能力来随着这种变化进行版本/更改。<span style="color: black;">倘若</span>您<span style="color: black;">运用</span>库，其中提示<span style="color: black;">隐匿</span>在许多层下，<span style="color: black;">那样</span>您会<span style="color: black;">发掘</span>不可能执行此操作。即使您什么<span style="color: black;">亦</span>没做，您的生产代码<span style="color: black;">亦</span>会随着时间的推移而腐烂。</span></span></span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;">- ChatGPT 的<span style="color: black;">行径</span><span style="color: black;">怎样</span>随时间变化？</span></span></span></p>
<h3 style="color: black; text-align: left; margin-bottom: 10px;"><span style="color: black;">生产中的可测试性</span></h3>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;">生产中的一大挑战是<span style="color: black;">怎样</span><span style="color: black;">持续</span>测试您的提示和链并快速迭代它们。<span style="color: black;">倘若</span>您的提示<span style="color: black;">位置于</span>许多库和抽象层之下，这是不可能的。<span style="color: black;">然则</span>，<span style="color: black;">倘若</span>您的提示<span style="color: black;">位置于</span>代码之外并且是声明性的，<span style="color: black;">那样</span>这很容易做到。事实上，在 EdgeChains 中，您<span style="color: black;">能够</span>将<span style="color: black;">全部</span>提示和链<span style="color: black;">规律</span>放在 s3 或 API 中。</span></span></span></p>
<h3 style="color: black; text-align: left; margin-bottom: 10px;"><span style="color: black;">代币成本和衡量</span></h3>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;"><span style="color: black;"><span style="color: black;">每一个</span>提示或链都有与其<span style="color: black;">关联</span>的代币成本。你可能认为某个提示很好……但它可能会消耗<span style="color: black;">海量</span>的代币。例如，思想链式提示消耗的输出标记<span style="color: black;">最少</span>是普通提示的 3 倍。您需要在框架中内置细粒度的跟踪和<span style="color: black;">测绘</span><span style="color: black;">才可</span>管理此问题。Edgechains 内置了这个功能。</span></span></span></p>
<h2 style="color: black; text-align: left; margin-bottom: 10px;"><span style="color: black;">项目链接</span></h2>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">https://github.com/arakoodev/EdgeChains</p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"> <span style="color: black;">关注「</span><strong style="color: blue;"><span style="color: black;">GitHubStore</span></strong><span style="color: black;">」公众号</span></span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">扫一扫以下<span style="color: black;">微X</span></span></span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">1 加入技术交流群，备注<span style="color: black;">「<span style="color: black;"><strong style="color: blue;"><span style="color: black;">研发</span>语言-城市-昵<span style="color: black;">叫作</span></strong></span></span><span style="color: black;">」</span></span></span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">2 若<strong style="color: blue;">招聘<span style="color: black;">需要</span>，技术合作</strong>等「</span><strong style="color: blue;"><span style="color: black;">商务合作</span></strong><span style="color: black;">」</span>，备注<span style="color: black;">「</span><span style="color: black;"><strong style="color: blue;"><span style="color: black;">合作</span></strong></span><span style="color: black;">」</span></span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><img src="https://mmbiz.qpic.cn/sz_mmbiz_jpg/BOAjv711EFhKkcwRjb1iblY020vNxfWozW4AwzW5micRdC9A5T5jjy9SkUYyqtJG5NRMYVFtdcqqsPnVQpz1lmxQ/640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;"></p>
我们有着相似的经历，你的感受我深有体会。
页:
[1]