2026年7月2日 周四晚上19:30,报名腾讯会议了解“如何构建自进化的动态知识库(Brain)”(限30人)
免费POC, 零成本试错
FDE知识库

FDE知识库

学习大模型的前沿技术与行业落地应用


收藏

极限套娃,Agent自动设计Agentic系统!

发布日期:2024-08-20 22:04:46 浏览次数: 2629
作者:PaperAgent

微信搜一搜,关注“PaperAgent”

Agent智能体系统正在作为通用工具被广泛研究和应用,解决复杂问题通常需要由多个组件组成的复合智能体系统,而手工设计的解决方案最终会被学习到的更高效的解决方案所取代。

为此,提出了自动化设计智能体系统(ADAS:Automated Design of Agentic Systems,已开源)的新研究领域,目标是自动创建强大的智能体系统设计。
通过代码定义整个智能体系统,并由一个“元Agent”自动发现新的智能体,理论上允许ADAS算法发现任何可能的构建块和智能体系统。
元Agent搜索的概述以及发现的Agent示例。指导元Agent迭代地编程新代理,测试它们在任务上的性能,将它们添加到已发现Agent的存档中,并使用这个存档来通知后续迭代中的元Agent。展示了三次运行中的三个示例Agent,所有名称都由元Agent生成。
自动化设计智能体系统(Automated Design of Agentic Systems):

ADAS的定义和目标

  • ADAS旨在自动发明新的构建块,并设计功能强大的智能体系统。智能体系统涉及使用基础模型(Foundation Models,简称FMs)作为模块,通过规划、使用工具和执行多步骤的迭代处理来完成任务。

ADAS的三个关键组成部分

自动化智能体系统设计(ADAS)的三个关键组成部分。搜索空间决定了ADAS中可以表示哪些Agent系统。搜索算法指定了ADAS方法如何探索搜索空间。评估函数定义了如何根据目标目标(如性能)评估候选Agent。

  1. 搜索空间(Search Space):定义了ADAS中可以表示哪些智能体系统。例如,一些研究只变异智能体的文本提示,而其他组件(如控制流)保持不变。

  2. 搜索算法(Search Algorithm):指定了ADAS方法如何探索搜索空间。由于搜索空间通常非常大甚至无界,需要考虑探索与利用的权衡。

  3. 评估函数(Evaluation Function):根据ADAS算法的应用,可能考虑不同的目标来优化,如性能、成本、延迟或智能体的安全性。评估函数定义了如何在这些目标上评估候选智能体。

通过在编码、科学和数学等多个领域的广泛实验,展示了该算法能够逐步发明具有新颖设计的智能体,这些智能体的性能大大超过了手工设计的最先进智能体。

元智能体搜索在ARC挑战上的结果。(a) 元智能体搜索基于不断增长的先前发现的存档,逐步发现高性能智能体。通过五次评估智能体,在保留的测试集上报告中位数准确度和95%的自举置信区间。(b) 元智能体搜索在ARC挑战上发现的最佳智能体的可视化。

来自ARC挑战的一个示例任务。给定输入-输出网格示例,人工智能系统被要求学习转换规则,然后将这些学到的规则应用于测试网格,以预测最终答案。

Meta Agent Search与多个领域内最先进的手工设计智能体之间的性能比较。Meta Agent Search在每个领域中发现的智能体都优于基线。报告了在保留的测试集上的测试准确度和95%自举置信区间。每个领域的搜索是独立进行的。

将MGSM中的顶级智能体转移到其他数学领域时的性能。元智能体搜索发现的智能体在不同数学领域中始终优于基线。我们报告了测试准确度和95%自举置信区间。顶级智能体的名称由元智能体搜索生成。

附录
Meta Agent系统Prompt
You are a helpful assistant. Make sure to return in a WELL-FORMED JSON object.

使用以下提示来指导元智能体基于先前发现的智能体存档来设计新智能体。

Meta Agent核心Prompt
You are an expert machine learning researcher testing various agentic systems. Your objective is to designbuilding blocks such as prompts and control flows within these systems to solve complex tasks. Your aimis to design an optimal agent performing well on [Brief Description of the Domain].[Framework Code][Output Instructions and Examples][Discovered Agent Archive] (initialized with baselines, updated at every iteration)# Your taskYou are deeply familiar with prompting techniques and the agent works from the literature. Your goal isto maximize the specified performance metrics by proposing interestingly new agents.Observe the discovered agents carefully and think about what insights, lessons, or stepping stones can belearned from them.Be creative when thinking about the next interesting agent to try. You are encouraged to draw inspirationfrom related agent papers or academic papers from other research areas.Use the knowledge from the archive and inspiration from academic literature to propose the nextinteresting agentic system design.THINK OUTSIDE THE BOX.
使用以下提示来指导和格式化元智能体的输出。在这里,收集并呈现了元智能体在提示中可能犯的一些常见错误,这在提高生成代码的质量方面是有效的。
输出指令和示例
# Output Instruction and Example:The first key should be (“thought”), and it should capture your thought process for designing thenext function. In the “thought” section, first reason about what the next interesting agent to tryshould be, then describe your reasoning and the overall concept behind the agent design, andfinally detail the implementation steps. The second key (“name”) corresponds to the name ofyour next agent architecture. Finally, the last key (“code”) corresponds to the exact “forward()”function in Python code that you would like to try. You must write COMPLETE CODE in “code”:Your code will be part of the entire project, so please implement complete, reliable, reusable code snippets.Here is an example of the output format for the next agent:{“thought”: “**Insights:** Your insights on what should be the next interesting agent. **Overall Idea:**your reasoning and the overall concept behind the agent design. **Implementation:** describe theimplementation step by step.”,“name”: “Name of your proposed agent”,“code”: “def forward(self, taskInfo): # Your code here”}## WRONG Implementation examples:[Examples of potential mistakes the meta agent may make in implementation]
在元智能体的第一次响应之后,进行两轮自我反思,以使生成的智能体新颖且无错误。
自我反思第一轮的提示
[Generated Agent from Previous Iteration]Carefully review the proposed new architecture and reflect on the following points:1. **Interestingness**: Assess whether your proposed architecture is interesting or innovative comparedto existing methods in the archive. If you determine that the proposed architecture is not interesting,suggest a new architecture that addresses these shortcomings.- Make sure to check the difference between the proposed architecture and previous attempts.- Compare the proposal and the architectures in the archive CAREFULLY, including their actual differencesin the implementation.- Decide whether the current architecture is innovative.- USE CRITICAL THINKING!2. **Implementation Mistakes**: Identify any mistakes you may have made in the implementation.Review the code carefully, debug any issues you find, and provide a corrected version. REMEMBERchecking "## WRONG Implementation examples" in the prompt.3. **Improvement**: Based on the proposed architecture, suggest improvements in the detailedimplementation that could increase its performance or effectiveness. In this step, focus on refining andoptimizing the existing implementation without altering the overall design framework, except if youwant to propose a different architecture if the current is not interesting.- Observe carefully about whether the implementation is actually doing what it is supposed to do.- Check if there is redundant code or unnecessary steps in the implementation. Replace them witheffective implementation.- Try to avoid the implementation being too similar to the previous agent.And then, you need to improve or revise the implementation, or implement the new proposed architecturebased on the reflection.Your response should be organized as follows:"reflection": Provide your thoughts on the interestingness of the architecture, identify any mistakes in theimplementation, and suggest improvements."thought": Revise your previous proposal or propose a new architecture if necessary, using the sameformat as the example response."name": Provide a name for the revised or new architecture. (Don’t put words like "new" or "improved"in the name.)"code": Provide the corrected code or an improved implementation. Make sure you actually implementyour fix and improvement in this code.
自我反思第二轮的提示
Using the tips in “## WRONG Implementation examples” section, further revise the code.Your response should be organized as follows:Include your updated reflections in the “reflection”. Repeat the previous “thought” and “name”. Updatethe corrected version of the code in the “code” section.

当在执行生成的代码期间遇到错误时,会进行反思并重新运行代码。如果错误持续存在,这个过程会重复进行,最多五次。以下是用于自我反思任何运行时错误的提示: 

运行时错误发生时的自我反思提示

Error during evaluation:[Runtime errors]Carefully consider where you went wrong in your latest implementation. Using insights from previousattempts, try to debug the current code to implement the same thought. Repeat your previous thought in“thought”, and put your thinking for debugging in “debug_thought”.
https://arxiv.org/pdf/2408.08435Automated Design of Agentic Systemshttps://github.com/ShengranHu/ADAS


53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅