什么是大模型的插件？以及如何使用？

插件是将大模型连接到第三方应用，大模型作为大脑，插件是大模型的耳、目、手，可以帮助大模型丰富大模型的能力和扩展应用场景，完成大模型生成能力无法完成的任务。

• 信息增强插件：可以帮助用户获取实时信息和专业信息，如股票价格、最新新闻等。

• 服务增强插件：可以帮助用户自动化执行一些常见的任务，如预订航班、订餐等；

• 交互增强插件：可以读取知识库、PDF、图片、语音等多模态的输入，以及生成表格、思维导图等多模态输出

通过插件赋能关键领域及丰富大模型能力

插件为改善AI产品的使用体验，专注小的场景诉求，让大模型应用能力与外部应用相结合，丰富大模型的能力和应用场景，利用大模型的能力完成此前无法完成的任务。

ChatGPT在通过插件提升生产力方面，主要通过引入外部插件，丰富ChatGPT的数据获取和进行能力扩展。ChatGPT的AI PDF、AskTheCode、WebPilot等插件帮助用户在和大模型沟通中获取实时数据或专业数据。

【自建插件】最初ChatGPT的DALL·E、Web browsing、Data Analysis 等作为插件使用，在后续的发展中逐步融入到ChatGPT中。

【三方插件】通过安装使用三方插件，并通过TOP30推荐热门插件以及最新插件产品策略引导用户使用。

文心一言采用自建+引入三方的方式进行大模型数据能力的扩展和应用场景的丰富，如百度的AI PPT、商业信息查询、百科、学术检索等扩展数据范围和提供创作增强。

【自建插件】百度自建插件结合百度内部的技术和数据优势进行搭建：

• E言易图：Apache Echarts为百度开发的开源可视化库，用于创建交互式图表和数据可视化；

• 百度学术检索助手、百科同学：利用百度学术、百度百科的数据进行内容的检索，获取实时信息和拓展数据范围；

【三方插件】按照不同功能进行分类，如信息助理、信息查询、效率提升、创作增强等。

ChatGPT和文心一言自建插件的相同点：自建实时信息检索、数据分析、AI绘画等插件

【可能原因】

• 大模型使用的历史数据的信息进行训练，自建实时信息检索可以帮助用户获取更具时效性和专业性信息。

• 数据分析插件可以增强大模型的功能性，可以让大模型执行复杂的数据处理和分析任务，从而提升用户的工作效率。对于工作和学习的用户来说，数据分析可以作为一个实用的工具。

• AI绘画集成可以扩大大模型的应用范围，使其不仅限于文字处理和对话管理，增强创造性表达，提高交互体验，使大模型成为一个全面和多元化的工具。

• 插件注册：将插件的Manifest文还能注册到文心一言，Manifest文件中主要包含：
• 插件名称：模型中使用，如商业信息查询、AIPPT.cn等；
• 插件描述：描述插件的核心能力，使用场景等，用于模型参考解析是否触发插件；
• API、插件类型；
• 插件解析：文心一言插件系统触发解析模块，将用户识别query，并根据Manifest文件中插件API接口和参数的自然语言来选择什么样的插件，以及生成调用插件的API；
• 插件触发：使用生成的API，来调用插件，插件服务完成处理后，返回json数据再由文心一言处理。

• 注册插件：对一个多多个API端口进行注册，并创建清单文件，清单文件中包含：
• 插件的名称、Logo、身份验证；
• 端口的API及自然语言描述；
• 插件调用：根据给定API的规范以及何时使用API的自然语言描述，模型会自动调用API来执行操作。

文心一言插件多轮对话方案：

• 插件为注册的API接口，主要接收文心一言生成API的调用返回结果并再有文心一言汇总处理；

• 插件的上下文由文心一言统一进行管理；

• 文心一言对多轮对话的语义进行理解，在调用插件时生成调用插件的API接口中包含上下文语义，插件根据接口请求返回内容；

1. 腾讯：请求文心一言生成；
2. 注册资金：请求商业信息插件，并将上下文中的腾讯传入插件；
3. 画一个脑图介绍一下：请求TreeMind树图，并将上下文中的腾讯传入插件；

• ChatGPT对于插件的调用白盒化；
• ChatGPT根据用户的输入进行上下文的理解，根据用户的输入自动调用需要的插件，并根据整理后信息发起请求。

1. 介绍一下新能源汽车的相关知识：请求ChatGPT
2. 根据上面的信息画一个脑图：请求Ai Diagrams