支持私有化部署
AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


会议神器!开源工具Joinly,让你的AI Agent加入Zoom/Teams,实时纪要、翻译、搜资料!

发布日期:2025-06-20 11:15:10 浏览次数: 1523
作者:YourwayAI

微信搜一搜,关注“YourwayAI”

推荐语

让AI真正成为你的会议助手!Joinly开源工具让AI Agent无缝接入Zoom/Teams,实现实时纪要、翻译和资料搜索。

核心内容:
1. Joinly的核心定位:为AI Agent提供会议接入能力的开源中间件
2. 四大核心功能:实时交互、复杂对话处理、跨平台支持、自选语音服务
3. 开源与隐私优势:MIT许可、自托管设计、支持自带LLM模型

杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家

 

开会时,你是否曾幻想过有这样一位“超级助理”:当你需要数据时,它能立刻上网搜索并报告;当讨论激烈时,它能默默记录并生成会议纪要;当有跨语言交流时,它还能担当实时翻译?

现在,这个幻想正在成为现实!一个名为 joinly.ai 的强大开源项目,正致力于赋能AI智能体,让它能够真正地“加入”你的视频会议!它不是一个新的聊天机器人,而是一个“连接器中间件”,一个为你的AI Agent打造的“会议通行证”,让它能够听、说、看,并与所有与会者实时互动!

无论是Google Meet、Zoom、Microsoft Teams,还是任何基于浏览器的会议平台,Joinly都能让你的AI Agent成为会议室里最得力的“新同事”。

目标读者: AI Agent开发者、全栈工程师、自动化流程爱好者,以及所有希望将AI能力无缝集成到日常工作流中的创新者!
你能获得: 一个功能强大、完全开源、隐私至上的框架,用它来构建你专属的、能够参与真实会议的AI智能助理。

准备好,邀请你的第一个AI同事加入下一次在线会议了吗?

1. Joinly是什么?为AI Agent打造的“会议通行证”

joinly.ai 的定位非常巧妙,它不是AI的大脑,而是AI的感官和执行器。它解决了最棘手的问题:如何让一个外部的AI程序,接入到封闭的视频会议环境中,并像一个真人一样进行交互。

你可以把它理解成一个“AI会议驱动程序”,它为任何AI Agent提供了参与会议所需的核心工具和资源,而你则可以专注于打造AI Agent本身的大脑(即逻辑和智能)。

核心理念:

  • • 100%开源: 遵循MIT许可,完全免费,无任何限制。
  • • 自托管与隐私至上: 你可以将其部署在自己的服务器上,所有会议数据(如音频流)都在你的掌控之中,不经过任何第三方。
  • • Bring-Your-Own-LLM (自带LLM): 它是完全中立的,你可以连接任何你喜欢的大语言模型,无论是OpenAI的GPT-4o、Anthropic的Claude,还是本地运行的Ollama模型。

2. 核心功能亮点:构建你的全能会议助理 

Joinly通过其模块化的设计,提供了无与伦比的灵活性和强大的功能:

  • • 🎙️ 实时语音/聊天互动 (Live Voice/Chat Interaction): 你的AI Agent可以随时通过语音(TTS)或聊天框发言,即时响应会议中的需求。
  • • 🌊 处理复杂对话流 (Handles Conversational Flow): 内置了先进的对话逻辑,能够自然地处理会议中常见的打断和多人交谈场景。
  • • 🌐 跨平台支持 (Cross-Platform Support): 无缝接入Google Meet, Zoom, Microsoft Teams等主流会议平台。
  • • 🗣️ 自选语音服务 (Choose-Your-Own-TTS/STT): 采用模块化设计,支持多种语音转文本(STT如Whisper/Deepgram)和文本转语音(TTS如Kokoro/Deepgram)服务。
  • • 🤖 工具调用 (Tool Use): Joinly的核心是其MCP(Meeting Control Protocol)服务器,它能为你自己的AI Agent提供一系列即用型会议“工具”,如加入/离开会议、发言、发送消息、静音等。

3. 无限可能:Joinly能做什么?

通过连接不同的外部工具和AI逻辑,Joinly的可能性是无限的。官方Demo已经为我们展示了冰山一角:

  • • 变身“AI研究员”:
    在官方的Tavily Demo中,与会者可以直接向Joinly助手提问(“关于最近的AI芯片新闻,有什么最新的进展吗?”),AI助手会实时调用Tavily搜索引擎,将最新的网络信息整合后,在会议中用语音报告出来。
  • • 变身“AI会议秘书”:
    在Notion Demo中,展示了更惊人的能力。会议进行中,与会者可以指挥Joinly助手实时编辑一个共享的Notion文档。比如,当团队确定了新的Action Items,可以直接说:“Joinly,请把‘完成市场调研报告’添加到我们的Notion任务列表里”,然后眼看着Notion页面被自动更新。

想象一下,你还可以构建:

  • • AI实时翻译官: 连接翻译API,为跨国会议提供同声传译。
  • • AI代码审查员: 在技术会议上,让它实时分析屏幕上共享的代码片段。
  • • AI面试助理: 帮助记录面试过程,并根据预设问题进行提问。

4. 快速上手指南 

得益于Docker,体验Joinly的基础功能非常简单:

1. 环境准备 (Prerequisites):

  • • 安装好Docker。

2. 安装与配置 (Installation & Setup):

# 1. 克隆代码库
git clone https://github.com/joinly-ai/joinly
cd joinly

# 2. 创建并配置.env文件
# 将 .env.example 复制为 .env
cp .env.example .env
# 在.env文件中填入你的LLM API Key,如OPENAI_API_KEY

3. 拉取Docker镜像 (Pull Docker Image):

# 镜像较大,约2.3GB,因为它打包了浏览器和本地模型
docker pull ghcr.io/joinly-ai/joinly:latest

4. 邀请Joinly加入会议 (Let Joinly Join the Meeting):
获取你的会议链接(Zoom, Meet, Teams等),然后运行以下命令:

# 将 <MeetingURL> 替换为你的真实会议链接
docker run --env-file .env ghcr.io/joinly-ai/joinly:latest -v --client <MeetingURL>

稍等片刻,你就会看到名为“joinly”的参会者加入了你的会议,并可以开始和它进行基础对话了!

高级用法:
对于开发者来说,更强大的用法是运行Joinly作为服务器,然后编写自己的外部客户端来定义复杂的AI逻辑。官方的examples/client_example.py提供了一个绝佳的起点。

5. 为何值得关注:开启Agentic会议新时代

Joinly的出现,其意义在于:

  • • 标准化了AI与会议的接口: 它把最脏最累的活(浏览器自动化、音视频流处理、平台适配)都包揽了,让开发者可以专注于更有价值的Agent智能逻辑本身。
  • • 赋予Agent“临场感”: 它让虚无缥CI的AI Agent有了一个“身体”,能够真正地“在场”,参与到人类最高效的协作场景——会议中。
  • • 引爆应用创新: 通过提供一个开放、灵活的框架,它将催生出无数我们以前无法想象的、与会议深度融合的AI应用。

总结与行动

Joinly为我们打开了一扇通往未来的大门,门后是一个由AI深度赋能、更加高效、智能的会议协作新世界。它不仅是一个工具,更是一个充满无限可能的创新平台。

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询