Google的NotebookLM爆火，一键生成超逼真双人对话播客！AI改革的春风终于席卷了播客！功能实测+开源版本部署看这篇！

发布日期：2024-10-10 06:59:51 浏览次数： 4723

作者：同桌的AI小纸条

微信搜一搜，关注“同桌的AI小纸条”

AI的改革春风吹啊吹，从Kimi、通义等产品代表的对话助手，Midjourney、SD代表的文生图、Suno代表的音乐生成，再吹到Sora、Pika等代表的视频生成，终于，这回彻底席卷到了播客。

AI春风“正着刮”—播客AI搜索+智能提炼总结

为什么说是“席卷”呢?起初在播客领域，AI的风是“正着刮”的，比如从一开始小宇宙上的AI智能搜索，到podwise等产品对AI的智能总结，以及通义千问、豆包等产品对于播客链接内容的文字提取和智能提炼，播客与AI的结合在音频到笔记这条路上一直在策马奔腾，我们来看几个例子：

1.问问小宇宙

官网：https://ask.xiaoyuzhoufm.com/

小宇宙推出的AI智能推荐，在用户提问后，小宇宙会基于平台上的播客内容，对于你的问题进行总结回答，并推荐相应的播客内容，甚至还会基于提问联想，给出播客节目/单集推荐模块。

AI 会返回给用户符合提问的播客内容，并标记好播放时间。点击之后，会自动跳转到该播客介绍该内容的时间点，提升获取信息的效率

2. 秘塔 metaso

官网：https://metaso.cn/

AI 搜索播客的功能，检索内容也均是来自小宇宙平台，相比于「问问小宇宙」，秘塔多了一个提供文稿的功能。

3. 通义听悟-播客平台

官网：https://tingwu.aliyun.com/

不仅有 AI 总结速览，还有可以区分不同的发言人的ASR 音频转文字功能。

4. Podwise

官网：https://podwise.ai/

播客节目《硬地骇客》的创业团队打造的产品。Podwise 收录了许多国外的优质播客，并支持生成播客内容的大纲、脑图、名词、金句等，支持播客内容全文导出，导出到 Notion等笔记软件，不过比起前几款产品它是唯一收费的。

AI春风“反着刮”—文字生成播客对话

但是有的人需要把播客做成笔记，也有的人需要把笔记转成播客。这不，notebooklm这款谷歌的文生播客的大火，作为在播客领域AI改革春风又“反着刮”的代表，再次点燃了大家用AI做播客的热情，也成为了AI彻头彻尾的融汇播客领域的一个重要标志。

https://notebooklm.google/

NotebookLM，一款上线于 2023 年 9 月的 AI 笔记产品，因其最新的的文本生成播客功能而走红。NotebookLM并不是简单的 TTS(文本生成音频)，而是支持各种多模态的内容类型，比如我们可以将公共 YouTube URL 和音频文件以及 PDF、Google 文档、幻灯片、网站等你上传的任何资料，直接添加到笔记本中，或者转换成效果非常逼真的双人对话播客。

Audio Overview功能允许用户上传文档、粘贴文本、链接网页或YouTube视频，然后通过AI主持人进行深入讨论，生成大约10分钟的播客。这个功能背后的技术包括Gemini 1.5 Pro LLM，它能够处理长上下文，并生成非常逼真的音频对话。

除了大火的播客功能，NotebookLM还支持如下的玩法：

总结视频和讲座：比如YouTube视频上传到 NotebookLM来帮我们总结关键概念，并支持对分析结果通过直接链接到视频文字记录的内联引用进行深入探索。这种场景非常适合比较多个来源对特定问题的观点，也支持直接在NotebookLM内播放YouTube视频。

录音分析：通过添加录音并让 NotebookLM 在比如会议记录等转录的对话中搜索并简化冗余无用的信息，查找和保留重要信息，甚至生成简洁的报告和分析

创建学习指南：只需单击一下我们就可将各种资源内容转化为全面的学习指南，也方便管理和访问。

Andrej Karpathy大神对NotebookLM的评价是——这是对 UIUX 的重新构想，它围绕您上传的一系列来源组织 LLM，然后通过查询进行引用，同时查看结果和引文。

谷歌之前还做了一个Illuminate，能用 AI 将学术论文/书籍转换成通俗易懂的播客形式，Illuminate产品最早亮相于今年五月的 Google I/O 大会，现在已支持公开访问，不过生成的功能要提交申请等通过才能玩

https://illuminate.google.com/home?pli=1

开源播客生成工具-open-notebooklm

谷Google NotebookLM背靠的是自家大模信-Gemini 1.5 Pro LLM，而这个开源的open-notebooklm则利用了Meta的Llama 3.1 405B语言模型和MeloTTS语音合成技术，通过Gradio构建的用户友好界面，将PDF文档转换成个性化播客。最重要的是开源的open-notebooklm完全开源且免费，用户可以自由地使用和修改。

github地址：

https://github.com/gabrielchua/open-notebooklm

huggingfase地址：

https://huggingface.co/spaces/gabrielchua/open-notebooklm

克隆仓库到本地：

git clone https://github.com/gabrielchua/open-notebooklm.git

cd open-notebooklm

创建一个虚拟环境并启动：

python -m venv .venv

source .venv/bin/activate

安装项目依赖：

pip install -r requirements.txt

设置API key：

这个项目使用了Fireworks API上托管的LLama 3.1 405B，因为其JSON模式支持传递pydantic对象。因此我们需要将API密钥设置为FIREWORKS_API_key环境变量。

这里要先去Fireworks（https://fireworks.ai/）的官网上注册一个api-key，选免费的套餐就能跑，亲测过

然后去控制台执行：export FIREWORKS_API_KEY=XX

启动项目：

python app.py

我们可以看到app.py内部有mock好的示例内容

这个内容就是我们拉下来的项目中examples中的pdf

所以直接执行python app.py，项目会默认开始解析examples中的文件，并在控制台可以看到两人对话形式的内容在逐条生成啦

最后回到项目中，我们也可以看到基于示例pdf生成的双人对话音频

基于2024年10月9日拉下来的版本哦，同桌这边直接运行python app.py是没看到webui页面的，而且还自动开始分析了示例内容，电脑热的可以烤土豆了...所以，稍微改了一下，如果看这篇文章的你也遇到了和我一样的问题，也可以尝试这样改一下!

再次运行python app.py，就看到了，访问http://localhost:7861/，也看到了gradio搭建的webui。

嫌麻烦的亲直接访问huggingface上的地址也是可以直接基于webui玩起来的

huggingfase地址：

https://huggingface.co/spaces/gabrielchua/open-notebooklm

open-notebooklm不仅保留了NoteBookLM版本的核心功能，还为用户提供了更多的扩展空间。比如开源社区的开发者们可以基于此进行二创，如语音生成模型、翻译工具或数据可视化插件、音频播客自动生成多语言版本、甚至通过语音控制进行互动等等，实现更加丰富的交互体验，大家如果有二创的诉求，基于开源的open-notebooklm实在是方便得很!

除了open-notebooklm，还有一些其他的开源播客方案，大家可以自己尝试一下哦：

https://github.com/knowsuchagency/pdf-to-podcast

https://github.com/lihuithe/podlm-public

https://github.com/lamm-mit/PDF2Audio

好啦，今天带来的主要内容就是这些啦，小小总结和感慨一下：NotebookLM的大火，也标志AI在个性化内容消费的发展上起到的重大推动作用，也实打实的我们看到了AI技术在内容生成和消费领域的新可能性。且不说内容创作与娱乐领域，诺贝尔奖最新获得者对生物蛋白的探索也都是基于人工智能的呢!随着AI技术的日新月异，我们可以期待未来会有更多创新的工具出现，进一步丰富我们生活的方方面面!