Groqbook：使用 Groq 和 Llama3 在几秒钟内生成整本书

Groqbook 项目概述

今天看到的最有意思的项目就是 Groqbook。

https://github.com/Bklieger/groqbook?utm_source=bensbites&utm_medium=newsletter&utm_campaign=daily-digest-last-call-for-early-bird-pricing

Groqbook 是一款精简版应用程序，可使用 Groq 上的 Llama3 通过单行提示创建书籍。它适用于非小说类书籍，并在几秒钟内生成每一章。该应用程序混合了 Llama3-8b 和 Llama3-70b，利用较大的模型来生成结构，并利用两者中较小的模型来创建内容。目前，该模型仅使用章节标题的上下文来生成章节内容。将来，这将扩展到更完整的书籍上下文，以允许 Groqbook 生成高质量的小说书籍。

视频展示

多亏了 Groq 最新的速度优化升级，Groqbook 的内容生成速度快到让人难以置信。

在上面的演示中，这个基于 Llama3 模型的精简应用程序仅用了不到18秒的时间，就生成了多达23000个 tokens 的内容，真可谓“谈笔风生“。

生成小说的效果

当Groqbook的运行到第12秒时，我简直惊呆了——16000个tokens，约12000个英文单词的小说内容竟在弹指一挥间就已然成型！

这意味着，一部中等长度的小说，或许在 AI 的辅助下真的可以在几分钟之内完成初稿了。

示例主题为：

元素之力的传承：在一个元素魔法的世界里，四大元素（火、水、土、风）之间的平衡被打破，世界陷入了混乱。主角是一名具有特殊天赋的年轻人，他必须找到四大元素的传承者，并联合他们一起恢复世界的平衡。

生成的章节

当我看到 Groqbook 生成的众多英文单词时，不禁有些犯愁。

作为一个非英语母语的读者，要完整地消化这些内容谈何容易。

我请 Gemini 1.5 Pro 总结了下（下图是部分内容）。

Groqbook 允许用户下载包含整本书内容的文本文件。

下载下来的文本文件就像一块潜力无限的“创作石料“，等待着我们这些“写作工匠“去打磨、雕琢。

我们可以在AI生成的基础上进行改写、润色，赋予故事更多个人特色；也可以将其作为灵感的源泉，激发更多原创的想法。

开启AI写作之旅，云端本地两相宜

如果你渴望体验Groqbook的神奇魅力，不妨先“一键启程“——只需访问 groqbook.streamlit.app，就能直接使用托管在云端的版本。

但如果你希望更好地掌控自己的写作旅程，不放心将 Groq API 密钥托付给云端，那么不妨在本地搭建属于自己的 Groqbook。

本地安装和使用步骤

1. 安装 Conda

从 Conda官网下载并安装适用于你操作系统的 Conda 版本。

2. 克隆 Groqbook 代码仓库

打开终端（Mac）或命令提示符/PowerShell（Windows），并执行以下命令：

git clone https://github.com/Bklieger/groqbook.git

3. 进入 Groqbook 代码目录

在终端或命令提示符/PowerShell 中执行以下命令：

cd groqbook

4. 创建并激活虚拟环境

在终端或命令提示符/PowerShell 中执行以下命令：

conda create -n groqbook_env python=3.11
conda activate groqbook_env

5. 安装依赖

在终端或命令提示符/PowerShell 中执行以下命令：

pip install -r requirements.txt

6. 设置 Groq API 密钥

Mac:

export GROQ_API_KEY=gsk_yA...

Windows:

set GROQ_API_KEY=gsk_yA...

或者你可以将密钥直接设置在 Streamlit 应用中。

7. 运行 Streamlit 应用

在终端或命令提示符/PowerShell 中执行以下命令：

streamlit run main.py