用户对语音 AI 的容忍极限是 800ms。超过这个数，体验就崩了。

Voice Agent 是让 AI 用语音实时对话的工程体系：从音频采集、语音识别、LLM 推理到语音合成，全链路必须在亚秒内完成。本文拆解 OpenAI Realtime API、LiveKit、Pipecat 三大方案的架构与工程细节。

项目地址：https://github.com/pipecat-ai/pipecat

为什么语音 Agent 这么难

文字聊天，用户等 3 秒不会抱怨。语音对话，超过 1 秒的沉默就让人觉得"它死了"。

人类正常对话的轮转间隔是 200-500ms。你的语音 Agent 如果响应超过 800ms，用户就会开始重复、打断、挂断。

这意味着整条链路的延迟预算极其紧张：

传统级联方案（STT → LLM → TTS）根本做不到亚秒级。 这就是为什么 2025-2026 年出现了一批全新的架构方案。

三大技术路线

路线一：端到端语音模型（OpenAI Realtime API）

OpenAI 在 2024 年底发布的 Realtime API 走了一条激进的路：跳过 STT 和 TTS，模型直接处理音频 Token。

输入是原始音频流，输出也是原始音频流。没有中间的文本转换步骤。

# OpenAI Realtime API 基本用法
import openai
import asyncio

client = openai.AsyncOpenAI()

async def voice_agent():
async with client.beta.realtime.connect(
model="gpt-4o-realtime-preview"
) as rt:
# 配置 Agent 行为
await rt.session.update(
session={
"modalities": ["text", "audio"],
"instructions": "你是一个友好的客服助手，语速适中。",
"voice": "alloy",
"input_audio_transcription": {"model": "whisper-1"},
"turn_detection": {
"type": "server_vad",
"threshold": 0.5,
"silence_duration_ms": 500,
},
}
)

# 流式接收音频响应
async for event in rt:
if event.type == "response.audio.delta":
play_audio(event.delta)# 直接播放

延迟：首字节 < 300ms。 因为省掉了 STT/TTS 两个环节，端到端延迟直接砍半。

代价：模型选择少（目前只有 OpenAI 自家）、成本较高、不能灵活替换 LLM。

路线二：媒体服务器 + 模块化管道（LiveKit）

LiveKit 是 WebRTC 基础设施公司，它的 Agents 框架把语音 Agent 拆成可插拔模块：

• STT 插件：Deepgram、Whisper、Azure Speech
• LLM 插件：OpenAI、Anthropic、本地模型
• TTS 插件：ElevenLabs、Azure、Cartesia

# LiveKit Agents 框架
from livekit.agents import Agent, AgentSession
from livekit.plugins import openai, deepgram, elevenlabs

class MyVoiceAgent(Agent):
def __init__(self):
super().__init__(
stt=deepgram.STT(model="nova-2"),
llm=openai.LLM(model="gpt-4o"),
tts=elevenlabs.TTS(voice="Rachel"),
)

async def on_enter(self, session: AgentSession):
# Agent 接入时的欢迎语
session.say("你好，我是智能客服，有什么可以帮您？")

优势：每个环节可以独立优化和替换。STT 用最快的 Deepgram（流式识别延迟 < 200ms），TTS 用支持流式的 ElevenLabs。

关键优化：流式管道。STT 出第一个词就开始送 LLM，LLM 出第一句话就开始送 TTS。不等全部完成，边生成边播放。

路线三：轻量级 Python 管道（Pipecat）

Pipecat 是 Daily（WebRTC 公司）开源的语音 Agent 框架。设计哲学：一个 Python 文件搞定整个语音管道。

import asyncio
from pipecat.pipeline.pipeline import Pipeline
from pipecat.pipeline.task import PipelineTask
from pipecat.services.openai import OpenAILLMService, OpenAITTSService
from pipecat.services.deepgram import DeepgramSTTService
from pipecat.transports.daily_transport import DailyTransport

async def main():
transport = DailyTransport(
room_url="https://yourapp.daily.co/room",
token="your-token",
bot_name="AI Assistant",
)

stt = DeepgramSTTService(api_key="...", model="nova-2")
llm = OpenAILLMService(api_key="...", model="gpt-4o")
tts = OpenAITTSService(api_key="...", voice="alloy")

# 管道：音频输入 → STT → LLM → TTS → 音频输出
pipeline = Pipeline([
transport.input(),
stt,
llm,
tts,
transport.output(),
])

task = PipelineTask(pipeline)
await asyncio.gather(
transport.run(),
task.run(),
)

asyncio.run(main())

GitHub 7,000+ Stars，核心卖点：

• 管道式架构，每个 Processor 独立
• 原生支持打断检测（用户说话时立即停止 TTS）
• 内置 VAD（Voice Activity Detection）
• 支持电话（Twilio/Sipgate）、WebRTC、WebSocket 多种传输

工程硬核：延迟优化的 6 个关键

流式处理是生命线

绝对不能等一个环节完全结束再开始下一个。

• STT：用流式识别，每 100ms 输出一次中间结果
• LLM：用 Streaming API，Token 级输出
• TTS：用流式合成，第一句话出来就开始播放

三级流式叠加，端到端延迟从 5s 压到 800ms。

VAD 与打断处理

用户说到一半停顿了——是思考还是说完了？

Server-side VAD 通过检测静音时长判断：

• 静音 > 500ms → 用户说完了，开始处理
• 静音 < 500ms → 还在说，继续等
• 用户突然开口 → 立即打断当前 TTS 播放

首字节优化

用户感知的不是"总延迟"，是"它什么时候开始出声"。

技巧：

• LLM 生成第一个完整句子就立即送 TTS（不等全部生成完）
• TTS 合成第一段音频就立即播放（不等全部合成完）
• 预缓冲：Agent 接入时预生成欢迎语，零延迟开口

音频编码选择

实时场景永远选 PCM 或 Opus。 MP3 的编码延迟会吃掉你 100-200ms 预算。

生产环境：不只是延迟

并发与资源

一个语音 Agent 实例 = 一个 WebSocket 连接 + STT 流 + LLM 流 + TTS 流。

100 个并发通话 = 100 个并行管道。LiveKit 用分布式 Worker 解决；Pipecat 用 asyncio 协程 + 多进程。

容错

语音通话不能"重试"——用户等不了。关键策略：

• STT 失败 → 降级到本地 Whisper
• LLM 超时 → 播放"稍等"填充音频
• TTS 异常 → 切换到备用 TTS 服务
• 网络抖动 → Opus FEC（前向纠错）

成本

一个 5 分钟语音通话的成本：

• STT（Deepgram）：$0.02
• LLM（GPT-4o，约 2000 Token）：$0.01
• TTS（ElevenLabs）：$0.03
• 传输（LiveKit Cloud）：$0.01
• 总计：约 $0.07/通话

对比人工客服 $3-5/通话，成本降低 50-70 倍。

选型建议

写在最后

语音 Agent 的难度不在 AI——LLM 已经够聪明了。

难度在工程。 在 800ms 的预算里，把音频采集、语音识别、语言理解、内容生成、语音合成五个环节串成一条流水线，还要处理打断、并发、容错——这是纯粹的系统工程挑战。

2026 年，语音 Agent 正在从"Demo 级"走向"生产级"。OpenAI Realtime API 把门槛降到了最低，LiveKit 和 Pipecat 给了工程师完全的控制权。

下一个被 AI 颠覆的交互界面，不是屏幕——是声音。

你试过用语音 Agent 做客服或助手吗？体验如何？评论区聊聊。