克隆你的声音,用 100 行 Python 做语音智能体

Tim 在 AssemblyAI 克隆了自己的声音,再用不到 100 行 Python 做出能听、能用 LLM 思考、并用他克隆声音回答的智能体。

Tech With Tim · YouTube · 发布于 2026年11月13日 · Automation & Agents

克隆你的声音,用 100 行 Python 做语音智能体,Tech With Tim 的视频▶ 在 YouTube 观看
提示词
用 AssemblyAI 写一个不到 100 行的 Python 语音智能体:录音直到我按回车,转成文字,连同对话历史发给 LLM(系统提示词要求回复 1-3 句适合朗读的短句),再用我克隆声音的 voice ID 朗读回复,循环直到我说 goodbye。

图解

Tim 先在 AssemblyAI 控制台克隆自己的声音,然后用不到 100 行 Python 搭出语音智能体:录下麦克风、转成文字、交给 LLM,再用克隆的声音把回复流式播放出来。

要解决的问题: 语音智能体需要语音转文字、LLM 和文字转语音三者配合,而且你希望 AI 听起来像你自己,而不是一个通用音色。

语音智能体如何工作

  1. 麦克风从电脑默认输入设备录音,按回车停止
  2. 保存为 WAVAssembly AI 的转写接口需要 WAV 文件
  3. 语音转文字Assembly AI 在云端转写录音
  4. LLM通过 Assembly AI 的 LLM gateway 调用,带系统提示词和完整对话历史
  5. 文字转语音用克隆声音的 ID 朗读回复,分块流式输出
  6. 扬声器音频通过声音设备播放出来
输入普通代码AI 服务结果

任何语音智能体的五个步骤

  1. 从麦克风获取输入
  2. 语音转文字
  3. LLM 生成回答
  4. 文字转语音
  5. 通过扬声器播放

关键数字

<100行代码
$50赞助链接的免费额度
$0.04他全部测试的花费
10-20 秒克隆声音所需样本

自己搭一个

注册免费的 Assembly AI 账号,克隆一个声音,然后在任意编辑器里写代码(他用的是 Cursor)。

  1. 在控制台依次进入 Text to Speech、Voices、Create voice clone,录一段 10 到 20 秒的样本
  2. 把新的 voice ID 和 API key 填进 .env 文件
  3. 运行 uv init,再 uv add assemblyai、httpx、python-dotenv 和 sounddevice
  4. 写 listen():录音直到按回车,保存为 WAV 并转写
  5. 写 think():把文字连同系统提示词发给 LLM gateway,并保留对话历史(最多 200 token,30 秒超时)
  6. 写 speak():用你的 voice ID 打开文字转语音会话,把音频流式送到扬声器
  7. 循环 listen、think、speak,说“goodbye”时退出

免费计划只开放一个模型(视频里是 Qwen 3.5);付费账号可以用 gateway 里的任意 LLM。

视频里的提示

  • 系统提示词要为“朗读”而写:1 到 3 句短话,不要 Markdown 列表和表情符号。
  • 先单独测试每一步(先 print listen,再 think,再 speak),再把它们串起来。
  • 语音流式输出比非流式的录音转写步骤快得多,回复开始得更早。
  • 只克隆你有权克隆的声音。
  • 想要更低延迟,或做真正的前台接待、电话外呼智能体,他推荐更高级的 LiveKit。

根据视频字幕提炼

怎么上手

  1. 打开 AssemblyAI。
  2. 复制提示词,把 [方括号] 里的内容换成你自己的。
  3. 观看 Tech With Tim 的视频,了解完整流程和配置方法。

相关用例

分享

微博XTelegram