语音消息处理是微信机器人的进阶能力。用户发语音机器人要能听懂语音转文字理解AI处理回复文字或语音。全链路是语音接收、语音识别、AI处理、回复发送四个环节。每个环节都有工程要点——接收要格式兼容识别要准确率处理要上下文回复要自然。一、语音接收与格式转换——拿到可识别的音频微信语音是silk或amr格式ASR服务可能不支持要先转换。接收的工程要点是格式识别和下载。格式识别——按消息类型判断是语音提取语音URL。下载——异步下载语音文件不阻塞消息接收。转换的工程要点是格式兼容和音质保持。格式兼容——silk转wavamr转mp3转成ASR支持的格式。音质保持——转换不能损失太多音质否则识别准确率下降。接收和转换的工程实现是下载器格式转换器。下载器——异步下载语音文件。格式转换器——ffmpeg或pydub转换格式。转换的价值是兼容性——不管什么格式转成ASR能识别的。二、语音识别——语音变文字格式转换后的音频送ASR服务识别。识别的工程要点是服务选择和置信度判断。服务选择——阿里云、腾讯云、讯飞各有优势。置信度判断——识别结果带置信度低于阈值要处理。识别失败或置信度低不能硬用错误结果要回复听不清请重说或转文字输入。识别的工程实现是ASR客户端结果校验。ASR客户端——封装识别服务调用。结果校验——置信度低于阈值标记后续处理考虑识别可能不准。识别的价值是自动化——语音不用人工听机器自动转文字。三、AI处理与回复发送——文字变智能回复识别出的文字送AI处理AI回复文字。回复可以直接发文字也可以转语音发语音。回复的工程要点是上下文管理和回复方式选择。上下文管理——语音对话也要连贯历史对话要保留。回复方式选择——简单回复发文字复杂或情感化回复发语音。AI处理和回复的工程实现是上下文缓存回复合成。上下文缓存——用户历史对话缓存AI处理时带入。回复合成——文字回复直接发语音回复TTS合成后发。回复的价值是自然——语音对话像人和人对话不是机器机械回复。语音消息处理流程对照环节核心动作工程要点价值语音接收下载格式转换异步兼容可识别语音识别ASR转文字置信度判断自动化AI处理上下文智能回复连贯性智能回复发送文字/语音选择自然度体验好语音消息转文字与回复实现class VoiceMessageProcessor: def __init__(self): self.asr ASRClient() # 语音识别 self.tts TTSClient() # 语音合成 self.contexts {} # 上下文缓存 def on_voice(self, raw): # 接收下载语音 audio self.download(raw.voice_url) # 转换silk→wav audio self.convert_format(audio) # 识别语音转文字 text self.asr.transcribe(audio) if text.confidence 0.7: return self.reply_text(raw, 没听清请发文字) # AI处理带上下文 history self.contexts.get(raw.wxid, []) reply self.ai.process(text.content, history) # 更新上下文 history.append((text.content, reply)) self.contexts[raw.wxid] history[-10:] # 保留最近10轮 # 回复简单发文字复杂发语音 if len(reply) 50: return self.reply_text(raw, reply) voice self.tts.synthesize(reply) return self.reply_voice(raw, voice) def convert_format(self, audio): # 格式转换silk→wav return self.converter.silk_to_wav(audio)落地建议语音处理从文字回复做起——先把语音转文字跑通回复用文字跑通了再加语音回复。格式转换不能省——silk格式ASR可能不支持必须转wav或mp3。置信度判断必须有——识别不准时回复听不清别硬用错误结果。上下文管理要做——语音对话也要连贯用户不用重复说。微信侧的语音接收、格式转换和回复发送由Eyun这类个人微信API平台 提供ASR/TTS和AI处理在自建服务实现接口字段以平台开发文档为准。