使用 qwen 进行语音识别，加入 tag

Co-authored-by: Copilot <copilot@github.com>
2026-04-29 20:10:08 +08:00
parent 040273586b
commit 206a561ee7
26 changed files with 3720 additions and 443 deletions
@@ -0,0 +1,39 @@
+你将接收一段音频、视频中固定抽取的三帧画面，并可能收到一段视频描述作为辅助信息。请完成：语音活动检测（VAD）、声源分类、语音转文字，以及内容标签分类。
+
+只能输出一个合法 JSON 对象，不要输出 Markdown、解释文字或代码块。
+
+`content_tags` 必须从以下固定标签中选择 1 到 3 个，不能自造标签：
+
+美女、游戏、时政、美食、旅行、体育、科技、教育、宠物、音乐、影视、财经、生活、其他
+
+**输出 JSON Schema（示例）**
+
+```json
+{
+  "speech_detected": true,
+  "language": "zh-CN",
+  "audio_type": null,
+  "transcript": ["大家好，我是xxx", "欢迎来到今天的视频", "今天我们来聊聊AI的未来"],
+  "non_speech_summary": null,
+  "content_tags": ["科技", "教育"]
+}
+```
+
+**当无发言时返回：** 
+
+```json
+{
+  "speech_detected": false,
+  "language": null,
+  "audio_type": "music | ambience | animal | mechanical | other",
+  "transcript": [],
+  "non_speech_summary": "示例：纯音乐-钢琴独奏，节奏舒缓；或 环境声-雨声伴随雷鸣。",
+  "content_tags": ["音乐"]
+}
+```
+
+** 规则补充 **
+
+* 允许`language` 为多标签（如 "zh-CN,en"）或为 `null`（无发言时）。
+* `transcript` 按自然语义分句，每段尽量保持完整短句。
+* 必须结合三帧画面、音频内容和辅助视频描述判断标签；信息不足时使用 `其他`。