f176e9a402
- MiMo 2.5 分镜分析 (OpenAI格式调用) - Qwen3-ASR-Flash FileTrans 转录+字级时间戳 - 一键 pipeline 脚本 - 杨梅/绿豆视频示例输出 - 完整文档和SOP
160 lines
7.7 KiB
Markdown
160 lines
7.7 KiB
Markdown
# MiMo 2.5 vs Whisper 转录对比分析
|
||
## 视频: test_meimei.mp4 (云南高山杨梅带货)
|
||
|
||
---
|
||
|
||
## 一、段落级逐句对比
|
||
|
||
| # | 时间 | MiMo 2.5 | Whisper large-v3 | 差异 | 判定 |
|
||
|---|------|----------|------------------|------|------|
|
||
| 1 | 00:00-00:02 | 我最近迷上了这个云南高山杨梅 | 我最近**明天上了这**一款云南高山杨梅 | MiMo ✅ Whisper ❌ | **MiMo 胜** |
|
||
| 2 | 00:02-00:04 | 真的是又鲜又甜 **巨**好吃 | 真的是又鲜又甜 **最**好吃 | 语义均可 | **平局** (巨/最 都常见) |
|
||
| 3 | 00:04-00:06 | 而且这样**子**的两大板 | 而且这样**折**两大板 | MiMo ✅ Whisper ❌ | **MiMo 胜** |
|
||
| 4 | 00:06-00:07 | 到手以后才79.9 | 到手以后才79.9**元** | MiMo ❌ Whisper ✅ | **Whisper 胜** (Whisper多出"元") |
|
||
| 5 | 00:07-00:09 | 你看**他**每个个头都非常的饱满 | 你看**它**每个个头都非常的饱满 | 他/它 通用 | **平局** |
|
||
| 6 | 00:09-00:11 | **汁水也**非常的多 | **而且它的汁水**非常非常的多 | MiMo更简洁 | **Whisper 更完整** |
|
||
| 7 | 00:11-00:13 | 当天现摘的杨梅 | 当天现摘的杨梅 | ✅ 完全一致 | **平局** |
|
||
| 8 | 00:13-00:15 | 口感鲜甜 果肉细嫩 | 口感鲜甜 果肉细嫩 | ✅ 完全一致 | **平局** |
|
||
| 9 | 00:15-00:16 | 真的特别特别的新鲜 | 真的特别特别的新鲜 | ✅ 完全一致 | **平局** |
|
||
| 10 | 00:16-00:17 | 越吃越有滋味 | 越吃越有滋味 | ✅ 完全一致 | **平局** |
|
||
| 11 | 00:18-00:20 | 到手**慢慢的**满满一箱**啊** | 到手**这样**满满的一箱 | MiMo 多字 | **Whisper 更准确** |
|
||
| 12 | 00:20-00:21 | 吃起来真的**过瘾** | 吃起来真的**好**过瘾 | Whisper多"好" | **Whisper 更准确** |
|
||
| 13 | 00:22-00:24 | 哇~ 你看这个汁水 | 哇 你看这个汁水 | ~差异 | **平局** |
|
||
| 14 | 00:24-00:26 | 真的超级的过瘾 超级的满足 | 真的超级的过瘾 超级的满足 | ✅ 完全一致 | **平局** |
|
||
| 15 | 00:27-00:29 | 强烈**安利**给每一个喜欢吃杨梅的人 | 强烈**安逸**给爱吃杨梅的每一个人 | 关键差异 | **MiMo ✅ "安利"正确** |
|
||
| 16 | 00:29-00:31 | 我家里人都特别爱吃 | 我家里的人都特别的爱吃 | "家里的" vs "家里" | **平局** (口语等价) |
|
||
| 17 | 00:31-00:33 | 一次**能炫一大盒** | 一次**就能掀这一整盒** | 差异较大 | 需结合视频字幕 |
|
||
| 18 | 00:33-00:36 | 爱吃杨梅的家人们一定要来尝尝看 | 爱吃杨梅的家人们 + 一定要来一箱尝尝看 | Whisper多"一箱" | **Whisper 更完整** |
|
||
|
||
### 段落级统计
|
||
- **完全一致**: 5/18 句 (28%)
|
||
- **语义等价**: 5/18 句 (28%)
|
||
- **MiMo 更准确**: 3/18 句 (17%) — #1 迷上了, #3 子的, #15 安利
|
||
- **Whisper 更准确**: 4/18 句 (22%) — #4 元, #6 完整, #12 好, #18 一箱
|
||
- **均有偏差**: 1/18 句 (5%) — #17
|
||
|
||
---
|
||
|
||
## 二、关键转录差异详解
|
||
|
||
### 差异 1: 句1 — "迷上了" vs "明天上了"
|
||
| | MiMo 2.5 | Whisper |
|
||
|--|----------|---------|
|
||
| 文本 | 我最近**迷上了**这个云南高山杨梅 | 我最近**明天上了这**一款云南高山杨梅 |
|
||
| 时间戳 | 0.00 → 2.38 | 0.00 → 2.40 |
|
||
| 判定 | ✅ **正确** | ❌ "明天上了"不通顺 |
|
||
| 原因 | MiMo 视觉+音频联合理解 | Whisper 纯音频，受口音影响 |
|
||
|
||
### 差异 2: 句15 — "安利" vs "安逸"
|
||
| | MiMo 2.5 | Whisper |
|
||
|--|----------|---------|
|
||
| 文本 | 强烈**安利**给每一个喜欢吃杨梅的人 | 强烈**安逸**给爱吃杨梅的每一个人 |
|
||
| Whisper置信度 | — | 安: 0.81, 逸: 0.80 (低!) |
|
||
| 判定 | ✅ **正确** — "安利"是网络用语"推荐" | ❌ "安逸"不通顺 |
|
||
| 原因 | MiMo 语义理解能力强 | Whisper 声学相似词混淆 |
|
||
|
||
### 差异 3: 句6 — 信息量差异
|
||
| | MiMo 2.5 | Whisper |
|
||
|--|----------|---------|
|
||
| 文本 | 汁水也非常的多 | 而且它的汁水非常非常的多 |
|
||
| 判定 | ⚠️ 漏了"而且它的" | ✅ 更完整 |
|
||
| 原因 | MiMo 可能将前句合并 | Whisper 更忠实于音频 |
|
||
|
||
---
|
||
|
||
## 三、字级时间戳精度对比 (选取典型区间)
|
||
|
||
### 区间 1: "我最近迷上了这个云南高山杨梅" (0-2.4s)
|
||
|
||
| 字 | MiMo start | Whisper start | 差值(ms) | MiMo dur | Whisper dur |
|
||
|----|-----------|--------------|----------|----------|-------------|
|
||
| 我 | 0.000 | 0.000 | 0 | 160ms | 80ms |
|
||
| 最 | 0.160 | 0.080 | +80 | 200ms | 140ms |
|
||
| 近 | 0.360 | — | — | 160ms | — |
|
||
| 迷 | 0.520 | — (明) | — | 200ms | — |
|
||
| 上 | 0.720 | 0.600 | +120 | 200ms | 180ms |
|
||
| 了 | 0.920 | 0.780 | +140 | 160ms | 80ms |
|
||
| 这 | 1.080 | 0.860 | +220 | 120ms | 120ms |
|
||
| 个 | 1.200 | — | — | 160ms | — |
|
||
| 云 | 1.360 | 1.300 | +60 | 200ms | 180ms |
|
||
| 南 | 1.560 | 1.480 | +80 | 160ms | 180ms |
|
||
| 高 | 1.720 | 1.660 | +60 | 160ms | 140ms |
|
||
| 山 | 1.880 | 1.800 | +80 | 160ms | 180ms |
|
||
| 杨 | 2.040 | 1.980 | +60 | 160ms | 220ms |
|
||
| 梅 | 2.200 | 2.200 | 0 | 180ms | 200ms |
|
||
|
||
**规律**: MiMo 的字级时间戳普遍比 Whisper **晚 60-220ms**，但差异在可接受范围内。
|
||
|
||
### 区间 2: "真的超级的过瘾 超级的满足" (23.7-25.8s)
|
||
|
||
| 字 | MiMo start | Whisper start | 差值(ms) |
|
||
|----|-----------|--------------|----------|
|
||
| 真 | 24.200 | 23.680 | +520 |
|
||
| 的 | 24.360 | 24.000 | +360 |
|
||
| 超 | 24.400 | 24.000 | +400 |
|
||
| 级 | 24.560 | 24.240 | +320 |
|
||
| 的 | 24.720 | 24.560 | +160 |
|
||
| 过 | 24.760 | 24.700 | +60 |
|
||
| 瘾 | 24.960 | 24.820 | +140 |
|
||
| 超 | 25.200 | 25.040 | +160 |
|
||
| 级 | 25.400 | 25.160 | +240 |
|
||
| 的 | 25.600 | 25.320 | +280 |
|
||
| 满 | 25.640 | 25.460 | +180 |
|
||
| 足 | 25.840 | 25.600 | +240 |
|
||
|
||
**规律**: 此区间 MiMo 整体偏晚 60-520ms，Whisper 的时间戳更贴合实际发音。
|
||
|
||
---
|
||
|
||
## 四、置信度/概率对比
|
||
|
||
### MiMo 2.5
|
||
- 所有字的 probability 固定为 **0.95**
|
||
- ❌ **无法区分识别难度** — 无论多清晰或多模糊的字，置信度都一样
|
||
|
||
### Whisper large-v3
|
||
- 每个字有独立的真实置信度 (0.42 ~ 1.00)
|
||
- ✅ **可识别不确定词**:
|
||
|
||
| 词 | Whisper 置信度 | 说明 |
|
||
|----|---------------|------|
|
||
| 明 (应为迷) | 0.69 | ⚠️ 低置信度，提示可能有误 |
|
||
| 天 (应为上) | 0.85 | ⚠️ 中等 |
|
||
| 最 (好/巨) | 0.42 | ⚠️ 最低置信度，不确定 |
|
||
| 折 (应为子) | 0.68 | ⚠️ 低置信度 |
|
||
| 板 (句3末) | 0.63 | ⚠️ 低置信度 |
|
||
| 一 (句11) | 0.56 | ⚠️ 低置信度 |
|
||
| 哇 | 0.55 | ⚠️ 低置信度 |
|
||
| 安逸 (应为安利) | 0.81/0.80 | ⚠️ 低置信度 |
|
||
|
||
---
|
||
|
||
## 五、综合评分
|
||
|
||
| 维度 | MiMo 2.5 | Whisper large-v3 | 胜者 |
|
||
|------|----------|------------------|------|
|
||
| **转录准确性** | ⭐⭐⭐⭐ (14/18 正确) | ⭐⭐⭐⭐ (13/18 正确) | **MiMo 微胜** |
|
||
| **语义理解** | ⭐⭐⭐⭐⭐ (迷上了、安利) | ⭐⭐⭐ (明天上了、安逸) | **MiMo 明显胜** |
|
||
| **时间戳精度** | ⭐⭐⭐ (估算值，偏晚60-500ms) | ⭐⭐⭐⭐⭐ (声学对齐) | **Whisper 明显胜** |
|
||
| **置信度质量** | ⭐ (固定0.95，无参考价值) | ⭐⭐⭐⭐⭐ (真实概率分布) | **Whisper 完胜** |
|
||
| **字词粒度** | ⭐⭐⭐⭐⭐ (174字，逐字) | ⭐⭐⭐⭐ (160词，部分合并) | **MiMo 微胜** |
|
||
| **部署便捷性** | ⭐⭐⭐⭐⭐ (一次API调用) | ⭐⭐⭐ (需安装模型+GPU) | **MiMo 胜** |
|
||
| **综合** | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ | **各有所长** |
|
||
|
||
---
|
||
|
||
## 六、结论与建议
|
||
|
||
### MiMo 2.5 适合:
|
||
- 🎯 需要**语义正确**的转录（能理解网络用语"安利"）
|
||
- 🚀 快速一步到位（视频理解 + 转录 + 分镜同时完成）
|
||
- 📱 无 GPU 环境的轻量级部署
|
||
|
||
### Whisper 更适合:
|
||
- ⏱️ 需要**精确到毫秒**的时间戳（剪辑、字幕对齐）
|
||
- 📊 需要**置信度**来筛选不确定词
|
||
- 🔧 批量处理、离线场景
|
||
|
||
### 最佳实践:
|
||
**结合两者优势** — 用 Whisper 获取精确时间戳，用 MiMo 2.5 做语义校正和场景理解。
|