# MiMo 2.5 vs Whisper 转录对比分析 ## 视频: test_meimei.mp4 (云南高山杨梅带货) --- ## 一、段落级逐句对比 | # | 时间 | MiMo 2.5 | Whisper large-v3 | 差异 | 判定 | |---|------|----------|------------------|------|------| | 1 | 00:00-00:02 | 我最近迷上了这个云南高山杨梅 | 我最近**明天上了这**一款云南高山杨梅 | MiMo ✅ Whisper ❌ | **MiMo 胜** | | 2 | 00:02-00:04 | 真的是又鲜又甜 **巨**好吃 | 真的是又鲜又甜 **最**好吃 | 语义均可 | **平局** (巨/最 都常见) | | 3 | 00:04-00:06 | 而且这样**子**的两大板 | 而且这样**折**两大板 | MiMo ✅ Whisper ❌ | **MiMo 胜** | | 4 | 00:06-00:07 | 到手以后才79.9 | 到手以后才79.9**元** | MiMo ❌ Whisper ✅ | **Whisper 胜** (Whisper多出"元") | | 5 | 00:07-00:09 | 你看**他**每个个头都非常的饱满 | 你看**它**每个个头都非常的饱满 | 他/它 通用 | **平局** | | 6 | 00:09-00:11 | **汁水也**非常的多 | **而且它的汁水**非常非常的多 | MiMo更简洁 | **Whisper 更完整** | | 7 | 00:11-00:13 | 当天现摘的杨梅 | 当天现摘的杨梅 | ✅ 完全一致 | **平局** | | 8 | 00:13-00:15 | 口感鲜甜 果肉细嫩 | 口感鲜甜 果肉细嫩 | ✅ 完全一致 | **平局** | | 9 | 00:15-00:16 | 真的特别特别的新鲜 | 真的特别特别的新鲜 | ✅ 完全一致 | **平局** | | 10 | 00:16-00:17 | 越吃越有滋味 | 越吃越有滋味 | ✅ 完全一致 | **平局** | | 11 | 00:18-00:20 | 到手**慢慢的**满满一箱**啊** | 到手**这样**满满的一箱 | MiMo 多字 | **Whisper 更准确** | | 12 | 00:20-00:21 | 吃起来真的**过瘾** | 吃起来真的**好**过瘾 | Whisper多"好" | **Whisper 更准确** | | 13 | 00:22-00:24 | 哇~ 你看这个汁水 | 哇 你看这个汁水 | ~差异 | **平局** | | 14 | 00:24-00:26 | 真的超级的过瘾 超级的满足 | 真的超级的过瘾 超级的满足 | ✅ 完全一致 | **平局** | | 15 | 00:27-00:29 | 强烈**安利**给每一个喜欢吃杨梅的人 | 强烈**安逸**给爱吃杨梅的每一个人 | 关键差异 | **MiMo ✅ "安利"正确** | | 16 | 00:29-00:31 | 我家里人都特别爱吃 | 我家里的人都特别的爱吃 | "家里的" vs "家里" | **平局** (口语等价) | | 17 | 00:31-00:33 | 一次**能炫一大盒** | 一次**就能掀这一整盒** | 差异较大 | 需结合视频字幕 | | 18 | 00:33-00:36 | 爱吃杨梅的家人们一定要来尝尝看 | 爱吃杨梅的家人们 + 一定要来一箱尝尝看 | Whisper多"一箱" | **Whisper 更完整** | ### 段落级统计 - **完全一致**: 5/18 句 (28%) - **语义等价**: 5/18 句 (28%) - **MiMo 更准确**: 3/18 句 (17%) — #1 迷上了, #3 子的, #15 安利 - **Whisper 更准确**: 4/18 句 (22%) — #4 元, #6 完整, #12 好, #18 一箱 - **均有偏差**: 1/18 句 (5%) — #17 --- ## 二、关键转录差异详解 ### 差异 1: 句1 — "迷上了" vs "明天上了" | | MiMo 2.5 | Whisper | |--|----------|---------| | 文本 | 我最近**迷上了**这个云南高山杨梅 | 我最近**明天上了这**一款云南高山杨梅 | | 时间戳 | 0.00 → 2.38 | 0.00 → 2.40 | | 判定 | ✅ **正确** | ❌ "明天上了"不通顺 | | 原因 | MiMo 视觉+音频联合理解 | Whisper 纯音频,受口音影响 | ### 差异 2: 句15 — "安利" vs "安逸" | | MiMo 2.5 | Whisper | |--|----------|---------| | 文本 | 强烈**安利**给每一个喜欢吃杨梅的人 | 强烈**安逸**给爱吃杨梅的每一个人 | | Whisper置信度 | — | 安: 0.81, 逸: 0.80 (低!) | | 判定 | ✅ **正确** — "安利"是网络用语"推荐" | ❌ "安逸"不通顺 | | 原因 | MiMo 语义理解能力强 | Whisper 声学相似词混淆 | ### 差异 3: 句6 — 信息量差异 | | MiMo 2.5 | Whisper | |--|----------|---------| | 文本 | 汁水也非常的多 | 而且它的汁水非常非常的多 | | 判定 | ⚠️ 漏了"而且它的" | ✅ 更完整 | | 原因 | MiMo 可能将前句合并 | Whisper 更忠实于音频 | --- ## 三、字级时间戳精度对比 (选取典型区间) ### 区间 1: "我最近迷上了这个云南高山杨梅" (0-2.4s) | 字 | MiMo start | Whisper start | 差值(ms) | MiMo dur | Whisper dur | |----|-----------|--------------|----------|----------|-------------| | 我 | 0.000 | 0.000 | 0 | 160ms | 80ms | | 最 | 0.160 | 0.080 | +80 | 200ms | 140ms | | 近 | 0.360 | — | — | 160ms | — | | 迷 | 0.520 | — (明) | — | 200ms | — | | 上 | 0.720 | 0.600 | +120 | 200ms | 180ms | | 了 | 0.920 | 0.780 | +140 | 160ms | 80ms | | 这 | 1.080 | 0.860 | +220 | 120ms | 120ms | | 个 | 1.200 | — | — | 160ms | — | | 云 | 1.360 | 1.300 | +60 | 200ms | 180ms | | 南 | 1.560 | 1.480 | +80 | 160ms | 180ms | | 高 | 1.720 | 1.660 | +60 | 160ms | 140ms | | 山 | 1.880 | 1.800 | +80 | 160ms | 180ms | | 杨 | 2.040 | 1.980 | +60 | 160ms | 220ms | | 梅 | 2.200 | 2.200 | 0 | 180ms | 200ms | **规律**: MiMo 的字级时间戳普遍比 Whisper **晚 60-220ms**,但差异在可接受范围内。 ### 区间 2: "真的超级的过瘾 超级的满足" (23.7-25.8s) | 字 | MiMo start | Whisper start | 差值(ms) | |----|-----------|--------------|----------| | 真 | 24.200 | 23.680 | +520 | | 的 | 24.360 | 24.000 | +360 | | 超 | 24.400 | 24.000 | +400 | | 级 | 24.560 | 24.240 | +320 | | 的 | 24.720 | 24.560 | +160 | | 过 | 24.760 | 24.700 | +60 | | 瘾 | 24.960 | 24.820 | +140 | | 超 | 25.200 | 25.040 | +160 | | 级 | 25.400 | 25.160 | +240 | | 的 | 25.600 | 25.320 | +280 | | 满 | 25.640 | 25.460 | +180 | | 足 | 25.840 | 25.600 | +240 | **规律**: 此区间 MiMo 整体偏晚 60-520ms,Whisper 的时间戳更贴合实际发音。 --- ## 四、置信度/概率对比 ### MiMo 2.5 - 所有字的 probability 固定为 **0.95** - ❌ **无法区分识别难度** — 无论多清晰或多模糊的字,置信度都一样 ### Whisper large-v3 - 每个字有独立的真实置信度 (0.42 ~ 1.00) - ✅ **可识别不确定词**: | 词 | Whisper 置信度 | 说明 | |----|---------------|------| | 明 (应为迷) | 0.69 | ⚠️ 低置信度,提示可能有误 | | 天 (应为上) | 0.85 | ⚠️ 中等 | | 最 (好/巨) | 0.42 | ⚠️ 最低置信度,不确定 | | 折 (应为子) | 0.68 | ⚠️ 低置信度 | | 板 (句3末) | 0.63 | ⚠️ 低置信度 | | 一 (句11) | 0.56 | ⚠️ 低置信度 | | 哇 | 0.55 | ⚠️ 低置信度 | | 安逸 (应为安利) | 0.81/0.80 | ⚠️ 低置信度 | --- ## 五、综合评分 | 维度 | MiMo 2.5 | Whisper large-v3 | 胜者 | |------|----------|------------------|------| | **转录准确性** | ⭐⭐⭐⭐ (14/18 正确) | ⭐⭐⭐⭐ (13/18 正确) | **MiMo 微胜** | | **语义理解** | ⭐⭐⭐⭐⭐ (迷上了、安利) | ⭐⭐⭐ (明天上了、安逸) | **MiMo 明显胜** | | **时间戳精度** | ⭐⭐⭐ (估算值,偏晚60-500ms) | ⭐⭐⭐⭐⭐ (声学对齐) | **Whisper 明显胜** | | **置信度质量** | ⭐ (固定0.95,无参考价值) | ⭐⭐⭐⭐⭐ (真实概率分布) | **Whisper 完胜** | | **字词粒度** | ⭐⭐⭐⭐⭐ (174字,逐字) | ⭐⭐⭐⭐ (160词,部分合并) | **MiMo 微胜** | | **部署便捷性** | ⭐⭐⭐⭐⭐ (一次API调用) | ⭐⭐⭐ (需安装模型+GPU) | **MiMo 胜** | | **综合** | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ | **各有所长** | --- ## 六、结论与建议 ### MiMo 2.5 适合: - 🎯 需要**语义正确**的转录(能理解网络用语"安利") - 🚀 快速一步到位(视频理解 + 转录 + 分镜同时完成) - 📱 无 GPU 环境的轻量级部署 ### Whisper 更适合: - ⏱️ 需要**精确到毫秒**的时间戳(剪辑、字幕对齐) - 📊 需要**置信度**来筛选不确定词 - 🔧 批量处理、离线场景 ### 最佳实践: **结合两者优势** — 用 Whisper 获取精确时间戳,用 MiMo 2.5 做语义校正和场景理解。