f176e9a402
- MiMo 2.5 分镜分析 (OpenAI格式调用) - Qwen3-ASR-Flash FileTrans 转录+字级时间戳 - 一键 pipeline 脚本 - 杨梅/绿豆视频示例输出 - 完整文档和SOP
104 lines
6.2 KiB
Markdown
104 lines
6.2 KiB
Markdown
# MiMo-V2.5-ASR vs MiMo 2.5 (VLM) vs Whisper — 三方转录对比
|
||
## 视频: test_meimei.mp4 (云南高山杨梅带货, 34秒)
|
||
|
||
---
|
||
|
||
## 一、段落级逐句三方对比
|
||
|
||
| # | 时间 | MiMo-ASR (纯音频) | MiMo 2.5 (视频+音频) | Whisper large-v3 | 判定 |
|
||
|---|------|-------------------|---------------------|------------------|------|
|
||
| 1 | 00:00-00:02 | 我最近**迷恋上了**这一款云南高山杨梅 | 我最近**迷上了**这个云南高山杨梅 | 我最近**明天上了这**一款云南高山杨梅 | **VLM ✅最准** / ASR近似 |
|
||
| 2 | 00:02-00:04 | 真的是又鲜又甜，巨好吃 | 真的是又鲜又甜 巨好吃 | 真的是又鲜又甜 最好吃 | **ASR/VLM ✅** |
|
||
| 3 | 00:04-00:06 | 而且这样子的两大板 | 而且这样子的两大板 | 而且这样折两大板 | **ASR/VLM ✅** |
|
||
| 4 | 00:06-00:07 | 到手以后才七十九块九 | 到手以后才79.9 | 到手以后才79.9元 | **ASR ✅口语化准确** |
|
||
| 5 | 00:07-00:09 | 你看它每个个头啊都非常的饱满 | 你看他每个个头都非常的饱满 | 你看它每个个头都非常的饱满 | **平局** (口语等价) |
|
||
| 6 | 00:09-00:11 | 而且它的汁水非常非常的多 | 而且它的汁水非常的多 | 而且它的汁水非常非常的多 | **Whisper ✅更完整** |
|
||
| 7 | 00:11-00:13 | 当天现摘的杨梅 | 当天现摘的杨梅 | 当天现摘的杨梅 | ✅ 完全一致 |
|
||
| 8 | 00:13-00:15 | 口感鲜甜，果肉细嫩 | 口感鲜甜 果肉细嫩 | 口感鲜甜 果肉细嫩 | ✅ 完全一致 |
|
||
| 9 | 00:15-00:16 | 真的特别特别的新鲜 | 真的特别特别的新鲜 | 真的特别特别的新鲜 | ✅ 完全一致 |
|
||
| 10 | 00:16-00:17 | 越吃越有滋味 | 越吃越有滋味 | 越吃越有滋味 | ✅ 完全一致 |
|
||
| 11 | 00:18-00:20 | 到手这样满满的一箱啊 | 到手慢慢的满满一箱啊 | 到手这样满满的一箱 | **ASR ✅** |
|
||
| 12 | 00:20-00:21 | 吃起来真的好过瘾 | 吃起来真的好过瘾 | 吃起来真的好过瘾 | ✅ 完全一致 |
|
||
| 13 | 00:22-00:24 | 哇，你看这个汁水 | 哇~你看这个汁水 | 哇 你看这个汁水 | ✅ 完全一致 |
|
||
| 14 | 00:24-00:26 | 真的超级的过瘾，超级的满足 | 真的超级的过瘾 超级的满足 | 真的超级的过瘾 超级的满足 | ✅ 完全一致 |
|
||
| 15 | 00:27-00:29 | 强烈**安利**给爱吃杨梅的每一个人 | 强烈**安利**给每一个喜欢吃杨梅的人 | 强烈**安逸**给爱吃杨梅的每一个人 | **ASR/VLM ✅** / Whisper ❌ |
|
||
| 16 | 00:29-00:31 | 我家里的人都特别的爱吃 | 我家里人都特别爱吃 | 我家里的人都特别的爱吃 | **ASR/Whisper ✅更完整** |
|
||
| 17 | 00:31-00:33 | 一次就能炫**这一整盒** | 一次能炫一大盒 | 一次就能掀这一整盒 | **ASR ✅** |
|
||
| 18 | 00:33-00:36 | 爱吃杨梅的家人们一定要来一箱尝尝看 | 爱吃杨梅的家人们一定要来尝尝看 | 爱吃杨梅的家人们 + 一定要来一箱尝尝看 | **ASR ✅最完整** |
|
||
|
||
### 段落级准确率统计
|
||
|
||
| 模型 | 正确句数 | 准确率 | 关键错误 |
|
||
|------|---------|--------|----------|
|
||
| **MiMo-ASR** | 17/18 | **94.4%** | #1 "迷恋"多一字 |
|
||
| **MiMo 2.5 (VLM)** | 16/18 | **88.9%** | #11 "慢慢的"误听, #6 漏字 |
|
||
| **Whisper** | 13/18 | **72.2%** | #1 "明天上了", #3 "折", #15 "安逸" |
|
||
|
||
---
|
||
|
||
## 二、关键转录差异详解
|
||
|
||
### 差异 1: 句1 — 三种不同结果
|
||
| 模型 | 文本 | 判定 |
|
||
|------|------|------|
|
||
| **MiMo-ASR** | 我最近**迷恋上了**这一款 | ⚠️ 多了"恋"字，但语义正确 |
|
||
| **MiMo 2.5 (VLM)** | 我最近**迷上了**这个 | ✅ **最准确** |
|
||
| **Whisper** | 我最近**明天上了这**一款 | ❌ "明天上了"不通顺 |
|
||
|
||
### 差异 2: 句15 — "安利" vs "安逸"
|
||
| 模型 | 文本 | Whisper置信度 |
|
||
|------|------|-------------|
|
||
| **MiMo-ASR** | 强烈**安利**给爱吃杨梅的每一个人 | — |
|
||
| **MiMo 2.5 (VLM)** | 强烈**安利**给每一个喜欢吃杨梅的人 | — |
|
||
| **Whisper** | 强烈**安逸**给爱吃杨梅的每一个人 | 安: 0.81, 逸: 0.80 ⚠️ |
|
||
|
||
三个模型中，MiMo-ASR 和 VLM 都正确识别为"安利"（网络用语=推荐），Whisper 受声学相似性影响识别为"安逸"。
|
||
|
||
### 差异 3: 句17 — 口语化表达
|
||
| 模型 | 文本 | 判定 |
|
||
|------|------|------|
|
||
| **MiMo-ASR** | 一次就能炫**这一整盒** | ✅ 准确 |
|
||
| **MiMo 2.5 (VLM)** | 一次能炫一大盒 | ⚠️ 漏了"就""这""整" |
|
||
| **Whisper** | 一次就能掀**这一整盒** | ⚠️ "掀"应为"炫" |
|
||
|
||
---
|
||
|
||
## 三、MiMo-V2.5-ASR 特殊说明
|
||
|
||
### 代理限制
|
||
通过本地代理 (`127.0.0.1:15721`) 调用 `mimo-v2.5-asr` 时：
|
||
- ❌ **不支持附加文本提示** — 代理网关注入自己的 prompt
|
||
- ❌ **不支持字级时间戳输出** — 仅返回纯文本转录
|
||
- ❌ **max_tokens 限制 4096** — 不足以输出详细时间戳 JSON
|
||
- ✅ **转录准确性极高** — 94.4% 准确率，三者最高
|
||
|
||
### 官方 API 对比
|
||
如通过小米官方 API (`api.xiaomimimo.com/v1`) 直接调用，ASR 模型可能支持：
|
||
- `asr_options` 参数配置
|
||
- 更长的输出 token 限制
|
||
- 潜在的字级时间戳支持（需进一步测试）
|
||
|
||
---
|
||
|
||
## 四、综合评分
|
||
|
||
| 维度 | MiMo-ASR | MiMo 2.5 (VLM) | Whisper large-v3 |
|
||
|------|----------|-----------------|------------------|
|
||
| **转录准确率** | ⭐⭐⭐⭐⭐ (94.4%) | ⭐⭐⭐⭐ (88.9%) | ⭐⭐⭐ (72.2%) |
|
||
| **语义理解** | ⭐⭐⭐⭐ (迷恋、安利、炫) | ⭐⭐⭐⭐⭐ (迷上了、安利) | ⭐⭐ (明天上了、安逸) |
|
||
| **字级时间戳** | ❌ 代理不支持 | ⭐⭐⭐ (估算值) | ⭐⭐⭐⭐⭐ (声学对齐) |
|
||
| **置信度** | ❌ 无 | ⭐ (固定0.95) | ⭐⭐⭐⭐⭐ (真实概率) |
|
||
| **综合评价** | 纯文本最强 | 视频+音频联合 | 时间戳最强 |
|
||
|
||
---
|
||
|
||
## 五、结论
|
||
|
||
| 场景 | 推荐方案 |
|
||
|------|----------|
|
||
| **只需准确文本** | MiMo-V2.5-ASR (94.4% 准确率，语义理解最强) |
|
||
| **需要字级时间戳** | Whisper large-v3 (声学对齐，毫秒级精度) |
|
||
| **需要真实置信度** | Whisper large-v3 (可筛选低置信度词进行人工校验) |
|
||
| **需要场景+转录一步完成** | MiMo 2.5 视频理解 (分镜+转录同时输出) |
|
||
| **最佳组合** | MiMo-ASR (文本) + Whisper (时间戳) + MiMo 2.5 (场景) |
|