返回博客
研究 / 口译 约 12 分钟

同传箱里的实时字幕：已有研究发现了什么，我们怎么改的

梳理近年关于语音识别（ASR）辅助同传的实证研究——从数字与术语提示、延迟上限、原文与机翻之争，到过度依赖风险与耳口时差（EVS）测量，并聊聊 Echoo 据此所做的具体取舍。

平时看外语视频开字幕，观众遇到没看清的词可以随时按暂停；但坐在同传箱里的口译员完全是另一回事。译员一边听源语、一边在脑中重组句子、一边开口输出译语，听觉和工作记忆本来就处于高负荷状态。这时候屏幕上多冒出一行字、或者多闪一次动画，都是在争夺本来就很吃紧的视觉注意力。

因为 Echoo 的很大一部分用户是口译员，以及从事口译与翻译过程研究的学者，我们在重做悬浮字幕和视频字幕的“口译辅助”视图前，把近几年关于计算机辅助口译（CAI）与实时语音识别（ASR）的实证研究集中梳理了一遍。我们最关心三个实际问题：

  • 数字、专业术语和专有名词这些传统上的“同传痛点”，在屏幕上怎么摆才真正帮得上忙，而不是添乱？
  • 字幕本身应该显示几行、延迟压到多少秒以内才算可用、该给译员看源语原文还是机器译文？
  • 如果研究者想用这套工具测耳口时差（EVS），我们需要提供什么样的录音对齐和导出格式？

说明：下文讨论的实证结论均基于我们读到全文的论文；少量只读到摘要的文献已在正文中明确标出“仅摘要”，引号内的英文均保留论文原话。

数字、术语与专名：哪些提示真的有用

在整个计算机辅助口译的文献里，数字提示是正面证据最扎实的一项。

最早做理想上限测试的是 Desmet、Vandierendonck 和 Defrancq（2018）。他们没有用真正的语音识别，而是让助手在讲者念出数字的瞬间手动翻动幻灯片——相当于一套零延迟、零识别错误的完美系统。在这个被作者称为“ceiling”的理想条件下，10 名口译学生的数字准确率从 56.5% 跃升到 86.5%，400 个数字里的错误数直接从 174 个降到了 54 个。

换成存在延迟和识别错误的真实 ASR 之后，效果依然明显。Defrancq 和 Fantinuoli（2021）在实验中接入了 InterpretBank，在实时转写文稿里把数字用大号红字标出，结果有 ASR 辅助时数字完整译出率从 67.7% 升至 90.2%，漏译率从 15.8% 降到 3.5%。Pisani 和 Fantinuoli（2021）走了另一条路：干脆去掉完整的转写文稿，只把抽出来的数字和单位排成一列、最新一项置顶，实验组的数字错误率为 14.8%，而没有辅助的对照组高达 39.8%。

不过，把数字放到屏幕上不等于万事大吉。有两个细节直接决定了数字提示好不好用：

第一，孤零零的数字很难用上。在 Frittella（2023）针对 SmarTerp 开展的可用性研究里（受试者为 10 名从业十年以上的职业口译员），如果屏幕上只跳出一个孤立的数字，译员成功用上的比例只有 40%；只有当数字连同它所修饰的复杂指代对象一起显示时，成功率才能达到 90%。原因很简单：译员往往正是因为前文信息密集才漏听了数字，等回头看屏幕时，光看到一个“45”已经想不起它指的是哪个指标了。

第二，跳动改写的中间态数字会让人彻底乱掉。流式 ASR 在听完整个数词之前会不断修正输出，比如 InterpretBank 在识别过程中会让屏幕上的字依次变成 three > 3 > 300 > 300000 > 300,000；Pisani 和 Fantinuoli 的实验里，也有受试者因为屏幕上的年份从 2021 实时跳改成 2027 而当场卡壳。

相比于数字，专业术语的实验样本偏小，但结论同样积极。Prandi（2023）找了 9 名学生对比三种查词方式：传统 PDF 词表（准确率 78.00%）、手动检索工具（86.26%）以及模拟 ASR 自动弹出术语与译名（96.3%），自动弹出条件下的耳口时差（EVS）也是最短的。但受试者反馈最多的一个槽点是：一旦习惯了等待屏幕弹出术语，遇到某个预期该出现却没弹出来的词时，反而比没有工具更分心。

至于人名和地名等专有名词，目前的证据最弱，也是语音识别本身最不擅长的领域。Gaido 等（2021）测过语音翻译系统对人名的处理，正确率只有 37% 到 40%。在 SmarTerp 的实验里，职业译员读错专名的比例高达 43%，遇到罕见专名时读错率更是到了 70% 至 90%。专名到底该怎么提示，目前学界还没有专门的对照实验。

延迟的容忍边界：两秒刚够，三秒见顶

语音识别和提取总有延迟。对同传译员来说，屏幕上的提示晚到几秒就会失去意义？

Fantinuoli 和 Montecchio（2022）做过一个很巧妙的实验：他们把演讲录音里的所有数字都替换成“哔”声，迫使 8 名口译学生完全依赖屏幕上的数字提示，然后按段落把屏幕显示延迟从 1 秒逐步加到 5 秒：

显示延迟数字准确率指代对象准确率数字附近的不流利比例
1 秒97.14%—2.85%
2 秒97.14%—5.71%
3 秒98.85%100%5.71%
4 秒93.14%94.28%25.71%
5 秒94.86%85.71%—

可以看到，一旦延迟跨过 3 秒来到 4 秒，译员在数字附近的不流利现象（停顿、重复、改口）就从 5.71% 暴增到了 25.71%，指代对象的准确率也开始下滑。作者由此得出结论：口译员“can cope with a system latency of 3 seconds”。需要注意的一点是，这项实验的延迟是按段落顺序递增的，因此延迟效应和受试者的练习效应混在了一起。

到了真正的职业同传场景里，译员对延迟的要求还要苛刻得多。SmarTerp 系统采用了 2 秒的固定延迟，但在 Frittella（2023）的测试中，10 名资深译员里依然有 8 人觉得提示出得太慢，“及时性”成了整套系统满意度最低的一项。而在 Russello 和 Carbutto（2023）的测试中，当系统平均延迟拉长到 4.2 秒时，辅助作用已经微乎其微。

看原文还是看机翻，看整段文稿还是只看提要

把实时字幕放进同传箱时，紧接着会遇到两个界面设计上的分岔路口。

第一个问题是：该给译员看源语识别出的原文，还是直接看机器翻译好的译文？

直接把这两种模式拿来做对照的实验很少。Zhang 和 Xie（2025，仅摘要）让 20 名研究生做英译中同传，发现只看源语原文字幕的一组，在准确性、流利度和译语质量三项指标上都好于同时看双语机翻的一组。

Su 和 Li（2025）则用眼动仪记录了 14 名中文母语职业译员在“原文 + 机翻”同屏时的视线分布：译员 38.52% 的注视时间停留在源语原文上，分给机器译文的只有 15.51%。有意思的是口译方向带来的差异——在做汉译英（译入外语）时，译员几乎不看机翻；但在做英译汉（译入母语）时，看机翻越多的译员，最终准确率反而越高。这两项研究表面上的分歧，很可能就来自受试者经验与译入方向的差异。

第二个问题是：屏幕上应该放滚动的完整文稿，还是只列抽出来的数字和术语要点？

在这个问题上，现有研究给出了截然相反的反馈。完整转写文稿固然能减少漏译，但很容易把译员的句法结构带偏，增加风格错误：Defrancq 和 Fantinuoli（2021）的 6 名受试者里，有 4 人表示有时或经常被滚动的转写文字干扰，一半人明确表示更想只看数字。但 Tan 等（2025）在远程医疗口译中做的 4 人试点却得出了相反的结果：看完整转写的表现好于只看术语和数字，而且 4 名译员一致更偏爱完整转写。

如果显示滚动文稿，放几行最合适？口译实验大多习惯放 2 行（Su 和 Li 2025），但缺少直接的行数对照实验。在非口译的实时字幕阅读测试里，Macháček 和 Bojar（2020）发现单行窗口有 35.27% 的时间被受试者评为“不可用”，改成 2 行后立刻降到 11.08%；Javorský 等（2022）在 32 人实验中对比了 2 行和 5 行，5 行仅略好一点点，差异并不显著。

而如果要做单独的“要点栏”，Frittella（2023）对 SmarTerp 的几轮迭代踩过不少坑，总结出了几条非常具体的交互经验：最初版本在列表满了之后，直接用新词条覆盖掉最旧的那一条，结果 5 名试点译员里有 4 人看晕了；后来改成最新出现的词条永远插在最顶部，立刻被受试者评价为“ideal”。此外，有 6 名译员希望当某个数字或术语在后文再次被提到时，能重新跳回列表顶部——因为一旦听到难点，眼睛的第一反应永远是往列表最上面瞄。至于已经过去很久的旧词条，最好能在 30 秒、1 分钟或 2 分钟后自动变淡。

当屏幕出错时：过度依赖的风险

几乎所有实证研究都在警告同一个副作用：一旦口译员开始依赖屏幕，当系统断流、漏提或者识别出错时，表现往往比完全不用工具还要糟。

在 Defrancq 和 Fantinuoli 的实验里，当 ASR 中途断流时，译员的完整译出率直接跌到了 50%，甚至低于没有任何辅助时的基线水平；同一场实验里，ASR 把 106 000 误识别成了 1 and 160 000，两名盯了屏幕的受试者毫无防备地照着错字翻了出去。SmarTerp 的数据也印证了这一点：只要工具漏抓了某个目标词，译员跟着漏译的比例在试点中高达 93%，正式实验里也有 60%。

眼动数据揭示了背后的注意机制。Yuan 和 Wang（2023）发现，在包含数字或专有名词的片段里，译员高達 76% 的注视时间都粘在字幕上，留给讲者面部表情和口型的只有 21%。Guo 等（2025）在使用整页滚动字幕时，甚至观察到译员的耳口时差（EVS）随着句子推进一路被拉长到 12 秒左右（不过该研究未设无字幕对照组）。

SmarTerp 的可用性观察发现，表现最好的往往是那些始终跟着讲者节奏走、把屏幕当成余光备查而不是停下来等字幕的译员。也正因为译员在高压下很难分神去甄别屏幕上的错字，Fantinuoli（2017）和 Frittella（2023）都强调了一个原则：对口译辅助系统而言，精确率（Precision）远比召回率（Recall）重要——宁可少提示一个词，也千万不要把没把握的错词推上屏幕。

落到 Echoo 里的具体改动

读完这些文献后，我们没有去堆砌花哨的 AI 面板，而是克制地调整了 Echoo 的字幕与悬浮窗行为：

  • 默认只显示源语原文（基于 Zhang 和 Xie 2025；Su 和 Li 2025），避免机器译文的句序干扰同传顺句驱动；需要看双语或单看译文时仍可随时切换。
  • 文内标记保持安静：正文里的数字、专名和命中术语表的词，只用颜色变化或细下划线做区分，绝不加闪烁或弹跳动画（参考 Defrancq 和 Fantinuoli 2021 及眼动注意研究）。
  • 悬浮窗增加紧凑的“文稿”模式：默认保留最近 3 行滚动原文（可在 2 至 6 行之间调，参考 Macháček 和 Bojar 2020；Javorský 等 2022）。
  • 右侧独立“要点栏”：严格遵循 Frittella（2023）验证过的排序逻辑——新抽出的数字和术语插在最顶部，后文再次出现时跳回顶部，超过一分钟未再提及的项自动变淡。
  • 压住未定稿的数字，并带上后文语境：为了避免 3 > 300 > 300,000 这种跳变干扰视线（Defrancq 和 Fantinuoli 2021；Pisani 和 Fantinuoli 2021），还在流式改写中的数字暂不进要点栏；同时，每个数字后面会自动附带紧跟它的两个词，比如显示为 10.91 million · people have，帮译员保留指代线索（Frittella 2023；Fantinuoli 和 Montecchio 2022）。命中术语表的词则会一并显示预设的目标语译名（Prandi 2023）。

这里有两个细节是我们自己的工程折中，还没有直接的文献定论：一是用“数字后面的两个词”来充当指代线索，并没有实验证明刚好两个词最优；二是把文稿默认设为 3 行，也是在 2 行与 5 行之间取的中间值。所以我们把这两项都做成了可调参数，研究者在做实验时也可以直接拿它们当自变量。

给研究者：耳口时差（EVS）与双声道同步录音

如果你在做同传过程研究，大概率绕不开测量耳口时差（EVS，讲者说出源语词到译员说出对应译语词之间的时间差）。

文献里大多数研究测出的平均 EVS 在 2 到 4 秒之间，遇到预测性口译时也可能出现负值（例如 Defrancq 2015 测到的范围在 −1 到 10 秒之间）。不过各家选取的计时锚点并不统一：有人用“源语词起点 → 译语词起点”（Defrancq 2015；Collard 和 Defrancq 2019），有人用“源语词终点 → 译语词起点”（Ono 等 2008），也有人按整句算句首和句尾的时差（Doi 等 2021）。近几年开始流行用 ASR 词级时间戳配合跨语言词对齐来自动批量计算，Guo 和 Han（2024，仅摘要）报告其最优流程与人工标注的中位误差已经能压到 0.1 秒以内。

不管用哪种算法，前提都是把源语原声和译员的口译声严格同步、分轨录下来。欧洲议会语料库本身就是多音轨视频；而在实验室里，像 Chmiel 等（2017）则是用自研软件同步采集两路声音，再通过强制对齐（forced alignment）定出词边界，误差通常在 50 毫秒以内。

为了省去研究者自己搭双轨录音环境的麻烦，我们在 Echoo 的本地视频字幕和悬浮字幕里加了一个**“同时录下我的口译”**开关。打开之后，源语音频和译员麦克风会进入浏览器里的同一个音频处理节点，按照同一个硬件采样时钟切分，做到逐采样点对齐。麦克风这一路故意关闭了浏览器的回声消除、降噪和自动增益，只保存在本机，不发往服务器参与识别。

会话结束导出时，除了常规的 .events.jsonl、.segments.csv 和原声 .audio.wav，浏览器还会额外生成两个音频文件：

  • echoo-<时间>.interpretation.wav：译员麦克风的 16 kHz 单声道录音，与源语原声严格等长。
  • echoo-<时间>.stereo.wav：合成好的双声道文件，左声道是源语原声，右声道是译员口译，拖进 ELAN 或 Praat 就能直接对齐标注。

当时使用的是看原文还是看双语、有没有开文稿模式、显示几行、是否开启要点栏，这些实验条件都会自动写进 .events.jsonl 的第一行。我们下一步还打算加上 ELAN（.eaf）、Praat（TextGrid）和 EXMARaLDA（.exb）的直接导出，附带逐词时间戳和支持多种锚点定义的 EVS 计算表。

最后想特别提醒一句音频隐私问题。口译员的嗓音具有高度可识别的生物特征——欧洲议会同传语料库（ESIC）正是出于这个顾虑选择不公开分发口译音频（Macháček 等 2021），而波兰口译语料库（PINC）的研究也证实，仅凭声音片段就能相当准确地反推出是哪位译员（Koržinek 和 Chmiel 2021）。如果你在研究中使用了 Echoo 导出的双声道录音，请务必事先取得受试译员的知情同意，并在公开或共享数据时做好匿名化处理。

现有研究的局限

在把文献结论转化成产品功能的过程中，我们也清楚地看到目前这一领域的实证基础还很薄弱。绝大多数实验受限于条件，样本量只有 4 到 27 人，且受试者以口译专业学生为主；真正请到职业口译员参与的只有 Frittella（10 人）、Li 和 Chmiel（23 人）、Rodríguez González 等（16 人）以及 Su 和 Li（14 人）等少数几项。同时，中英方向的实验大多只测了完整字幕，几乎没人专门测过要点列表；而在“看完整文稿还是看要点”、“显示机器译文到底有没有帮助”这两个核心问题上，不同团队得出的结论依然彼此打架。甚至部分一手文献自身的细节也有出入，比如 SmarTerp 专著里一处把系统延迟写成 0.2 秒，另一处又写成 2 秒。

这也是为什么我们没有把任何一种显示模式写死在 Echoo 里。前面提到的每一项显示策略都可以在设置面板里自由组合，每一次会话也都能原速重放——希望这套工具不仅能帮译员应付几场棘手的会议，也能帮研究者把那些还没吵出结果的问题测得更清楚一些。

参考文献

  • Chmiel, A., Janikowski, P. & Lijewska, A. (2020). Multimodal processing in simultaneous interpreting with text. Target 32(1): 37–58. doi:10.1075/target.18157.chm（仅摘要）
  • Chmiel, A., Szarkowska, A., Koržinek, D. et al. (2017). Ear–voice span and pauses in intra- and interlingual respeaking. Applied Psycholinguistics 38(5): 1201–1227. 作者接受稿
  • Collard, C. & Defrancq, B. (2019). Predictors of ear-voice span, a corpus-based study with special reference to sex. Perspectives 27(3): 431–454. doi:10.1080/0907676X.2018.1553199
  • Defrancq, B. (2015). Corpus-based research into the presumed effects of short EVS. Interpreting 17(1): 26–45. doi:10.1075/intp.17.1.02def
  • Defrancq, B. & Fantinuoli, C. (2021). Automatic speech recognition in the booth. Target 33(1): 73–102. doi:10.1075/target.19166.def
  • Desmet, Vandierendonck & Defrancq (2018). Simultaneous interpretation of numbers and the impact of technological support. In Fantinuoli (ed.), Interpreting and Technology, 13–27. Language Science Press. doi:10.5281/zenodo.1493291
  • Doi, K., Sudoh, K. & Nakamura, S. (2021). Large-scale English-Japanese simultaneous interpretation corpus. IWSLT 2021: 226–235. ACL Anthology
  • Fantinuoli, C. (2017). Speech recognition in the interpreter workstation. Translating and the Computer 39: 25–34. PDF
  • Fantinuoli, C. & Montecchio, M. (2022). Defining maximum acceptable latency of AI-enhanced CAI tools. arXiv:2201.02792
  • Frittella (2023). Usability research for interpreter-centred technology: The case study of SmarTerp. Language Science Press. doi:10.5281/zenodo.7376351
  • Gaido, Rodríguez, Negri, Bentivogli & Turchi (2021). Is “moby dick” a whale or a bird? Named entities and terminology in speech translation. EMNLP 2021: 1707–1716. ACL Anthology
  • Guo, M. & Han, L. (2024). From manual to machine: Evaluating automated ear–voice span measurement in simultaneous interpreting. Interpreting 26(1): 24–54. doi:10.1075/intp.00100.guo（仅摘要）
  • Guo, Xie, Han, Lei & Li (2025). From sight to insight: live captioning in Chinese–English SI. Linguistica Antverpiensia NS–TTS 24: 160–187. PDF
  • Javorský, D., Macháček, D. & Bojar, O. (2022). Continuous rating as reliable human evaluation of simultaneous speech translation. WMT 2022. arXiv:2203.02458
  • Koržinek, D. & Chmiel, A. (2021). Interpreter identification in the Polish Interpreting Corpus. Revista Tradumàtica 19: 276–288. doi:10.5565/rev/tradumatica.291
  • Li & Chmiel (2024). Automatic subtitles increase accuracy and decrease cognitive load in simultaneous interpreting. Interpreting 26(2): 253–281. doi:10.1075/intp.00111.li（仅摘要）
  • Macháček, D. & Bojar, O. (2020). Presenting simultaneous translation in limited space. ITAT 2020, CEUR Vol-2718. PDF
  • Macháček, D., Žilinec, M. & Bojar, O. (2021). Lost in interpreting: Speech translation from source or interpreter? Interspeech 2021. arXiv:2106.09343
  • Ono, T., Tohyama, H. & Matsubara, S. (2008). Construction and analysis of word-level time-aligned simultaneous interpretation corpus. LREC 2008. ACL Anthology
  • Pisani & Fantinuoli (2021). Measuring the impact of ASR on number rendition in SI. In Wang & Zheng (eds.), Empirical Studies of Translation and Interpreting. Routledge. doi:10.4324/9781003017400-14
  • Prandi (2023). Computer-assisted simultaneous interpreting: A cognitive-experimental study on terminology. Language Science Press. Zenodo
  • Rodríguez González, Saeed, Korybski, Davitti & Braun (2023). Assessing the impact of ASR on RSI performance using the NTR Model. SAY IT AGAIN 2023: 1–8. 论文集 PDF
  • Russello & Carbutto (2023). The Interpreters’ Newsletter 28: 69–90. doi:10.13137/2421-714X/35551
  • Su & Li (2025). Eye-tracking visual attention of professional interpreters during technology-assisted simultaneous interpreting. Linguistica Antverpiensia NS–TTS 24: 188–212. doi:10.52034/lans-tts.v24i.818
  • Tan, Orăsan & Braun (2025). Pilot study on integrating ASR into remote healthcare interpreting. arXiv:2502.03381
  • Yuan & Wang (2023). Cognitive processing of the extra visual layer of live captioning in simultaneous interpreting. Ampersand 11: 100131. doi:10.1016/j.amper.2023.100131
  • Zhang & Xie (2025). Monolingual versus bilingual captioning. Interpreting and Society 5(2): 131–153. doi:10.1177/27523810251323943（仅摘要）