跳转到内容

概念与工作流

猫译员把“翻译漫画”拆成四个可以单独运行的步骤,每个步骤都有自己的输入、输出和模型能力要求。

完整的自动流程通常是:

检测文本块 → 提取文字 → 提取图片摘要 → 翻译
步骤作用主要输入主要输出
检测文本块找出气泡、框内文字等文本区域漫画图片文本块位置;部分模型同时输出原文
提取文字读取文本块中的原文漫画图片和文本块文本块原文
提取图片摘要描述画面,为翻译提供上下文漫画图片图像描述
翻译根据原文和上下文生成译文原文、上下文、术语表文本块译文

检测文本块和提取文字不是同一件事。检测只负责“文字在哪里”。提取文字负责“文字是什么”。

不同模型的能力有些许差异,比如 PaddleOCR VL 1.6 和 GLM-OCR 可以在检测文本块位置的同时提取文字,而本地文本块检测器仅检测文本块位置。

将这些环节拆分的好处,是人工可以在任意环节中介入、部分重做,同时可以由不同的成员协作完成。

  • 提取文字需要先有文本块。文本块可以来自文本块检测模型,也可以由用户手动标记。
  • 翻译需要文本块中有原文。原文可以来自文字提取模型,也可以由用户手动输入。
  • 提取图片摘要可以独立运行。
  • 翻译可以使用图片摘要结果作为上下文,但这不是翻译的硬性要求。

通用 AI:

通用 AI 配置中的每个模型都可以声明它承担的能力:

  • 提取文字:需要视觉能力。模型会读取文本块区域。
  • 提取图片摘要:需要视觉能力。模型会读取整页图片。
  • 翻译:需要文本生成能力。

检测文本块:

需要专门适配的检测器。当前支持本地文本块检测器、PaddleOCR VL 1.6 和 GLM-OCR。通用 AI 模型在此项工作中精准度较差,遂暂不支持此能力。

文本提取:

需要专门适配的检测器。当前支持本地文本提取器。

后续还会增加如 图片修复 之类的专用模型接入。

这些「服务配置」中的模型能力对应着漫画编辑界面上的几个自动化按钮:

capabilites

单独运行某一步时,通常可以选择只处理缺失结果,或重新处理全部对象。重新处理全部对象可能覆盖已有结果,包括人工修改过的原文或译文。批量处理前请先确认范围选项。

一次自动化操作,会对外发送什么

Section titled “一次自动化操作,会对外发送什么”

发送给第三方服务的数据取决于步骤:

  • 检测文本块通常发送整页图片。
    • 本地文本块检测器离线工作,不向外发送数据。
  • 提取文字会发送文本块对应的截图区域或整页图片,取决于服务实现。
  • 提取图片摘要会发送整页图片。
  • 翻译主要发送文本、上下文和术语表内容。

详情请阅读常见问题中的数据与隐私说明。