跳到內容
This page was translated by AI and may contain errors. Read the English original

概念與工作流程

Neko Translator 將漫畫翻譯拆成四個可以個別執行的步驟。每個步驟都有各自的輸入、輸出與模型能力,有些步驟則需要依賴前面步驟的結果。

完整的自動化工作流程通常是:

偵測文字區塊 → 擷取文字 → 擷取圖片摘要 → 翻譯

步驟用途主要輸入主要輸出
偵測文字區塊找出對話框及其他文字區域漫畫圖片文字區塊位置;部分模型也會回傳原文
擷取文字讀取既有文字框內的原文漫畫圖片與文字區塊原文
擷取圖片摘要描述圖片內容,作為翻譯的上下文漫畫圖片圖片描述
翻譯根據原文與上下文產生譯文原文、上下文、術語表譯文

偵測文字區塊與擷取文字是不同的操作。偵測只判斷「文字在哪裡」,擷取文字則判斷「文字寫了什麼」。

各模型的能力不同。例如,PaddleOCR VL 1.6 與 GLM-OCR 能在偵測文字區塊位置的同時擷取文字,而本機文字區塊偵測器只會偵測位置。

將工作流程拆成多個步驟,可以讓人工介入或只重做其中一部分,也能讓不同成員協作翻譯同一部漫畫。

  • 擷取文字需要既有的文字區塊。文字區塊可以來自文字區塊偵測模型,也可以手動標記。
  • 翻譯需要原文。原文可以來自文字擷取模型,也可以手動輸入。
  • 擷取圖片摘要可以獨立執行。
  • 翻譯可以使用圖片摘要結果作為上下文,但不一定需要。

通用 AI:

通用 AI 設定中的每個模型都可以宣告自己提供的能力:

  • 擷取文字需要影像輸入。模型會讀取文字區塊的區域。
  • 擷取圖片摘要需要影像輸入。模型會讀取整頁圖片。
  • 翻譯需要語言生成能力。

偵測文字區塊:

偵測文字區塊需要經過特別整合的偵測器。目前支援的選項有本機文字區塊偵測器、PaddleOCR VL 1.6 與 GLM-OCR。通用 AI 模型在這項任務上不夠精準,因此目前暫不支援以通用 AI 模型提供這項能力。

擷取文字:

這項能力使用專用服務。目前支援的選項是本機文字擷取器。

日後可能會加入更多專用整合,例如影像修復模型。

在服務設定檔中設定的這些模型能力,對應到漫畫編輯器中的自動化按鈕:

自動化能力

個別執行某個步驟時,通常可以選擇只處理缺少結果的項目,或重新處理所有項目。全部重新處理可能會覆寫既有結果,包括手動編輯過的原文或譯文。開始批次處理前,請先確認處理範圍。

自動化操作會傳送哪些資料到外部

Section titled “自動化操作會傳送哪些資料到外部”

傳送給第三方服務的資料取決於步驟:

  • 偵測文字區塊通常會傳送整頁圖片。
    • 本機文字區塊偵測器可離線運作,不會向外部傳送任何資料。
  • 擷取文字會傳送文字區塊的裁切圖片或整頁圖片,視供應商而定。
    • 本機文字擷取器在裝置上執行,不會向線上 OCR 服務傳送辨識請求。
  • 擷取圖片摘要會傳送整頁圖片。
  • 翻譯主要傳送文字、上下文與術語表條目。

關於儲存與隱私的詳細說明,請參閱常見問題。