コンテンツにスキップ
このページは AI によって翻訳されており、誤りが含まれている可能性があります。 英語の原文を読む

コンセプトとワークフロー

Neko Translator は、漫画の翻訳を個別に実行できる 4 つのステップに分けています。各ステップにはそれぞれの入力、出力、モデル機能があり、前のステップの結果に依存するステップもあります。

完全な自動ワークフローは、通常次のとおりです。

テキストブロックを検出 → テキストを抽出 → 画像の要約を抽出 → 翻訳

ステップ目的主な入力主な出力
テキストブロックを検出吹き出しやその他のテキスト領域を見つける漫画の画像テキストブロックの位置。一部のモデルは原文も返す
テキストを抽出既存のボックス内の原文を読み取る漫画の画像とテキストブロック原文
画像の要約を抽出翻訳のコンテキストとして画像を説明する漫画の画像画像の説明
翻訳原文とコンテキストを使って訳文を生成する原文、コンテキスト、用語集訳文

テキストブロックの検出とテキストの抽出は別の操作です。検出では「テキストがどこにあるか」だけを判断し、テキストの抽出では「テキストに何が書かれているか」を判断します。

モデルによって機能は異なります。たとえば PaddleOCR VL 1.6 と GLM-OCR はテキストブロックの位置を検出しながらテキストも抽出できますが、ローカルテキストブロック検出器は位置の検出のみを行います。

ワークフローをステップに分けることで、人が途中で介入したり、処理の一部だけをやり直したりでき、複数のメンバーが同じ漫画で共同作業することもできます。

  • テキストを抽出するには、既存のテキストブロックが必要です。テキストブロックは、テキストブロック検出モデルで作成することも、手動でマークすることもできます。
  • 翻訳には原文が必要です。原文は、テキスト抽出モデルで取得することも、手動で入力することもできます。
  • 画像の要約の抽出は単独で実行できます。
  • 翻訳では画像の要約の結果をコンテキストとして使用できますが、必須ではありません。

汎用 AI:

汎用 AI 設定の各モデルでは、そのモデルが提供する機能を宣言できます。

  • テキストを抽出には画像入力が必要です。モデルはテキストブロックの領域を読み取ります。
  • 画像の要約を抽出には画像入力が必要です。モデルはページ全体の画像を読み取ります。
  • 翻訳には言語生成が必要です。

テキストブロックを検出:

テキストブロックの検出には、専用に統合された検出器が必要です。対応しているのは、ローカルテキストブロック検出器、PaddleOCR VL 1.6、GLM-OCR です。汎用 AI モデルはこのタスクの精度が十分でないため、現時点ではこの機能に対応していません。

テキストを抽出:

専用のサービスを使用します。現在対応しているのはローカルテキスト抽出器です。

今後、画像修復モデルなど、ほかの専用統合が追加される可能性があります。

サービスプロファイルで設定したこれらのモデル機能は、漫画エディターの自動化ボタンに対応しています。

自動化の機能

ステップを個別に実行するときは、通常、結果がないものだけを処理するか、すべての対象を再処理するかを選べます。すべてを再処理すると、手動で編集した原文や訳文を含む既存の結果が上書きされる場合があります。一括処理を開始する前に範囲を確認してください。

自動化操作で外部に送信されるもの

Section titled “自動化操作で外部に送信されるもの”

サードパーティのサービスに送信されるデータは、ステップによって異なります。

  • テキストブロックの検出では、通常ページ全体の画像を送信します。
    • ローカルテキストブロック検出器はオフラインで動作し、外部には何も送信しません。
  • テキストの抽出では、プロバイダーに応じて、テキストブロックの切り抜き画像またはページ全体を送信します。
    • ローカルテキスト抽出器はデバイス上で動作し、オンラインの OCR サービスに認識リクエストを送信しません。
  • 画像の要約の抽出では、ページ全体の画像を送信します。
  • 翻訳では、主にテキスト、コンテキスト、用語集のエントリを送信します。

保存とプライバシーについては、よくある質問を参照してください。