Zum Inhalt springen
Diese Seite wurde von einer KI übersetzt und kann Fehler enthalten. Englisches Original lesen

Konzepte und Arbeitsablauf

Neko Translator unterteilt die Comicübersetzung in vier Schritte, die sich einzeln ausführen lassen. Jeder Schritt hat eigene Eingaben, Ausgaben und Modellfähigkeiten, und einige Schritte bauen auf den Ergebnissen früherer Schritte auf.

Der automatisierte Arbeitsablauf der Comicübersetzung

Abschnitt betitelt „Der automatisierte Arbeitsablauf der Comicübersetzung“

Der vollständige automatisierte Ablauf sieht in der Regel so aus:

Textblöcke erkennen → Text extrahieren → Bildzusammenfassung extrahieren → Übersetzen

SchrittZweckWichtigste EingabeWichtigste Ausgabe
Textblöcke erkennenSprechblasen und andere Textbereiche findenComicbildPositionen der Textblöcke; manche Modelle liefern auch den Ausgangstext
Text extrahierenDen Ausgangstext in vorhandenen Rahmen lesenComicbild und TextblöckeAusgangstext
Bildzusammenfassung extrahierenDas Bild als Kontext für die Übersetzung beschreibenComicbildBildbeschreibung
ÜbersetzenAus Ausgangstext und Kontext eine Übersetzung erzeugenAusgangstext, Kontext, GlossarÜbersetzungstext

Textblöcke erkennen und Text extrahieren sind unterschiedliche Vorgänge. Die Erkennung bestimmt nur, „wo der Text steht“. Text extrahieren bestimmt, „was der Text sagt“.

Die Fähigkeiten der Modelle unterscheiden sich. So können beispielsweise PaddleOCR VL 1.6 und GLM-OCR beim Erkennen der Textblockpositionen gleichzeitig Text extrahieren, während der lokale Textblock-Detektor nur Positionen erkennt.

Durch die Aufteilung in Schritte kann ein Mensch eingreifen oder nur einen Teil des Ablaufs wiederholen, und mehrere Beteiligte können gemeinsam am selben Manga arbeiten.

  • Text extrahieren setzt vorhandene Textblöcke voraus. Textblöcke können von einem Modell zur Textblockerkennung stammen oder manuell markiert werden.
  • Übersetzen setzt einen Ausgangstext voraus. Der Ausgangstext kann von einem Modell zur Textextraktion stammen oder manuell eingegeben werden.
  • Bildzusammenfassung extrahieren kann unabhängig ausgeführt werden.
  • Übersetzen kann das Ergebnis der Bildzusammenfassung als Kontext nutzen, benötigt es aber nicht.

Generische KI:

Jedes Modell in einer Konfiguration für Generische KI kann angeben, welche Fähigkeiten es bereitstellt:

  • Text extrahieren erfordert Bildeingabe. Das Modell liest den Bereich des Textblocks.
  • Bildzusammenfassung extrahieren erfordert Bildeingabe. Das Modell liest das vollständige Seitenbild.
  • Übersetzen erfordert Sprachgenerierung.

Textblöcke erkennen:

Textblöcke erkennen erfordert einen speziell eingebundenen Detektor. Unterstützt werden der lokale Textblock-Detektor, PaddleOCR VL 1.6 und GLM-OCR. Modelle der Generischen KI sind für diese Aufgabe nicht genau genug, daher wird diese Fähigkeit für sie vorerst nicht unterstützt.

Text extrahieren:

Hierfür wird ein eigener Dienst verwendet. Derzeit wird der lokale Textextraktor unterstützt.

Weitere spezielle Integrationen können später hinzukommen, etwa Modelle zur Bildrestaurierung.

Diese im Service-Profil konfigurierten Modellfähigkeiten entsprechen den Automatisierungsschaltflächen im Comic-Editor:

Automatisierungsfähigkeiten

Wenn Sie einen Schritt einzeln ausführen, können Sie in der Regel wählen, ob nur fehlende Ergebnisse oder alle Objekte erneut verarbeitet werden. Eine vollständige Neuverarbeitung kann vorhandene Ergebnisse überschreiben, auch manuell bearbeitete Ausgangstexte oder Übersetzungen. Prüfen Sie den Umfang, bevor Sie eine Stapelverarbeitung starten.

Was ein Automatisierungsvorgang nach außen sendet

Abschnitt betitelt „Was ein Automatisierungsvorgang nach außen sendet“

Welche Daten an Drittanbieterdienste gesendet werden, hängt vom Schritt ab:

  • Textblöcke erkennen sendet in der Regel das vollständige Seitenbild.
    • Der lokale Textblock-Detektor arbeitet offline und sendet nichts nach außen.
  • Text extrahieren sendet je nach Anbieter einen Ausschnitt des Textblocks oder die ganze Seite.
    • Der lokale Textextraktor läuft auf dem Gerät und sendet keine Erkennungsanfragen an einen Online-OCR-Dienst.
  • Bildzusammenfassung extrahieren sendet das vollständige Seitenbild.
  • Übersetzen sendet hauptsächlich Text, Kontext und Glossareinträge.

Einzelheiten zu Speicherung und Datenschutz finden Sie unter Häufig gestellte Fragen.