Konzepte und Arbeitsablauf
Neko Translator unterteilt die Comicübersetzung in vier Schritte, die sich einzeln ausführen lassen. Jeder Schritt hat eigene Eingaben, Ausgaben und Modellfähigkeiten, und einige Schritte bauen auf den Ergebnissen früherer Schritte auf.
Der automatisierte Arbeitsablauf der Comicübersetzung
Abschnitt betitelt „Der automatisierte Arbeitsablauf der Comicübersetzung“Der vollständige automatisierte Ablauf sieht in der Regel so aus:
Textblöcke erkennen → Text extrahieren → Bildzusammenfassung extrahieren → Übersetzen
| Schritt | Zweck | Wichtigste Eingabe | Wichtigste Ausgabe |
|---|---|---|---|
| Textblöcke erkennen | Sprechblasen und andere Textbereiche finden | Comicbild | Positionen der Textblöcke; manche Modelle liefern auch den Ausgangstext |
| Text extrahieren | Den Ausgangstext in vorhandenen Rahmen lesen | Comicbild und Textblöcke | Ausgangstext |
| Bildzusammenfassung extrahieren | Das Bild als Kontext für die Übersetzung beschreiben | Comicbild | Bildbeschreibung |
| Übersetzen | Aus Ausgangstext und Kontext eine Übersetzung erzeugen | Ausgangstext, Kontext, Glossar | Übersetzungstext |
Textblöcke erkennen und Text extrahieren sind unterschiedliche Vorgänge. Die Erkennung bestimmt nur, „wo der Text steht“. Text extrahieren bestimmt, „was der Text sagt“.
Die Fähigkeiten der Modelle unterscheiden sich. So können beispielsweise PaddleOCR VL 1.6 und GLM-OCR beim Erkennen der Textblockpositionen gleichzeitig Text extrahieren, während der lokale Textblock-Detektor nur Positionen erkennt.
Durch die Aufteilung in Schritte kann ein Mensch eingreifen oder nur einen Teil des Ablaufs wiederholen, und mehrere Beteiligte können gemeinsam am selben Manga arbeiten.
- Text extrahieren setzt vorhandene Textblöcke voraus. Textblöcke können von einem Modell zur Textblockerkennung stammen oder manuell markiert werden.
- Übersetzen setzt einen Ausgangstext voraus. Der Ausgangstext kann von einem Modell zur Textextraktion stammen oder manuell eingegeben werden.
- Bildzusammenfassung extrahieren kann unabhängig ausgeführt werden.
- Übersetzen kann das Ergebnis der Bildzusammenfassung als Kontext nutzen, benötigt es aber nicht.
Modellfähigkeiten
Abschnitt betitelt „Modellfähigkeiten“Generische KI:
Jedes Modell in einer Konfiguration für Generische KI kann angeben, welche Fähigkeiten es bereitstellt:
- Text extrahieren erfordert Bildeingabe. Das Modell liest den Bereich des Textblocks.
- Bildzusammenfassung extrahieren erfordert Bildeingabe. Das Modell liest das vollständige Seitenbild.
- Übersetzen erfordert Sprachgenerierung.
Textblöcke erkennen:
Textblöcke erkennen erfordert einen speziell eingebundenen Detektor. Unterstützt werden der lokale Textblock-Detektor, PaddleOCR VL 1.6 und GLM-OCR. Modelle der Generischen KI sind für diese Aufgabe nicht genau genug, daher wird diese Fähigkeit für sie vorerst nicht unterstützt.
Text extrahieren:
Hierfür wird ein eigener Dienst verwendet. Derzeit wird der lokale Textextraktor unterstützt.
Weitere spezielle Integrationen können später hinzukommen, etwa Modelle zur Bildrestaurierung.
Diese im Service-Profil konfigurierten Modellfähigkeiten entsprechen den Automatisierungsschaltflächen im Comic-Editor:

Vorhandene Ergebnisse und Überschreiben
Abschnitt betitelt „Vorhandene Ergebnisse und Überschreiben“Wenn Sie einen Schritt einzeln ausführen, können Sie in der Regel wählen, ob nur fehlende Ergebnisse oder alle Objekte erneut verarbeitet werden. Eine vollständige Neuverarbeitung kann vorhandene Ergebnisse überschreiben, auch manuell bearbeitete Ausgangstexte oder Übersetzungen. Prüfen Sie den Umfang, bevor Sie eine Stapelverarbeitung starten.
Was ein Automatisierungsvorgang nach außen sendet
Abschnitt betitelt „Was ein Automatisierungsvorgang nach außen sendet“Welche Daten an Drittanbieterdienste gesendet werden, hängt vom Schritt ab:
- Textblöcke erkennen sendet in der Regel das vollständige Seitenbild.
- Der lokale Textblock-Detektor arbeitet offline und sendet nichts nach außen.
- Text extrahieren sendet je nach Anbieter einen Ausschnitt des Textblocks oder die ganze Seite.
- Der lokale Textextraktor läuft auf dem Gerät und sendet keine Erkennungsanfragen an einen Online-OCR-Dienst.
- Bildzusammenfassung extrahieren sendet das vollständige Seitenbild.
- Übersetzen sendet hauptsächlich Text, Kontext und Glossareinträge.
Einzelheiten zu Speicherung und Datenschutz finden Sie unter Häufig gestellte Fragen.