Przejdź do głównej zawartości
Ta strona została przetłumaczona przez AI i może zawierać błędy. Przeczytaj angielski oryginał

Pojęcia i przepływ pracy

Neko Translator dzieli tłumaczenie komiksu na cztery kroki, które można uruchamiać osobno. Każdy krok ma własne dane wejściowe, dane wyjściowe i wymaganą możliwość modelu, a niektóre kroki zależą od wyników wcześniejszych.

Pełny zautomatyzowany przepływ wygląda zwykle tak:

Wykryj bloki tekstu → Wyodrębnij tekst → Wyodrębnij podsumowanie obrazu → Przetłumacz

KrokCelGłówne dane wejścioweGłówne dane wyjściowe
Wykryj bloki tekstuZnalezienie dymków i innych obszarów z tekstemObraz komiksuPołożenie bloków tekstu; niektóre modele zwracają też tekst źródłowy
Wyodrębnij tekstOdczytanie tekstu źródłowego w istniejących ramkachObraz komiksu i bloki tekstuTekst źródłowy
Wyodrębnij podsumowanie obrazuOpisanie obrazu jako kontekstu dla tłumaczeniaObraz komiksuOpis obrazu
PrzetłumaczWygenerowanie tłumaczenia na podstawie tekstu źródłowego i kontekstuTekst źródłowy, kontekst, glosariuszTekst tłumaczenia

Wykrywanie bloków tekstu i wyodrębnianie tekstu to różne operacje. Wykrywanie określa tylko, „gdzie jest tekst”. Wyodrębnianie tekstu określa, „co jest napisane”.

Możliwości modeli się różnią. Na przykład PaddleOCR VL 1.6 i GLM-OCR potrafią wyodrębniać tekst podczas wykrywania położenia bloków tekstu, a lokalny detektor bloków tekstu wykrywa tylko położenie.

Podział przepływu na kroki pozwala człowiekowi ingerować w proces lub powtórzyć tylko jego część, a różnym osobom współpracować nad tą samą mangą.

  • Wyodrębnianie tekstu wymaga istniejących bloków tekstu. Bloki tekstu mogą pochodzić z modelu wykrywania bloków tekstu albo zostać oznaczone ręcznie.
  • Tłumaczenie wymaga tekstu źródłowego. Tekst źródłowy może pochodzić z modelu wyodrębniania tekstu albo zostać wpisany ręcznie.
  • Wyodrębnianie podsumowania obrazu można uruchomić niezależnie.
  • Tłumaczenie może wykorzystać podsumowanie obrazu jako kontekst, ale go nie wymaga.

Uniwersalne AI:

Każdy model w konfiguracji Uniwersalnego AI może deklarować możliwości, które zapewnia:

  • Wyodrębnij tekst wymaga obsługi obrazów na wejściu. Model odczytuje obszar bloku tekstu.
  • Wyodrębnij podsumowanie obrazu wymaga obsługi obrazów na wejściu. Model odczytuje obraz całej strony.
  • Przetłumacz wymaga generowania tekstu.

Wykryj bloki tekstu:

Wykrywanie bloków tekstu wymaga specjalnie zintegrowanego detektora. Obsługiwane opcje to lokalny detektor bloków tekstu, PaddleOCR VL 1.6 i GLM-OCR. Modele Uniwersalnego AI nie są w tym zadaniu wystarczająco dokładne, dlatego na razie ta możliwość nie jest dla nich obsługiwana.

Wyodrębnij tekst:

Ta możliwość korzysta z dedykowanej usługi. Obecnie obsługiwaną opcją jest lokalny ekstraktor tekstu.

W przyszłości mogą zostać dodane kolejne dedykowane integracje, np. modele do rekonstrukcji obrazu.

Te możliwości modeli skonfigurowane w sekcji Profil usługi odpowiadają przyciskom automatyzacji w edytorze komiksu:

Możliwości automatyzacji

Uruchamiając krok osobno, zwykle możesz wybrać, czy przetworzyć tylko brakujące wyniki, czy wszystkie obiekty od nowa. Ponowne przetworzenie wszystkiego może nadpisać istniejące wyniki, w tym ręcznie poprawiony tekst źródłowy lub tłumaczenia. Przed rozpoczęciem przetwarzania wsadowego sprawdź zakres.

Dane wysyłane do usług zewnętrznych zależą od kroku:

  • Wykrywanie bloków tekstu zwykle wysyła obraz całej strony.
    • Lokalny detektor bloków tekstu działa offline i niczego nie wysyła na zewnątrz.
  • Wyodrębnianie tekstu wysyła wycinek bloku tekstu lub całą stronę, w zależności od dostawcy.
    • Lokalny ekstraktor tekstu działa na urządzeniu i nie wysyła żądań rozpoznawania do internetowej usługi OCR.
  • Wyodrębnianie podsumowania obrazu wysyła obraz całej strony.
  • Tłumaczenie wysyła głównie tekst, kontekst i wpisy glosariusza.

Szczegóły dotyczące przechowywania danych i prywatności znajdziesz na stronie Często zadawane pytania.