Pular para o conteúdo
Esta página foi traduzida por IA e pode conter erros. Ler o original em inglês

Conceitos e fluxo de trabalho

O Neko Translator divide a tradução de quadrinhos em quatro etapas que podem ser executadas separadamente. Cada etapa tem sua própria entrada, saída e capacidade de modelo, e algumas etapas dependem dos resultados das anteriores.

O fluxo automatizado completo costuma ser:

Detectar blocos de texto → Extrair texto → Extrair resumo da imagem → Traduzir

EtapaFinalidadeEntrada principalSaída principal
Detectar blocos de textoEncontrar balões de fala e outras regiões de textoImagem do quadrinhoPosições dos blocos de texto; alguns modelos também retornam o texto original
Extrair textoLer o texto original dentro das caixas existentesImagem do quadrinho e blocos de textoTexto original
Extrair resumo da imagemDescrever a imagem como contexto para a traduçãoImagem do quadrinhoDescrição da imagem
TraduzirGerar o texto traduzido usando o texto original e o contextoTexto original, contexto, glossárioTexto traduzido

Detectar blocos de texto e extrair texto são operações diferentes. A detecção só determina “onde está o texto”. Extrair texto determina “o que o texto diz”.

As capacidades dos modelos variam. Por exemplo, PaddleOCR VL 1.6 e GLM-OCR conseguem extrair o texto enquanto detectam as posições dos blocos de texto, ao passo que o detector de blocos de texto local detecta apenas as posições.

Dividir o fluxo em etapas permite que uma pessoa intervenha ou refaça apenas parte do processo, e que diferentes membros colaborem no mesmo mangá.

  • Extrair texto precisa de blocos de texto existentes. Os blocos de texto podem vir de um modelo de detecção de blocos de texto ou ser marcados manualmente.
  • Traduzir precisa de texto original. O texto original pode vir de um modelo de extração de texto ou ser digitado manualmente.
  • Extrair resumo da imagem pode ser executado de forma independente.
  • Traduzir pode usar o resultado do resumo da imagem como contexto, mas não depende dele.

IA genérica:

Cada modelo em uma configuração de IA genérica pode declarar as capacidades que oferece:

  • Extrair texto exige entrada de imagem. O modelo lê a região do bloco de texto.
  • Extrair resumo da imagem exige entrada de imagem. O modelo lê a imagem da página inteira.
  • Traduzir exige geração de linguagem.

Detectar blocos de texto:

Detectar blocos de texto exige um detector com integração dedicada. As opções compatíveis são o detector de blocos de texto local, o PaddleOCR VL 1.6 e o GLM-OCR. Os modelos de IA genérica não são precisos o suficiente nesta tarefa, por isso essa capacidade não está disponível para eles por enquanto.

Extrair texto:

Usa um serviço dedicado. A opção atualmente compatível é o extrator de texto local.

Mais integrações dedicadas poderão ser adicionadas no futuro, como modelos de restauração de imagem.

Essas capacidades de modelo configuradas em Perfil de serviço correspondem aos botões de automação do editor de quadrinhos:

Capacidades de automação

Ao executar uma etapa separadamente, normalmente você pode escolher processar apenas os resultados ausentes ou processar tudo novamente. Reprocessar tudo pode substituir resultados existentes, incluindo textos originais ou traduções editados manualmente. Verifique o escopo antes de iniciar o processamento em lote.

O que uma operação de automação envia para fora

Seção intitulada “O que uma operação de automação envia para fora”

Os dados enviados a serviços de terceiros dependem da etapa:

  • Detectar blocos de texto normalmente envia a imagem da página inteira.
    • O detector de blocos de texto local funciona offline e não envia nada para fora.
  • Extrair texto envia um recorte do bloco de texto ou a página inteira, dependendo do provedor.
    • O extrator de texto local é executado no dispositivo e não envia requisições de reconhecimento a um serviço de OCR online.
  • Extrair resumo da imagem envia a imagem da página inteira.
  • Traduzir envia principalmente texto, contexto e entradas de glossário.

Consulte Perguntas frequentes para detalhes sobre armazenamento e privacidade.