Перейти к содержимому
Эта страница переведена ИИ и может содержать ошибки. Читать оригинал на английском

Основные понятия и рабочий процесс

Neko Translator разбивает перевод комикса на четыре шага, которые можно запускать по отдельности. У каждого шага свои входные данные, результат и требуемая возможность модели, а некоторые шаги зависят от результатов предыдущих.

Автоматизированный процесс перевода комиксов

Заголовок раздела «Автоматизированный процесс перевода комиксов»

Полный автоматизированный процесс обычно выглядит так:

Обнаружить текстовые блоки → Извлечь текст → Извлечь описание изображения → Перевести

ШагНазначениеОсновные входные данныеОсновной результат
Обнаружить текстовые блокиНайти речевые пузыри и другие области с текстомИзображение комиксаПоложение текстовых блоков; некоторые модели также возвращают исходный текст
Извлечь текстПрочитать исходный текст внутри существующих рамокИзображение комикса и текстовые блокиИсходный текст
Извлечь описание изображенияОписать изображение в качестве контекста для переводаИзображение комиксаОписание изображения
ПеревестиСоздать перевод на основе исходного текста и контекстаИсходный текст, контекст, глоссарийТекст перевода

Обнаружение текстовых блоков и извлечение текста — разные операции. Обнаружение определяет только, «где находится текст». Извлечение текста определяет, «что в нём написано».

Возможности моделей различаются. Например, PaddleOCR VL 1.6 и GLM-OCR могут извлекать текст одновременно с обнаружением положения текстовых блоков, а локальный детектор текстовых блоков определяет только положение.

Разделение процесса на шаги позволяет человеку вмешаться или повторить только часть процесса, а также даёт разным участникам возможность совместно работать над одной мангой.

  • Для извлечения текста нужны существующие текстовые блоки. Они могут быть получены от модели обнаружения текстовых блоков или размечены вручную.
  • Для перевода нужен исходный текст. Он может быть получен от модели извлечения текста или введён вручную.
  • Извлечение описания изображения можно запускать независимо.
  • Перевод может использовать описание изображения как контекст, но не требует его.

Универсальный ИИ:

Каждая модель в конфигурации универсального ИИ может объявлять предоставляемые ею возможности:

  • Извлечь текст — требуется визуальный ввод. Модель читает область текстового блока.
  • Извлечь описание изображения — требуется визуальный ввод. Модель читает изображение всей страницы.
  • Перевести — требуется генерация текста.

Обнаружить текстовые блоки:

Для обнаружения текстовых блоков нужен специально интегрированный детектор. Поддерживаются локальный детектор текстовых блоков, PaddleOCR VL 1.6 и GLM-OCR. Модели универсального ИИ недостаточно точны для этой задачи, поэтому для них эта возможность пока не поддерживается.

Извлечь текст:

Здесь используется специальный сервис. Сейчас поддерживается локальный экстрактор текста.

Позже могут быть добавлены и другие специальные интеграции, например модели восстановления изображений.

Эти возможности моделей, настроенные в разделе Профили сервисов, соответствуют кнопкам автоматизации в редакторе комиксов:

Возможности автоматизации

При отдельном запуске шага обычно можно выбрать: обработать только отсутствующие результаты или заново обработать все объекты. Повторная обработка всего может перезаписать существующие результаты, в том числе исходный текст или переводы, отредактированные вручную. Проверьте область обработки перед запуском пакетной обработки.

Что операция автоматизации отправляет вовне

Заголовок раздела «Что операция автоматизации отправляет вовне»

Данные, отправляемые сторонним сервисам, зависят от шага:

  • Обнаружение текстовых блоков обычно отправляет изображение всей страницы.
    • Локальный детектор текстовых блоков работает офлайн и ничего не отправляет вовне.
  • Извлечение текста отправляет фрагмент текстового блока или всю страницу — в зависимости от провайдера.
    • Локальный экстрактор текста работает на устройстве и не отправляет запросы на распознавание в онлайн-сервис OCR.
  • Извлечение описания изображения отправляет изображение всей страницы.
  • Перевод в основном отправляет текст, контекст и записи глоссария.

Подробнее о хранении данных и конфиденциальности см. в разделе Часто задаваемые вопросы.