Bỏ qua để đến nội dung
Trang này được dịch bằng AI và có thể có lỗi. Đọc bản gốc tiếng Anh

Khái niệm và quy trình

Neko Translator chia việc dịch truyện tranh thành bốn bước có thể chạy riêng lẻ. Mỗi bước có đầu vào, đầu ra và khả năng mô hình riêng, và một số bước phụ thuộc vào kết quả của các bước trước đó.

Quy trình tự động hoàn chỉnh thường là:

Phát hiện khối văn bản → Trích xuất văn bản → Trích xuất tóm tắt ảnh → Dịch

BướcMục đíchĐầu vào chínhĐầu ra chính
Phát hiện khối văn bảnTìm bong bóng thoại và các vùng văn bản khácẢnh truyện tranhVị trí khối văn bản; một số mô hình còn trả về văn bản gốc
Trích xuất văn bảnĐọc văn bản gốc bên trong các khung đã cóẢnh truyện tranh và khối văn bảnVăn bản gốc
Trích xuất tóm tắt ảnhMô tả ảnh để làm ngữ cảnh dịchẢnh truyện tranhMô tả ảnh
DịchTạo bản dịch dựa trên văn bản gốc và ngữ cảnhVăn bản gốc, ngữ cảnh, bảng thuật ngữBản dịch

Phát hiện khối văn bản và trích xuất văn bản là hai thao tác khác nhau. Phát hiện chỉ xác định “văn bản nằm ở đâu”. Trích xuất văn bản xác định “văn bản nói gì”.

Khả năng của các mô hình khác nhau. Ví dụ, PaddleOCR VL 1.6 và GLM-OCR có thể trích xuất văn bản đồng thời với việc phát hiện vị trí khối văn bản, còn trình phát hiện khối văn bản cục bộ chỉ phát hiện vị trí.

Việc chia quy trình thành các bước cho phép con người can thiệp hoặc chỉ làm lại một phần quy trình, đồng thời cho phép nhiều thành viên cùng cộng tác trên một bộ manga.

  • Trích xuất văn bản cần có khối văn bản sẵn. Khối văn bản có thể đến từ mô hình phát hiện khối văn bản hoặc được đánh dấu thủ công.
  • Dịch cần có văn bản gốc. Văn bản gốc có thể đến từ mô hình trích xuất văn bản hoặc được nhập thủ công.
  • Trích xuất tóm tắt ảnh có thể chạy độc lập.
  • Dịch có thể dùng kết quả tóm tắt ảnh làm ngữ cảnh, nhưng không bắt buộc.

AI đa năng:

Mỗi mô hình trong một cấu hình AI đa năng có thể khai báo các khả năng mà nó cung cấp:

  • Trích xuất văn bản cần đầu vào thị giác. Mô hình đọc vùng khối văn bản.
  • Trích xuất tóm tắt ảnh cần đầu vào thị giác. Mô hình đọc toàn bộ ảnh trang.
  • Dịch cần khả năng tạo ngôn ngữ.

Phát hiện khối văn bản:

Phát hiện khối văn bản cần một trình phát hiện được tích hợp riêng. Các lựa chọn được hỗ trợ là trình phát hiện khối văn bản cục bộ, PaddleOCR VL 1.6 và GLM-OCR. Các mô hình AI đa năng chưa đủ chính xác cho tác vụ này, nên hiện tại khả năng này chưa được hỗ trợ cho chúng.

Trích xuất văn bản:

Khả năng này dùng một dịch vụ chuyên dụng. Lựa chọn hiện được hỗ trợ là trình trích xuất văn bản cục bộ.

Sau này có thể bổ sung thêm các tích hợp chuyên dụng khác, chẳng hạn mô hình phục hồi ảnh.

Các khả năng mô hình được cấu hình trong Hồ sơ dịch vụ tương ứng với các nút tự động hóa trong trình chỉnh sửa truyện tranh:

Các khả năng tự động hóa

Khi chạy riêng một bước, thông thường bạn có thể chọn chỉ xử lý các kết quả còn thiếu hoặc xử lý lại tất cả đối tượng. Xử lý lại tất cả có thể ghi đè kết quả đã có, kể cả văn bản gốc hoặc bản dịch đã được chỉnh sửa thủ công. Hãy kiểm tra phạm vi trước khi bắt đầu xử lý hàng loạt.

Những gì một thao tác tự động hóa gửi ra bên ngoài

Phần tiêu đề “Những gì một thao tác tự động hóa gửi ra bên ngoài”

Dữ liệu gửi đến dịch vụ bên thứ ba phụ thuộc vào từng bước:

  • Phát hiện khối văn bản thường gửi toàn bộ ảnh trang.
    • Trình phát hiện khối văn bản cục bộ hoạt động ngoại tuyến và không gửi gì ra bên ngoài.
  • Trích xuất văn bản gửi phần ảnh cắt của khối văn bản hoặc toàn bộ trang, tùy nhà cung cấp.
    • Trình trích xuất văn bản cục bộ chạy trên thiết bị và không gửi yêu cầu nhận dạng đến dịch vụ OCR trực tuyến.
  • Trích xuất tóm tắt ảnh gửi toàn bộ ảnh trang.
  • Dịch chủ yếu gửi văn bản, ngữ cảnh và các mục trong bảng thuật ngữ.

Xem Câu hỏi thường gặp để biết chi tiết về lưu trữ và quyền riêng tư.