ข้ามไปยังเนื้อหา
หน้านี้แปลโดย AI และอาจมีข้อผิดพลาด อ่านต้นฉบับภาษาอังกฤษ

แนวคิดและขั้นตอนการทำงาน

Neko Translator แบ่งการแปลการ์ตูนออกเป็น 4 ขั้นตอนที่รันแยกกันได้ แต่ละขั้นตอนมีอินพุต เอาต์พุต และความสามารถของโมเดลเป็นของตัวเอง และบางขั้นตอนต้องอาศัยผลลัพธ์จากขั้นตอนก่อนหน้า

ขั้นตอนอัตโนมัติแบบครบถ้วนโดยทั่วไปมีดังนี้

ตรวจจับบล็อกข้อความ → ดึงข้อความ → ดึงสรุปภาพ → แปล

ขั้นตอนวัตถุประสงค์อินพุตหลักเอาต์พุตหลัก
ตรวจจับบล็อกข้อความค้นหาบอลลูนคำพูดและบริเวณข้อความอื่น ๆภาพการ์ตูนตำแหน่งบล็อกข้อความ บางโมเดลส่งข้อความต้นฉบับกลับมาด้วย
ดึงข้อความอ่านข้อความต้นฉบับภายในกล่องที่มีอยู่ภาพการ์ตูนและบล็อกข้อความข้อความต้นฉบับ
ดึงสรุปภาพอธิบายภาพเพื่อใช้เป็นบริบทในการแปลภาพการ์ตูนคำอธิบายภาพ
แปลสร้างคำแปลจากข้อความต้นฉบับและบริบทข้อความต้นฉบับ บริบท อภิธานศัพท์ข้อความแปล

การตรวจจับบล็อกข้อความและการดึงข้อความเป็นคนละการทำงานกัน การตรวจจับจะระบุเพียงว่า “ข้อความอยู่ตรงไหน” ส่วนการดึงข้อความจะระบุว่า “ข้อความเขียนว่าอะไร”

ความสามารถของแต่ละโมเดลไม่เหมือนกัน ตัวอย่างเช่น PaddleOCR VL 1.6 และ GLM-OCR ดึงข้อความได้ขณะตรวจจับตำแหน่งบล็อกข้อความ ส่วนตัวตรวจจับบล็อกข้อความในเครื่องตรวจจับได้เฉพาะตำแหน่ง

การแบ่งขั้นตอนการทำงานออกเป็นขั้น ๆ ช่วยให้คนเข้าไปแก้ไขหรือทำซ้ำเฉพาะบางส่วนของกระบวนการได้ และช่วยให้สมาชิกหลายคนทำงานร่วมกันบนมังงะเรื่องเดียวกันได้

  • ขั้นตอนดึงข้อความต้องมีบล็อกข้อความอยู่ก่อน บล็อกข้อความอาจมาจากโมเดลตรวจจับบล็อกข้อความหรือการทำเครื่องหมายด้วยตนเอง
  • ขั้นตอนแปลต้องมีข้อความต้นฉบับ ข้อความต้นฉบับอาจมาจากโมเดลดึงข้อความหรือการป้อนด้วยตนเอง
  • ขั้นตอนดึงสรุปภาพรันแยกได้โดยอิสระ
  • ขั้นตอนแปลอาจใช้ผลสรุปภาพเป็นบริบท แต่ไม่จำเป็นต้องมี

AI ทั่วไป:

แต่ละโมเดลในการกำหนดค่า AI ทั่วไปสามารถระบุความสามารถที่โมเดลนั้นรองรับได้

  • ดึงข้อความ ต้องรองรับอินพุตภาพ โมเดลจะอ่านบริเวณของบล็อกข้อความ
  • ดึงสรุปภาพ ต้องรองรับอินพุตภาพ โมเดลจะอ่านภาพทั้งหน้า
  • แปล ต้องรองรับการสร้างภาษา

ตรวจจับบล็อกข้อความ:

ขั้นตอนตรวจจับบล็อกข้อความต้องใช้ตัวตรวจจับที่ผสานรวมไว้โดยเฉพาะ ตัวเลือกที่รองรับได้แก่ ตัวตรวจจับบล็อกข้อความในเครื่อง PaddleOCR VL 1.6 และ GLM-OCR โมเดล AI ทั่วไปยังแม่นยำไม่พอสำหรับงานนี้ จึงยังไม่รองรับความสามารถนี้สำหรับโมเดลเหล่านี้ในขณะนี้

ดึงข้อความ:

ใช้บริการเฉพาะทาง ตัวเลือกที่รองรับในปัจจุบันคือ ตัวดึงข้อความในเครื่อง

ในอนาคตอาจมีการผสานรวมเฉพาะทางเพิ่มเติม เช่น โมเดล ฟื้นฟูภาพ

ความสามารถของโมเดลที่กำหนดค่าไว้ใน โปรไฟล์บริการ จะสอดคล้องกับปุ่มอัตโนมัติในตัวแก้ไขการ์ตูน

ความสามารถอัตโนมัติ

เมื่อรันขั้นตอนใดแยกต่างหาก โดยทั่วไปคุณเลือกได้ว่าจะประมวลผลเฉพาะรายการที่ยังไม่มีผลลัพธ์ หรือประมวลผลทุกรายการใหม่ทั้งหมด การประมวลผลใหม่ทั้งหมดอาจเขียนทับผลลัพธ์ที่มีอยู่ รวมถึงข้อความต้นฉบับหรือคำแปลที่แก้ไขด้วยตนเอง ตรวจสอบขอบเขตก่อนเริ่มการประมวลผลแบบกลุ่ม

ข้อมูลที่ส่งไปยังบริการของบุคคลที่สามขึ้นอยู่กับขั้นตอน

  • ขั้นตอนตรวจจับบล็อกข้อความมักส่งภาพทั้งหน้า
    • ตัวตรวจจับบล็อกข้อความในเครื่องทำงานแบบออฟไลน์และไม่ส่งข้อมูลใดออกไปภายนอก
  • ขั้นตอนดึงข้อความส่งภาพที่ครอปเฉพาะบล็อกข้อความหรือภาพทั้งหน้า ขึ้นอยู่กับผู้ให้บริการ
    • ตัวดึงข้อความในเครื่องทำงานบนอุปกรณ์และไม่ส่งคำขอรู้จำข้อความไปยังบริการ OCR ออนไลน์
  • ขั้นตอนดึงสรุปภาพส่งภาพทั้งหน้า
  • ขั้นตอนแปลส่งข้อความ บริบท และรายการในอภิธานศัพท์เป็นหลัก

ดูรายละเอียดเรื่องการจัดเก็บข้อมูลและความเป็นส่วนตัวได้ที่ คำถามที่พบบ่อย