แนวคิดและขั้นตอนการทำงาน
Neko Translator แบ่งการแปลการ์ตูนออกเป็น 4 ขั้นตอนที่รันแยกกันได้ แต่ละขั้นตอนมีอินพุต เอาต์พุต และความสามารถของโมเดลเป็นของตัวเอง และบางขั้นตอนต้องอาศัยผลลัพธ์จากขั้นตอนก่อนหน้า
ขั้นตอนการแปลการ์ตูนอัตโนมัติ
หัวข้อที่มีชื่อว่า “ขั้นตอนการแปลการ์ตูนอัตโนมัติ”ขั้นตอนอัตโนมัติแบบครบถ้วนโดยทั่วไปมีดังนี้
ตรวจจับบล็อกข้อความ → ดึงข้อความ → ดึงสรุปภาพ → แปล
| ขั้นตอน | วัตถุประสงค์ | อินพุตหลัก | เอาต์พุตหลัก |
|---|---|---|---|
| ตรวจจับบล็อกข้อความ | ค้นหาบอลลูนคำพูดและบริเวณข้อความอื่น ๆ | ภาพการ์ตูน | ตำแหน่งบล็อกข้อความ บางโมเดลส่งข้อความต้นฉบับกลับมาด้วย |
| ดึงข้อความ | อ่านข้อความต้นฉบับภายในกล่องที่มีอยู่ | ภาพการ์ตูนและบล็อกข้อความ | ข้อความต้นฉบับ |
| ดึงสรุปภาพ | อธิบายภาพเพื่อใช้เป็นบริบทในการแปล | ภาพการ์ตูน | คำอธิบายภาพ |
| แปล | สร้างคำแปลจากข้อความต้นฉบับและบริบท | ข้อความต้นฉบับ บริบท อภิธานศัพท์ | ข้อความแปล |
การตรวจจับบล็อกข้อความและการดึงข้อความเป็นคนละการทำงานกัน การตรวจจับจะระบุเพียงว่า “ข้อความอยู่ตรงไหน” ส่วนการดึงข้อความจะระบุว่า “ข้อความเขียนว่าอะไร”
ความสามารถของแต่ละโมเดลไม่เหมือนกัน ตัวอย่างเช่น PaddleOCR VL 1.6 และ GLM-OCR ดึงข้อความได้ขณะตรวจจับตำแหน่งบล็อกข้อความ ส่วนตัวตรวจจับบล็อกข้อความในเครื่องตรวจจับได้เฉพาะตำแหน่ง
การแบ่งขั้นตอนการทำงานออกเป็นขั้น ๆ ช่วยให้คนเข้าไปแก้ไขหรือทำซ้ำเฉพาะบางส่วนของกระบวนการได้ และช่วยให้สมาชิกหลายคนทำงานร่วมกันบนมังงะเรื่องเดียวกันได้
- ขั้นตอนดึงข้อความต้องมีบล็อกข้อความอยู่ก่อน บล็อกข้อความอาจมาจากโมเดลตรวจจับบล็อกข้อความหรือการทำเครื่องหมายด้วยตนเอง
- ขั้นตอนแปลต้องมีข้อความต้นฉบับ ข้อความต้นฉบับอาจมาจากโมเดลดึงข้อความหรือการป้อนด้วยตนเอง
- ขั้นตอนดึงสรุปภาพรันแยกได้โดยอิสระ
- ขั้นตอนแปลอาจใช้ผลสรุปภาพเป็นบริบท แต่ไม่จำเป็นต้องมี
ความสามารถของโมเดล
หัวข้อที่มีชื่อว่า “ความสามารถของโมเดล”AI ทั่วไป:
แต่ละโมเดลในการกำหนดค่า AI ทั่วไปสามารถระบุความสามารถที่โมเดลนั้นรองรับได้
- ดึงข้อความ ต้องรองรับอินพุตภาพ โมเดลจะอ่านบริเวณของบล็อกข้อความ
- ดึงสรุปภาพ ต้องรองรับอินพุตภาพ โมเดลจะอ่านภาพทั้งหน้า
- แปล ต้องรองรับการสร้างภาษา
ตรวจจับบล็อกข้อความ:
ขั้นตอนตรวจจับบล็อกข้อความต้องใช้ตัวตรวจจับที่ผสานรวมไว้โดยเฉพาะ ตัวเลือกที่รองรับได้แก่ ตัวตรวจจับบล็อกข้อความในเครื่อง PaddleOCR VL 1.6 และ GLM-OCR โมเดล AI ทั่วไปยังแม่นยำไม่พอสำหรับงานนี้ จึงยังไม่รองรับความสามารถนี้สำหรับโมเดลเหล่านี้ในขณะนี้
ดึงข้อความ:
ใช้บริการเฉพาะทาง ตัวเลือกที่รองรับในปัจจุบันคือ ตัวดึงข้อความในเครื่อง
ในอนาคตอาจมีการผสานรวมเฉพาะทางเพิ่มเติม เช่น โมเดล ฟื้นฟูภาพ
ความสามารถของโมเดลที่กำหนดค่าไว้ใน โปรไฟล์บริการ จะสอดคล้องกับปุ่มอัตโนมัติในตัวแก้ไขการ์ตูน

ผลลัพธ์ที่มีอยู่และการเขียนทับ
หัวข้อที่มีชื่อว่า “ผลลัพธ์ที่มีอยู่และการเขียนทับ”เมื่อรันขั้นตอนใดแยกต่างหาก โดยทั่วไปคุณเลือกได้ว่าจะประมวลผลเฉพาะรายการที่ยังไม่มีผลลัพธ์ หรือประมวลผลทุกรายการใหม่ทั้งหมด การประมวลผลใหม่ทั้งหมดอาจเขียนทับผลลัพธ์ที่มีอยู่ รวมถึงข้อความต้นฉบับหรือคำแปลที่แก้ไขด้วยตนเอง ตรวจสอบขอบเขตก่อนเริ่มการประมวลผลแบบกลุ่ม
ข้อมูลที่การทำงานอัตโนมัติส่งออกไปภายนอก
หัวข้อที่มีชื่อว่า “ข้อมูลที่การทำงานอัตโนมัติส่งออกไปภายนอก”ข้อมูลที่ส่งไปยังบริการของบุคคลที่สามขึ้นอยู่กับขั้นตอน
- ขั้นตอนตรวจจับบล็อกข้อความมักส่งภาพทั้งหน้า
- ตัวตรวจจับบล็อกข้อความในเครื่องทำงานแบบออฟไลน์และไม่ส่งข้อมูลใดออกไปภายนอก
- ขั้นตอนดึงข้อความส่งภาพที่ครอปเฉพาะบล็อกข้อความหรือภาพทั้งหน้า ขึ้นอยู่กับผู้ให้บริการ
- ตัวดึงข้อความในเครื่องทำงานบนอุปกรณ์และไม่ส่งคำขอรู้จำข้อความไปยังบริการ OCR ออนไลน์
- ขั้นตอนดึงสรุปภาพส่งภาพทั้งหน้า
- ขั้นตอนแปลส่งข้อความ บริบท และรายการในอภิธานศัพท์เป็นหลัก
ดูรายละเอียดเรื่องการจัดเก็บข้อมูลและความเป็นส่วนตัวได้ที่ คำถามที่พบบ่อย