mlsubgen — ซับไตเติลสำหรับทุกวิดีโอในบ้าน ทำเองที่บ้าน และเปิดเป็นโอเพนซอร์สแล้ว

มันทำอะไร

• ฟังภาษาก่อนถอดเสียง ทุกสิบวินาทีของเสียงพูดถูกตัดสินสองครั้ง — ด้วยความน่าจะเป็นจากเอนจินหนึ่ง และการถอดเสียงทดลองจากอีกเอนจิน — และนับเฉพาะเมื่อเห็นตรงกันบนคำจริง หนังที่เปลี่ยนภาษากลางฉากจะถูกถอดเสียงแต่ละช่วงในภาษาของมันเอง ส่วนหนังที่เป็นภาษาญี่ปุ่นทั้งเรื่องจะไม่ถูกเข้าใจผิดว่าเป็นภาษาจีนเพียงเพราะมีคนฮัมเพลง
• ถอดเสียงด้วยสองเอนจินและกรรมการหนึ่งคน Qwen3-ASR มีอัตราความผิดพลาดระดับตัวอักษรของภาษาญี่ปุ่นต่ำที่สุดในบรรดาโมเดลเปิด ส่วน whisper large-v3 ฟังได้ทนทานกว่าเมื่อมีเพลงและเสียงซ้อนกัน และสะกดชื่อได้ดีกว่า ทั้งสองถอดเสียงทุกช่วง ตรงไหนเห็นตรงกันก็จบ ตรงไหนต่างกัน โมเดลภาษาของเครื่องเองจะอ่านทั้งสองฉบับแล้วเขียนบทถอดเสียงฉบับเดียว — เก็บทุกบรรทัดที่เอนจินใดได้ยิน ใช้เสียงอ่านจากตัวหนึ่ง และคันจิจากอีกตัว
• จับเวลาทุกบรรทัดจากตัวเอนจินเอง ทุกตัวอักษรของบทถอดเสียงสุดท้ายได้รับเวลาจากเอนจินที่มันมา forced aligner ให้เวลาแม่นระดับเฟรมเมื่อใช้ได้ และการจับเวลาจาก attention ของ whisper รับช่วงต่อเมื่อใช้ไม่ได้ ไม่มีอะไรจับเวลาด้วยการเดา
• แปลได้ 45 ภาษา ภาษาละหนึ่งไฟล์ ติ๊กภาษาในหน้าเว็บ หรือส่ง --target en,th,de ตัวแปลถูกเลือกตามคู่ภาษา ทำงานทีละหน้าต่างยี่สิบบรรทัดโดยมีบทสนทนารอบข้างเป็นบริบท และได้รับแจ้งประเภทของเรื่อง — เด็กห้าขวบจอมแก่นในหนังตลกจะยังแก่นในภาษาไทย ด้วยคำลงท้ายแบบที่เด็กใช้ ไม่ใช่แบบพนักงานธนาคาร ภาษาจีนออกมาเป็นตัวย่อ กวางตุ้งเป็นตัวเต็ม ภาษาญี่ปุ่นและจีนใช้เครื่องหมายวรรคตอนของตัวเองและได้ความเร็วการอ่านที่ช้ากว่า ส่วนภาษาไทย ลาว เขมร และพม่า จะไม่ตัดบรรทัดระหว่างพยัญชนะกับสระของมันเลย
• ใช้สิ่งที่มีอยู่แล้วก่อนจะฟัง วิดีโอที่มีแทร็กภาษาอังกฤษฝังอยู่จะถูกปล่อยไว้สำหรับภาษาอังกฤษ แทร็กซับไตเติลฉบับเต็มอื่นใด — ในภาษาใดก็ได้จาก 45 ภาษา ตราบที่ไม่ใช่แทร็ก forced หรือแทร็กป้ายและเพลง — จะกลายเป็นต้นฉบับสำหรับภาษาที่ขาด โดยเริ่มจากแทร็กของภาษาที่พูด เพราะงานแปลของมนุษย์ชนะการถอดเสียงทุกแบบ และต้นฉบับชนะการแปลจากฉบับแปล ไฟล์ซับไตเติลที่อยู่ข้างวิดีโออยู่แล้วก็ถูกใช้ซ้ำแบบเดียวกัน การเพิ่มภาษาให้โฟลเดอร์ที่ทำเสร็จแล้วจึงเป็นแค่รอบการแปล ไม่ใช่การรันใหม่ทั้งหมด
• ทำงานเป็นเซอร์วิส งานเข้าคิว เวิร์กเกอร์รับไปทีละงาน รอแชร์เครือข่ายและ GPU หลังรีบูต บันทึกจุดตรวจทุกขั้นตอนและทุกชิ้นที่ถอดเสียงแล้ว และรายงานไปยังหน้าเว็บที่คุณใส่โฟลเดอร์หรือไฟล์เข้าคิว ดูตัวอย่างว่างานจะแตะไฟล์ไหนบ้าง ดูล็อกสด หยุดงานข้ามการรีบูตแล้วทำต่อ และดึงโมเดลด้วยการคลิกเดียว
• รู้ว่าใครกำลังพูด ถ้าคุณขอ รอบเสริมจะหาช่วงที่ผู้พูดเปลี่ยนบน CPU จากโมเดลแบ่งช่วงของ pyannote และโมเดลลายเสียงผู้พูดที่ sherpa-onnx แจกจาก GitHub — ไม่ต้องมีบัญชี ไม่ต้องมีโทเคน เสียงที่เปลี่ยนจะปิดซับไตเติลหนึ่งบรรทัด ตัวตรวจภาษาทำงานทีละเสียง และตัวแปลได้รับแจ้งว่าบรรทัดไหนเป็นเสียงเดียวกัน โดยมีกฎว่าแท็กหมายถึงแค่ “เสียงเดียวกัน” และไม่ปรากฏในผลลัพธ์ เมื่อหลักฐานน้อยหรือสับสน ไฟล์จะถูกประมวลผลเหมือนไม่ได้เปิดตัวเลือกนี้

รันเองได้

git clone https://github.com/dodgypast/mlsubgen.git && cd mlsubgen
cp .env.example .env                  # MEDIA_DIR = your videos; your uid/gid; default languages
mkdir -p data models                  # state and the model cache, created by you so the containers can write them
docker compose up -d --build          # ~14 GB image (CUDA torch and the speech stacks), 10-20 minutes the first time
docker compose run --rm worker pull   # the speech models (~8 GB) and the translators your card can hold
docker compose run --rm worker pull speakers   # optional: the two speaker models (33 MB) for --speakers

ข้อค้นพบที่ทำให้มันได้ผล

การรันหนึ่งรอบทำงานอย่างไร

• แทร็กที่ฝังอยู่มาก่อน แทร็กข้อความในภาษาเป้าหมายหมายความว่าภาษานั้นเสร็จแล้ว แทร็กข้อความฉบับเต็มอื่นใด — เริ่มจากแทร็กของภาษาที่พูด — จะกลายเป็นบทถอดเสียง และข้ามขั้นตอนเสียงทั้งหมด
• เสียง พลังงาน ภาษา เสียงถูกดึงออกเป็นไฟล์ wav 16 kHz รูปพลังงานเสียงตัดสินว่าอะไรคือเสียงและอะไรคือความเงียบ และตัวตรวจภาษาติดป้ายทุกช่วงของเสียงพูด
• การถอดเสียงสองชุด เอนจินทั้งสองถอดเสียงทุกชิ้นโดยบังคับภาษาที่ตรวจพบ — โหมดแม่นยำ — และตัวอักษรของผลแต่ละชุดถูกตรวจกับป้าย ถ้าไม่ตรงจะถอดใหม่โดยปล่อยภาษาอิสระแทนการยอมรับ ทุกชิ้นที่ถอดแล้วถูกบันทึกจุดตรวจ การหยุดชั่วคราวหรือไฟดับจึงเสียไปอย่างมากหนึ่งชิ้น
• กรรมการ เมื่อเอนจินออกจาก GPU แล้ว โมเดลภาษาจะประสานชิ้นที่ทั้งสองเห็นไม่ตรงกัน — ในตอนอนิเมะที่คึกคักคือส่วนใหญ่ — และบรรทัดต่าง ๆ ถูกจับเวลาจากไทม์ไลน์ของเอนจินเอง
• บรรทัดซับและด่าน คำกลายเป็นบรรทัดซับที่จุดจบประโยคและช่วงหยุด บรรทัดที่ตัวตรวจจับไม่เคยเห็นจะถูกเก็บไว้ก็ต่อเมื่อดูเหมือนคำพูดและมีเสียงอยู่ข้างใต้ คำเติม ข้อความวนซ้ำ และวลีสำเร็จรูปทับความเงียบจะถูกตัดทิ้ง
• แปลทีละโมเดล แต่ละรอบถูกแปลทีละภาษาเป้าหมาย การ์ดจึงถือตัวแปลทีละตัว บรรทัดที่เป็นภาษาเป้าหมายอยู่แล้วจะถูกคัดลอกผ่านโดยทำความสะอาดให้ ความกว้างบรรทัดและความเร็วการอ่านเป็นไปตามภาษา
• ภาษาละหนึ่งไฟล์ film.en.srt, film.th.srt เขียนแบบอะตอมมิก ไว้ข้างวิดีโอ ซึ่งเครื่องเล่นทุกตัวหาเจอ

กฎที่มาจากการวัด ไม่ใช่ความเห็น

• เห็นตรงกันโดยไม่มีคำ ไม่มีค่าอะไร ตัวตรวจจับสองตัวเห็นตรงกันว่าช่วงที่มีคนฮัมเพลงเป็นภาษาจีน คือสาเหตุที่หนังญี่ปุ่นยี่สิบเอ็ดเรื่องเคยถูกข้ามไป หน้าต่างจะนับก็ต่อเมื่อมีคำอยู่ในนั้น
• ตัดสินบรรทัดที่น่าสงสัยจากสิ่งที่มันเป็น “ตัวตรวจจับไม่พบอะไร” เคยหมายถึง “ทิ้ง” ตอนนี้หมายถึง “ดูให้ละเอียด”: มันประกอบด้วยคำไหม เป็นวลีสำเร็จรูปที่รู้จักไหม พูดได้จริงในเวลาเท่านั้นไหม มีเสียงอยู่ข้างใต้ไหม
• สภาพการทำงานของโมเดลเป็นส่วนหนึ่งของความแม่นยำ เอนจินตัวเดียวกับที่พลาดครึ่งหนึ่งของชิ้นสี่นาที คือตัวที่ดีที่สุดบนชิ้นสามสิบวินาที
• ระดับภาษาคือการตัดสินใจของการแปล ภาษาไทยแสดงความสุภาพผ่านคำลงท้าย ถ้าไม่มีกฎ ตัวละครทุกตัวถูกแปลเป็นผู้ใหญ่ที่ได้รับการอบรมมาอย่างดี เมื่อมีประเภทของเรื่องและกฎถาวรหนึ่งข้อ เด็กที่หยาบคายก็หยาบคาย เช่นเดียวกับ du กับ Sie, tu กับ vous และระดับภาษาของญี่ปุ่นและเกาหลี
• เก็บเพลงร้องไว้ ครั้งหนึ่งกรรมการเคยถูกบอกว่าเนื้อเพลงคือสิ่งแปลกปลอม แล้วมันก็ตัดเพลงเปิดทิ้งไปเงียบ ๆ บรรทัดที่ร้องคือเนื้อหา
• จุดตรวจละเอียดได้แค่เท่ากับงานที่คุณยอมเสีย จุดตรวจรายไฟล์หมายความว่าการหยุดที่ชิ้นที่ 144 จาก 247 ทิ้งไป 144 ชิ้น ตอนนี้ ASR บันทึกจุดตรวจทุกชิ้น และการหยุดชั่วคราวอยู่รอดข้ามการรีบูตจนกว่าคุณจะสั่งทำต่อ
• แทร็กซับแบบ forced คือความจริงพื้นฐานที่ได้มาฟรี — และเป็นแค่ขอบล่าง ในหนังหลายภาษา แทร็กที่ใส่ซับเฉพาะบรรทัดภาษาต่างประเทศบอกว่าเสียงพูดภาษาต่างประเทศอยู่ตรงไหน การให้คะแนนตัวตรวจภาษาเทียบกับมันบน Babel, Inglourious Basterds และ Only God Forgives พบว่ามันเจอเสียงพูดภาษาต่างประเทศส่วนใหญ่ แต่จับการเปลี่ยนภาษาได้ภายในสามวินาทีเพียงครึ่งเดียว: หน้าต่างตรวจจับสิบวินาทีลากป้ายเดียวข้ามจุดเปลี่ยน การย้ายจุดเปลี่ยนไปยังช่วงที่แน่นอน ให้คำเป็นตัวแยกภาษาอังกฤษจากภาษาอิตาลี และให้หน้าต่างที่มีหลักฐานหนักแน่นหนึ่งหน้าต่างรอดจากการปรับให้เรียบ ยกขึ้นเป็นสองในสาม และภาษาอิตาลีปรากฏในที่ที่เคยพลาดไปทั้งหมด การให้คะแนนเดียวกันยังแสดงว่า “สัญญาณเตือนผิด” ทุกครั้งที่เราตรวจด้วยหู คือตัวตรวจจับที่ถูกต้องในจุดที่คนทำซับเงียบไว้ — เพลงร้อง การ์ด “[พูดภาษาเยอรมัน]” — ช่วงที่ตรวจสอบแล้วจึงถูกตัดออกจากคะแนน แทนที่จะถูกนับว่าผิด
• วัดชิ้นที่คุณเปลี่ยนได้ ไม่ใช่ชิ้นที่คุณหวังว่าจะขยับ การแบ่งช่วงผู้พูดช่วยตัวตรวจจับในที่ที่เสียงจับคู่กับภาษา และไม่มีผลในที่ที่ไม่ใช่ โมเดลลายเสียงผู้พูดห้าตัวไม่ทำให้การตรวจจับต่างกันเลย เพราะส่วนที่มีประโยชน์ — ขอบของช่วงผู้พูด — มาจากโมเดลแบ่งช่วง ส่วนสิ่งที่โมเดลลายเสียงเปลี่ยนคือการจัดกลุ่มช่วงเป็นตัวละครได้ดีแค่ไหน โมเดลที่จัดกลุ่มได้ดีที่สุดถูกใช้เป็นค่าเริ่มต้น และฟีเจอร์นี้ยังปิดไว้จนกว่าการทดสอบจะบอกเป็นอย่างอื่นสำหรับคลังนั้น ๆ

มันรันบนอะไรที่นี่

• GPU หนึ่งตัว 24 GB เอนจินรู้จำเสียงทั้งสองอยู่บนการ์ดด้วยกันระหว่างการถอดเสียง แล้วตัวแปลรับช่วงต่อหลังจากนั้น ทุกอย่างที่นี่รันบนเครื่อง GPU ในระบบของเรา — การ์ดใบเดียวกับที่เฝ้ากล้อง
• โมเดลภาษาสองตัว ให้บริการในเครื่อง ตัวหนึ่งสำหรับญี่ปุ่นเป็นอังกฤษและสำหรับเป็นกรรมการของเอนจิน อีกตัวที่ใหญ่กว่าและหลายภาษาสำหรับทุกอย่างที่แปลเป็นภาษาไทยและคู่ภาษาอื่นทั้งหมด การ์ดที่เล็กกว่าจะได้ตัวที่เล็กกว่าโดยอัตโนมัติ ดูโปรไฟล์ด้านบน
• ffmpeg และแชร์ในเครือข่าย วิดีโออยู่บน NAS ดึงข้ามมาเฉพาะเสียง 16 kHz และเสียงของไฟล์ถัดไปถูกดึงออกระหว่างที่ไฟล์ปัจจุบันกำลังถอดเสียง
• ไม่มีอะไรอื่น ไม่มีบัญชี ไม่มีการอัปโหลด ไม่มีบิลรายนาที ตอนยาวยี่สิบสี่นาทีใช้เวลาราวยี่สิบนาทีสำหรับทั้งสองภาษา และทั้งซีซันรันเองข้ามคืน

มันอยู่ตรงไหนในภาพรวม