Ţŕàñšļàţé àüđîö & ṽîđéö
Ţĥéŕé àŕé ţŵö ŵàýš ţö ţàķé à ḿéđîà ƒîļé îñţö àñöţĥéŕ ļàñĝüàĝé, üšàƃļé ţöĝéţĥéŕ öñ ţĥé šàḿé ƒîļé:
- Ţŕàñšļàţé ţĥé ţéẋţ îñšîđé îţ: šþééçĥ îñ àüđîö, đîàļöĝüé àñđ öñ-šçŕééñ ţéẋţ îñ ṽîđéö, ŵöŕđš îñ àñ îḿàĝé. kapi ŕéçöĝñîžéš ţĥé ţéẋţ, ţŕàñšļàţéš îţ, àñđ ŵŕîţéš à šüƃţîţļé ƒîļé öŕ à ţŕàñšļàţéđ çàþţîöñ.
- Ŕéþļàçé ţĥé ŵĥöļé ƒîļé: ŵĥéñ ţĥé ƒîļé îţšéļƒ îš ţĥé đéļîṽéŕàƃļé, šüþþļý à ţŕàñšļàţéđ ṽéŕšîöñ þéŕ ļàñĝüàĝé àñđ kapi çàŕŕîéš îţ ţĥŕöüĝĥ àš ţĥàţ ļàñĝüàĝé'š àššéţ (ñö ţéẋţ-ţö-šþééçĥ, ñö ŕé-éñçöđîñĝ; ýöü þŕöṽîđé ţĥé ƒîļé).
Ŕéçöĝñîţîöñ ŕüñš öñ ýöüŕ ḿàçĥîñé; ţŕý îţ ŵîţĥ ñö îñšţàļļ îñ ţĥé îñ-ƃŕöŵšéŕ ļàƃš. Ţĥé ţŕàñšļàţîñĝ ḿöđéļ îš ţĥé öñé ýöü àļŕéàđý çöñƒîĝüŕéđ; šéé Çĥööšé à ţŕàñšļàţîöñ ḿöđéļ.
- Đéšķţöþ
- Àĝéñţ (Çļàüđé)
- ÇĻÎ
- Îñšţàļļ ţĥé éñĝîñéš. Îñ Þļüĝîñš, îñšţàļļ ŵĥàţ ýöü ñééđ:
asr(šþééçĥ),av(ṽîđéö),vision(ţéẋţ îñ îḿàĝéš àñđ ƒŕàḿéš). Ţĥé ŕéþļàçé-ţĥé-ƒîļé þàţĥ ñééđš ñöñé öƒ ţĥéḿ. - Ŕüñ ţĥé ƒļöŵ. Ţĥé ḿéđîà ƒļöŵš àþþéàŕ àļöñĝšîđé ţĥé öţĥéŕš öñçé ţĥéîŕ þļüĝîñ îš îñšţàļļéđ: þîçķ ţĥé ƒļöŵ, ţĥé ƒîļé, àñđ à ţàŕĝéţ ļàñĝüàĝé, àñđ ŕüñ ŵîţĥ ļîṽé þŕöĝŕéšš.
- Ŵĥöļé-ƒîļé àššéţš ŕîđé ţĥé þŕöĵéçţ: þüţ ţĥé ţŕàñšļàţéđ ƒîļé ƃéšîđé ţĥé šöüŕçé öñ ţĥé ļàñĝüàĝé þàţĥ (ƒöŕ éẋàḿþļé
assets/fr/promo.mp4) àñđ kapi þîçķš îţ üþ àš ţĥàţ ļàñĝüàĝé'š àššéţ, àš-îš.
Àšķ ƒöŕ ţĥé đéļîṽéŕàƃļé:
Ĝîṽé ḿé Ƒŕéñçĥ šüƃţîţļéš ƒöŕ
talk.m4a, àñđ çĥéçķ ţĥé ţéŕḿîñöļöĝý àĝàîñšţ öüŕ àþþŕöṽéđ ţéŕḿš.
Ţĥé àššîšţàñţ ŕüñš ţĥé ŕéçöĝñîţîöñ ƒļöŵ, ţŕàñšļàţéš ţĥé çüéš ţĥŕöüĝĥ kapi (šö ţĥé ţéŕḿš šţöŕé àþþļîéš), àñđ ŕüñš ţĥé çĥéçķš öñ ţĥé šüƃţîţļé ƒîļé ļîķé àñý öţĥéŕ çöñţéñţ. Ŵĥéñ ŕéçöĝñîţîöñ îš üñçéŕţàîñ, îţ çàñ ĥàṽé à ḿüļţîḿöđàļ ḿöđéļ ŕé-ŕéàđ ţĥé üñçļéàŕ ļîñéš (media-refine) ƃéƒöŕé ţŕàñšļàţîñĝ.
Îñšţàļļ ţĥé éñĝîñéš öñçé, ţĥéñ éàçĥ ĵöƃ îš öñé ƒļöŵ ŕüñ; ţĥé šüƃţîţļé ƒöŕḿàţ ƒöļļöŵš ţĥé éẋţéñšîöñ ýöü ĝîṽé:
kapi plugin install asr # speech; also: av (video), vision (image text)
kapi run audio-to-subtitles -i talk.m4a -o talk.fr.vtt --target-lang fr
kapi run video-to-subtitles -i clip.mp4 -o clip.fr.srt --target-lang fr
kapi run image-ocr-translate -i banner.png --target-lang fr # → banner.alt.txt
Îñ à þŕöĵéçţ, ţĥé ƒļöŵš ŕüñ ŵîţĥöüţ -i àçŕöšš ţĥé đéçļàŕéđ çöñţéñţ, àñđ öüţþüţš ƒöļļöŵ ţĥé ļàñĝüàĝé þàţĥ îñšţéàđ öƒ -o. Éṽéŕý ƒļöŵ àñđ ƒļàĝ îš îñ ţĥé çöḿḿàñđ ŕéƒéŕéñçé.
Ñéẋţ
- Îñ-ƃŕöŵšéŕ ļàƃš: ţĥé šàḿé ŕéçöĝñîţîöñ, çļîéñţ-šîđé, ñöţĥîñĝ ţö îñšţàļļ.
- Ķééþ ţéŕḿš çöñšîšţéñţ: ţéŕḿîñöļöĝý éñƒöŕçéḿéñţ öñ šüƃţîţļé öüţþüţ.