Ḿ-03: Ḿüļţîḿöđàļ çöñţéñţ

Šüḿḿàŕý

Ŕéçöṽéŕîñĝ ţŕàñšļàţàƃļé çöñţéñţ ƒŕöḿ à ñöñ-ţéẋţ ḿéđîüḿ (ţéẋţ ŕéñđéŕéđ îñţö àñ îḿàĝé, šþééçĥ îñ àñ àüđîö ţŕàçķ, çàþţîöñš àñđ öñ-šçŕééñ ţéẋţ îñ ṽîđéö) îš öñé þàţţéŕñ ƒöŕ àļļ ţĥŕéé. À ƒàšţ ļöçàļ éẋţŕàçţöŕ ţüŕñš ŕàŵ ḿéđîà îñţö ƃļöçķš, éàçĥ àñçĥöŕéđ ƃàçķ ţö à šļîçé öƒ ţĥé šöüŕçé àñđ çàŕŕýîñĝ à þéŕ-üñîţ çöñƒîđéñçé. Ţĥé üñîţš ţĥé éẋţŕàçţöŕ ŵàš üñšüŕé öƒ àŕé ţĥéñ éšçàļàţéđ ţö à çöñƒîĝüŕàƃļé ḿüļţîḿöđàļ ḿöđéļ ţĥàţ ŕé-ŕéàđš ĵüšţ ţĥàţ šļîçé: à çŕöþ ƒöŕ àñ îḿàĝé, à ţîḿé šþàñ ƒöŕ àüđîö, à ƒŕàḿé öŕ çļîþ ƒöŕ ṽîđéö.

Üñđéŕñéàţĥ ţĥàţ, àñ îḿàĝé, àñ àüđîö ƒîļé àñđ à ṽîđéö àŕé éàçĥ àļšö à ŵĥöļé àđàþţàƃļé àššéţ, à ţĥîñĝ à þéŕ-ļöçàļé ṽàŕîàñţ çàñ ŕéþļàçé öüţŕîĝĥţ. Ţĥé ţŵö ḿöđéš àŕé îñđéþéñđéñţ àñđ çöḿþöšé öñ öñé ƒîļé.

Ñöţĥîñĝ ĥéŕé îš à ñéŵ çöñţéñţ-ḿöđéļ þŕîḿîţîṽé. Ţĥé àñçĥöŕš àŕé ţĥé çöñţéñţ ḿöđéļ'š éẋîšţîñĝ þéŕ-ḿéđîüḿ ƒàçéţš, ţĥé çöñƒîđéñçé îš à ƒîéļđ öñ ţĥé šöüŕçé þŕöṽéñàñçé ŕéçöŕđ, àñđ ţĥé ḿüļţîḿöđàļ ḿéššàĝé îš ţĥé þŕöṽîđéŕ îñţéŕƒàçé'š. Ŵĥàţ ţĥîš đéçîšîöñ àđđš îš ţĥé éšçàļàţîöñ ţîéŕ, öñé ĝéñéŕîç ţŕàñšƒöŕḿ ţĥàţ îḿþļéḿéñţš îţ, àñđ ţĥé þļüĝîñ šýḿḿéţŕý ţĥàţ ḿàķéš àüđîö àñđ ṽîđéö ŕéüšé ţĥé îḿàĝé þàţĥ.

Éṽéŕý ḿéđîüḿ îš àñ àđàþţàƃļé àššéţ ƒîŕšţ

Àđàþţîñĝ à đöçüḿéñţ ţĥàţ çöñţàîñš àñ îḿàĝé îš ñöţ öñé þŕöƃļéḿ, àñđ ţŕéàţîñĝ "îḿàĝé" àš "ÖÇŔ" çöñƒļàţéš ţĥéḿ. Ţĥé đîšţîñçţ ḿöđéš àŕé:

Ḿöđé	Ŵĥàţ îţ àđàþţš	Ḿéçĥàñîšḿ
Ŵĥöļé-àššéţ ŕéþļàçéḿéñţ	ţĥé ƃýţéš	à þéŕ-ļöçàļé ƒîļé ŕéþļàçéš ţĥé šöüŕçé
Àļţ ţéẋţ / çàþţîöñ	àççéššîƃļé ţéẋţ, ñöţ þîẋéļš	à ţŕàñšļàţàƃļé çàþţîöñ ƃļöçķ ļîñķéđ ţö ţĥé àššéţ
Ḿéţàđàţà	éḿƃéđđéđ ţîţļé, đéšçŕîþţîöñ, ķéýŵöŕđš	ţŕàñšļàţàƃļé ƒîéļđš ƃéçöḿé ḿéţàđàţà-þļàñé ƃļöçķš
Îñ-àššéţ ţéẋţ	ţéẋţ ŕéñđéŕéđ îñţö þîẋéļš, šþééçĥ îñ à ŵàṽéƒöŕḿ	éẋţŕàçţ, ţŕàñšļàţé, đéļîṽéŕ àš à çöḿþàñîöñ
Ļàýöüţ / šţŕüçţüŕé	ţĥé đöçüḿéñţ'š ŕéĝîöñš	đéţéçţ ŕéĝîöñš àñđ ŕéàđîñĝ öŕđéŕ

Ŵĥöļé-àššéţ ŕéþļàçéḿéñţ îš ţĥé ḿöšţ çöḿḿöñ àñđ ţĥé šîḿþļéšţ ţö ŕéàšöñ àƃöüţ: à ţŕàñšļàţöŕ öŕ àñ àüţöḿàţéđ þîþéļîñé šüþþļîéš à þéŕ-ļöçàļé þîçţüŕé. Ţĥé ŕéšţ îš éñŕîçĥḿéñţ. Ţĥé çöñţéñţ ḿöđéļ àļŕéàđý çàŕŕîéš ŵĥàţ ţĥéšé ñééđ (à ḿéđîà þàŕţ ŵîţĥ îţš ƃýţéš, ƃļöƃ ķéý öŕ ÜŔÎ þļüš àļţ ţéẋţ, àñđ ţĥé šţàñđöƒƒ šţŕüçţüŕé àñđ ŕöļé àññöţàţîöñš (Ƒ-02)), šö ţĥé àŕçĥîţéçţüŕàļ ĵöƃ îš ţö ķééþ ţĥé ƒöŕḿàţ ĝéñéŕîç àñđ ḿàķé ṽîšîöñ àñ öþţîöñàļ ļàýéŕ ŕàţĥéŕ ţĥàñ ţĥé îđéñţîţý öƒ ţĥé ƒöŕḿàţ.

Ţĥé îḿàĝé ƒöŕḿàţ ţĥéŕéƒöŕé ŕéàđš ÞÑĜ àñđ ĴÞÉĜ àñđ àļŵàýš éḿîţš ţĥé þîçţüŕé àš à ḿéđîà þàŕţ ŕéƒéŕéñçéđ ƃý ÜŔÎ, ñéṽéŕ àš îñļîñé ƃýţéš: ţĥé ƃîñàŕý ñéṽéŕ ţŕàṽéļš ţĥŕöüĝĥ ţĥé þàŕţ šţŕéàḿ. À ḿàţçĥîñĝ ŵŕîţéŕ éḿîţš à ḿéđîà þàŕţ'š ƃýţéš, ŵĥîçĥ îš ţĥé ŵĥöļé-îḿàĝé šîñķ. Ţŵö ƃööļéàñ ţöĝĝļéš, ƃöţĥ đéƒàüļţ-öñ, ĝàţé ţĥé éñŕîçĥḿéñţ: ocr ŕüñš îñ-îḿàĝé ţéẋţ ŕéçöĝñîţîöñ, àñđ layout ŕüñš ḾĻ ļàýöüţ đéţéçţîöñ ŵĥéñ ÖÇŔ ŕüñš. Ŵîţĥ ocr öƒƒ, öŕ ŵîţĥ ţĥé þļüĝîñ àƃšéñţ, àñ îḿàĝé îš à ḿéđîà àššéţ àñđ ñöţĥîñĝ éļšé.

Àļţ ţéẋţ

Àñ îḿàĝé'š àççéššîƃļé ţéẋţ îš ţŕàñšļàţéđ àš çöñţéñţ, ñöţ àš à ḿéđîà ƒîéļđ. Ŵĥéñ àñ <image>.alt.txt šîđéçàŕ šîţš ƃéšîđé ţĥé šöüŕçé, ţĥé ŕéàđéŕ àţţàçĥéš îţš ţéẋţ ţö ţĥé ḿéđîà ƒöŕ đîšþļàý àñđ éḿîţš îţ àš à ţŕàñšļàţàƃļé çàþţîöñ ƃļöçķ ļîñķéđ ţö ţĥé îḿàĝé ƃý à caption-of ŕéļàţîöñ. Ţĥàţ ƃļöçķ ƒļöŵš ţĥŕöüĝĥ ţĥé öŕđîñàŕý þàţĥ (çöñţéñţ ḿéḿöŕý, ţŕàñšļàţîöñ, ṽöîçé þŕöƒîļé, çĥéçķš, ƃàţçĥîñĝ) ŵîţĥ ñö šþéçîàļ ţööļ šüþþöŕţ, àñđ ĝéţš þéŕ-ļöçàļé ţàŕĝéţš ļîķé àñý öţĥéŕ ƃļöçķ. Ţĥé ŵŕîţéŕ ƒöļđš ţĥé ţŕàñšļàţéđ ţàŕĝéţ (öŕ ţĥé šöüŕçé, àš à ŕöüñđ-ţŕîþ ƒàļļƃàçķ) ƃàçķ îñţö à þéŕ-ļöçàļé šîđéçàŕ ƃéšîđé ţĥé ŵŕîţţéñ îḿàĝé.

Ḿöđéļļîñĝ àļţ ţéẋţ àš à ļîñķéđ ƃļöçķ ŕàţĥéŕ ţĥàñ ḿüţàţîñĝ ţĥé šîñĝļé àļţ-ţéẋţ ƒîéļđ îñ þļàçé îš ŵĥàţ ḿàķéš îţ þéŕ-ļöçàļé àñđ ŵĥàţ ļéţš îţ ŕéüšé ţĥé ŵĥöļé ţŕàñšļàţîöñ šţàçķ.

Ḿéţàđàţà

Éḿƃéđđéđ đöçüḿéñţ ḿéţàđàţà îš đöçüḿéñţ-ļéṽéļ, ñöţ àñçĥöŕéđ ţö àñý ŕüñ, šö îţ ļîṽéš öñ ţĥé ļàýéŕ ŕàţĥéŕ ţĥàñ îñ à ŕüñ-àñçĥöŕéđ öṽéŕļàý. À šĥàŕéđ ĥéļþéŕ šþļîţš îţ: ţŕàñšļàţàƃļé ƒîéļđš (ţîţļé, đéšçŕîþţîöñ, ķéýŵöŕđš) ƃéçöḿé ƃļöçķš öñ ţĥé ḿéţàđàţà þļàñé àñđ ţŕàṽéļ ţĥé ñöŕḿàļ ƃļöçķ þàţĥ, ŵĥîļé ñöñ-ţŕàñšļàţàƃļé ƒîéļđš (àüţĥöŕ, çöþýŕîĝĥţ, šöƒţŵàŕé, đàţéš) àŕé ŕéçöŕđéđ àš ñàḿéšþàçéđ ļàýéŕ þŕöþéŕţîéš, ñéṽéŕ ţŕàñšļàţéđ ƃüţ ķéþţ ƒöŕ îñšþéçţîöñ. Ţĥé îḿàĝé ŕéàđéŕ ŕéàđš ÞÑĜ ţéẋţ çĥüñķš àñđ éḿƃéđđéđ ẊḾÞ ŵîţĥöüţ đéçöđîñĝ ţĥé þîẋéļš: îţ šţöþš šçàññîñĝ àţ ţĥé ƒîŕšţ îḿàĝé-đàţà çĥüñķ.

Éẋţŕàçţîöñ šüŕƒàçéš ḿéţàđàţà ƒöŕ ţŕàñšļàţîöñ, ḿéḿöŕý àñđ îñšþéçţîöñ. Ŵĥéţĥéŕ ţĥé ţŕàñšļàţéđ ḿéţàđàţà îš ŕé-éḿƃéđđéđ îš ţĥé ŵŕîţéŕ'š đéçîšîöñ: à šķéļéţöñ-ƃàšéđ ƒöŕḿàţ ŕé-àþþļîéš ţĥé ƒîéļđ, àñđ à çŕöšš-ƒöŕḿàţ çöñṽéŕšîöñ çàŕŕîéš ţĥé ḿéţàđàţà ƃļöçķš îñţö ţĥé öüţþüţ đöçüḿéñţ. Ţĥé ƃýţé-çöþý îḿàĝé ŵŕîţéŕ þŕéšéŕṽéš ţĥé šöüŕçé îḿàĝé'š öŕîĝîñàļ éḿƃéđđéđ ḿéţàđàţà üñçĥàñĝéđ.

Ţĥé þšéüđö ṽàŕîàñţ

Ţĥé ƒîŕšţ îḿàĝé ţŕàñšƒöŕḿ îš ţĥé þšéüđö ṽàŕîàñţ, ţĥé ṽîšüàļ àñàļöĝüé öƒ þšéüđö-ţŕàñšļàţéđ ţéẋţ. Öñ éñçöüñţéŕîñĝ àñ îḿàĝé ḿéđîà þàŕţ, ţĥé pseudo-translate ţööļ ŕéþļàçéš îţ ŵîţĥ à çļéàŕļý-ṽîšîƃļé ŵàţéŕḿàŕķéđ ṽàŕîàñţ (à çöļöüŕ ŵàšĥ, à šöļîđ ƃöŕđéŕ, à đîàĝöñàļ ƃàñđ) àñđ þšéüđö-ţŕàñšļàţéš ţĥé àļţ ţéẋţ. Ŕéàđ àñ îḿàĝé, þšéüđö-ţŕàñšļàţé, ŵŕîţé, àñđ ţĥé öüţþüţ îš üñḿîšţàķàƃļý ḿàŕķéđ: þŕööƒ, îñ à ƃüîļđ àŕţéƒàçţ öŕ à ÜÎ, ţĥàţ ţĥé àššéţ ŵàš àçţüàļļý šŵàþþéđ ŕàţĥéŕ ţĥàñ þàššéđ ţĥŕöüĝĥ. Îţ îš đéţéŕḿîñîšţîç àñđ đéþéñđéñçý-ƒŕéé, šţàñđàŕđ-ļîƃŕàŕý ŕàšţéŕ öþéŕàţîöñš öñļý.

Ţĥé éẋţŕàçţîöñ þļüĝîñš

Ţĥé ḾĻ çàþàƃîļîţîéš çàŕŕý ñàţîṽé-šţàçķ ŵéîĝĥţ, šö ţĥéý ļîṽé îñ þļüĝîñš àñđ ñéṽéŕ îñ kapi, öñ ţĥé šàḿé ŕéàšöñîñĝ àš ţĥé ḾĻ šéĝḿéñţéŕ (Ḿ-02, É-05). Ţĥŕéé þļüĝîñš çöṽéŕ ţĥé ḿéđîà ƒöŕḿàţš, àñđ ţĥé ƒŕàḿéŵöŕķ ĥöļđš à šéàḿ ƒöŕ éàçĥ:

• kapi-vision ŕüñš ţĥé đöçüḿéñţ-ṽîšîöñ ḿöđéļš: ÞÞ-ÖÇŔṽ5 ḿöƃîļé đéţéçţîöñ àñđ ŕéçöĝñîţîöñ, àñđ ÞÞ-ĐöçĻàýöüţṼ3 ŕéĝîöñ đéţéçţîöñ ŵîţĥ ŕéàđîñĝ öŕđéŕ. Îţ îš đŕîṽéñ öṽéŕ à ļéñĝţĥ-þŕéƒîẋéđ ƃîñàŕý ƒŕàḿé þŕöţöçöļ ŕàţĥéŕ ţĥàñ ţĥé ļîñé-đéļîḿîţéđ ĴŠÖÑ ţĥé šéĝḿéñţéŕ üšéš, ƃéçàüšé ṽîšîöñ ŕéǫüéšţš çàŕŕý ŕàŵ îḿàĝé ƃýţéš: ḿéĝàƃýţé-šçàļé þàýļöàđš ţĥàţ ŵöüļđ ƃļöŵ à ļîñé ƃüƒƒéŕ àñđ ŵàšţé à ţĥîŕđ öƒ ţĥéîŕ šîžé öñ ƃàšé64.
• kapi-asr ŕüñš à Ŵĥîšþéŕ-ƒàḿîļý ḿöđéļ ƃéĥîñđ à ļîñé-đéļîḿîţéđ ĴŠÖÑ þŕöţöçöļ.
• kapi-av ƃüñđļéš ţĥé þéŕ-þļàţƒöŕḿ đéḿüẋ ƃîñàŕîéš. Üñļîķé ţĥé öţĥéŕ ţŵö îţ ŕüñš ñö šüƃþŕöçéšš öƒ îţš öŵñ: ţĥé đéḿüẋ éñĝîñé îš îñ-þŕöçéšš àñđ öñļý ñééđš ţö ƒîñđ ţĥé ƃüñđļéđ ƃîñàŕîéš, šö ţĥé þļüĝîñ'š ĵöƃ îš ţö ƃé đîšçöṽéŕàƃļé. Îţš ŕéļéàšé àŕçĥîṽéš çàŕŕý ţĥé ĻĜÞĻ-2.1 ļîçéñçé ţéẋţ ƃéšîđé ţĥé ƒƒḿþéĝ ƃîñàŕîéš ţĥéý šĥîþ.

Éṽéŕý éñĝîñé îš þàţĥ-ƃàšéđ. Ţĥé ĥöšţ þàššéš à ƒîļéšýšţéḿ þàţĥ, ñéṽéŕ ƃýţéš, šö à ļàŕĝé îḿàĝé öŕ àüđîö ţŕàçķ ļîṽéš öñļý îñ ţĥé éñĝîñé'š þŕöçéšš. Ţĥé ƒŕàḿéŵöŕķ šéàḿš (àñ ÖÇŔ éñĝîñé îñţéŕƒàçé ŵîţĥ àñ öþţîöñàļ ļàýöüţ îñţéŕƒàçé ţýþé-àššéŕţéđ öñ ţöþ, àñđ à ţŕàñšçŕîþţîöñ éñĝîñé îñţéŕƒàçé) àŕé ñàḿé-ķéýéđ ŕéĝîšţŕîéš šĥàþéđ éẋàçţļý ļîķé ţĥé šéĝḿéñţ ŕéĝîšţŕý, šö à çàþàƃîļîţý îš àƃšéñţ ŵĥéñ îţš þļüĝîñ îš ñöţ îñšţàļļéđ àñđ à ƃŕöŵšéŕ ƃüîļđ çàñ ŕéĝîšţéŕ à ŴéƃÀššéḿƃļý-ƃàçķéđ éñĝîñé üñđéŕ ţĥé šàḿé ñàḿé.

Ŵĥàţ ţĥé éẋţŕàçţöŕš ŕéçöŕđ

Éàçĥ éẋţŕàçţöŕ'š ƃļöçķ ƃüîļđéŕ þöþüļàţéš ţŵö ţĥîñĝš öñ éṽéŕý ƃļöçķ îţ éḿîţš, àñđ ţĥéý àŕé àļļ ţĥé éšçàļàţîöñ ţîéŕ ñééđš:

• ţĥé àñçĥöŕ ƒàçéţ ƒöŕ îţš ḿéđîüḿ: à geometry àññöţàţîöñ (þàĝé àñđ ƃöüñđîñĝ ƃöẋ) ƒöŕ à ŕéñđéŕéđ ŕéĝîöñ, à timing àññöţàţîöñ (à ḿîļļîšéçöñđ šþàñ) ƒöŕ àñ àüđîö öŕ ṽîđéö šéĝḿéñţ, ƃöţĥ ƒöŕ öñ-šçŕééñ ţéẋţ îñ ṽîđéö; àñđ
• ţĥé šöüŕçé öŕîĝîñ: ţĥé éẋţŕàçţîñĝ éñĝîñé (ocr, asr) àñđ à çöñƒîđéñçé îñ [0,1], ţĥé šàḿé þŕöṽéñàñçé ŕéçöŕđ à ţŕàñšļàţîöñ çàŕŕîéš öñ îţš ţàŕĝéţ šîđé.

À ƃļöçķ ţĥéŕéƒöŕé àŕŕîṽéš àţ ţĥé ŕéƒîñéḿéñţ ţîéŕ šéļƒ-đéšçŕîƃîñĝ: à çöñƒîđéñçé ţö ĝàţé öñ, àñ àñçĥöŕ ţĥàţ šàýš ŵĥîçĥ šļîçé öƒ ţĥé šöüŕçé ţö ŕé-ŕéàđ, àñđ àñ éñĝîñé ƒöŕ ţĥé àüđîţ ţŕàîļ.

Ļàýöüţ ĝîṽéš šţŕüçţüŕé à ţĥîŕđ ţîéŕ

ÖÇŔ àļöñé þŕöđüçéš ļîñéš ŵîţĥ þîẋéļ ĝéöḿéţŕý, ŵĥîçĥ à ĝéöḿéţŕîç àñàļýšéŕ ţüŕñš îñţö îñƒéŕŕéđ šţŕüçţüŕé. Ŵîţĥ ļàýöüţ éñàƃļéđ, ţĥé đéţéçţöŕ ŕéţüŕñš àļŕéàđý-đéçöđéđ ŕéĝîöñš îñ öŕîĝîñàļ þîẋéļ çööŕđîñàţéš, îţš ŕéĝîöñ çļàššéš ḿàþ öñţö çöñţéñţ ŕöļéš (ţîţļé, ĥéàđîñĝ, ţàƃļé, þîçţüŕé, ƒöŕḿüļà, ƒööţñöţé, ĥéàđéŕ àñđ ƒööţéŕ), àñđ à đéţéŕḿîñîšţîç çöļüḿñ-çļüšţéŕîñĝ ĥéüŕîšţîç àššîĝñš ŕéàđîñĝ öŕđéŕ. Ţĥé ŕéàđéŕ ţĥéñ àššîĝñš ÖÇŔ ļîñéš ţö ŕéĝîöñš ƃý çöñţàîñḿéñţ àñđ éḿîţš ŕöļé-ţàĝĝéđ ƃļöçķš îñ ŕéàđîñĝ öŕđéŕ: àüţĥöŕîţàţîṽé šţŕüçţüŕé ŕàţĥéŕ ţĥàñ îñƒéŕŕéđ.

À ţàƃļé ŕéĝîöñ'š ļîñéš àŕé ŕéçöñšţŕüçţéđ îñţö ŕöŵ àñđ çöļüḿñ çéļļ šţŕüçţüŕé ƃý ŕéüšîñĝ ţĥé šàḿé ĝŕîđ çļüšţéŕîñĝ ţĥé ĝéöḿéţŕîç ţîéŕ üšéš, šö ƃöţĥ ţîéŕš éḿîţ ţàƃļéš ţĥŕöüĝĥ öñé þàţĥ àñđ à ŵŕîţéŕ ŕéñđéŕš à ŕéàļ ţàƃļé. Ţĥé ƒüļļ ţîéŕ ḿöđéļ ļîṽéš îñ É-08; ṽîšîöñ îš îţš ţöþ-ţîéŕ éñĝîñé, àñđ ƃéçàüšé îţ îš ƒöŕḿàţ-àĝñöšţîç öṽéŕ ŕàšţéŕš îţ šéŕṽéš àñý ƒöŕḿàţ ţĥàţ çàñ þŕöđüçé öñé.

Çöñƒîđéñçé-ĝàţéđ éšçàļàţîöñ

À ƒŕöñţîéŕ ḿüļţîḿöđàļ ḿöđéļ ŕéàđš ĥàŕđ ĥàñđŵŕîţîñĝ, ĝàŕƃļéđ šçàñš, àççéñţéđ öŕ ñöîšý šþééçĥ àñđ àḿƃîĝüöüš öñ-šçŕééñ ţéẋţ ƒàŕ ƃéţţéŕ ţĥàñ à šḿàļļ šþéçîàļîšéđ ḿöđéļ, ƃéçàüšé îţ ƃŕîñĝš à ļàñĝüàĝé þŕîöŕ àñđ ŵöŕļđ ķñöŵļéđĝé ţö ţĥé đîšàḿƃîĝüàţîöñ. Îţ îš àļšö šļöŵéŕ, çöšţš þéŕ çàļļ, ŕéţüŕñš ñö çàļîƃŕàţéđ çöñƒîđéñçé, àñđ, ţĥé đéçîšîṽé ŕîšķ ƒöŕ à ƒàîţĥƒüļñéšš-ƒîŕšţ ţööļ, ƒàîļš đîšĥöñéšţļý: ĥàñđéđ àñ îļļéĝîƃļé çŕöþ îţ çöñƒàƃüļàţéš à þļàüšîƃļé ŵŕöñĝ ŵöŕđ ŕàţĥéŕ ţĥàñ àđḿîţţîñĝ đéƒéàţ.

Šö îţ îš ñéṽéŕ ţĥé þŕîḿàŕý ŕéàđéŕ. Îţ îš à ñàŕŕöŵ éšçàļàţîöñ öṽéŕ öñļý ţĥé üñîţš ţĥé ƒàšţ ļöçàļ éẋţŕàçţöŕ ŵàš üñšüŕé öƒ, ƒéđ öñļý ţĥé šļîçé îñ ǫüéšţîöñ.

Ţĥé ţîéŕ šţŕüçţüŕé îš îđéñţîçàļ àçŕöšš ḿöđàļîţîéš; öñļý ţĥé àñçĥöŕ, ţĥé šļîçéŕ àñđ ţĥé çöñţéñţ þàŕţ đéŕ.

Ŵĥàţ îš šĥàŕéđ àçŕöšš ḿöđàļîţîéš îš éṽéŕýţĥîñĝ ţĥàţ ĝöṽéŕñš çöŕŕéçţñéšš: ţĥé çöñƒîđéñçé ĝàţé, à çöñţéẋţ ĥîñţ (ñéîĝĥƃöüŕîñĝ éẋţŕàçţéđ üñîţš þàššéđ àš ţéẋţ, šö ţĥé ḿöđéļ ĝéţš à ļàñĝüàĝé þŕîöŕ ŵîţĥöüţ šĥîþþîñĝ ţĥé ŵĥöļé þàĝé öŕ ţŕàçķ), ţĥé þŕöṽéñàñçé šţàḿþ, àñđ ţĥé ĝüàŕđš ƃéļöŵ. Ŵĥàţ đéŕš îš çàþţüŕéđ éñţîŕéļý îñ þéŕ-ḿöđàļîţý àđàþţéŕš:

	Îḿàĝé	Àüđîö	Ṽîđéö
Ţîéŕ-1 éẋţŕàçţöŕ	ÖÇŔ (kapi-vision)	Ŵĥîšþéŕ-ƒàḿîļý (kapi-asr)	đéḿüẋ → ÀŠŔ öñ ţĥé àüđîö ţŕàçķ, ÖÇŔ öñ ƒŕàḿéš
Àñçĥöŕ	šþàţîàļ: þàĝé àñđ ƃöüñđîñĝ ƃöẋ	ţéḿþöŕàļ: à ḿîļļîšéçöñđ šþàñ	ƃöţĥ: à ţîḿé šþàñ þļüš àñ öþţîöñàļ ƒŕàḿé ƃöẋ
Šļîçé	çŕöþ ţĥé þîẋéļš	çüţ ţĥé ţîḿé ŕàñĝé	éẋţŕàçţ à ƒŕàḿé (àñđ çŕöþ îţ)
Çöñţéñţ þàŕţ	îḿàĝé	àüđîö	îḿàĝé

Ţĥé ţîéŕ îš ñéṽéŕ àñ îḿþļîçîţ ƒàļļƃàçķ: ţĥé þŕöṽîđéŕ îš éẋþļîçîţļý šéļéçţéđ, àñđ îţš đéçļàŕéđ îñþüţ ḿöđàļîţîéš àŕé çĥéçķéđ àĝàîñšţ ţĥé šļîçé'š ḿöđàļîţý, šö àñ üñçöñƒîĝüŕéđ öŕ îñçàþàƃļé þŕöṽîđéŕ îš à çļéàŕ éŕŕöŕ ŕàţĥéŕ ţĥàñ à šîļéñţ đéĝŕàđàţîöñ.

Ţĥé ḿéđîà-ŕéƒîñé ţŕàñšƒöŕḿ

Öñé ţööļ îḿþļéḿéñţš ţĥé ţîéŕ, đîšþàţçĥéđ ƃý ḿöđàļîţý ƃéĥîñđ à šļîçéŕ îñţéŕƒàçé:

type MediaSlicer interface {
    Slice(ctx context.Context, src MediaRef, b *model.Block) (aiprovider.ContentPart, error)
    Modality() aiprovider.Modality
}

ImageSlicer çŕöþš ţĥé ƃļöçķ'š ĝéöḿéţŕý ƃöẋ öüţ öƒ ţĥé šöüŕçé ŕàšţéŕ; AudioCutter çüţš ţĥé ƃļöçķ'š ţîḿîñĝ šþàñ öüţ öƒ ţĥé ţŕàçķ; VideoClipper éẋţŕàçţš ţĥé ƒŕàḿé àţ ţĥé ƃļöçķ'š ţîḿîñĝ àñđ çŕöþš îţš öñ-ƒŕàḿé ĝéöḿéţŕý. Ţĥé šöüŕçé šţàýš à ŕéƒéŕéñçé éñđ ţö éñđ (à þàţĥ, à ƃļöƃ ķéý öŕ à ÜŔÎ), šö öñļý ţĥé ƃöüñđéđ šļîçé îš éṽéŕ ḿàţéŕîàļîžéđ: à ŵĥöļé ŕàšţéŕ öŕ ţŕàçķ ñéṽéŕ éñţéŕš ţĥé þàŕţ šţŕéàḿ öŕ à þŕöṽîđéŕ çàļļ.

Ţĥé çöñţŕöļ ƒļöŵ îš:

1. Ĝàţé: šķîþ àñý ƃļöçķ ŵĥöšé šöüŕçé çöñƒîđéñçé îš àţ öŕ àƃöṽé ţĥé ţĥŕéšĥöļđ.
2. Šļîçé: ŕéšöļṽé ţĥé ḿöđàļîţý'š šļîçéŕ àñđ þŕöđüçé ţĥé çöñţéñţ þàŕţ.
3. Þŕöḿþţ: ţĥé ñéîĝĥƃöüŕîñĝ éẋţŕàçţéđ ţéẋţ àš çöñţéẋţ, ţĥé ḿéđîà þàŕţ, àñđ àñ îñšţŕüçţîöñ ţö ţŕàñšçŕîƃé öñļý ţĥé šļîçé àñđ ŕéţüŕñ ţĥé ŕéƒüšàļ ţöķéñ ŵĥéñ üñšüŕé. Éàçĥ ḿöđàļîţý ĥàš îţš öŵñ þŕöḿþţ îđ, šö ţĥé þŕöḿþţ ŕéƒéŕéñçé éñüḿéŕàţéš àļļ ţĥŕéé àñđ --explain-prompts ñàḿéš ţĥé öñé à çàļļ üšéđ (Ḿ-05).
4. Çàļļ: ţĥé éẋþļîçîţļý çöñƒîĝüŕéđ, çàþàƃîļîţý-çĥéçķéđ þŕöṽîđéŕ.
5. Ŕéŵŕîţé: éḿîţ àñ éđîţ þļàñ ŕéŵŕîţîñĝ ţĥé ƃļöçķ'š šöüŕçé, šţàḿþ ţĥé šöüŕçé öŕîĝîñ ŵîţĥ ţĥé llm-refined ķîñđ (éñĝîñé llm:<provider>, ŵîţĥ ţĥé þŕîöŕ ŕéçöĝñîžéŕ'š éñĝîñé ķéþţ îñ ţĥé ŕéƒéŕéñçé šö à ŕéƒîñéđ üñîţ îš ǫüéŕýàƃļé ŵîţĥöüţ ļöšîñĝ ţĥé öŕîĝîñàļ þŕöṽéñàñçé), àñđ ḿàŕķ ţĥé üñîţ ƒöŕ ŕéṽîéŵ ŵĥéñ ţĥé ŕéšüļţ đîṽéŕĝéš šĥàŕþļý ƒŕöḿ ţĥé ţîéŕ-1 ĝüéšš öŕ çöḿéš ƃàçķ àš à ŕéƒüšàļ.

media-refine îš à šöüŕçé ţŕàñšƒöŕḿ (É-03): îţ ŕéŵŕîţéš šöüŕçé, šö îţ ŕüñš îñ à ƒļöŵ'š ļéàđîñĝ šöüŕçé-ţŕàñšƒöŕḿ šţàĝé, ţĥé šàḿé šļöţ ŕéđàçţîöñ öççüþîéš (Ç-10), šéţţļîñĝ ţĥé šöüŕçé ƃéƒöŕé àññöţàţîöñ àñđ ţŕàñšļàţîöñ. Îţ ḿüšţ ŕéàçĥ ţĥé šöüŕçé ŕàšţéŕ öŕ ţŕàçķ ŵĥîļé îţ šţîļļ éẋîšţš, šö îţ ŕüñš îñšîđé ţĥé éẋţŕàçţîöñ ƃöüñđàŕý ŵîţĥ ţĥé šļîçéŕ ĥöļđîñĝ ţĥé šöüŕçé ŕéƒéŕéñçé, ñöţ àš àñ àŕƃîţŕàŕý đöŵñšţŕéàḿ ţööļ.

Ĝüàŕđš

Ţĥé çöñƒàƃüļàţîöñ ŕîšķ îš îđéñţîçàļ àçŕöšš ḿöđàļîţîéš, šö ţĥé ĝüàŕđš àŕé ţöö:

• À ŕéƒüšàļ ţöķéñ. Ţĥé ḿöđéļ îš îñšţŕüçţéđ ţö ŕéţüŕñ îţ ŕàţĥéŕ ţĥàñ ĝüéšš. Ţĥé ţöķéñ ḿàŕķš ţĥé üñîţ ƒöŕ ŕéṽîéŵ; îţ ñéṽéŕ ƃéçöḿéš ƒàƃŕîçàţéđ šöüŕçé.
• À đîṽéŕĝéñçé çĥéçķ. À ţîéŕ-3 ŕéšüļţ ţĥàţ đîšàĝŕééš šĥàŕþļý ŵîţĥ ţĥé ţîéŕ-1 ĝüéšš îš ƒļàĝĝéđ ƒöŕ ŕéṽîéŵ ŕàţĥéŕ ţĥàñ šîļéñţļý àççéþţéđ.
• Ṽîšîƃļé þŕöṽéñàñçé. Ḿöđéļ-šöüŕçéđ šöüŕçé ţéẋţ îš ţĥé ļéàšţ-ṽéŕîƒîéđ ţîéŕ, šö ţĥé éđîţöŕ ŕéñđéŕš ţĥé šöüŕçé öŕîĝîñ (éñĝîñé àñđ çöñƒîđéñçé) àñđ àñý ŕéṽîéŵ ƒîñđîñĝ (Š-06), àñđ à ŕéṽîéŵéŕ çàñ šéé éẋàçţļý ŵĥîçĥ üñîţš à ḿöđéļ îñṽéñţéđ ṽéŕšüš ŕéàđ.
• Šļîçé, ñéṽéŕ þàĝé. Öñļý ţĥé ļöŵ-çöñƒîđéñçé šļîçé þļüš à ţéẋţ çöñţéẋţ ĥîñţ ļéàṽéš ţĥé þŕöçéšš, ŵĥîçĥ ƃöüñđš ƃöţĥ çöšţ àñđ đàţà éẋþöšüŕé.

Ţĥé çŕéđéñţîàļéđ ţîéŕ ŕüñš ŵĥéŕé ţĥé öţĥéŕ ḿöđéļ-ƃàçķéđ ţööļš ŕüñ àñđ đŕàŵš îţš þŕöṽîđéŕ, ḿöđéļ àñđ ķéý ƒŕöḿ ţĥé šàḿé çŕéđéñţîàļ þàţĥ (É-07, Š-01).

Ţŵö öüţþüţ ḿöđéš

Éẋţŕàçţîöñ ƒééđš ţŵö îñđéþéñđéñţ àđàþţàţîöñ ḿöđéš, àñđ öñé àššéţ çàñ üšé ƃöţĥ.

Ŕöüñđ-ţŕîþ ţĥé ţéẋţ. Ţĥé àñçĥöŕéđ ƃļöçķš àŕé ţŕàñšļàţéđ àñđ ŕéţüŕñ ţö ŵĥéŕé ţĥéý çàḿé ƒŕöḿ. Ţĥé þàţĥ đéþéñđš öñ ĥöŵ ţĥé ţéẋţ ļîṽéš îñ ţĥé àššéţ:

• À ţéẋţ ţŕàçķ öŕ šîđéçàŕ ŕöüñđ-ţŕîþš ƒüļļý ţöđàý. ŴéƃṼŢŢ, ŠüƃŔîþ àñđ ŢŢḾĻ àŕé ƒîŕšţ-çļàšš ƒöŕḿàţš ŵîţĥ ƃöţĥ à ŕéàđéŕ àñđ à ŵŕîţéŕ, šö çüéš éẋţŕàçţ, ţŕàñšļàţé àñđ ḿéŕĝé ƃàçķ îñţö à þéŕ-ļöçàļé ţŕàçķ ţĥé šöüŕçé þļàţƒöŕḿ îñĝéšţš. Ƒöŕ ŕàŵ àüđîö öŕ ṽîđéö, ţŕàñšçŕîþţîöñ þŕöđüçéš ţĥé çüéš àñđ ţĥé ţîḿîñĝ àñçĥöŕ îš ţĥé ĥàñđ-öƒƒ îñţö ţĥé ţîḿéđ-ţéẋţ ŵŕîţéŕ. Ƃüîļţ-îñ ƒļöŵš çöḿþöšé ţĥîš éñđ ţö éñđ: audio-to-subtitles, video-to-subtitles àñđ image-ocr-translate.
• Àñ éḿƃéđđéđ ţéẋţ ļàýéŕ ŵîţĥ à šķéļéţöñ ŕé-àþþļîéš ţàŕĝéţš ţĥŕöüĝĥ ţĥé ƒöŕḿàţ'š öŵñ ŵŕîţéŕ (É-02).
• Ţéẋţ ƃàķéđ îñţö þîẋéļš öŕ à ŵàṽéƒöŕḿ çàññöţ ŕéţüŕñ ţö ţĥé šàḿé ŕéñđéŕéđ àššéţ ŵîţĥöüţ ŕé-ŕéñđéŕîñĝ öŕ šþééçĥ šýñţĥéšîš, ñéîţĥéŕ öƒ ŵĥîçĥ ţĥé éñĝîñé đöéš. Ţĥé ŕéšüļţ îš đéļîṽéŕéđ àš à çöḿþàñîöñ îñšţéàđ: à ĝéñéŕàţéđ þéŕ-ļöçàļé šüƃţîţļé ţŕàçķ, ŵĥîçĥ îš îţšéļƒ àñ öŕđîñàŕý ŵŕîţé.

Ŕéþļàçé ţĥé àššéţ. Îñđéþéñđéñţļý, ţĥé ŵĥöļé ƒîļé îš àñ àđàþţàƃļé ḿéđîà àššéţ. Ţĥé ţàŕĝéţ-àššéţ ṽàŕîàñţ ḿöđéļ þàîŕš à šöüŕçé ƒîļé ŵîţĥ îţš þéŕ-ļöçàļé ƒîļéš: à ŕéšöļṽéŕ ŵàļķš éàçĥ ļöçàļé'š ţàŕĝéţ þàţĥ ƒŕöḿ ţĥé ŕéçîþé'š ţéḿþļàţé àñđ ŕéþöŕţš ŵĥîçĥ ṽàŕîàñţš éẋîšţ. Ţĥîš îš ḿéđîüḿ-àĝñöšţîç: ţĥé ƃîñàŕý-àššéţ þŕéđîçàţé çöṽéŕš îḿàĝé, àüđîö àñđ ṽîđéö, éàçĥ ŵîţĥ à þàššţĥŕöüĝĥ ŵŕîţéŕ ţĥàţ éḿîţš ţĥé šüþþļîéđ þéŕ-ļöçàļé ƃýţéš.

Ƃéçàüšé kapi çàññöţ ŕéĝéñéŕàţé à ĝéñüîñéļý àđàþţéđ àššéţ, à þéŕ-ļöçàļé ṽàŕîàñţ àļŕéàđý öñ đîšķ îš àüţĥöŕîţàţîṽé: à ŕüñ ķééþš îţ ŕàţĥéŕ ţĥàñ çļöƃƃéŕîñĝ îţ ƃý ŕéþŕöçéššîñĝ ţĥé šöüŕçé, ŵĥîļé à ḿîššîñĝ ṽàŕîàñţ ƒàļļš ţĥŕöüĝĥ ţö ţĥé ƒļöŵ ţö þŕöđüçé à þšéüđö öŕ çöþý ƒàļļƃàçķ. Ţĥé éñĝîñé ñéṽéŕ šýñţĥéšîžéš þéŕ-ļöçàļé ḿéđîà; à ŕéþļàçéḿéñţ îš à ƒîļé à þéŕšöñ öŕ à çöññéçţöŕ þŕöṽîđéš.

Ṽîđéö îš çöḿþöšîţîöñ

Ţĥé ŕéàđéŕ đéḿüẋéš àñđ çöḿþöšéš; îţ ŵŕîţéš ñö ŕéçöĝñîţîöñ çöđé öƒ îţš öŵñ.

Ţĥé ṽîđéö ƒöŕḿàţ ŕéàđéŕ đéḿüẋéš à ƒîļé îñţö ţĥé ţŵö šţŕéàḿš à ƒļöŵ éẋţŕàçţš ƒŕöḿ àñđ éḿîţš éàçĥ üñđéŕ îţš öŵñ çĥîļđ ļàýéŕ, ŕéüšîñĝ ţĥé ļàýéŕ-ñéšţîñĝ ţĥé çöñţéñţ ḿöđéļ àļŕéàđý üšéš ƒöŕ éḿƃéđđéđ çöñţéñţ (Ƒ-02). Ƒŕàḿéš àŕé šàḿþļéđ àñđ đéđüþļîçàţéđ ƃéƒöŕé ÖÇŔ, šö à šţàţîç šĥöţ îš ŕéàđ öñçé. Àñ éñĝîñé ţĥàţ îš ñöţ îñšţàļļéđ îš šķîþþéđ, šö ţĥé ŕéàđéŕ đéĝŕàđéš ŕàţĥéŕ ţĥàñ ƒàîļîñĝ.

Ţĥé ƃŕöŵšéŕ ļàƃš éẋţéñđ ţĥé šàḿé ŵàý: ţĥé šàḿé ḿöđéļš, öñļý ţĥé ŕüñţîḿé đéŕš (ŴéƃÀššéḿƃļý îñšţéàđ öƒ ñàţîṽé). Ţĥé Ṽîšîöñ Ļàƃ ŕüñš ţĥé đéţéçţîöñ, ŕéçöĝñîţîöñ àñđ ļàýöüţ ḿöđéļš îñ-þàĝé; ţĥé Àüđîö àñđ Ṽîđéö ļàƃ ţŕàñšçŕîƃéš à çļîþ àñđ, ƒöŕ ṽîđéö, đéḿüẋéš îţ îñ ţĥé ƃŕöŵšéŕ îñţö àñ àüđîö ţŕàçķ àñđ šàḿþļéđ ƒŕàḿéš ƃéƒöŕé ŕüññîñĝ ţĥé šàḿé ţŵö éñĝîñéš. Ñöţĥîñĝ îš ḿöçķéđ: à ļàƃ ţĥàţ šĥöŵéđ à šţüƃ ŵöüļđ ƃé đéḿöñšţŕàţîñĝ ţĥé þļüḿƃîñĝ ŕàţĥéŕ ţĥàñ ţĥé çàþàƃîļîţý.

Çöñšéǫüéñçéš

• "Îḿàĝé", "àüđîö" àñđ "ṽîđéö" šţàý ĝéñéŕîç, àđàþţàƃļé ƒöŕḿàţš. Ŕéçöĝñîţîöñ àñđ ļàýöüţ àŕé öþţîöñàļ ļàýéŕš ţĥàţ đéĝŕàđé ĝŕàçéƒüļļý (àƃšéñţ þļüĝîñ, öŕ ţöĝĝļéđ öƒƒ) ţö à ŵĥöļé-àššéţ ḿéđîà þàŕţ.
• Ţĥé þöŕţàƃļé kapi ƃîñàŕý šţàýš þüŕé-Ĝö àñđ šḿàļļ, ţĥé ñàţîṽé ḾĻ šţàçķš àŕé çöñƒîñéđ ţö ţĥéîŕ þļüĝîñš, àñđ ḿéđîà ƃýţéš ñéṽéŕ éñţéŕ ţĥé ĥöšţ þŕöçéšš.
• Öñé éšçàļàţîöñ ţîéŕ šéŕṽéš éṽéŕý ḿöđàļîţý. Àđđîñĝ à ḿéđîüḿ ḿéàñš àđđîñĝ àñ éẋţŕàçţöŕ, àñ àñçĥöŕ ƒàçéţ îţ àļŕéàđý ĥàš, àñđ à šļîçéŕ, ñöţ à šéçöñđ ŕéƒîñéḿéñţ đéšîĝñ.
• Ŵĥöļé-àššéţ ŕéþļàçéḿéñţ îš šüþþöŕţéđ éñđ ţö éñđ ƒöŕ éṽéŕý ƃîñàŕý àššéţ ƒöŕḿàţ: éḿîţţéđ àš ḿéđîà, ŵŕîţţéñ þéŕ ļöçàļé, þšéüđö-ṽàŕîàñţ ƒöŕ þŕööƒ, àñđ àñ éẋîšţîñĝ ṽàŕîàñţ ţŕéàţéđ àš àüţĥöŕîţàţîṽé.

Ŕéļàţéđ

• Ƒ-02: Ţĥé çöñţéñţ ḿöđéļ: ḿéđîà þàŕţš, àñçĥöŕ ƒàçéţš, çĥîļđ ļàýéŕš, šöüŕçé þŕöṽéñàñçé
• É-02: Ţĥé ƒöŕḿàţ šýšţéḿ: ţĥé îḿàĝé, àüđîö, ṽîđéö àñđ ţîḿéđ-ţéẋţ ƒöŕḿàţš àñđ ţĥéîŕ ŵŕîţéŕš
• É-03: Ţĥé ţööļ šýšţéḿ: ţĥé šöüŕçé-ţŕàñšƒöŕḿ šţàĝé media-refine ŕüñš îñ
• É-05: Ţĥé þļüĝîñ šýšţéḿ: ñàţîṽé-šţàçķ îšöļàţîöñ, đîšçöṽéŕý, šîĝñéđ đîšţŕîƃüţîöñ
• É-07: Ḿöđéļ àñđ ţŕàñšļàţîöñ þŕöṽîđéŕš: ţĥé ḿüļţîḿöđàļ çöñţéñţ þàŕţš àñđ đéçļàŕéđ îñþüţ ḿöđàļîţîéš
• É-08: Đöçüḿéñţ šţŕüçţüŕé ţîéŕš: ţĥé ţîéŕ ḿöđéļ ļàýöüţ đéţéçţîöñ ţöþš öüţ
• Ḿ-02: Šéĝḿéñţàţîöñ: ţĥé þļüĝîñ-îšöļàţîöñ þŕéçéđéñţ
• Ḿ-05: Þŕöḿþţš àñđ ƃàţçĥîñĝ: ţĥé þéŕ-ḿöđàļîţý ŕéƒîñéḿéñţ þŕöḿþţš
• Ç-10: Ŕéđàçţîöñ: ţĥé öţĥéŕ šöüŕçé ţŕàñšƒöŕḿ îñ ţĥé šàḿé šţàĝé
• Š-06: Ţĥé ṽîšüàļ éđîţöŕ: ŵĥéŕé šöüŕçé þŕöṽéñàñçé àñđ ŕéṽîéŵ ƒîñđîñĝš šüŕƒàçé
• Ḿüļţîḿöđàļ çöñţéñţ: ţĥé ţàçţîçàļ ñöţé