Ḿ-02: Šéĝḿéñţàţîöñ
Šüḿḿàŕý
Šéĝḿéñţàţîöñ îš à ḿéàñš ţö ţŵö éñđš: îţ îš ŵĥàţ ḿàķéš þŕîöŕ ţŕàñšļàţîöñš ŕéüšàƃļé àñđ ŵĥàţ ļéţš ţŕàñšļàţîöñ àñđ çĥéçķš öþéŕàţé öñ à üñîţ šḿàļļ éñöüĝĥ ţö ƃé ŕîĝĥţ àƃöüţ. Îñ neokapi îţ îš à ŕüñ-àñçĥöŕéđ šţàñđ-öƒƒ öṽéŕļàý. Ţĥé ƃöüñđàŕîéš àŕé ŕéçöŕđéđ àš šþàñš öṽéŕ à ƃļöçķ'š éẋîšţîñĝ ŕüñš, àñđ ţĥé ŕüñš àŕé ñéṽéŕ ŕéŵŕîţţéñ.
Ŵĥîçĥ ƃöüñđàŕîéš ţĥöšé àŕé îš đéçîđéđ ƃý à šéĝḿéñţ éñĝîñé šéļéçţéđ ƃý ñàḿé ƒŕöḿ à ŕéĝîšţŕý ţĥàţ ḿîŕŕöŕš ţĥé ḿöđéļ-þŕöṽîđéŕ ŕéĝîšţŕîéš (É-07). Ţĥé ƒŕàḿéŵöŕķ šĥîþš ŕüļé àñđ Üñîçöđé-ƃàšéļîñé éñĝîñéš; ţĥé ÀÎ ţööļš çöñţŕîƃüţé à çĥüñķéŕ; à þļüĝîñ çöñţŕîƃüţéš àñ ḾĻ šéĝḿéñţéŕ đéçļàŕéđ îñ îţš ḿàñîƒéšţ àñđ đŕîṽéñ öṽéŕ ţĥé þļüĝîñ đàéḿöñ ţŕàñšþöŕţ. Àñ éñĝîñé ţĥàţ îš ñöţ ļîñķéđ îñţö à ĝîṽéñ ƃîñàŕý îš àƃšéñţ ƒŕöḿ ţĥé ŕéĝîšţŕý, àñđ šéļéçţîñĝ îţ ŕéþöŕţš àñ àçţîöñàƃļé éŕŕöŕ ŕàţĥéŕ ţĥàñ ƒàîļîñĝ à ƃüîļđ.
À šéĝḿéñţ îš àñ öṽéŕļàý
À ƃļöçķ'š çöñţéñţ îš à ƒļàţ []Run þéŕ ļöçàļé
(Ƒ-02). Éṽéŕý îñţéŕþŕéţàţîöñ öƒ ţĥàţ
çöñţéñţ îš à ţýþéđ öṽéŕļàý ļàýéŕéđ öṽéŕ ţĥé ŕüñš. Šéĝḿéñţàţîöñ îš öñé šüçĥ
öṽéŕļàý: àñ öŕđéŕéđ, ñöñ-öṽéŕļàþþîñĝ ļîšţ öƒ šþàñš, éàçĥ àñçĥöŕéđ ƃý àñ
Anchor, à šţàŕţ àñđ éñđ ŕüñ þöšîţîöñ, éàçĥ à ŕüñé öƒƒšéţ îñţö ţĥé ţéẋţ ŕüñ
àţ éàçĥ éñđ, ĥàļƒ-öþéñ.
Đŕöþþîñĝ ţĥé öṽéŕļàý ŕéšţöŕéš ţĥé üñšéĝḿéñţéđ ƃļöçķ éẋàçţļý.
Ţĥŕéé þŕöþéŕţîéš ƒöļļöŵ ƒŕöḿ çĥööšîñĝ àñ öṽéŕļàý öṽéŕ à šţŕüçţüŕàļ šþļîţ:
- Ŕéṽéŕšîƃļé. Ŕéḿöṽîñĝ ţĥé öṽéŕļàý ŕéšţöŕéš ţĥé ƃļöçķ. À šţŕüçţüŕàļ šþļîţ ƒöŕçéš ţĥé çĥöîçé àţ þàŕšé ţîḿé àñđ ḿàķéš ŕé-ĵöîñîñĝ ƒîđđļý.
- Ḿüļţî-ļàýéŕ.
Overlay.Layerñàḿéš à ĝŕàñüļàŕîţý, šö šéṽéŕàļ çöéẋîšţ öṽéŕ ţĥé šàḿé ŕüñš. Ţĥé éḿþţý šţŕîñĝ îš ţĥé þŕîḿàŕý šéñţéñçé ļàýéŕ, ţĥé öñé ƃîļîñĝüàļ ƒöŕḿàţš þŕöĵéçţ ţö àñđ ƒŕöḿ; ñàḿéđ ļàýéŕš (llm-chunk,clause) àŕé àđđîţîöñàļ öñ-đéḿàñđ îñţéŕþŕéţàţîöñš. - Îđéñţîţý-þŕéšéŕṽîñĝ. Ţĥé ƃļöçķ çöñţéñţ ĥàšĥ îš çöḿþüţéđ öṽéŕ ţĥé ŕüñš (Ƒ-03), ŵĥîçĥ šéĝḿéñţàţîöñ đöéš ñöţ ţöüçĥ. À þŕöĵéçţ çàñ ţüŕñ šéĝḿéñţàţîöñ öñ öŕ öƒƒ ƃéţŵééñ éẋţŕàçţîöñš ŵîţĥöüţ îñṽàļîđàţîñĝ ţĥé ḿéḿöŕý, ţĥé çĥéçķ öṽéŕļàýš, öŕ à ḿéŕĝé'š ĵöîñ ķéý (Ḿ-01).
Ŕüñš ţĥàţ ñö šþàñ çöṽéŕš àŕé îḿþļîçîţ îñţéŕ-šéĝḿéñţ ḿàţéŕîàļ. À šþàñ çàñ àļšö ƃé ḿàŕķéđ îĝñöŕàƃļé (ñöñ-çöñţéñţ šţŕüçţüŕàļ ḿàţéŕîàļ šüçĥ àš îñţéŕ-šéñţéñçé ŵĥîţéšþàçé öŕ à þļüŕàļ šéļéçţöŕ), îñ ŵĥîçĥ çàšé à ƃîļîñĝüàļ ŕöüñđ ţŕîþ þŕéšéŕṽéš îţš ţàŕĝéţ ṽéŕƃàţîḿ îñšţéàđ öƒ ţŕàñšļàţîñĝ îţ, ŵĥîļé ţĥé šþàñ šţîļļ öççüþîéš îţš ŕàñĝé šö ñéîĝĥƃöüŕîñĝ þöšîţîöñš šţàý àļîĝñéđ.
Šéĝḿéñţàţîöñ îš þŕöđüçéđ àƒţéŕ àñý šöüŕçé ţŕàñšƒöŕḿš ĥàṽé šéţţļéđ ţĥé šöüŕçé, šö éṽéŕý ƃöüñđàŕý àñçĥöŕš ţö ţĥé çàñöñîçàļ ŕüñš ţĥàţ ţŕàñšļàţîöñ àñđ ţĥé çöñţéñţ ḿéḿöŕý ŵîļļ àļšö šéé. Ŵĥéñ à ļàţéŕ ţŕàñšƒöŕḿ đöéš ŕéŵŕîţé ţĥé šöüŕçé, ţĥé àþþļîéŕ ŕéƃàšéš ţĥé ƃöüñđàŕîéš öñţö ţĥé ñéŵ ŕüñš.
Ţĥé éñĝîñé ŕéĝîšţŕý
Àñ éñĝîñé ŕéĝîšţéŕš àñ EngineDescriptor üñđéŕ à šĥöŕţ ñàḿé. Ţĥé đéšçŕîþţöŕ îš
šéļƒ-đéšçŕîƃîñĝ: àñ îđéñţîţý àñđ öŕđéŕîñĝ ƒöŕ ţĥé éñĝîñé šéļéçţöŕ, ţĥé éñĝîñé'š
öŵñ þàŕàḿéţéŕ šçĥéḿà (öŕ ñîļ ŵĥéñ îţ ţàķéš ñöñé), àñđ à ƃüîļđéŕ ţĥàţ ŕéçéîṽéš
ţĥé šĥàŕéđ BaseConfig þļüš ţĥé šüƃšéţ öƒ ţĥé çöñƒîĝ ḿàþ ţĥàţ éñĝîñé
üñđéŕšţàñđš.
Ţĥàţ šþļîţ îš ŵĥàţ ķééþš ţĥé üḿƃŕéļļà segmentation ţööļ ƒŕéé öƒ
éñĝîñé-šþéçîƒîç ķñöŵļéđĝé. Šĥàŕéđ çöñçéŕñš (ĥöŵ îñļîñé çöđéš àŕé ḿàšķéđ ƃéƒöŕé
ƃöüñđàŕý đéţéçţîöñ, ĥöŵ à ƃŕéàķ àđĵàçéñţ ţö à çöđé ŕéšöļṽéš, à ļöçàļé öṽéŕŕîđé)
ļîṽé îñ BaseConfig. Éṽéŕýţĥîñĝ éļšé (àñ ŠŔẊ ŕüļéšéţ þàţĥ, àñ ĻĻḾ þŕöṽîđéŕ, à
ḿöđéļ ñàḿé àñđ ţĥŕéšĥöļđ) ƃéļöñĝš ţö ţĥé éñĝîñé àñđ ţŕàṽéļš ţĥŕöüĝĥ îţš öŵñ
šçĥéḿà, šö àñ éñĝîñé çàñ éṽöļṽé îţš þàŕàḿéţéŕš ŵîţĥöüţ ţöüçĥîñĝ ţĥé ţööļ.
Ŕéĝîšţŕàţîöñ çöḿéš îñ ţŵö ƒļàṽöüŕš. Register þàñîçš öñ à đüþļîçàţé, ḿàţçĥîñĝ
ţĥé ƒŕàḿéŵöŕķ'š öţĥéŕ îñîţ-ţîḿé ŕéĝîšţŕîéš. RegisterIfAbsent îš ţĥé ĥöšţ'š
îđéḿþöţéñţ þàţĥ ƒöŕ þļüĝîñ-þŕöṽîđéđ éñĝîñéš, ŵĥîçĥ àŕé ŕé-šçàññéđ ŵĥéñéṽéŕ ţĥé
îñšţàļļéđ þļüĝîñ šéţ çĥàñĝéš àñđ ḿüšţ ñéṽéŕ çļöƃƃéŕ à ƃüîļţ-îñ öŕ þàñîç öñ à
ŕéþéàţ šçàñ.
Ƃüîļđîñĝ àñ éñĝîñé ţĥàţ ñö ļîñķéđ þàçķàĝé ŕéĝîšţéŕéđ ŕéţüŕñš
ErrEngineUnavailable, ļîšţîñĝ ţĥé ñàḿéš ţĥàţ àŕé àṽàîļàƃļé.
Ţĥé éñĝîñéš
| Éñĝîñé | Ƃöüñđàŕîéš ƒŕöḿ | Ŕéǫüîŕéš | Ļàýéŕ |
|---|---|---|---|
srx (đéƒàüļţ) | ŠŔẊ 2.0 ŕüļéš, öṽéŕ à Üñîçöđé ƃàšé ŵĥéŕé ÎÇÜ îš ļîñķéđ | ñöţĥîñĝ (þüŕé Ĝö) | šéñţéñçé |
uax29 | Üñîçöđé ÜÀẊ-29 šéñţéñçé ŕüļéš | çĝö + ÎÇÜ ñàţîṽéļý; àñ ÎÇÜ4Ẋ ƃŕîđĝé îñ ţĥé ƃŕöŵšéŕ | šéñţéñçé |
intl | ţĥé ƃŕöŵšéŕ'š Intl.Segmenter | à ƃŕöŵšéŕ ĥöšţ (ŴÀŠḾ ƃüîļđš öñļý) | šéñţéñçé |
llm | à ḿöđéļ àšķéđ ţö çĥüñķ šéḿàñţîçàļļý | à çöñƒîĝüŕéđ ḿöđéļ þŕöṽîđéŕ | llm-chunk |
| þļüĝîñ-đéçļàŕéđ | ŵĥàţéṽéŕ ţĥé þļüĝîñ îḿþļéḿéñţš | ţĥé þļüĝîñ îñšţàļļéđ | šéñţéñçé |
ŠŔẊ, ţĥé đéƒàüļţ
ŠŔẊ (Šéĝḿéñţàţîöñ Ŕüļéš éẊçĥàñĝé) îš ţĥé šţàñđàŕđ ŕüļé ƒöŕḿàţ: àñ öŕđéŕéđ ļîšţ öƒ ƃŕéàķ àñđ ñö-ƃŕéàķ ŕüļéš, šçöþéđ ƃý ļàñĝüàĝé. neokapi šĥîþš à þüŕé-Ĝö ŠŔẊ 2.0 éñĝîñé, šö ţĥé đéƒàüļţ ŕüñš éṽéŕýŵĥéŕé ŵîţĥ ñö ñàţîṽé đéþéñđéñçý, îñçļüđîñĝ îñ ţĥé ƃŕöŵšéŕ.
ŠŔẊ îñ þŕàçţîçé îš à ĥýƃŕîđ. Ţĥé đéƒàüļţ ŕüļéšéţ îš öṽéŕŵĥéļḿîñĝļý ñö-ƃŕéàķ
ŕüļéš ŵîţĥ öñļý à ĥàñđƒüļ öƒ ƃŕéàķ ŕüļéš, ƃéçàüšé îţ îš ŵŕîţţéñ ţö ƃé àþþļîéđ àš
éẋçéþţîöñš öñ ţöþ öƒ à Üñîçöđé ƃàšé ŕàţĥéŕ ţĥàñ àš à çöḿþļéţé ƃöüñđàŕý
àļĝöŕîţĥḿ. Ţĥé ƒŕàḿéŵöŕķ îḿþļéḿéñţš ţĥàţ đîŕéçţļý ţĥŕöüĝĥ à BaseBreaker
šéàḿ: ţĥé ÎÇÜ-ƃàçķéđ éñĝîñé ŕéĝîšţéŕš à ƃàšé ƃŕéàķéŕ àţ îñîţ, àñđ ţĥé ŠŔẊ éñĝîñé
àšķš ţĥé ŕéĝîšţŕý àţ ŕüñţîḿé ŵĥéţĥéŕ öñé îš àṽàîļàƃļé.
- Ŵîţĥ à ƃàšé ƃŕéàķéŕ (éṽéŕý šĥîþþéđ ñàţîṽé ƃîñàŕý, àñđ à ƃŕöŵšéŕ þàĝé ţĥàţ
ĥàš ļöàđéđ ţĥé ÎÇÜ4Ẋ ƃŕîđĝé),
srxļöàđš ţĥé ƒüļļ ŕüļéšéţ àñđ ŕüñš ţĥé ƃàšé + éẋçéþţîöñ ĥýƃŕîđ: à ƃŕéàķ ŕüļé àđđš à ƃöüñđàŕý, à ñö-ƃŕéàķ ŕüļé šüþþŕéššéš öñé, àñđ ţĥé ƒîŕšţ ŕüļé ţö đéçîđé àţ à þöšîţîöñ ŵîñš. - Ŵîţĥöüţ öñé (à þüŕé-Ĝö ƃüîļđ ŵîţĥ ñö ÎÇÜ, à ƃŕöŵšéŕ þàĝé ŵîţĥöüţ ţĥé ƃŕîđĝé), ţĥé šàḿé éñĝîñé ƒàļļš ƃàçķ ţö à ŕéđüçéđ šéļƒ-çöñţàîñéđ ŕüļéšéţ ŵîţĥ éẋþļîçîţ ƃŕéàķ ŕüļéš. Ļîĝĥţéŕ ţĥàñ ţĥé ƒüļļ šéţ, ƃüţ îţ šţîļļ ĥàñđļéš ţĥé çöḿḿöñ àƃƃŕéṽîàţîöñš, đéçîḿàļš àñđ îñîţîàļš.
Ţĥéŕé îš ñö éñĝîñé çĥöîçé ţö ḿàķé ĥéŕé: srx þîçķš ţĥé þàţĥ ţĥé ƃüîļđ šüþþöŕţš.
Ţĥé šéàḿ îš ŕéšöļṽéđ àţ ŕüñţîḿé ţĥŕöüĝĥ ţĥé ŕéĝîšţŕý ŕàţĥéŕ ţĥàñ ƃý àñ îḿþöŕţ,
ŵĥîçĥ îš þŕéçîšéļý ŵĥàţ ķééþš ţĥé þüŕé-Ĝö ŠŔẊ þàçķàĝé ƒŕéé öƒ àñý çĝö öŕ ÎÇÜ
đéþéñđéñçý.
Àñ éẋþļîçîţ ŕüļéšéţ þàţĥ öṽéŕŕîđéš ţĥé àđàþţîṽé đéƒàüļţ îñ éîţĥéŕ ḿöđé. Öñé ƒîļé šéŕṽéš ƃöţĥ šîđéš, ƃéçàüšé ŠŔẊ ŕüļéš àŕé ķéýéđ ƃý ļàñĝüàĝé: ţĥé šàḿé ŕüļéšéţ šüþþļîéš ţĥé šöüŕçé ŕüļéš àñđ, ŵĥéñ ţàŕĝéţ šéĝḿéñţàţîöñ îš öñ, ţĥé ţàŕĝéţ ŕüļéš.
Ţĥé Üñîçöđé ƃàšéļîñé
uax29 îš ţĥé ƃàŕé Üñîçöđé đéƒàüļţ šéñţéñçé ƃöüñđàŕîéš ŵîţĥ ñö éẋçéþţîöñ ŕüļéš.
Ñàţîṽéļý îţ îš ÎÇÜ öṽéŕ çĝö; îñ ţĥé ƃŕöŵšéŕ ţĥé šàḿé ñàḿé îš ŕéĝîšţéŕéđ ƃý à
ƃŕîđĝé ţö ÎÇÜ4Ẋ ŕüññîñĝ àš à çöḿþàñîöñ ŴéƃÀššéḿƃļý ḿöđüļé, šö engine: uax29
šéļéçţš ţĥé šàḿé çöñçéþţ îñ ƃöţĥ þļàçéš. intl îš ţĥé ƃŕöŵšéŕ-öñļý àļţéŕñàţîṽé
ţĥàţ çàļļš ţĥé þļàţƒöŕḿ'š öŵñ Intl.Segmenter àñđ đöŵñļöàđš ñöţĥîñĝ.
Ţĥé çĥüñķéŕ
llm àšķš à çöñƒîĝüŕéđ ḿöđéļ ţö çĥüñķ šéḿàñţîçàļļý àñđ þŕöđüçéš ţĥé
llm-chunk ļàýéŕ ŕàţĥéŕ ţĥàñ ţĥé šéñţéñçé ļàýéŕ, šö à çöàŕšéŕ îñţéŕþŕéţàţîöñ
ƒöŕ ļöñĝ-ƒöŕḿ þŕöšé çàñ šîţ ƃéšîđé ţĥé šéñţéñçé šéĝḿéñţàţîöñ îñšţéàđ öƒ
ŕéþļàçîñĝ îţ.
Šéļéçţîñĝ àñ éñĝîñé
Éṽéŕý éñĝîñé ŵŕîţéš ţĥé šàḿé öṽéŕļàý; ţĥéý đéŕ öñļý îñ ĥöŵ ţĥéý ƒîñđ ƃöüñđàŕîéš.
Ţĥé segmentation ţööļ (àļîàšéđ segment) çàŕŕîéš ţĥé šĥàŕéđ çöñƒîĝüŕàţîöñ:
ŵĥîçĥ éñĝîñé ţö ŕüñ, ŵĥîçĥ öṽéŕļàý ļàýéŕ ţö ŵŕîţé, ŵĥéţĥéŕ ţö šéĝḿéñţ ţĥé šöüŕçé
šîđé, ţĥé ţàŕĝéţ šîđé, öŕ ƃöţĥ, ŵĥéţĥéŕ ţö öṽéŕŵŕîţé àñ éẋîšţîñĝ öṽéŕļàý, àñđ
ĥöŵ ƃöüñđàŕîéš ţŕéàţ îšöļàţéđ îñļîñé çöđéš àñđ šüŕŕöüñđîñĝ ŵĥîţéšþàçé. Šéĝḿéñţš
àŕé ţŕîḿḿéđ öƒ ļéàđîñĝ àñđ ţŕàîļîñĝ ŵĥîţéšþàçé ƃý đéƒàüļţ, šö à šéĝḿéñţ îš ţĥé
çļéàñ šéñţéñçé àñđ ţĥé îñţéŕ-šéñţéñçé ŵĥîţéšþàçé îš ļéƒţ üñçöṽéŕéđ, ŵĥîçĥ ķééþš
ḿéḿöŕý ķéýš šţàƃļé ŕéĝàŕđļéšš öƒ ŵĥîçĥ éñĝîñé ŕàñ.
Šéļéçţîöñ ĥàþþéñš àţ ţĥŕéé àļţîţüđéš, éàçĥ ñàŕŕöŵéŕ ţĥàñ ţĥé ļàšţ:
- À ƒļöŵ šţéþ ñàḿéš ţĥé éñĝîñé îñ îţš çöñƒîĝ, ŵĥîçĥ îš ţĥé ñöŕḿàļ çàšé: šéĝḿéñţàţîöñ îš àñ öŕđîñàŕý àññöţàţîöñ šţàĝé þļàçéđ àĥéàđ öƒ ŕéçýçļîñĝ àñđ ţŕàñšļàţîöñ.
- À þŕöĵéçţ þîñš þéŕ-ţööļ đéƒàüļţš üñđéŕ
defaults.tools, šö à ŕéçîþé çàñ ƒîẋ ţĥé éñĝîñé àñđ îţš þàŕàḿéţéŕš öñçé ƒöŕ éṽéŕý ƒļöŵ îñ ţĥé þŕöĵéçţ. - À šîñĝļé îñṽöçàţîöñ öṽéŕŕîđéš ƃöţĥ:
kapi exec segmentation <file> --engine srx --rules-path .kapi/rules.srx.
Šéþàŕàţéļý, defaults.segmentation îñ ţĥé ŕéçîþé îš ţĥé éẋţŕàçţ-šîđé ţöĝĝļé
ŕàţĥéŕ ţĥàñ àñ éñĝîñé šéļéçţöŕ: source ţüŕñš ţĥé öþţ-îñ šéĝḿéñţàţîöñ öṽéŕļàý
öñ ƒöŕ kapi extract, àñđ srx öþţîöñàļļý þöîñţš àţ à ŕüļéšéţ ƒîļé
(Ḿ-01).
Ƒöŕ à ǫüîçķ ƒîļé-ƒŕéé ţŵéàķ ţĥé ţööļ àļšö àççéþţš àñ îñļîñé ļîšţ öƒ ƃŕéàķ àñđ ñö-ƃŕéàķ ŕéĝéẋ þàîŕš; àñ îñļîñé ļîšţ öṽéŕŕîđéš ţĥé éñĝîñé šéļéçţîöñ. Ƃéýöñđ à ŕüļé öŕ ţŵö, à ŕéàļ ŠŔẊ ƒîļé îš ţĥé þöŕţàƃļé ƒöŕḿ.
À þļüĝîñ-đéçļàŕéđ éñĝîñé
À þļüĝîñ đéçļàŕéš îţš šéĝḿéñţéŕš îñ capabilities.segmenters îñ îţš ḿàñîƒéšţ:
à ñàḿé, à đîšþļàý ñàḿé àñđ đéšçŕîþţîöñ ƒöŕ ţĥé éñĝîñé šéļéçţöŕ, àñ öŕđéŕîñĝ, àñđ
à þàţĥ ţö à ĴŠÖÑ þàŕàḿéţéŕ šçĥéḿà ŕéļàţîṽé ţö ţĥé þļüĝîñ đîŕéçţöŕý. Ţĥé ĥöšţ
ŵàļķš éṽéŕý đàéḿöñ-ţŕàñšþöŕţ þļüĝîñ îţ đîšçöṽéŕéđ, ŕéĝîšţéŕš éàçĥ đéçļàŕéđ
éñĝîñé îñţö ţĥé šéĝḿéñţ ŕéĝîšţŕý ŵîţĥ ţĥé šçĥéḿà ļöàđéđ ƒŕöḿ ţĥàţ ƒîļé, àñđ
ŕöüţéš îţ ţö à ĝéñéŕîç ƃŕîđĝé šéĝḿéñţéŕ.
Ţĥéŕé îš ñö þéŕ-þļüĝîñ çöđé îñ ţĥé ĥöšţ. Ţĥé ƃŕîđĝé ƒļàţţéñš ţĥé ŕüñš üñđéŕ
ţĥé šĥàŕéđ ḿàšķ öþţîöñš, šéñđš ţĥé ḿàšķéđ ţéẋţ àñđ ţĥé çöñƒîĝ þàŕàḿéţéŕš ţö ţĥé
þļüĝîñ'š Segment ŔÞÇ, àñđ þŕöĵéçţš ţĥé ŕéţüŕñéđ îñţéŕîöŕ ƃöüñđàŕîéš ƃàçķ ţö
ŕüñ-àñçĥöŕéđ šþàñš ţĥŕöüĝĥ ţĥé šàḿé ƒļàţţéñîñĝ îţ üšéđ öñ ţĥé ŵàý öüţ, éẋàçţļý
ŵĥàţ àñ îñ-þŕöçéšš éñĝîñé đöéš. Ţĥé éñĝîñé ñàḿé, ţĥé þļüĝîñ ŕöüţé àñđ ţĥé
þàŕàḿéţéŕš àŕé àļļ đàţà çàþţüŕéđ àţ ŕéĝîšţŕàţîöñ. Àđđîñĝ à šéĝḿéñţéŕ þļüĝîñ
ŕéǫüîŕéš à ḿàñîƒéšţ éñţŕý àñđ, öþţîöñàļļý, à šçĥéḿà ƒîļé.
Ƃöüñđàŕîéš çŕöšš ţĥé ŵîŕé àš îñţéŕîöŕ ŕüñé öƒƒšéţš îñţö ţĥé éẋàçţ ţéẋţ ţĥàţ
ŵàš šéñţ: àñ öƒƒšéţ i ḿéàñš à ñéŵ šéñţéñçé ƃéĝîñš àţ text[i], àñđ ţĥé éñđš
àŕé ñéṽéŕ éḿîţţéđ. Ŕüñé öƒƒšéţš ŕàţĥéŕ ţĥàñ ƃýţéš, ƃéçàüšé ţĥàţ îš ţĥé üñîţ ţĥé
öṽéŕļàý þŕöĵéçţîöñ ŵöŕķš îñ àñđ ţĥé öñé à ñöñ-Ĝö îḿþļéḿéñţàţîöñ îš ļéàšţ ļîķéļý
ţö ĝéţ ŵŕöñĝ.
Ţĥé ŠàŢ šéĝḿéñţéŕ
kapi-sat îš ţĥé ŕéƒéŕéñçé îḿþļéḿéñţàţîöñ: îţ ŕüñš ţĥé
ŠàŢ / ŵţþšþļîţ Šéĝḿéñţ àñý
Ţéẋţ ḿöđéļš, ẊĻḾ-ŔöƂÉŔŢà-ƃàšéđ ÖÑÑẊ ḿöđéļš ţĥàţ šéĝḿéñţ àñý ļàñĝüàĝé ţĥé
ţöķéñîžéŕ çöṽéŕš ŵîţĥöüţ þéŕ-ļàñĝüàĝé ŕüļéš. Îţ îš ţĥé ŕîĝĥţ çĥöîçé ƒöŕ ţéẋţ
ŕüļé éñĝîñéš ĥàñđļé þööŕļý: ļàñĝüàĝéš ŵîţĥöüţ ŕéļîàƃļé šéñţéñçé þüñçţüàţîöñ,
ţŕàñšçŕîƃéđ öŕ üšéŕ-ĝéñéŕàţéđ ţéẋţ, ḿîẋéđ-šçŕîþţ çöñţéñţ.
Ţĥŕéé ŕéǫüîŕéḿéñţš þüţ îţ öüţšîđé ţĥé þöŕţàƃļé ƃîñàŕý, àñđ ţĥéý àŕé ţĥé šàḿé öñéš ţĥàţ þüţ ţĥé Okapi ƃŕîđĝé ţĥéŕé (É-05):
- À ñàţîṽé ḾĻ šţàçķ. Îñƒéŕéñçé ñééđš ţĥé ÖÑÑẊ Ŕüñţîḿé šĥàŕéđ ļîƃŕàŕý àñđ à
ţöķéñîžéŕ ļîñķéđ ţĥŕöüĝĥ çĝö. Ļîñķîñĝ éîţĥéŕ îñţö
kapiŵöüļđ ƒöŕçé éṽéŕý îñšţàļļ ţö çàŕŕý ţĥé ÖÑÑẊ ÀƂÎ, đéƒéàţ þüŕé-Ĝö çŕöšš-çöḿþîļàţîöñ, àñđ îñƒļàţé ţĥé ƃîñàŕý ƒöŕ à çàþàƃîļîţý ḿöšţ îñṽöçàţîöñš ñéṽéŕ üšé. - Ļàŕĝé ḿöđéļ àššéţš. Ţĥé ḿöđéļš ŕüñ ţö ĥüñđŕéđš öƒ ḿéĝàƃýţéš. Ţĥàţ îš ţĥé šéĝḿéñţéŕ'š ŕüñţîḿé çöñçéŕñ, ñöţ ţĥé ÇĻÎ'š.
- À ŵàŕḿ þŕöçéšš. Ļöàđîñĝ àñ ÖÑÑẊ šéššîöñ þéŕ ƃļöçķ îš þŕöĥîƃîţîṽéļý šļöŵ; ţĥé ḿöđéļ ḿüšţ ļöàđ öñçé àñđ šţàý ŕéšîđéñţ àçŕöšš à ŕüñ. Ţĥé đàéḿöñ ţŕàñšþöŕţ àļŕéàđý þŕöṽîđéš éẋàçţļý ţĥàţ, à þööļéđ, ļöñĝ-ļîṽéđ šüƃþŕöçéšš ŵîţĥ àñ îđļé ţîḿéöüţ, ŵĥîçĥ îš ŵĥý ţĥé šéĝḿéñţéŕ üšéš îţ ŕàţĥéŕ ţĥàñ à ƃéšþöķé þŕöţöçöļ.
Ţĥé þļüĝîñ îš îţš öŵñ Ĝö ḿöđüļé, îšöļàţéđ šö îţš ñàţîṽé đéþéñđéñçîéš ñéṽéŕ éñţéŕ àñöţĥéŕ ḿöđüļé'š ƃüîļđ ĝŕàþĥ, àñđ îţ ƃüîļđš ţŵö ŵàýš ƒŕöḿ öñé šöüŕçé ţŕéé. Ţĥé đéƒàüļţ ƃüîļđ ļîñķš ñö ñàţîṽé ļîƃŕàŕîéš àñđ îš šàƒé öñ àñý ḿàçĥîñé: ţĥé đàéḿöñ šţîļļ šéŕṽéš, ţĥé ĥàñđšĥàķé àñđ çàþàƃîļîţý þŕöƃîñĝ šţîļļ àñšŵéŕ, àñđ à šéĝḿéñţ ŕéǫüéšţ ŕéþöŕţš ţĥé ƃüîļđ ļîḿîţàţîöñ îñšţéàđ öƒ çŕàšĥîñĝ. Ţĥé ÖÑÑẊ ƃüîļđ ļîñķš ţĥé ţöķéñîžéŕ àŕçĥîṽé àñđ ļöàđš ţĥé ÖÑÑẊ Ŕüñţîḿé šĥàŕéđ ļîƃŕàŕý àţ ŕüñţîḿé; ţĥàţ îš ţĥé çöñƒîĝüŕàţîöñ šĥîþþéđ îñ ŕéļéàšé àŕçĥîṽéš. Ƃéçàüšé ţĥé îñƒéŕéñçé àļĝöŕîţĥḿ (ţĥé ƃļöçķ/ŕéçöḿƃîñé ŵîñđöŵîñĝ, ţĥé ĥàļƒ-þŕéçîšîöñ çöñṽéŕšîöñ, ţĥé ŕüñé ḿàþþîñĝ) îš þüŕé Ĝö, îţš ţéšţš ƃüîļđ àñđ ŕüñ ŵîţĥ ñö ñàţîṽé đéþéñđéñçý.
Ḿöđéļš àŕé ñöţ ƃüñđļéđ. Ţĥé ḿàñîƒéšţ þîñš éàçĥ ḿöđéļ'š ƒîļéš ƃý ÜŔĻ àñđ ŠĤÀ-256, àñđ ţĥé ĥöšţ'š ḿöđéļ-àššéţ ḿàçĥîñéŕý đöŵñļöàđš ţĥéḿ öñ ƒîŕšţ üšé îñţö à šĥàŕéđ çàçĥé, šö à ḿöđéļ îš ƒéţçĥéđ öñçé àñđ ṽéŕîƒîéđ ƃéƒöŕé îţ îš üšéđ. Ţĥé ÖÑÑẊ Ŕüñţîḿé šĥàŕéđ ļîƃŕàŕý îš šĥîþþéđ ƃéšîđé ţĥé ƃîñàŕý àñđ ŕéšöļṽéđ ƒŕöḿ ţĥéŕé, šö àñ îñšţàļļéđ þļüĝîñ ñééđš ñö éñṽîŕöñḿéñţ çöñƒîĝüŕàţîöñ.
Ţĥé ḿàñîƒéšţ àļšö šéţš capabilities.selfcheck, ŵĥîçĥ àđṽéŕţîšéš ţĥé šţàñđàŕđ
šéļƒ-çĥéçķ ţĥàţ kapi plugin doctor ŕüñš: îţ çöñšţŕüçţš ţĥé éñĝîñé àñđ ļîšţš
ţĥé ḿöđéļš îţ šüþþöŕţš, šö "îñšţàļļéđ ƃüţ ñö ŵöŕķîñĝ ÖÑÑẊ ƃàçķéñđ" îš à
đîàĝñöšàƃļé šţàţé ŕàţĥéŕ ţĥàñ à ḿýšţéŕý àţ ţĥé ƒîŕšţ šéĝḿéñţ.
Çöñšéǫüéñçéš
- Ţĥé þöŕţàƃļé
kapiƃîñàŕý šţàýš þüŕé-Ĝö, šḿàļļ àñđ çŕöšš-çöḿþîļàƃļé. Éṽéŕý ĥéàṽý éñĝîñé îš à šéþàŕàţéļý ƃüîļţ, šéþàŕàţéļý îñšţàļļéđ þļüĝîñ, àñđ šéļéçţîñĝ öñé ţĥàţ îš ñöţ îñšţàļļéđ îš àñ àçţîöñàƃļé éŕŕöŕ ŕàţĥéŕ ţĥàñ à ƃüîļđ ƒàîļüŕé. - Šéĝḿéñţàţîöñ ǫüàļîţý îš à çöñƒîĝüŕàţîöñ çĥöîçé àţ ţĥé þöîñţ öƒ üšé, ñöţ à
þŕöþéŕţý öƒ ţĥé ƃüîļđ: ţĥé šàḿé
engine:šéļéçţöŕ šþàñš à ŕüļé éñĝîñé, ţĥé Üñîçöđé ƃàšéļîñé, à ḿöđéļ çĥüñķéŕ àñđ àñ ḾĻ šéĝḿéñţéŕ. - À ƒîŕšţ-šéĝḿéñţ çàļļ ţĥŕöüĝĥ à þļüĝîñ þàýš à öñé-ţîḿé ḿöđéļ đöŵñļöàđ. Îñţéĝŕàţöŕš ŵàŕḿ ţĥé ḿöđéļ ŵîţĥ àñ éẋþļîçîţ šéĝḿéñţ ŕüñ öŕ šüŕƒàçé ţĥé þļüĝîñ'š þŕöĝŕéšš öüţþüţ.
Ŕéļàţéđ
- Ƒ-02: Ţĥé çöñţéñţ ḿöđéļ: öṽéŕļàýš, šþàñš, àñđ ŕüñ ŕàñĝéš
- Ƒ-03: Îđéñţîţý: ŵĥý à šéĝḿéñţàţîöñ ţöĝĝļé đöéš ñöţ ḿöṽé à ƃļöçķ'š ĥàšĥ
- É-03: Ţĥé ţööļ šýšţéḿ: ţĥé
segmentationţööļ àñđ îţš çöḿþöšéđ šçĥéḿà - É-05: Ţĥé þļüĝîñ šýšţéḿ: ḿàñîƒéšţ çàþàƃîļîţîéš, ţĥé đàéḿöñ ţŕàñšþöŕţ, šîĝñéđ đîšţŕîƃüţîöñ
- É-07: Ḿöđéļ àñđ ţŕàñšļàţîöñ þŕöṽîđéŕš: ţĥé ŕéĝîšţŕý þàţţéŕñ ţĥé éñĝîñé ŕéĝîšţŕý ḿîŕŕöŕš
- Ḿ-01: Ƃîļîñĝüàļ ƒöŕḿàţ îñţéŕöþ: ĥöŵ šþàñš þŕöĵéçţ îñţö à ƃîļîñĝüàļ ƒîļé àñđ ƃàçķ
- Ç-09: Çöñţéñţ ḿéḿöŕý: þéŕ-šéĝḿéñţ ļööķüþ, ţĥé ŕéàšöñ šéĝḿéñţàţîöñ éẋîšţš
- Šéĝḿéñţàţîöñ: ţĥé çöñƒîĝüŕàţîöñ ĝüîđé, ŵîţĥ ƒļàĝš àñđ ŵöŕķéđ ŕéçîþéš