Data · dataset · 2024
Slovak Supermodel M1 (SSM1) : Matej Bel University SKRIPTOR project datasets
Listed in DataCite
Slovenský supermodel pre rukopisy M1 (SSM1).
Description
Nová doplnená verzia : Model Transkribus ID 437773 West Slavic Supermodel 1.0. Model prepisu historických dokumentov v západoslovanských jazykoch Integruje čiastočné modely: a) Slovenský výskumný projekt UMB a ŠVK Banská Bystrica Skriptor na Slovensku 2020-2024-2025 + 100 strán Imrich Nagy rkp. Štátny archív v Nitre; b) Študentská grantová súťaž (SGS) na Slezskej univerzite v Opave (3 diplomy, 4 modely) c) Zimná škola HTR 2022, 2023, 2024.
(Viedli: Dr. Jan Odstrčilík a Anna Michalcová) Výpočet trval približne 60 hodín. 250 cyklov, 399 806 slov; 71 129 riadkov Tréningová sada 1666 strán CER 2,98% Validačný súbor 166 strán CER 12,66 % Presnosť 87,34 % je nedostatočná! (min 95%) 24. apríla 2024 o 9:09 sme spustili Transkribus Expert v. 1.27.0 tvorbu nového súhrnného slovenského supermodelu.
Read the rest (8 more)
Podkladom pre vytvorenie supermodelu pre určité slovenské rukopisy boli čiastkové modely riešiteľov problémov v projekte Skriptor Model má označenie ID63569 Slovak Supermodel M1 (SSM1). Na vytvorenie modelu použitých 1359 stran v kvalite Ground Truth (GT); 56713 riadkov a 333777 slov. Z toho 1224 strán na školenie (Train set) a 135 strán na overenie nového modelu (Validation set).
Podklady k tomuto vzoru sú v slovenskom, latinskom, maďarskom a českom jazyku, slovakizovanej češtine, ai. Vstupné rukopisy majú rôznu kvalitu z hľadiska digitalizovaných. Niektoré digitalizované obrázky boli použité z digitálnych úložísk, zvyčajne v dobrej kvalite 600 dpi a niektoré výsledky boli skenovania pomocou zariadení ScanTent a softvéru DocScan v dostatočnej kvalite 300 dpi.
Ukážky písiem dokumentov nájdete vo výskumnej štúdii Skriptor. Zdrojové súbory údajov: Typ Vlastník Model Názov modelu Počet strán GT Spolupráca M Bôbová Mária ID49629 SKRIPTOR_knižničný_katalóg_29.9P 25 (22/3) M Katuščák Dušan ID63169 SKRIPTOR_Slovak_hand 331 (300/31) Transkripcia : K. Komorová, M. Bôbová, J. Kiss; Dat.analýza : E. Kowalská, I. Kollárová, T.Albert M Kunec Patrik ID60311 BBBDA - Kanonický vizitačný protokol, 1756 - 8. 50 (43/7) M Kurhajcová Alica ID57344 SKRIPTOR_Model JM Hurban 655 (590/65) M Maliniak Pavol ID61347 Abrahámov model 18 90 (82/8) M Nagy Imrich ID60197 SKRIPTOR_Katalóg_Koháry_SABB 137 (125/12) M Tomeček Oto ID59197 Neolatinské kovy 1820 129 (117/12) M1 Všetky ID63569 Slovenská supermodelka M1 (SSM1) 1328 (1359) Riešitelia APVV (rozdiel: rôzne parametre?) Samotné ukážky považujeme za veľmi dôležité pre ďalšie využitie a zdokonaľovanie modelu, keďže ďalší bádatelia získajú predstavu o podobnom alebo odlišnom písaní vlastných dokumentov, ktoré chcú prepísať.
Boli dosiahnuté hodnoty Súbor vlakov: 4,90 % a Validačný súbor: 5,30 %. Vytvorenie modelu SSM1 na serveri Transkribus trvalo dva dni, 5 hodín, 16 sekúnd, teda 53 hodín a 58 minút. Proces tvorby bol ukončený po 174 cykloch (epochách).
Model SSM1 je prvým pokusom na Slovensku o vytvorenie prostredníctvom ktorého by bolo možné automaticky sprístupniť určité typy bežných dokumentov, ktoré sa podobajú fontom na ich tvorbu. ID63569 Slovak Supermodel M1 (SSM1) nemožno v žiadnom prípade považovať za definitívny univerzálny model na prepis historických rukopisov slovenskej proveniencie všetkých typov a období. Rozmanitosť písiem a štýlov rukopisu je nekonečná a optimálneho agregovaného modelu je podporovaná pre ďalších výskumníkov a nadšencov v nasledujúcich rokoch.
Verím však, že náš prvý agregovaný model SSM1 môže byť automatický prepis ďalších analogických rukopisov. Riešiteľský tým plánuje sprístupniť datasety v rámci udržateľnosti projektu v rokoch 2024-2028 prednostné na výskumné a vzdelávacie účely pre inštitúcie a výskumníkov, ktorí chcú prispieť k vytvoreniu modelu historických rukopisov v západoslovanských jazykoch, respektíve jazykoch slovenského a českého pôvodu. Copyright: CC BY-NC-SA.
Samozrejme, takýto automatický prepis neprinesie okamžite uspokojivé výsledky. Môže však byť potrebný „hrubý“ automatický prepis ďalších stránok krok za krokom, ich ručnú opravu na stav GT a následné použitie väčších súborov údajov GT na spresnenie nového modelu založeného na našom SSM1. Po vytvorení ďalších stoviek a tisícok stránok GT bude možné pristúpiť k tvorbe ďalších generácií nových modelov založených na SSM.
Vývoj by mohol pokračovať pre rukopisy s modelmi nových generácií SSM2, SSM3 atď. Respektívy pre tlač a sadzbu (P-Print), ako sú supermodely SSP1, SSP2, SSP3 atď. (Google Translate)
Links
Where it is published
- Repository landing page zenodo.org/doi/10.5281/zenodo.11109086 ↗
landing page · from DataCite
- DOI doi.org/10.5281/zenodo.11109086 ↗
DOI / persistent id · from DataCite
Documentation and papers
Catalogue records · 2
- DataCite API api.datacite.org/dois/10.5281/zenodo.11109086 ↗
metadata API · from DataCite
- DataCite Commons commons.datacite.org/doi.org/10.5281/zenodo.11109086 ↗
catalogue entry · from DataCite
Topics
- Stated by source
- History and archaeology · Languages and literature
- From keywords
- Linguistics
Related
Provenance · 1 source records, 8 field assertions
| Source | Key | Last seen | Raw |
|---|---|---|---|
| DataCite | 10.5281/zenodo.11109086 | 12 d ago | JSON v1 |
| Field | Assertion | Extractor | Evidence |
|---|---|---|---|
| access_level | source · DataCite | connector:datacite@1.0.0 | /data/attributes/rightsList |
| concepts[field].fos:history-and-archaeology | source · DataCite | connector:datacite@1.0.0 | |
| concepts[field].fos:languages-and-literature | source · DataCite | connector:datacite@1.0.0 | |
| description | source · DataCite | connector:datacite@1.0.0 | /data/attributes/descriptions |
| license | source · DataCite | connector:datacite@1.0.0 | /data/attributes/rightsList |
| publication_date | source · DataCite | connector:datacite@1.0.0 | /data/attributes/dates |
| title | source · DataCite | connector:datacite@1.0.0 | /data/attributes/titles/0/title |
| version_label | source · DataCite | connector:datacite@1.0.0 |