Referenční implementace software sady metod pro automatické zpracování obrazových a textových dat

Popis produktu

Výzkumné aktivity přispěly k vývoji DMS nové generace, zahrnující pokročilé moduly pro zpracování textu, vyhledávání a anonymizaci dat. Tyto moduly zahrnují: Modul Image Processing obsahuje komponenty OCR a Highlighter, které převádějí textové dokumenty ve formě skenů či fotografií na strukturovaná textová data. Tato data jsou následně ukládána do indexovatelných kolekcí. Modul Search se skládá z komponent Vectorizer, Semantic Search Engine a Ordinary Search Engine. Vectorizer převádí texty na vektory v sémantickém prostoru, Semantic Search Engine zaměřuje se na sémantické vyhledávání a Ordinary Search Engine umožňuje standardní vyhledávání textu. Tyto nástroje společně umožňují efektivní vyhledávání a nalezení textových shod dle požadavků uživatele. Knihovny pro anonymizaci smluv zahrnují několik modulů: contract_preprocessor_ocr, který slouží pro extrakci dat pomocí OCR, detekci začerněných oblastí a vlastnoručních podpisů; contract_questioner, který slučuje data získaná z dokumentů; contract_register pro vytěžování smluv z Registru smluv ČR a manipulaci s těmito dokumenty; snt_anonym_predict, který využívá hybridní model pro predikci oblastí textu určených k anonymizaci; contract_sign_detector pro detekci a lokalizaci vlastnoručních podpisů v bitmapě; a cotranon, což je kompletní software zabalený pro Docker, připravený k nasazení u průmyslového partnera. Řešení bylo implementováno v programovacím jazyce Python, s využitím API komunikačního rozhraní. Výsledný software je distribuován prostřednictvím Docker kontejnerů.