Тек ҚР

Ақша сомасы: 2500

Өтінімдер саны: 1

Құжаттарды талдаудың жоғары жүктелген жүйелері үшін мәтіндік деректерді жеделдетілген оқу және ағындық индекстеу алгоритмін әзірлеу
Тапсырыс беруші

ТОО DLS-GLOBAL KZ
Шешімдерді қабылдау мерзімі

05.01.26 (қоса алғанда)

Марапаттау нысаны

Жеке талқыланады

Өнім күйі

MVP

Тапсырма түрі

Акт міндеттері

Сфера применения

Робототехника

Область задачи

Интеллектуалды басқару жүйелері

Өнім түрі

БҚ/АЖ

Мәселенің сипаттамасы

Қолданыстағы мәтіндік құжаттарды талдау жүйелерінде негізгі кедергі деректерді оқу және алдын ала өңдеу кезеңі болып табылады: * құжаттар индекстеу басталғанға дейін жадқа толығымен жүктеледі; * оқу және индекстеу дәйекті түрде орындалады; * өңдеу жылдамдығы файл өлшеміне тікелей байланысты; * жаппай тексерулер кезінде файлдық жүйе мен мәліметтер базасына жүктеме артады; * дәстүрлі тәсілдер I/O ішкі жүйелерінің ерекшеліктерін және көп ағынды ескермейді. Нәтижесінде, есептеу ресурстары болса да, жүйе өнімділігін жоғалтады және пайдаланушының нәтижені күту уақыты артады.

Күтілетін әсер

Жобаны іске асыру: * құжаттарды оқу және алдын ала өңдеу уақытын 40-60-қа қысқарту%; * файлды толық жүктеу аяқталғанға дейін индекстеудің басталуын қамтамасыз етіңіз; * жаппай тексеру кезінде жүйенің жалпы өткізу қабілетін арттыру; * дискінің ішкі жүйесі мен жедел жадына жүктемені азайтыңыз; * деректер көлемінің өсуімен индекстеудің сызықтық масштабталуын қамтамасыз ету; * білім беру, ғылыми және мемлекеттік жүйелерде қолданылатын әмбебап алгоритм құру.

Жауапты тұлғаның ТАӘ

Асылбеков Ұлан

Тапсырманың (жобаның) мақсаты мен сипаттамасы

Жобаның мақсаты-жаппай тексеру және сақталған деректер көлемінің өсуі кезінде құжаттарды өңдеу уақытын едәуір қысқартуға мүмкіндік беретін мәтіндік деректерді жеделдетіп оқу және параллельді ағындық индекстеу алгоритмін әзірлеу және енгізу. Жоба келесі кезеңдерді оңтайландыруға бағытталған: * әр түрлі форматтағы файлдарды оқу (DOCX, PDF, TXT, RTF); * құжаттарды бірыңғай мәтіндік көрініске түрлендіру; * құжаттың толық жүктелуін күтпестен мәтіндік блоктарды параллель индекстеу; * үлкен деректер корпустарымен жұмыс істеу кезінде дискіні енгізу-шығару (I/O) операцияларын азайту. Алгоритм chunk-based өңдеуді, асинхронды оқу ағындарын және индекстеу есептерінің адаптивті таралуын пайдалануды қамтиды.

Ескерту

Шешім жіберу