01.10.26 (қоса алғанда)

Стажировка в Endgame Studio Ltd.

MVP

Акт міндеттері

Робототехника

Нейротехнология және жасанды интеллект

Алгоритмнің прототипі

Бірдей немесе ұқсас сұрауларды бірнеше рет орындаған кезде, тілдік модельдер типтік жауаптардың шектеулі жиынтығына артықшылық бере алады. Мысалы, берілген диапазоннан санды таңдауды сұрағанда, белгілі бір мәндер басқаларға қарағанда әлдеқайда жиі пайда болады. Қолданбалы тапсырмаларда мәселе ұқсас идеяларды, сюжеттерді және тұжырымдамаларды қайталауда көрінеді. Бұл балама іздеу, мазмұн жасау және синтетикалық деректерді жасау кезінде AI пайдалылығын шектейді. Нәтижелердің әртүрлілігін олардың мағынасын, дұрыстығын және тапсырманың шектеулеріне сәйкестігін сақтай отырып кеңейту әдісі қажет. Талаптар: - Әр тест сұрауы үшін жеке қолмен конфигурациясыз және модельдің негізгі параметрлерін өзгертпестен әр түрлі отбасылардың кем дегенде үш моделіне бірыңғай әдісті қолданыңыз. - Шешімді үш тапсырма тобында тексеріңіз: берілген сандық жиыннан таңдау, берілген түстер жиынынан таңдау, сондай-ақ ашық атау генерациясы. - Нәтижелерді әдеттегі модель сұрауларынан алынған үлгімен салыстырыңыз. - Қажетті үлестіруден ауытқуды өлшеңіз (қателер пайызы) - әдісті қолданар алдында және кейін. - Бір сұрау салуды орындау үшін қажетті қосымша шығындарды көрсету: модельге жүгіну саны, таңбалауыштардың шығыны және жауап алу уақыты. - Прототипті, әдіс сипаттамасын, эксперимент нәтижелерін және ойнату нұсқауларын беріңіз. Сұрауды өзгерту, бірнеше жауап алу және таңдау әдістері, сондай-ақ олардың комбинациясы рұқсат етіледі. Әрбір сынақ сұрауы сұраулар мен жауаптар тарихын, есептегіштерді, жинақталған статистиканы және пайдаланылған мәндер тізімдерін қоса алғанда, алдыңғы іске қосу күйін сақтамай және пайдаланбай дербес өңделеді. Бір тестілік сұрауды өңдеу шеңберінде модельге бірнеше рет жүгінуге және олардың аралық нәтижелерін пайдалануға рұқсат етіледі. Сыртқы кездейсоқтық көзін пайдалану әдістің бөлігі ретінде рұқсат етіледі, егер ол алдыңғы іске қосу нәтижелеріне тәуелді болмаса, бірақ модельдің жауабын кездейсоқ мәнмен ауыстыру мәселені шешпейді.

Алдын ала белгіленген төзімділік шегінде сапаны сақтай отырып, әртүрліліктің қайталанатын өсуін көрсететін жұмыс прототипі. Бағалаудың негізгі критерийлері: жақсарту мөлшері, сапаны сақтау, модельдер мен тапсырмалар арасындағы портативтілік, қолдану құны және қайталануы. Тексерудің бір бөлігі қатысушыларға алдын ала ашылмаған тапсырмаларда жүргізіледі.

Ситников Илья Алексеевич