Ақша сомасы: 0
Өтінімдер саны: 1
12.01.26 (қоса алғанда)
Серіктестік
Идея
Акт міндеттері
Медиасфера
Басқа технологиялық шешімдер
БҚ/АЖ
Бағдарламалық қамтамасызз еруди тестилеудің дәстүрлі әділеті (бірлік-тесттер) генеративті чат-боттар тексеруге жарамайды. Диалогтар колмен тестилеу тым көп уақты алады, субъективтілігі үлкен келеді және пайдаланушылардың минез-құлқының барлык нусқаларын қамти алмайды. Негизги боттының промптары немесее білім базасы жаңартылған кезде регрессия қауіпсіз жоғары (бот Мәңгілік ұмытпа бастайды немесее "галлюцинацияға" ұшырайды). Біз ботты өндіріс орталығына (production) шығармас бурын, оныңсызықтықесс, күрделі Диалогтар "сурінбейтініне" көз жеткізуіміз керекбіз.
QA үдерісі автоматтандыру: Гипотезалар мен промптарды тестілеу ақытын бірнешеүннен бірнешее минутқа дейінқарту. Өнім сапасы:" галлюцинация " мен мәнмәтінді жогалту жағдайларын нақты клиент көрме бурын анықтау. Объективтілік: Боттың әрбірі жаңартуы бойынша диалог сапасының сандық метрикаларын (Scorecard) алу. Масштабтау жұмкіндігі: жүректің тұрақтығын тексерге бір түнде 1000 диалог симуляция Жасасын іскерге қосу мүмкіндігі.
Байжанысов Б.
Тапсырманың (жобаның) мақсаты мен сипаттамасы
Мақсат және тапсырманның сипаттамасы (мақсаты мен міндетінің сипаттамасы) Мақсат: Туристік агенттіктің үздік клиенттерінің мінез - құлқын имитациялауға және тексерілетіннің боттының жауаптарының сапасын бағалайтыны автоматтандырған күйені ("бот-тестілеуші") құруында. Тапсырманның мәңгілігі: біздің негіздің БОТЫМЫЗДЫҢ API-ы сурауларың жібер, жауаптарды қабыл, оларға бағаға береті, рольдік тұрғадан "киін" немесее "күрделі" клиент бола алатыныңды құралды әзерлеуқажет. Таләп есілін функционал (Үміткерден ұшыныстар күт): Қызметкерлер мен сценарий авторы генералауа (Simulation): бот-тестилеуші көркем ролдері ойнай білімді керек (ойлары: "бюджет шектеулі турист", "Балалы отбасы", "Шадамсызклиент"). Тапсырма: Тұрлар, қонақ үйлер, визалар және ұшуүш билеттері бойынша нақты сураныстары имитациялауға еліктейді. Мәнмәтінді ұстап тұруда тексеру( Context & Memory Testing): бұл – талап ұлдары. Тестилеуші негизги ботты қасақана" шатастыры " керекі. Сценарий: Түркиядағы қонақ үй тұралы сурау -> ұшуға билеті тұралы сұрауу -> Қайтадан қонақ үйі тамақтану тұралы сұрауу (қонақ үй атауын қайталамастан). Үміткерге сурақ: негізге боттың әніне желісін жоғалтпағаны бағдарламалық түрдеқалай тексересізі? Стресс-тестілеу (Adversarial Testing): Аралас ниеттер (Mixed intents): бір хабарламада бірнеше қызметі сурау ("Мысырға барғым келесі, бірақұшу ертеңі мен қонақ үй 5 жұлдыз, әр арзан болсынқызмет"). Тақырыпты ауыстыр: тұрды таңданған ақшаны қайтару кәсібіне кенеттен өту. Бағалаумодули (ai Judge): Тестилеуші жай ғана сөйлесіп қоймай, есеп беруі керекк. Метрикалар: Жауаптың релевантылығы (1-10), Фактілік дәлдік (галлюцинацияның жоктығы), Қарым-қатынас тондары. Үміткерге сурақ: Жауаптардың сапасы автоматы түрде бағалауыүшін Қанай Әділет ұсынасы (LLM-as-a-Judge, RAGAS nemese baska)?
Whatsapp
