09.09.25 (қоса алғанда)

Компанияда жұмысқа орналасу мүмкіндігі

Дайын өнім

Акт міндеттері

Медиасфера

Заттар интернеті

БҚ/АЖ,

Журналдардың ағындық талдауы

Функционалдық талаптар Жинау және қалыпқа келтіру 3 көзден журналдарды қабылдау(http Ingest + Kafka Topic + backfill үшін жергілікті файлдар). Timestamp-ті UTC бірыңғай форматына келтіру, кідірістерді/кеш оқиғаларды дұрыс өңдеу (late events window теңшелетін). Өрістерді біріктіру (service, env, level, traceId, message, meta{}). Байыту Қызмет тізілімімен оқиғаларды джойнит (service → owner, oncall, сыни). Георезолвинг IP → Ел / Аймақ(Жергілікті болуы мүмкін geo-DB файлы). Оқиғаларды анықтау Кем дегенде екі әдіс: (a) шекті ережелер (мысалы, y минут ішінде ERROR‑rate> x%), (b) оқиғалар/кідірістер саны бойынша статистикалық аномалия (Z‑score немесе EWM дисперсиясы). Атрибуттармен "оқиғаны" құру (id, басталатын уақыт, қызмет, метрика, дәлелдер, күй: ашық/шешілген). Іздеу және сақтау Журналдарды индекстеу (толық мәтін + өрістер бойынша сүзгілер). Жарамды Elasticsearch/OpenSearch/SQLite FTS / Whoosh — таңдау дәлел. Ұстау саясаты (ыстық/суық сақтау): 3 күн ыстық, 30 күн суық (эмуляция). API және UI (минималды) Rest / grpc: (a) ingest (сынақ үшін), (b) іздеу сұраулары, (c) оқиғалар тізімі, (d) оқиғаны жабу. Ең қарапайым веб-іздеу беті (іздеу жолағы, Service/env/level сүзгілері, пагинация, оқиға мәліметтерін қарау). Сенімділік Идемпотентті қабылдау(traceid+ts немесе hash (message) бойынша dedup). Шыңдарды өңдеу / backpressur: кезектер/буфер, экспоненциалды кідіріс ретраи. Функционалды емес талаптар Өнімділік: кәдімгі машинада ≥ 10 000 оқиға/сек (өлшеулер мен жеңілдетулерді негіздеңіз). Қабылдаудан іздеуге дейін кідіріс: 5k evt/s кезінде P95 ≤ 2 секунд. Сенімділік: бір жұмысшы қайта басталған кезде оқиғаларды жоғалтпаңыз (жергілікті тұрақты буфер арқылы көрсету). Бақылау: көрсеткіштер (ingest rate, lag, error rate), health‑Endpoint, қызметтің құрылымдық журналдары. Шектеулер және кіріспе Тіл және стек: [фотосуретпен ауыстырыңыз] (әдепкі: Go/Java / Python + Kafka + кез келген іздеу жүйесі). Орналастыру: Docker Compose немесе Kubernetes (minikube/kind). CI- [ФОТОСУРЕТПЕН АУЫСТЫРЫҢЫЗ]. Сыртқы ақылы қызметтер жоқ. Тестке арналған мәліметтер 3 қызметтің тренажерін жасаңыз: тексеру, каталог, автор (әр түрлі ERROR/latency деңгейлері). Шу мен кеш оқиғаларды қосыңыз (90 секундқа дейін). 1-2 журнал файлын (JSON/CEF), http ingest үлгісін қосыңыз. Не беру керек (Deliverables) Архитектуралық схема (деректер ағынының диаграммасы, кезектер, индекстеу, компоненттер). Коды бар Репозиторий, Dockerfile, docker‑compose/k8s манифесттер. Іске қосу қадамдары, опциялар және өнімділік профилі бар README. Тесттер жиынтығы (бірлік + жүктеме/оқиғаларды құру сценарийі). Іздеу қоймасын, кеш терезені, қайталануды таңдаудың қысқаша негіздемесі. Бағалау критерийлері (Айдар) Сәулет және масштабтау-30% Код және тест сапасы-20% Бақылау және пайдалану — 15% Инциденттерді анықтаудың дұрыстығы-20% UX іздеу және API дизайны‑10% Құжаттама және reproducibility-5% Бонустық тапсырмалар (міндетті емес) Traceid/spanId оқиғаларының корреляциясы (жеңілдетілген трейсинг). Арзан форматтағы "ыстық→суық" қосымша суреттер (Жергілікті/бұлтты бакеттегі Parquet — эмуляция). Live‑Slack/Telegram-дағы алерттер (webhook-эмулятор).

Архитектуралық схема (деректер ағынының диаграммасы, кезектер, индекстеу, компоненттер). Коды бар Репозиторий, Dockerfile, docker‑compose/k8s манифесттер. Іске қосу қадамдары, опциялар және өнімділік профилі бар README. Тесттер жиынтығы (бірлік + жүктеме/оқиғаларды құру сценарийі). Іздеу қоймасын, кеш терезені, қайталануды таңдаудың қысқаша негіздемесі.

Дәурен Арипов