Izceltais projekts

Log Watcher

Daudzprojektu žurnālu analīzes un AI triāžas sistēma, ko darbināt savā serverī. Tā aptaujā Loki un OpenSearch, grupē atbilstošās kļūdas incidentos un lūdz LLM izskaidrot katru jaunu incidentu.

1 / 2
1 / 2
Log Watcher projektu skats (gaišais motīvs)

Pārskats

Kas tika izveidots

Žurnālu analīzes un AI triāžas sistēma, kas darbojas jūsu serverī. Tā uzrauga Loki un OpenSearch žurnālu avotus vairākos projektos, grupē atbilstošos kļūdu ierakstus incidentos un izmanto LLM, lai izskaidrotu katra jaunā incidenta iespējamo pamatcēloni. Atrisinātie incidenti veido meklējamu starpprojektu risinājumu zināšanu bāzi.

  • Automātiski aptaujā Loki un OpenSearch un grupē atbilstošās kļūdas incidentos
  • AI ģenerēts iespējamais pamatcēlonis, pirmā darbība un ieteikums katram jaunam incidentam
  • Brīdinājumi pa e-pastu vai webhook, ar apkopes logiem plānotās dīkstāves paziņojumu izslēgšanai
  • Meklējama, starpprojektu risinājumu zināšanu bāze, kas veidota no atrisinātajiem incidentiem

Kāpēc tas tika izveidots

Praktisks fokuss

Kļūdu žurnāli uzkrājas ātrāk, nekā tos iespējams izlasīt. Ideja bija izveidot triāžas slāni, kas sagrupē troksni incidentos, izskaidro, kas, visticamāk, ir noticis, vēl pirms cilvēks to apskata, un atceras, kā tā pati problēma tika atrisināta iepriekš.

Tehniskais profils

Funkcionalitāte un infrastruktūra

Žurnālu avoti un datu iegūšana

  • Loki (LogQL) un OpenSearch adapteri ar vienotu kopīgu saskarni, savienojamības testiem un JSON importēšanu/eksportēšanu
  • Katra projekta filtrēšanas noteikumi tiek piemēroti avotā reāllaikā atrastajām etiķešu vērtībām, kā arī pieejams neobligāts ziņojuma apakšvirknes filtrs
  • Katram datu ieguves pieprasījumam tiek piemērots minimālais kļūdas līmeņa smagums, pēc tam ieraksti tiek atkārtoti pārbaudīti ar līmeņa heuristiku, lai uztvertu kļūdaini pozitīvus rezultātus
  • Atbilstošie ieraksti tiek deduplicēti un grupēti incidentos pēc paraksta, ar vienu ierakstu katram unikālajam parakstam vienā aptaujas ciklā

AI triāža

  • Normalizācija notiek ārpus aptaujas cikla, izmantojot rindu, tāpēc lēns LLM izsaukums nebloķē datu iegūšanu
  • Darbojas ar OpenAI saderīgu galapunktu vai Anthropic API, kas tiek izvēlēts katrai izvietošanai
  • Katram jaunam incidentam ģenerē pamatcēloni, pirmo darbību un ieteikumu
  • Katrs AI izsaukums tiek reģistrēts kopā ar aizkavi un tokenu patēriņu, lai pārskatītu izmaksas un veiktspēju

Brīdinājumi un apkopes logi

  • Katra projekta brīdinājumi par jaunu incidentu, pēc katriem N atkārtojumiem vai N atkārtojumiem noteiktā laika logā
  • E-pasta un webhook paziņojumu kanāli; webhook var izmantot Slack, Teams vai jebkuram servisam ar ienākošā webhook URL
  • Apkopes logi izslēdz projekta brīdinājumu paziņojumus, neapturot datu iegūšanu vai analīzi
  • Apstiprinot incidentu, turpmākie brīdinājumi tiek apturēti uz tā izskatīšanas laiku

Triāža, zināšanu bāze un administrēšana

  • Incidenti tiek uzskaitīti kā atvērti, apstiprināti vai atrisināti; katrs risinājums tiek reģistrēts ar kategoriju un piezīmi
  • Risinājumu piezīmes veido meklējamu starpprojektu risinājumu zināšanu bāzi atkārtoti sastopamām problēmām
  • Darba vides statistika: atvērto/atrisināto incidentu skaits katrā projektā, kā arī AI izsaukumu skaits, veiksmīgo izsaukumu īpatsvars un aizkave
  • Vietējā un LDAP autentifikācija ar administratora sadaļu lietotāju, audita žurnāla un sistēmas stāvokļa pārvaldībai