Sentry koppelen aan AI: weten welke fout de meeste gebruikers raakt
Sentry is aan AI te koppelen. Sentry verzamelt de fouten die in productie optreden; IntraGPT haalt die op binnen het project dat je aanwijst, beperkt zich tot de periode en de zoekvraag die je noemt en laat zien hoe vaak een fout voorkwam en hoeveel gebruikers hij raakte. Een issue op opgelost zetten kan ook, maar alleen als je daarom vraagt.
Wat de agent uit Sentry haalt
Openstaande fouten opvragen
De agent haalt de fouten van het project op die nog niet zijn opgelost, over de periode die je noemt en in een lijst die te overzien is. Is er meer, dan vraagt hij het volgende deel op in plaats van alles ineens op tafel te leggen.
Wegen op impact
Bij elk issue kijkt de agent naar hoe vaak het voorkwam en hoeveel gebruikers het raakte, niet alleen naar de tekst van de foutmelding. Op frequentie sorteren laat zien wat het meeste pijn doet, in plaats van wat toevallig als laatste binnenkwam.
Het verloop over een periode
Over een periode die je zelf kiest laat de agent zien hoe de aantallen zich ontwikkelden, per dag of fijnmaziger. Zo is te zien of een piek samenviel met een release of met een drukke dag.
Een fout op opgelost zetten
De agent kan een issue op opgelost zetten en het aan iemand toewijzen. Dat doet hij alleen als de oorzaak echt weg is, want anders komt de fout terug als regressie en zegt de lijst niets meer.
Eén project per koppeling
De koppeling staat vast op de organisatie en het project in Sentry die jullie aanwijzen. Cijfers uit een ander project lopen daardoor nooit door een antwoord heen.
Momenten waarop dit scheelt
E-commerce
- Situatie
- Na een release lijkt er iets mis met afrekenen, maar de meldingen bij de klantenservice zijn vaag.
- Wat de agent doet
- De agent haalt de openstaande fouten van het afgelopen etmaal op en zet ze op het aantal getroffen gebruikers.
- Resultaat
- Binnen een paar minuten is duidelijk of het om één bezoeker met een oude browser gaat of om een echte storing.
Overheid
- Situatie
- Een digitaal loket moet beschikbaar zijn en een beheerder wil zonder dashboard weten hoe de week eruitzag.
- Wat de agent doet
- De agent laat het verloop over die week zien, met de aantallen per dag.
- Resultaat
- Een beeld van pieken en rustige dagen, met de mogelijkheid om door te vragen over een dag die eruit springt.
Klantenservice
- Situatie
- Een klant meldt een foutmelding en de servicedesk wil weten of dit al bekend is.
- Wat de agent doet
- De agent zoekt op een term uit de melding en kijkt of er een openstaand issue bij past.
- Resultaat
- De klant hoort of het bekend is, en dezelfde fout wordt niet voor de vierde keer opgevoerd.
Industrie en productie
- Situatie
- Een fix voor een storing in een besturingsportaal is uitgerold en het issue mag dicht.
- Wat de agent doet
- Op verzoek zet de agent het issue op opgelost en wijst het toe aan degene die het oppakte.
- Resultaat
- De lijst blijft schoon, en komt de fout toch terug, dan is dat zichtbaar als regressie.
In vier stappen aangesloten
-
1
Verbinden met jullie Sentry
Je kiest Sentry in IntraGPT en verbindt het met een toegangstoken dat jullie zelf uitgeven en weer kunnen intrekken.
-
2
Afbakenen tot één project
Je wijst de organisatie en het project aan waar de vragen over gaan. Draaien er meerdere projecten, dan krijgt elk zijn eigen koppeling zodat de cijfers niet door elkaar lopen.
-
3
Kiezen wat afgehandeld mag worden
Meelezen en het verloop bekijken staan los van het markeren van een issue. Blijft dat laatste uit, dan is de koppeling puur informatief.
-
4
Rollen en vastlegging
Je bepaalt welke rollen deze agent mogen gebruiken, meestal ontwikkeling en beheer. Elke handeling wordt vastgelegd met het moment en het resultaat.
Persoonsgegevens in foutrapporten
Een foutrapport is geen neutrale technische regel: er kan zomaar het e-mailadres van de getroffen gebruiker of een URL met parameters in staan. Daar houdt de koppeling rekening mee.
Waar de data staat: Nederland
Wat er in een stacktrace kan staan
Sentry legt vast wie de fout tegenkwam en op welke pagina. Dat kan een e-mailadres zijn of een URL waarin gegevens van die gebruiker staan. De agent haalt daarom alleen de gegevens op die bij de vraag horen en bouwt geen gebruikersprofiel op uit foutrapporten.
Een token met de juiste reikwijdte
Jullie geven het toegangstoken uit en bepalen tot welke organisatie en projecten het toegang geeft. Een token dat alleen mag lezen kan niets markeren, hoe de vraag in de chat ook wordt gesteld.
Opgelost betekent opgelost
Een issue markeren doet de agent alleen op verzoek. Is de oorzaak niet echt weg, dan keert de fout terug als regressie en is de lijst minder waard geworden. Opruimen om het opruimen hoort hier niet bij.
Foutdata blijft binnen
Het model draait op een eigen server in Nederland. Stacktraces en gebruikersgegevens uit Sentry gaan niet naar een Amerikaanse modelaanbieder en worden niet gebruikt om een model te trainen.
Vragen over Sentry en AI
Werkt IntraGPT met Sentry?
Ja. Sentry staat in de connectorcatalogus van IntraGPT. De agent haalt de fouten van een project op, laat het verloop over een periode zien en kan een issue op opgelost zetten, allemaal binnen het project dat jullie aanwijzen.
Kan ik Sentry koppelen aan ChatGPT?
Niet zonder jullie foutdata en een toegangstoken bij een publieke dienst neer te leggen, en in een stacktrace kunnen gegevens van echte gebruikers staan. IntraGPT geeft dezelfde manier van vragen, maar de koppeling zit vast aan één project en elke handeling wordt vastgelegd.
Waarom komt een opgeloste fout steeds terug?
Omdat Sentry een issue dat na het markeren opnieuw optreedt heropent als regressie. Dat is precies de bedoeling: op opgelost zetten is een uitspraak dat de oorzaak weg is, niet een manier om de lijst korter te maken. Komt een issue terug, dan zat de fix er nog niet in of dekte hij niet alle gevallen.
Ziet de agent persoonsgegevens in een stacktrace?
Dat kan, want een foutrapport bevat soms het e-mailadres van de getroffen gebruiker of een URL waarin gegevens van die gebruiker staan. De koppeling haalt daarom alleen de gegevens op die bij de vraag horen en zoekt niet breder dan nodig. Wil je dat bepaalde gegevens er helemaal niet in komen, dan houd je die in Sentry zelf al tegen bij het vastleggen van een fout.
Hoe weet de agent welk project hij moet bekijken?
Bij het koppelen wijs je de organisatie en het project in Sentry aan. Werk je met meerdere projecten, bijvoorbeeld een frontend en een backend, dan richt je die apart in zodat de cijfers niet door elkaar gaan lopen.
Kan de agent zelf een fout oplossen?
Nee. Hij leest de fouten, weegt ze op aantal en getroffen gebruikers en kan er eentje markeren of toewijzen. Code aanpassen doet hij niet. Daarvoor gaat het werk naar GitHub of GitLab, waar een issue of een merge request thuishoort.
Wat kost een Sentry-koppeling?
De koppeling hoort bij het traject dat we samen doorlopen. Bepalend zijn het aantal projecten dat je aansluit, de rechten op het token en of de agent ook mag afhandelen. In een gesprek van dertig minuten zetten we dat op een rij.
Hoe lang duurt het inrichten?
Met een toegangstoken en een aangewezen project is het een kwestie van minuten. Meer tijd gaat zitten in de afspraak wie de agent mag gebruiken en of hij issues mag afhandelen of alleen mag kijken.