oggi annunciamo il nostro fundraising-- sto scherzando. Stiamo spedendo. incontra gli esperimenti raindrop 🧪
raindrop experiments è il primo suite di A/B testing costruita per agenti AI. utilizza i tuoi flag di funzionalità esistenti (ad es. PostHog o Statsig) e ti offre confronti costruiti specificamente per agenti AI. nessun flag di funzionalità? nessun problema. basta confrontare ieri con oggi.
immagina di aggiungere un nuovo strumento (o di correggerne uno esistente). usa esperimenti per vedere come la tua modifica ha influenzato il comportamento del tuo agente. c'è una suddivisione di ciascun strumento: % di eventi per cui viene utilizzato, quante volte viene chiamato per evento, quale percentuale di invocazioni ha errori.
guarda come è cambiato letteralmente qualsiasi cosa... * utilizzo degli strumenti * intenzioni degli utenti * problemi (inclusi quelli che definisci tu stesso!) * lunghezza delle risposte * durata della conversazione * proprietà * demografia degli utenti (ad es. lingua che parlano) * e molto altro.
53,19K