Προηγμένες Δοκιμές A/B

Η μεθοδολογία μας περιλαμβάνει διαδοχικούς ελέγχους υποθέσεων που μειώνουν τη διάρκεια του πειράματος διατηρώντας παράλληλα τη στατιστική εγκυρότητα, [μεθόδους αιτιακών δασών](/research#heterogeneous-treatment-effects) για τον εντοπισμό των τμημάτων πελατών που επωφελούνται περισσότερο από τις θεραπείες και ανίχνευση δικτυακών επιδράσεων για περιπτώσεις όπου οι χρήστες επηρεάζουν ο ένας τον άλλον. Για αγορές και κοινωνικές πλατφόρμες, εντοπίζουμε και λαμβάνουμε υπόψη παρεμβολές όπου η τυχαιοποίηση ενός χρήστη επηρεάζει τα αποτελέσματα άλλων χρηστών, αποφεύγοντας μεροληπτικές εκτιμήσεις που παράγουν οι παραδοσιακές δοκιμές A/B.

Οι εταιρείες ηλεκτρονικού εμπορίου που χρησιμοποιούν την πλατφόρμα μας αυξάνουν την ταχύτητα πειραματισμού διατηρώντας παράλληλα την αυστηρότητα. Οι ομάδες εντοπίζουν διαφοροποιημένες γνώσεις όπως "η βελτιστοποίηση του checkout ωφελεί τους νέους χρήστες αλλά βλάπτει τους επαναλαμβανόμενους πελάτες" που χάνουν οι απλές περιλήψεις δοκιμών A/B. Οι εταιρείες αποφεύγουν την υπερβολική βαρύτητα αποτελεσμάτων από τμήματα που θα είχαν μετατραπεί ούτως ή άλλως, εστιάζοντας αντίθετα τις επαναλήψεις σε πληθυσμούς υψηλής μόχλευσης.

Οι δυνατότητες multi-armed bandit σάς επιτρέπουν να εξισορροπείτε την εξερεύνηση και την εκμετάλλευση, κατανέμοντας δυναμικά την κίνηση σε παραλλαγές με καλύτερη απόδοση ενώ εκτελούνται τα πειράματα, μεγιστοποιώντας τον σωρευτικό αντίκτυπο.