Opisy generowane kontra pisane ręcznie – protokół i wynik

Pytanie, które słyszę na prawie każdym szkoleniu z AI w e-commerce, brzmi: czy opisy generowane sprzedają tak samo jak pisane ręcznie. Odpowiedzi „to zależy" nikt nie kupuje, więc uruchomiłem test na własnym sklepie. Poniżej protokół – metoda, wielkość próby i to, co da się z tego wyciągnąć.

Dlaczego to trudniej zmierzyć, niż wygląda

Karta produktu nie działa w izolacji. Na konwersję wpływa cena, sezon, pozycja w kategorii, źródło ruchu i to, czy produkt jest właśnie promowany. Test, w którym zmieniamy opis i patrzymy na sprzedaż, mierzy głównie te rzeczy, a nie opis.

Dlatego zamiast porównywać dwa różne produkty, porównuję ten sam produkt w dwóch okresach o podobnym profilu ruchu i dobieram pary produktów o zbliżonej historii sprzedaży.

Protokół

Próba: 60 kart produktowych z jednej kategorii, podzielone na trzy grupy po 20 – opis pisany ręcznie, opis generowany według instrukcji systemowej z kontrolą redakcyjną, opis generowany bez kontroli.

Okres: dwa pełne miesiące poza szczytem sezonowym, bez zmian cen i bez kampanii płatnych na te produkty.

Wskaźniki: konwersja karty, liczba zapytań przedsprzedażowych do obsługi klienta oraz wskaźnik zwrotów. Ten drugi jest w tym teście ważniejszy od pierwszego, bo pokazuje, czy opis odpowiada na pytania klienta.

Czas pracy: godziny na przygotowanie każdej grupy, liczone łącznie z korektą. Bez tego porównanie jakości nie ma sensu ekonomicznego.

Co już widać

Grupa bez kontroli redakcyjnej wypada najsłabiej nie dlatego, że teksty są złe stylistycznie, ale dlatego, że model uzupełnia parametry, których nie było w danych źródłowych. Efektem są zapytania do obsługi klienta i zwroty – czyli koszt przeniesiony z redakcji do logistyki.

Grupa z instrukcją i korektą jest porównywalna z ręczną przy wyraźnie mniejszym nakładzie czasu. Różnica w czasie pracy jest większa niż różnica w wynikach – i to jest właściwy wniosek z tego testu.

Czego ten test nie rozstrzyga

Jednej kategorii i sześćdziesięciu kart nie da się przenieść na cały rynek. Nie wiem, jak wynik zachowa się przy produktach wymagających doradztwa technicznego ani przy asortymencie, w którym opis jest głównym nośnikiem wartości. Druga tura testu obejmie właśnie taką kategorię.

Liczby z pierwszej tury opublikuję razem z podziałem na grupy, gdy zamknie się drugi miesiąc pomiaru – także wtedy, gdy nie potwierdzą tego, co napisałem powyżej.

Protokół i arkusz pomiarowy udostępniam osobom, które chcą powtórzyć test u siebie. Metoda pracy badawczej opisana jest w sekcji Badania naukowe.