AI przyspiesza testowanie. Ale czy pomaga wykrywać właściwe błędy? Sii Polska publikuje 2. raport Testing Lab

Sii Polska publikuje wyniki 2. edycji eksperymentu badawczego Testing Lab – AI Edition. Pierwsza część badania potwierdziła, że AI znacząco zwiększa produktywność testerów automatyzujących. Tym razem eksperci Sii sprawdzili, czy większa liczba testów oznacza również skuteczniejsze wykrywanie błędów, które mogą mieć konsekwencje po wdrożeniu.  

AI pozwala szybciej tworzyć testy, budować frameworki i przygotowywać raporty. Sama produktywność nie odpowiada jednak na najważniejsze pytanie z perspektywy jakości oprogramowania: czy powstałe w ten sposób testy potrafią wykryć błędy, które mogłyby powodować problemy po wdrożeniu? 

To pytanie stało się punktem wyjścia 2. edycji Testing Lab – AI Edition. 

Tym razem zmienną nie było AI 

W pierwszej edycji eksperci Sii porównali pracę zespołów korzystających z AI z zespołami pracującymi bez jej wsparcia. Wyniki pokazały wyraźny wzrost produktywności – przy zachowaniu średniej jakości tworzonych rozwiązań. 

W 2. edycji wszystkie 16 zespołów korzystało z AI. Pracowały na tym samym systemie, w tym samym czasie i mierzyły się z 19 celowo zasianymi defektami o różnym poziomie trudności. 

Zmieniło się więc pytanie badawcze. Eksperci nie sprawdzali już, czy AI pomaga, ale co decyduje o skuteczności testera, gdy AI jest stałym elementem jego pracy. 

Więcej testów nie zawsze oznacza lepszą ochronę  

Badanie pokazało, że AI nadal znacząco przyspiesza tworzenie infrastruktury testowej. Jednocześnie skuteczność wykrywania defektów nie rosła proporcjonalnie do liczby przygotowanych testów. 

Różnice między zespołami pojawiały się przede wszystkim tam, gdzie samo wygenerowanie poprawnego technicznie testu nie wystarczało. Znaczenie miały decyzje testera: co sprawdzić, jak zdefiniować oczekiwany wynik, gdzie szukać ryzyka i jak zweryfikować odpowiedź wygenerowaną przez model. 

Na podstawie tych obserwacji eksperci Sii opisali Model Operatora AI oraz 5 bramek jakości, które pomagają przełożyć pracę z AI na skuteczniejszy proces testowy. 

Jak zmienia się rola testera w świecie AI? 

Raport pokazuje wyniki eksperymentu, analizuje różnice między podejściami 16 zespołów i wskazuje praktyki, które wpływały na skuteczność wykrywania defektów. 

Odpowiada też na szersze pytanie: jakich kompetencji potrzebuje tester, gdy AI potrafi samodzielnie wygenerować kod, uruchomić testy i zaproponować poprawki? 

Pełne wyniki, dane z eksperymentu oraz rekomendacje dla zespołów QA znajdują się w raporcie „AI Testing Lab. Część II: AI nie wystarczy. Rola operatora AI w jakości testów”. 

Pobierz raport i sprawdź, co decyduje o skuteczności testowania z AI.