Testing & QA

Tak. Zespół pracuje w narzędziach i procesach klienta — Jira, ALM, wybrane platformy automatyzacji i pipeline’y CI/CD. Jeśli w trakcie współpracy pojawią się rekomendacje zmian w narzędziach lub procesie, są przedstawiane osobno, jako element optymalizacji.

Pierwsze działające testy regresyjne powstają zwykle w ciągu kilku tygodni od startu, natomiast pełne pokrycie kluczowych ścieżek biznesowych to proces liczony w miesiącach. Czas zależy od liczby aplikacji, stabilności interfejsów, dostępności środowisk testowych i danych testowych. Sii zaczyna od architektury frameworka i najbardziej kosztownych obszarów regresji, dzięki czemu efekt jest widoczny przed zakończeniem całego wdrożenia.

Selenium i Playwright sprawdzają się tam, gdzie zespół ma kompetencje programistyczne i chce pełnej kontroli nad kodem testów. Tricentis Tosca i mabl są platformami klasy enterprise, które ograniczają ilość kodu i lepiej skalują się w organizacjach z wieloma systemami i zespołami o zróżnicowanych kompetencjach. Sii dobiera narzędzie do infrastruktury, budżetu i kompetencji zespołu klienta, a rekomendacja bywa też taka, by pozostać przy obecnym rozwiązaniu.

Punktem odniesienia jest koszt obecnej regresji: czas jej wykonania pomnożony przez liczbę wydań w roku i koszt zaangażowanego zespołu. Po stronie korzyści liczy się skrócenie cyklu wydawniczego, wcześniejsze wykrywanie defektów i ograniczenie ryzyka awarii produkcyjnych. W projekcie dla globalnej platformy rezerwacyjnej automatyzacja pozwoliła skrócić regresję z 3 tygodni do 2 dni i zredukować liczbę przypadków testowych z 36 000 do 9 000.

Testy automatyczne są wpinane w istniejące pipeline’y, tak aby uruchamiały się przy każdym buildzie lub w zdefiniowanych bramkach jakości. Zakres uruchamianych testów dobierany jest na podstawie ryzyka i zakresu zmian, dzięki czemu informacja zwrotna trafia do zespołu w minutach, a nie po nocnym przebiegu. Wyniki są raportowane w narzędziu używanym przez zespół, bez konieczności zmiany procesu wytwórczego.

Governance obejmuje jasny podział na decyzje podejmowane automatycznie i wymagające akceptacji człowieka, rejestrowanie działań agentów, kontrolę dostępu do danych oraz zasady postępowania z danymi wrażliwymi. Istotne jest również określenie, które artefakty testowe mogą być generowane przez AI, a które wymagają autorstwa inżyniera – szczególnie w środowiskach regulowanych.

Najczęstsze źródła oszczędności to redukcja nadmiarowych przypadków testowych, dobór zakresu regresji na podstawie ryzyka zamiast pełnego przebiegu oraz przeniesienie części testów z poziomu UI na poziom API. W jednym z projektów uporządkowanie zestawu testów pozwoliło zmniejszyć liczbę przypadków z 36 000 do 9 000 przy jednoczesnym skróceniu regresji z 3 tygodni do 2 dni.

Mechanizmy samonaprawiające automatycznie dostosowują sposób identyfikacji elementów interfejsu, gdy ten ulegnie drobnej zmianie, dzięki czemu test nie kończy się błędem przy każdej modyfikacji wyglądu aplikacji. Ogranicza to koszt utrzymania testów UI, które są najbardziej wrażliwe na zmiany. Mechanizm nie zastępuje jednak przeglądu testów — zmiana interfejsu bywa też sygnałem realnej zmiany funkcjonalnej.

Zgodność oznacza, że zarówno zakres testów, jak i sposób ich zaplanowania, wykonania i udokumentowania odpowiadają wymaganiom właściwej normy dla danego sektora. W praktyce wymaga to identyfikowalności między wymaganiem, przypadkiem testowym a dowodem wykonania oraz udokumentowania kryteriów akceptacji. Sii prowadzi klienta przez cały proces — od ustalenia celów po formalną dokumentację.