Testowanie aktualizacji w środowisku testowym

Testowanie aktualizacji w środowisku testowym pozwala wykryć regresje przed wdrożeniem poprawki na produkcji.

Środowisko testowe jako etap przed wdrożeniem aktualizacji

Testowanie aktualizacji w środowisku testowym polega na sprawdzeniu nowej wersji programu, systemu lub składnika infrastruktury w odseparowanych warunkach, zanim zmiana trafi do środowiska produkcyjnego używanego na co dzień. Celem jest wykrycie regresji, czyli sytuacji, w której poprawka usuwa jeden problem, ale jednocześnie powoduje inne nieprawidłowości. Regresją może być między innymi brak uruchamiania aplikacji, niepoprawne wyświetlanie interfejsu, utrata obsługi określonego formatu pliku albo niezgodność z innym używanym programem.

Środowisko testowe powinno możliwie wiernie odtwarzać warunki, w których działa wersja produkcyjna. Znaczenie mają system operacyjny, architektura procesora, sterowniki, ustawienia regionalne, dostępne biblioteki, uprawnienia użytkownika oraz konfiguracja połączeń sieciowych. Jeżeli aktualizacja dotyczy aplikacji przeznaczonej na laptop lub komputer stacjonarny, warto sprawdzić ją na konfiguracjach odpowiadających rzeczywistym urządzeniom, a nie wyłącznie na jednym komputerze laboratoryjnym. Różnice w sterowniku grafiki, wersji systemu albo dostępnej pamięci operacyjnej mogą ujawnić błąd niewidoczny w uproszczonym środowisku.

Przygotowanie scenariusza i danych do próby

Rzetelny test zaczyna się od określenia zakresu aktualizacji i warunków uznania jej za poprawną. Przed instalacją należy zapisać wersję używanego programu, wersję kandydującą do wdrożenia oraz konfigurację systemu. Następnie przygotowuje się scenariusze obejmujące funkcje zmienione w aktualizacji, funkcje powiązane oraz podstawowe operacje wykonywane przez użytkownika. Dla edytora dokumentów może to oznaczać otwieranie, zapis i drukowanie plików, a dla programu narzędziowego także import danych, eksport wyników i obsługę komunikatów o błędach.

Dane testowe powinny obejmować zarówno typowe przypadki, jak i sytuacje graniczne. Sprawdza się na przykład pusty formularz, bardzo długi tekst, plik o nietypowej nazwie, brak uprawnień do zapisu, niedostępne połączenie internetowe oraz przerwanie działania w trakcie operacji. Nie należy wykonywać testów na jedynych kopiach rzeczywistych dokumentów. Bezpieczniej użyć kopii danych albo specjalnie przygotowanego zestawu testowego. Jeżeli aktualizacja zmienia sposób zapisywania plików lub ustawień, trzeba również sprawdzić, czy dane utworzone w starszej wersji można prawidłowo odczytać po aktualizacji oraz czy nowa wersja nie niszczy informacji przy zapisie.

Testy funkcjonalne, zgodności i powrotu do poprzedniej wersji

Po zainstalowaniu aktualizacji wykonuje się testy funkcjonalne, czyli sprawdza, czy poszczególne operacje dają oczekiwane wyniki. Warto porównać rezultat z zachowaniem wersji wcześniejszej, zwłaszcza gdy poprawka dotyczy obsługi plików, urządzeń peryferyjnych, komunikacji sieciowej lub integracji z innym oprogramowaniem. Osobnej uwagi wymaga uruchamianie programu po restarcie systemu, logowanie, aktualizacja ustawień oraz działanie przy ograniczonych uprawnieniach. Sam fakt, że instalator zakończył pracę bez komunikatu o błędzie, nie potwierdza poprawności całego wdrożenia.

W środowisku testowym należy także sprawdzić możliwość wycofania zmiany. Próba powrotu do wcześniejszej wersji pokazuje, czy przygotowano kopię ustawień, punkt przywracania, pakiet instalacyjny poprzedniej wersji lub inną procedurę odtworzenia działania. Po takim powrocie trzeba zweryfikować, czy program nadal otwiera pliki utworzone podczas testu i czy nie pozostały niezgodne komponenty. Wyniki zapisuje się w protokole zawierającym datę, testowaną wersję, konfigurację, wykonane kroki, rezultat oraz opis każdego odstępstwa. Taka dokumentacja pozwala odróżnić błąd aktualizacji od problemu występującego już wcześniej.

Ocena wyniku przed użyciem aktualizacji na co dzień

Decyzja o wdrożeniu powinna wynikać z wcześniej przyjętych kryteriów, a nie tylko z pozytywnego zakończenia kilku ręcznych prób. Jeżeli test ujawni błąd, należy ustalić, czy dotyczy on funkcji krytycznej, pojedynczej konfiguracji czy wyłącznie elementu o małym znaczeniu. Aktualizacji nie powinno się uznawać za gotową, gdy podstawowe operacje kończą się nieprzewidywalnie, pliki są zapisywane niepoprawnie, sterownik przestaje działać albo instalacja uniemożliwia uruchomienie programu. Po poprawieniu problemu scenariusz trzeba powtórzyć, a następnie ponownie wykonać testy regresji obejmujące także obszary, których bezpośrednio nie zmieniano.

Warszawskie Pogotowie Komputerowe zajmuje się profesjonalną naprawą laptopów, komputerów PC i ich podzespołów, dlatego w przypadku problemów z działaniem oprogramowania na komputerze można rozpocząć od ustalenia, czy przyczyną jest sama aktualizacja, niezgodność sterownika, uszkodzenie systemu plików czy usterka sprzętowa. Praktyczne rozdzielenie tych przyczyn wymaga zebrania komunikatów błędów, porównania zachowania programu przed i po zmianie oraz sprawdzenia działania na odpowiednio przygotowanym środowisku. Dopiero na tej podstawie można ocenić, czy potrzebne jest wycofanie aktualizacji, ponowna instalacja składnika systemu, korekta konfiguracji czy diagnostyka komputera.