| Termin | Definicja |
|---|---|
| brak testów scenariusza | Brak testów scenariusza to zaniedbanie uniemożliwiające weryfikację poprawnego działania zautomatyzowanego procesu przed jego uruchomieniem. Brak testów scenariusza jako luka w weryfikacji procesuBrak testów scenariusza oznacza sytuację, w której zautomatyzowany proces nie został sprawdzony w warunkach przypominających rzeczywiste użycie. Samo uruchomienie pojedynczej funkcji albo potwierdzenie, że aplikacja otwiera się bez komunikatu o błędzie, nie wystarcza do oceny całego przebiegu działania. Scenariusz opisuje bowiem ciąg zdarzeń: pojawienie się danych wejściowych, wykonanie kolejnych operacji, reakcję na sytuacje nietypowe, zapis wyniku oraz przekazanie informacji do następnego etapu. W praktyce brak takich testów utrudnia ustalenie, czy proces działa poprawnie od początku do końca. Poszczególne elementy mogą działać osobno, a mimo to ich połączenie może prowadzić do pomijania danych, powielania rekordów, błędnego przypisywania statusów albo zatrzymania obsługi po wystąpieniu nieoczekiwanej wartości. Problem bywa niewidoczny podczas krótkiej demonstracji, ponieważ demonstracja zwykle obejmuje wariant poprawny i wcześniej przygotowany. Test scenariusza powinien odtwarzać cel procesu w kolejności, w jakiej będzie on wykonywany przez użytkownika, urządzenie lub usługę automatyczną. Należy uwzględnić nie tylko rezultat końcowy, lecz także warunki początkowe, wymagane uprawnienia, dostępność danych, czas reakcji, sposób obsługi błędów oraz stan systemu po zakończeniu zadania. Dzięki temu można sprawdzić, czy proces pozostawia środowisko w przewidywalnym stanie i czy kolejna operacja może rozpocząć się bez ręcznego poprawiania wcześniejszych wyników. Testy scenariusza a test pojedynczej funkcji i kontrola całościTest pojedynczej funkcji odpowiada na wąskie pytanie: czy określony fragment programu zwraca oczekiwany rezultat dla wskazanych danych. Test scenariusza odpowiada na pytanie szersze: czy cały łańcuch działań prowadzi do właściwego celu, gdy dane przechodzą przez kilka modułów i zmieniają swój stan. Oba rodzaje sprawdzeń są potrzebne, lecz jeden nie zastępuje drugiego. Poprawnie działająca funkcja może otrzymać dane w nieodpowiednim formacie, zostać wywołana zbyt wcześnie albo nie otrzymać informacji o błędzie poprzedniego etapu. Ważne jest także odróżnienie testu scenariusza od prostego testu uruchomieniowego. Potwierdzenie, że proces wystartował, nie oznacza jeszcze, że zakończył się poprawnie. Należy zweryfikować zapis rezultatu, kompletność przetworzonych elementów, zachowanie przy przerwaniu oraz możliwość ponowienia działania. Jeżeli proces pobiera informacje, trzeba sprawdzić, czy nie dochodzi do utraty części danych. Jeżeli tworzy dokument, zgłoszenie lub powiadomienie, warto potwierdzić poprawność treści, odbiorcy, statusu i śladu wykonania. Porównanie wariantów pozwala ujawnić problemy, których nie widać przy jednym przebiegu. Wariant podstawowy może zawierać kompletne dane i dostępne zasoby. Wariant graniczny może obejmować pusty formularz, opóźnioną odpowiedź, niedostępny plik, duplikat zgłoszenia albo zmianę uprawnienia w trakcie działania. Wariant przerwany pozwala sprawdzić, czy po wznowieniu nie powstają powtórzone lub częściowe wyniki. Brak testów scenariusza pozostawia te kwestie bez potwierdzenia, dlatego późniejsze usterki mogą być przypisywane przypadkowi, chociaż wynikają z niezweryfikowanej logiki procesu. Brak testów scenariusza przy typowych problemach automatyzacjiJednym z częstych skutków jest pomijanie etapów po wystąpieniu drobnego błędu. Proces może prawidłowo przetworzyć pierwsze elementy, a następnie zatrzymać się na rekordzie z brakującą wartością. Bez testu obejmującego taki przypadek nie wiadomo, czy pozostałe elementy zostaną odłożone do ponownej obsługi, oznaczone jako błędne, czy też pozostaną bez żadnej informacji o stanie. Inny problem stanowią duplikaty. Jeżeli automatyczne działanie zostanie powtórzone po chwilowym braku odpowiedzi, może utworzyć drugie zgłoszenie, ponownie wysłać komunikat albo wykonać tę samą zmianę więcej niż raz. Scenariusz ponowienia powinien określać, jak rozpoznawany jest już obsłużony element i jaki rezultat jest oczekiwany po wznowieniu. Brak takiej kontroli może prowadzić do niezgodności między rejestrem, dokumentami i informacjami widocznymi dla użytkownika. Występują również problemy związane z kolejnością. Gdy jeden etap zapisuje dane wolniej, następny może rozpocząć działanie na niepełnym wyniku. W pojedynczym teście wykonywanym ręcznie sytuacja może nie wystąpić, ponieważ kolejne czynności są wykonywane z naturalną przerwą. Automatyzacja działa szybciej i bardziej regularnie, dlatego konieczne jest sprawdzenie zależności czasowych, oczekiwania na zakończenie operacji oraz reakcji na opóźnienie. Do typowych niezgodności należy także błędne mapowanie pól, utrata polskich znaków, zmiana formatu daty, obcięcie dłuższego opisu oraz niewłaściwe przeliczenie wartości. Nie powinno się zakładać, że dane pozostaną w takim samym kształcie na każdym etapie. Test scenariusza musi uwzględniać przekazanie informacji między formularzem, plikiem, bazą danych i ekranem końcowym, a następnie porównać wynik z ustalonym wzorcem. Testy scenariusza w praktycznej procedurze sprawdzaniaPrzygotowanie testu warto rozpocząć od opisania celu procesu prostym językiem. Należy wskazać, co uruchamia działanie, jakie dane są wymagane, jakie czynności powinny nastąpić po kolei oraz jaki wynik uznaje się za prawidłowy. Taki opis staje się punktem odniesienia dla sprawdzenia i ogranicza ryzyko pominięcia ważnego etapu. Następnie trzeba ustalić warunki początkowe. Warto określić, czy dane testowe są nowe, czy zawierają wcześniejszą historię, jakie uprawnienia ma osoba wykonująca próbę oraz czy wszystkie zależności są dostępne. Jeżeli proces korzysta z plików, należy sprawdzić nazwę, rozszerzenie, wielkość i zawartość pliku. Jeżeli reaguje na formularz, trzeba przygotować zarówno kompletny wariant, jak i dane częściowe lub nieprawidłowe. Każdy przebieg powinien mieć zdefiniowane punkty kontrolne. Sprawdzeniu może podlegać pojawienie się rekordu, zmiana statusu, zapis daty, utworzenie dokumentu, wysłanie powiadomienia lub przekazanie wyniku do kolejnego modułu. Sam komunikat o zakończeniu nie powinien być uznawany za dowód powodzenia. Istotne jest porównanie faktycznego rezultatu z oczekiwaniem oraz odnotowanie różnic wraz z warunkami, w których wystąpiły. Przydatne jest prowadzenie krótkiego rejestru prób: data sprawdzenia, użyte dane, wykonane kroki, otrzymany wynik i decyzja dotycząca dalszego działania. Pozwala to powtórzyć test po zmianie konfiguracji, aktualizacji programu lub wymianie elementu komputera. Jeżeli wynik jest inny, można łatwiej ustalić, czy przyczyną jest zmiana danych, ustawień, uprawnień albo zależności systemowych. Powtarzalność ma znaczenie szczególnie wtedy, gdy proces jest uruchamiany cyklicznie i ręczna obserwacja nie obejmuje każdego przypadku. Kiedy brak testów scenariusza wymaga zgłoszenia do serwisuWarto zgłosić problem, gdy automatyczny proces działa tylko przy pierwszej próbie, zatrzymuje się bez jasnego komunikatu, tworzy niepełne wyniki albo po ponowieniu wykonuje te same czynności wielokrotnie. Sygnałem ostrzegawczym jest również sytuacja, w której działanie zależy od przypadkowej kolejności uruchamiania programów, ręcznego zamykania okien, odłączania urządzeń lub ponownego wpisywania danych. Takie zachowanie może wskazywać na błąd konfiguracji, uszkodzenie nośnika, problem z systemem operacyjnym, niezgodność sterowników albo niewłaściwe działanie jednego z podzespołów. Przed przekazaniem zgłoszenia dobrze przygotować opis ostatniego poprawnego przebiegu, moment pojawienia się problemu, komunikaty widoczne na ekranie oraz informację, czy błąd powtarza się przy tych samych czynnościach. Pomocne bywają zrzuty ekranu, nazwa używanego programu, opis podłączonych urządzeń i wskazanie, czy problem pojawił się po aktualizacji lub zmianie ustawień. Nie powinno się usuwać plików tymczasowych ani resetować konfiguracji bez potrzeby, ponieważ może to utrudnić odtworzenie przyczyny. W przypadku problemów sprzętowych lub systemowych analizę może przeprowadzić Warszawskie Pogotowie Komputerowe 24/7. Przy zgłoszeniu warto przedstawić opis scenariusza, który nie kończy się prawidłowym rezultatem, ponieważ ułatwia to odtworzenie kolejnych kroków i rozdzielenie problemu programu od problemu komputera. Uporządkowany test scenariusza pozwala szybciej ustalić, czy źródłem trudności jest pojedyncza funkcja, komunikacja między elementami, brak wymaganych danych czy niestabilne działanie środowiska. |