Када зауставити тестирање (критеријуми изласка из софтверског тестирања)

when stop testing

Критеријуми изласка из тестирања:

„Добро започето је готово“ - примењује се свуда, чак и за тестирање софтвера.

На почетку пројекта тестере софтвера видимо врло одушевљене. Ми стварамо документи за испитивање као што су стратегија тестирања, план теста или тест случајеви са нестрпљењем и ентузијазмом.

Затим долазимо до тестирања софтвера помоћу БАНГ-а! Ово се само појачава занимљивим недостацима које смо пронашли на почетку пројекта. Њихово решавање само ће додати нашем постигнућу.

Како пронађемо гомилу недостатака и завршимо прву серију, прелазимо на следећу фазу. Кад дођемо до друге вожње, некако се опустимо и као што је то општа људска тенденција досадивши тестирање исте ствари у другој вожњи.

најбољи бесплатни софтвер за снимак екрана за Виндовс 10

Многи тестери осећају да то постаје монотоно дело у каснијим верзијама и почните да губите интересовање за тестирање истог софтвера изнова и изнова. Кад дођемо до, можда треће вожње, једно питање нас почне прогањати, а то је „Када престати тестирати софтвер?“

Кладим се да сте и ви сигурно осећали исто и питали, „Када да зауставим тестирање?“, Бар једном. Рекао бих да је питање „Када, где и како зауставити тестирање?“ :)

Концептуално смо прочитали и многи тестери верују да не може постојати одређени услов или једначина за одлучивање „Када зауставити тестирање?“ Постоји низ фактора које треба размотрити пре него што закључимо ово питање.

У данашњем чланку бих желео да поделим своја размишљања о томе како да закључим активности тестирања када у нашем циклусу тестирања дођемо до тачке у којој можемо рећи да је ово тестирање довољно. То ћемо урадити уз помоћ неколико примера из стварног живота у типичном циклусу тестирања.

Шта ћете научити:

• Када је довољно тестирања?
• Заустављање када се пронађу сви недостаци: Да ли је могуће?
• Одлука о престанку тестирања: Излазни критеријуми
• Шта су критеријуми завршетка или изласка?
• Шта би требало да буде присутно у излазним критеријумима?
• Тестирање се може зауставити када:
• Закључак:
• Препоручено читање

Када је довољно тестирања?

Када можемо рећи да је оволико тестирања довољно? Може ли тестирање икада бити завршено?

Да бисмо одговорили на ова питања, мораћемо да анализирамо активности тестирања од почетка до краја. Имајте на уму да - дефинисаћу ове активности у смислу лаика - Не на фенси технички начин.

Узмимо у обзир да започињете тестирање новог пројекта.

Почетне активности:

• Тест тим прима захтеве.
• Тест тим почиње планирање и пројектовање.
• Документи за почетни тест су спремни и прегледани.

Тестирање бр. 1)

• Тест тим започиње извршење теста након што приме развијени производ.
• Током фазе тестирања извршавају различите сценарије како би разбили софтвер и пронашли многе недостатке. (Такође, овде је стопа квара већа јер је апликација нова и први пут пролази процену.)
• Програмери отклањају недостатке и враћају се тестном тиму на поновно тестирање.
• Испитни тим врши поновно испитивање недостатака и извршава регресију.
• Једном када се већина озбиљних недостатака реши и софтвер изгледа стабилно, развојни тим издаје следећу верзију.

Тестирање бр. 2)

• Тим за тестирање започиње другу серију тестирања и сличне активности се изводе као трка 1.
• У овом процесу током другог испитивања ухвати се још неколико недостатака.
• Програми отклањају недостатке и враћају се тестном тиму на поновно тестирање.
• Испитни тим поново тестира недостатке и изводи их регресија .

Ово се може наставити заувек. Трчите 3, трчите 4 надаље док се не пронађу сви недостаци у софтверу и софтвер постане без грешака.

Ако желимо да нацртамо дијаграм тока за ове активности, то ће отприлике изгледати као у наставку:

Из горњег дијаграма тока можемо јасно закључити да се испитивање може наставити док се не пронађу сви недостаци у софтверу.

Али питање је - да ли је могуће пронаћи сваки појединачни недостатак софтвера? Покушајмо да пронађемо одговор на ово питање од милион долара :).

Заустављање када се пронађу сви недостаци: Да ли је могуће?

Већина софтвера је сложена и има огроман опсег тестирања. Није немогуће пронаћи све недостатке у софтверу, али то ће потрајати заувек.

Чак и након проналаска многих грешака у софтверу, нико заправо не може гарантовати да је софтвер без кварова. Не може бити ситуације да са сигурношћу можемо рећи да смо завршили тестирање, пронашли све недостатке у софтверу и да више нема грешака.

Штавише, сврха тестирања није проналажење свих недостатака у софтверу. Намера тестирања софтвера је да докаже да софтвер ради како је предвиђено разбијањем или проналажењем одступања између његовог тренутног понашања и очекиваног понашања.

У софтверу постоје неограничени недостаци и стога је непрактично тестирати га док се не пронађу све недостатке, јер никада не можемо знати који је недостатак последњи. Истина је да не можемо да зависимо од проналаска свих недостатака у софтверу да бисмо закључили наше тестирање.

Искрено говорећи, тестирање је бескрајно и циклуси тестирања ће се наставити све док се не донесе одлука када и где зауставити. Сада постаје још компликованије донијети одлуку о престанку тестирања. Ако „заустављање када се пронађу сви недостаци“ није критеријум за заустављање испитивања, на основу чега треба одлучити?

Одлука о престанку тестирања: Критеријуми за излаз

Покушајмо сада да схватимо - Који су најважнији фактори које треба узети у обзир приликом закључивања тестирања? Мислим да одлука о престанку тестирања углавном зависи од Време, буџет и обим тестирања.

Најчешћи приступ је заустављање када се потроши Време / Буџет или се изврше сви сценарији теста. Међутим, овим приступом компромитоваћемо квалитет тестирања и то неће дати довољно поверења у софтвер; како?

Да видимо сапример.

Тест сценарио:

Претпоставимо да тестирате софтверски модул. Додељен вам је одређени буџет да га покријете. Временски оквир пројекта је месец дана. Укупан сценарио тестирања је 200. Ви сте једини који тестира овај модул.

Сценарио # 1)

Недеља 1: Откриће сховстоппер / озбиљности 1 пронађено је првог дана и цело тестирање је блокирано на 3 дана. Стога не можете извршити ниједан од сценарија док се не отклони квар Северити 1. Након губитка 3 дана, блокер је решен и ви настављате са извршењем.

На крају недеље довршите 20 сценарија са још неколико важних максимума приоритетне мане .

2. недеља: Почињете да тестирате софтвер стављајући већи фокус на проналажење недостатака. Отворите још неколико грешака озбиљности 1, озбиљности 2 и озбиљности 3 током друге недеље, а на крају недеље можете покрити 70 сценарија.

најбољи бесплатни Виндовс 10 софтвер за поправку

3. недеља: До почетка 3^рднедељу ћете решити све кварове високог приоритета, тако да ћете заједно са извршењем сценарија на чекању морати поново да тестирате све недостатке који су слетели у серију за тестирање. Настављајући са добрим напретком, покривате 120 сценарија са додатним недостацима.

У то време су сви кварови високог приоритета већ пронађени и пријављени. Дакле, сада су вам преостале само грешке Северити 3.

4. недеља: До 4. недеље морате поново тестирати већину отворених недостатака и преосталих 80 сценарија. Овим ћете до краја 4. недеље моћи да довршите до 180 сценарија са свим отклоњеним и поново тестираним грешкама високог и средњег приоритета.

Стављање ових података у табеларни облик:

Да ли би требало овде да се зауставиш?

Разлог који сте исцрпили Време тестирања у потпуности и пријавили су и отклонили већину дефеката високог приоритета. Да ли ће вам заустављање у овом тренутку дати поверење у софтвер? Не баш из доњих разлога:

• Сценарији се не извршавају у потпуности.
• Малобројни токови се ни једном не тестирају.
• Сви покривени сценарији се извршавају само једном.
• Софтвер још увек има недостатака.
• Регресија није обухваћена.

Сценарио # 2)

Недеља 1: Откривање озбиљности 1 налазите првог дана и комплетно тестирање је блокирано на 3 дана. Стога нисте у могућности да извршите било који од сценарија док се не реши недостатак озбиљности 1. Након губитка 3 дана блокер је решен и ви настављате са извршењем.

На крају недеље довршите 20 сценарија са још неколико недостатака. Ова седмица остаје иста као и сценарио 1.

2. недеља: Отворите још неколико грешака Северити 1, Северити 2 и Северити 3 током друге недеље, али фокус је да покријете више сценарија за покривање заосталих предмета од 1. недеље. На крају недеље можете да покријете 120 сценарија.

3. недеља: До почетка 3^рднедељу ћете решити све отворене недостатке, па заједно са извршавањем сценарија на чекању сада морате поново тестирати све недостатке који су слетели у серију за тестирање. И даље настављајући са добрим напретком на крају, број завршених сценарија постаје 200 са додатним недостацима.

Сада можете пријавити само недостатке Северити 2 и Северити 3.

Стављање ових података у табеларни облик:

Да ли би требало овде да се зауставиш?

Имаш у потпуности обухватио све сценарије тестирања једном и отворили су неколико главних недостатака. Да ли ће вам заустављање у овом тренутку дати поверење у софтвер?

Не баш из доњих разлога:

• Сви сценарији се извршавају само једном.
• Софтвер још увек има много главних недостатака.
• Регресија није обухваћена.

Видимо да је квалитет угрожен у оба сценарија. Најбољи приступ биће проналажење тачке у којој су обухваћени сви фактори из сценарија 1 и сценарија 2, а квалитет такође није угрожен. Да бисмо то постигли мораћемо да дефинишемо одређене критеријуме на почетку тестирања.

Ови критеријуми се називају критеријумима завршетка или изласка. То је одговор на наше питање - „Када зауставити тестирање?“.

Шта су критеријуми завршетка или изласка?

Излазни критеријуми се процењују на крају циклуса испитивања и дефинишу се у плану испитивања. То је скуп услова или активности који морају бити испуњени да би се закључило тестирање.

Критеријуми за излаз дефинишу колико је тестирање довољно и када се активности испитивања могу прогласити завршенима. Покривеност и критеријуми завршетка се комбинују како би се дефинисали критеријуми изласка за тестирање.

Шта би требало да буде присутно у излазним критеријумима?

У идеалном случају, критеријуми за излаз или заустављање дефинишу се комбинацијом различитих фактора и стога су јединствени у свим пројектима. Зависи од захтева пројекта и стога га треба дефинисати током планирања теста; на почетку пројекта. Параметре дефинисане у њему треба квантификовати што је више могуће.

Испод је неколико смерница које треба узети у обзир приликом дефинисања критеријума изласка у случају функционалног или системског тестирања. Можете комбинирати неколико или све доле наведене факторе док одлучујете где ћете зауставити тестирање у складу са потребама вашег пројекта.

Тестирање се може зауставити када:

Захтеви:

• Постигнуто је 100% покривање захтева.

Дефекти:

• Достигнут је број дефинисаних / жељених недостатака.
• Сви недостаци или блокатори Схов Стоппер су отклоњени и ниједна позната критична грешка / озбиљност 1 није у статусу отворености.
• Сви кварови високог приоритета су идентификовани и отклоњени.
• Стопа оштећења пада испод дефинисане прихватљиве стопе.
• Веома је мало кварова са средњим приоритетом отворених и има заобилазно решење.
• Веома мало отворених недостатака ниског приоритета који не утичу на употребу софтвера.
• Сви кварови високог приоритета су поново тестирани и затворени и одговарајући сценарији регресије су успешно извршени.

Обухват теста:

• Обухват тестом треба да буде постигнут 95%.
• Проценат пролазности треба да буде 95%. Ово се може израчунати формулом
  • (Укупан број усвојених ТЦ / Укупан број ТЦ) * 100.
• Сви критични примери су положени.
• 5% тест случајева може бити неуспешно, али случајеви неуспелих тестова су ниског приоритета.
• Остварено је потпуно функционално покривање.
• Сви главни функционални / пословни токови се успешно изводе са различитим улазним подацима и раде у реду.

Рокови:

• Достигнут је рок за завршетак пројекта или крај завршетка теста.

Испитни документи:

• Сви испитни документи / испоручени материјали (пример - Резиме теста ) се припремају, прегледају и објављују.

Буџет:

• Потпуни буџет за тестирање је исцрпљен.

Састанци „Иди / не иди“:

• ' Иди / не иди ' састанак спроведено је са заинтересованим странама и доноси се одлука да ли пројекат треба да иде у производњу или не.

Закључак:

Учинимо то на крају врло једноставним.

Молимо одговорите на питања једноставним да или не

Ако добијете већину одговора као Да, то значи да у овом тренутку можете престати са тестирањем. Ако је већина одговора Не, то значи да морате проверити шта недостаје приликом тестирања, а ово вам може помоћи да пронађете производни недостатак који се избегава :)

• Да ли се сви тест случајеви извршавају бар једном?
• Да ли је стопа положеног испитног случаја дефинисана?
• Да ли је постигнуто потпуно покривање тестом?
• Да ли се сви функционални / пословни токови извршавају бар једном?
• Да ли је постигнуто бројање утврђених недостатака?
• Да ли су сви главни кварови високог приоритета отклоњени и затворени?
• Да ли су сви кварови поново тестирани и затворени?
• Да ли је учињена регресија за све отворене недостатке?
• Да ли сте потрошили буџет за тестирање?
• Да ли је истекло време завршетка тестирања?
• Да ли су сви тест резултати приказани и објављени?

О аутору: Ово је гостујући чланак Ренуке К. Она има више од 11 година искуства у тестирању софтвера.

Надам се да вам је овај чланак био од помоћи. Такође бих желео да чујем ваше мисли / коментаре на тему.

Срећно тестирање!

Препоручено читање

• Најбољи алати за тестирање софтвера 2021. године (КА Тест Аутоматион Тоолс)
• Посао за КА помоћника за тестирање софтвера
• Програм курса за тестирање софтвера - детаљан план обуке на мрежи
• Курс за тестирање софтвера: Који институт за тестирање софтвера да се придружим?
• Одабир тестирања софтвера за вашу каријеру
• Тестирање софтвера Технички садржај Вритер Фрееланцер Јоб
• Нека занимљива питања за испитивање софтверског тестирања
• Повратне информације и прегледи курса за тестирање софтвера