Мени

Водич за тестирање складишта података ЕТЛ (комплетан водич)

etl testing data warehouse testing tutorial

Процес ЕТЛ тестирања / складиштења података и изазови:

Данас ћу вам дати тренутак и објаснити своје братство за тестирање о једној од најтраженијих и предстојећих вештина за моје пријатеље тестере, тј. ЕТЛ тестирање (екстракт, трансформација и учитавање).

Овај водич ће вам представити потпуну идеју о ЕТЛ тестирању и шта ми радимо за тестирање ЕТЛ процеса.

Комплетни водичи за листу у овој серији:

  • Туториал # 1 : Увод у ЕТЛ тестирање складишта података за тестирање
  • Туториал # 2 : ЕТЛ тестирање помоћу алата Информатица ПоверЦентер
  • Туториал # 3 : ЕТЛ наспрам ДБ тестирања
  • Туториал # 4 : Тестирање пословне интелигенције (БИ): Како тестирати пословне податке
  • Водич бр. 5 : Топ 10 ЕТЛ алата за тестирање

Примећено је да независна верификација и валидација добија огроман тржишни потенцијал и многе компаније то сада виде као потенцијални пословни добитак.

ЕТЛ тестирање _ Тестирање складишта података - савети, технике, процеси и изазови

Купцима је понуђена различита палета производа у погледу понуде услуга, дистрибуираних у многим областима на основу технологије, процеса и решења. ЕТЛ или складиште података једна је од понуда која се брзо и успешно развија.

ЕТЛ процес

Кроз ЕТЛ процес, подаци се преузимају из изворних система, трансформишу према пословним правилима и коначно учитавају у циљни систем (складиште података). Складиште података је складиште широм предузећа које садржи интегрисане податке који помажу у процесу пословног одлучивања. То је део пословне интелигенције.

Шта ћете научити:

Зашто је организацијама потребно складиште података?

Организације са организованом ИТ праксом радују се стварању следећег нивоа трансформације технологије. Они сада покушавају да постану много оперативнији помоћу података који су лаки за интеракцију.

како се декларише низ објеката у јави

Кад смо рекли да су подаци најважнији део сваке организације, то могу бити свакодневни подаци или историјски подаци. Подаци су окосница сваког извештаја, а извештаји су основа на којој се доносе све кључне управљачке одлуке.

Већина компанија предузима корак напред у изградњи свог складишта података за чување и надгледање података у реалном времену, као и историјских података. Израда ефикасног складишта података није лак посао. Многе организације су дистрибуирале одељења са различитим апликацијама које раде на дистрибуираној технологији.

ЕТЛ алат се користи како би се извршила беспрекорна интеграција између различитих извора података из различитих одељења. ЕТЛ алат ће радити као интегратор, извлачећи податке из различитих извора; трансформишући га у жељени формат заснован на правилима пословне трансформације и учитавајући га у кохезивни ДБ познати Дата Варехоусе.

Добро планиран, добро дефинисан и ефикасан опсег тестирања гарантује глатку конверзију пројекта до производње. Посао добија стварни узгон након што ЕТЛ процеси буду верификовани и потврђени од стране независне групе стручњака како би били сигурни да је складиште података конкретно и робусно.

Испитивање ЕТЛ-а или складишта података категорисано је у четири различита ангажмана без обзира на технологију или ЕТЛ алате који се користе:

  • Тестирање новог складишта података - Нови ДВ је направљен и верификован од нуле. Унос података узима се из захтева купаца и различитих извора података, а ново складиште података се гради и верификује уз помоћ ЕТЛ алата.
  • Испитивање миграције - У овој врсти пројекта купац ће имати постојећи ДВ и ЕТЛ који обављају посао, али желе да упакују нове алате како би побољшали ефикасност.
  • Промена захтев - У овој врсти пројекта нови подаци се додају из различитих извора у постојећи ДВ. Такође, можда постоји услов када купац треба да промени постојеће пословно правило или може да интегрише ново правило.
  • Извештај о тестирању - Извештај је крајњи резултат било којег складишта података и основни предлог за који ДВ гради. Извештај мора бити тестиран валидацијом изгледа, података у извештају и прорачуна.

ЕТЛ процес

( Белешка : Кликните на слику за увећани приказ)

ЕТЛ тестирање

ЕТЛ технике испитивања

1) Тестирање трансформације података : Уверите се да су подаци правилно трансформисани у складу са различитим пословним захтевима и правилима.

2) Извор до тестирања броја циљева : Уверите се да се број записа учитаних у циљу подудара са очекиваним бројањем.

3) Извор за циљање тестирања података : Уверите се да су сви пројицирани подаци учитани у складиште података без губитка и скраћивања података.

4) Испитивање квалитета података : Уверите се да апликација ЕТЛ на одговарајући начин одбија, замењује подразумеваним вредностима и пријављује неважеће податке.

5) Испитивање перформанси : Уверите се да су подаци учитани у складиште података у прописаним и очекиваним временским оквирима како бисте потврдили побољшане перформансе и скалабилност.

6) Испитивање ваљаности производње: Потврдите податке у производном систему и упоредите их са изворним подацима.

7) Тестирање интеграције података : Уверите се да су подаци из различитих извора правилно учитани у циљни систем и да су све вредности прага проверене.

8) Тестирање миграције апликације : У овом тестирању се осигурава да апликација ЕТЛ добро ради на преласку на нову кутију или платформу.

9) Провера података и ограничења : У овом случају се тестирају тип података, дужина, индекс, ограничења итд.

10) Провера дуплираних података : Тестирајте да ли постоје дупликати података у циљним системима. Двоструки подаци могу довести до погрешних аналитичких извештаја.

Поред горе наведених метода испитивања ЕТЛ, спроводе се и друге методе испитивања попут тестирања системске интеграције, испитивања прихватљивости корисника, инкременталног тестирања, регресијског тестирања, поновног тестирања и тестирања навигације како би се осигурало да је све у реду и поуздано.

ЕТЛ / Складиште података Процес тестирања

Слично било ком другом испитивању које се налази под Независном верификацијом и валидацијом, ЕТЛ такође пролази кроз исту фазу.

  • Разумевање захтева
  • Валидација
  • Процена теста на основу низа табела, сложености правила, обима података и учинка посла.
  • Планирање теста на основу инпута из процене теста и пословних захтева. Овде треба да идентификујемо шта је у домету, а шта ван опсега. Такође у овој фази припазимо на зависности, ризике и планове ублажавања.
  • Дизајнирање тест случајева и тестирајте сценарије са свих доступних улаза. Такође морамо да дизајнирамо мапирање докумената и СКЛ скрипти.
  • Када су сви случајеви испитивања спремни и одобрени, тим за испитивање наставља да врши проверу пред извршење и припрема података о испитивању за тестирање
  • На крају, извршење се изводи док се не испуне критеријуми за излаз. Дакле, фаза извршења укључује покретање ЕТЛ послова, надгледање извршавања послова, извршавање СКЛ скрипте, евидентирање квара, поновно тестирање квара и тестирање регресије.
  • Након успешног завршетка, сачињава се резиме извештаја и завршава поступак затварања. У овој фази се даје знак за унапређење посла или шифре у следећу фазу.

Прве две фазе, тј. Разумевање захтева и валидација, могу се сматрати претходним корацима процеса испитивања ЕТЛ.

Дакле, главни процес може бити представљен на следећи начин:

главни процес

Неопходно је дефинисати стратегију испитивања коју би заинтересоване стране требало да прихвате пре почетка стварног тестирања. Добро дефинисана стратегија тестирања побринуће се да се следи исправан приступ у складу са тежњом тестирања.

Тестирање ЕТЛ-а / складишта података можда ће захтевати опсежно писање СКЛ изјава од стране тима за тестирање или можда прилагођавање СКЛ-а који пружа развојни тим. У сваком случају, тим за тестирање мора бити свестан резултата које покушава да добије користећи те СКЛ изразе.

Разлика између тестирања базе података и складишта података

У народу постоји неспоразум да тестирање базе података и складиште података је слично док је чињеница да обоје имају различит смер у тестирању.

  • Тестирање базе података врши се на мањој скали података, обично са ОЛТП (мрежна обрада трансакција) типовима база података, док се тестирање складишта података врши на великом обиму са подацима који укључују базе података ОЛАП (аналитичка обрада на мрежи).
  • У тестирању базе података обично се подаци доследно убризгавају из јединствених извора, док у тестирању складишта података већина података долази из различитих врста извора података који су секвенцијално недоследни.
  • Генерално изводимо једину операцију ЦРУД (Креирање, читање, ажурирање и брисање) у тестирању базе података, док у тестирању складишта података користимо операцију само за читање (Селецт).
  • Нормализоване базе података користе се у ДБ тестирању, док се деморализоване ДБ користе у тестирању складишта података.

Постоји низ универзалних верификација које се морају извршити за било коју врсту тестирања складишта података.

Испод је листа објеката који се третирају као неопходни за валидацију у овом тестирању:

  • Потврдите да трансформација података из извора у одредиште функционише како се очекује
  • Проверите да ли су очекивани подаци додани у циљни систем
  • Проверите да ли су сва ДБ поља и подаци о пољима учитани без икаквог скраћивања
  • Проверите контролну суму података за подударање броја записа
  • Проверите да ли се за одбачене податке генеришу исправни дневници грешака са свим детаљима
  • Потврдите НУЛЛ поља вредности
  • Уверите се да дуплирани подаци нису учитани
  • Проверите интегритет података

=> Упознајте разлика између ЕТЛ / тестирања складишта података и тестирања базе података .

Изазови испитивања ЕТЛ-а

Ово тестирање се прилично разликује од конвенционалног тестирања. Много је изазова са којима смо се суочили током тестирања складишта података.

Ево неколико изазова које сам искусио на свом пројекту:

  • Некомпатибилни и дупликати података
  • Губитак података током ЕТЛ процеса
  • Недоступност инклузивног покусног простора
  • Испитивачи немају привилегију да самостално извршавају ЕТЛ послове
  • Обим и сложеност података су веома велики
  • Грешка у пословном процесу и процедурама
  • Проблеми са прикупљањем и изградњом података о тестовима
  • Нестабилно окружење за тестирање
  • Недостају информације о току пословања

Подаци су важни за предузећа да донесу кључне пословне одлуке. ЕТЛ тестирање игра значајну улогу у потврђивању и осигуравању да су пословне информације тачне, доследне и поуздане. Такође, смањује ризик од губитка података у производњи.

Надам се да ће ови савети помоћи да се осигура да је ваш ЕТЛ поступак тачан, а да је складиште података које је ово направило представља конкурентску предност за ваше пословање.

Комплетна листа водича за ЕТЛ тестирање:

  • Туториал # 1 : Увод у ЕТЛ тестирање складишта података за тестирање
  • Туториал # 2 : ЕТЛ тестирање помоћу алата Информатица ПоверЦентер
  • Туториал # 3 : ЕТЛ наспрам ДБ тестирања
  • Туториал # 4 : Тестирање пословне интелигенције (БИ): Како тестирати пословне податке
  • Водич бр. 5 : Топ 10 ЕТЛ алата за тестирање

Ово је гост Висхала Цххаперије који ради у МНЦ-у у улози управљања тестовима. Има велико искуство у управљању мулти-технолошким КА пројектима, процесима и тимовима.

Да ли сте радили на ЕТЛ тестирању? Молимо поделите своје савете и изазове за ЕТЛ / ДВ тестирање у наставку.

Препоручено читање

^