Мени

Метаподаци у складишту података (ЕТЛ) објашњени примерима

  • Главни
  • Остало
  • Метаподаци у складишту података (ЕТЛ) објашњени примерима

metadata data warehouse explained with examples

Испробајте Наш Инструмент За Елиминисање Проблема

Овај водич објашњава улогу метаподатака у ЕТЛ-у, примере и врсте метаподатака, спремиште метаподатака и изазове у управљању метаподацима:

Дата Март у ЕТЛ-у је детаљно објашњено у нашем претходном водичу.

Концепт метаподатака је веома важан у ЕТЛ-у и овај водич ће објаснити све о метаподацима.

Обухвата улогу метаподатака, примере метаподатака, као и њихове типове, спремиште метаподатака, како се може управљати метаподацима складиштења података, изазове за управљање метаподацима.

Такође ћете упознати шта је ЕТЛ вођен метаподацима и разлику између података и метаподатака.

=> Овде прочитајте бесплатну серију обука за складиште података.

Метаподаци у ЕТЛ-у

Циљна група

  • Програмери складишта података / ЕТЛ програмери и тестери.
  • Стручњаци за базе података са основним знањем о концептима база података.
  • Администратори базе података / стручњаци за велике податке који желе да разумеју подручја складишта података / ЕТЛ.
  • Дипломирани студенти / студенти који траже посао у складишту података.

Шта ћете научити:

унос и излаз датотеке ц ++

Метаподаци у ЕТЛ-у

Корисници складишта података (или) корисници могу да користе метаподатке у разним ситуацијама за изградњу, одржавање и управљање системом. Основна дефиниција метаподатака у складишту података је, „То су подаци о подацима“ .

Метаподаци могу садржати све врсте података о ДВ подацима попут:

  • Извор за све издвојене податке.
  • Употреба тих ДВ података.
  • Било која врста података и њихове вредности.
  • Карактеристике података.
  • Логика трансформације за издвојене податке.
  • ДВ табеле и њихови атрибути.
  • ДВ објекти
  • Временске жигове

Метаподаци делују као садржај података у систему ДВ, који приказује технику са више детаља о тим подацима. Једноставним речима, у било којој књизи можете да смислите индекс за садржај те књиге.

Слично томе, метаподаци раде као индекс ДВ садржаја. Сви такви метаподаци се чувају у спремишту. Пролазећи кроз метаподатке, крајњи корисници сазнају одакле могу започети анализу ДВ система. Иначе, крајњим корисницима је тешко да знају одакле да започну анализу података у тако великом ДВ систему.

Улога метаподатака у складишту података

Ранијих дана метаподаци су креирани и одржавани као документи. Али у данашњем дигиталном свету, различити алати су олакшали овај посао бележењем метаподатака на сваком нивоу процеса ДВ.

Метаподаци које креира један алат могу се стандардизовати (тј. Подаци се могу довести у један јединствени формат) и могу поново употребити у свим осталим алатима било где у ДВ систему.

Пошто смо свесни да оперативни системи одржавају тренутне податке, ДВ системи одржавају историјске и тренутне податке.

Метаподаци морају да прате све промене које се дешавају у изворним системима, методама екстракције / трансформације података и у структури (или) садржају података који ће настати у овом процесу. Метаподаци ће одржавати разне верзије како би пратили све ове промене током неколико година.

Довољно метаподатака који се налазе у спремишту помоћи ће сваком кориснику у ефикаснијој и независнијој анализи система. Разумевањем метаподатака можете покренути било коју врсту упита на ДВ подацима за најбоље резултате.

Сликовни приказ улоге метаподатака:

Улога метаподатака

Примери метаподатака у једноставним терминима

Доље су дати неки од примера метаподатака.

  • Метаподаци за веб страницу могу садржати језик на коме је кодирана, алате који се користе за њену израду, подршку прегледачима итд.
  • Метаподаци за дигиталну слику могу садржати величину слике, резолуцију, интензитет боје, датум стварања слике итд.
  • Метаподаци за документ могу садржати датум креирања документа, датум последње измене, величину, аутора, опис итд.

Поређење података и метаподатака

С.Но Подаци Метаподаци
1Подаци су скуп информација.Метаподаци су информације о подацима.
дваПодаци се могу (или) не могу обрађивати.Метаподаци су увек обрађени подаци.

Врсте метаподатака

Класификација метаподатака на различите врсте помоћи ће нам да их боље разумемо. Ова класификација се може заснивати на њеној употреби (или) корисницима итд.

Истражимо различите типове метаподатака у наставку:

# 1) Бацкгроуп метаподаци: Усмерава ДБА (или) крајње кориснике на процесе издвајања, чишћења и учитавања.

# 2) Метаподаци у предњој соби: Усмерава крајње кориснике да раде са БИ алатима и извештајима.

# 3) Обради метаподатке: Овде се чувају метаподаци ЕТЛ процеса, попут броја учитаних, одбачених, обрађених редова и времена потребног за учитавање у ДВ систем итд. Ове информације такође могу бити доступне крајњим корисницима.

Истовремено, статистика припремних табела такође је важна за ЕТЛ тим. Ови метаподаци чувају податке о процесу обраде табела за успостављање, као што су број учитаних, одбачених, обрађених редова и време потребно за учитавање у сваку припремну табелу.

# 4) Подручје података: Ово похрањује логичку трансформацију за сваки изворни системски елемент у ДВ циљни елемент.

# 5) Дефиниције предузећа: Контекст за ДВ табеле изведен је из пословних дефиниција. Сваки атрибут у табели повезан је са дефиницијом предузећа. Стога их треба чувати као метаподатке (или) било који други документ за будућу употребу. И крајњи корисници и ЕТЛ тим зависе од ових пословних дефиниција.

# 6) Техничке дефиниције: Техничке дефиниције се користе више само у подручју припреме података него за пословне дефиниције. Главна сврха је смањивање двосмислености приликом креирања тачака за постављање и поновна употреба постојећих табела. У техничким дефиницијама чуваће се детаљи сваке припремне табеле, као што су њен положај и структура.

Свака табела за инсценацију овде је технички документована, ако није документована, онда то значи да табела за инсценацију не постоји. Ово избегава рекреацију истог сценског стола.

шта је .епс датотека

# 7) Пословни подаци: Подаци ће се чувати у пословном смислу у корист крајњих корисника / аналитичара / менаџера / било којих корисника. Пословни метаподаци су прокси за изворне системске податке, тј. На њима се неће вршити манипулације подацима. Може се извести из било којих пословних докумената и пословних правила.

# 8) Технички подаци: Ово ће чувати техничке податке као што су атрибути табела, њихови типови података, величина, атрибути примарног кључа, атрибути страног кључа и сви индекси. Ово је структурираније у поређењу са пословним метаподацима.

Технички метаподаци су углавном намењени ДВ тиму, као што су програмери / тестери / аналитичари / ДБА, за изградњу (или) одржавање система. Ово такође значајно користе администратори за надгледање учитавања базе података и сигурносних копија података итд.

# 9) Оперативни метаподаци: Као што знамо подаци у ДВ систем потичу из многих оперативних система са различитим врстама података и пољима. ДВ екстракти трансформишу такве податке у јединствени тип и учитавају све те податке у систем.

Истовремено, мора бити у стању да поново повеже податке са изворним системским подацима. Метаподаци који чувају све ове податке о оперативним изворима података познати су као Оперативни метаподаци.

# 10) Изворне системске информације:

Можете сакупљати следеће метаподатке из различитих изворних система:

  • Систем датотека (или) базе података: Ово ће сачувати имена изворних системских база података (или) датотека.
  • Спецификације табеле: Ово ће сачувати све детаље о табелама као што су назив табеле, њена намена, величина, атрибути, примарни кључеви и страни кључеви.
  • Правила руковања изузетком: Ово ће сачувати различите методе опоравка система у случају квара система.
  • Дефиниције предузећа: Ово ће сачувати пословне дефиниције за кратко разумевање података.
  • Пословна правила: Ово ће сачувати скуп правила за сваку табелу да би разумело њене податке и избегло недоследност.

Метаподаци изворног система штеде много времена тиму ДВ-а док анализирају податке.

# 11) Метаподаци о ЕТЛ послу: ЕТЛ метаподаци посла су веома важни, јер у њих чувају детаље свих послова који се обрађују за учитавање ЕТЛ система.

Ови метаподаци чувају следеће информације:

  • Име посла: ЕТЛ назив посла.
  • Сврха посла: Сврха вођења посла.
  • Изворне табеле / ​​датотеке: Пружа имена и локацију свих табела и датотека из којих подаци потичу овим ЕТЛ послом. Ово може имати више датотека (или) датотека.
  • Табеле / ​​датотеке за циљање: Пружа имена и локацију свих табела и датотека у које се подаци трансформишу овим ЕТЛ послом. Ово може имати више датотека (или) датотека.
  • Одбијени подаци: Пружа имена и локацију свих табела и датотека из којих предвиђени изворни подаци нису учитани у циљ.
  • Претходни процеси: Пружа имена скрипти послова (или) од којих зависи тренутни посао. То значи да их треба успешно извршити пре покретања тренутног посла.
  • Пост процеси: Пружа имена послова (или) скрипти која би се требала покренути одмах након тренутног посла да би се поступак довршио.
  • Фреквенција: Пружа информације о томе колико често посао треба извршавати, тј. Свакодневно, недељно (или) месечно.

# 12) Метаподаци о трансформацији: Метаподаци о трансформацији чувају све информације о конструкцији повезане са ЕТЛ-ом. Свака појединачна манипулација подацима у ЕТЛ процесу позната је као трансформација података.

иоутубе у мп3 конвертер са уређивачем ознака

Било који скуп функција, ускладиштене процедуре, курсори, променљиве и петље у ЕТЛ процесу могу се сматрати трансформацијама. Али такве трансформације не могу се засебно документовати као метаподаци.

Читав ЕТЛ процес изграђен је трансформацијом података. Неколико трансформација у ЕТЛ-у може се унапред дефинисати и користити у ДВ систему. Програмери ЕТЛ-а троше време на изградњу (или) поновну обраду свих трансформација података. Поновна употреба предефинисаних трансформација током развоја ЕТЛ процеса убрзаће посао.

Прочитајте доленаведене трансформације података које можете пронаћи у ЕТЛ-у:

  • Издвајање изворних података: То укључује трансформације података за читање из изворних системских података, као што је СКЛ Селецт упит (или) ФТП (или) читање КСМЛ / маинфраме података.
  • Генератори сурогат кључева: Нови секвенцијски број који треба генерисати за сваки ред табеле базе података чува се као метаподаци.
  • Потражи: Претраге се могу формирати са свим ИН изразима, унутрашњим и спољним спајањима. Они се углавном користе за држање сурогат кључева из свих одговарајућих табела димензија док учитавају чињеницу.
  • Филтери: Филтери се препоручују за сортирање података које треба издвојити, учитати и одбити у ЕТЛ процесу. Филтрирање података у раним фазама ЕТЛ система је добра пракса. Филтери се примењују у зависности од пословних правила (или) ограничења.
  • Агрегати: У зависности од нивоа грануларности података, могу се користити метаподаци повезани са агрегатним функцијама као што су збир, број, просек итд.
  • Ажурирање стратегија: То су правила која се примењују на запис током ажурирања података. Ако постоје било какве измене у постојећим подацима, то ће указати на то да ли запис треба додати, избрисати (или) ажурирати.
  • Таргет Лоадер: Уређај за циљање ће сачувати детаље базе података, имена табела и имена колона у које би подаци требали бити учитани кроз ЕТЛ процес. Штавише, ово ће такође сачувати детаље услужног програма за скупно оптерећење, ако их има, који се изводе током учитавања података у ЕТЛ систем.

Свака трансформација може се разликовати са кратком белешком о њеној сврси.

За горњу листу трансформација овде су наведени неки примери конвенција именовања.

SRC_ SEQ_ LKP_ FIL_ AGG_ UPD__ TRG_

Репозиторијум метаподатака у ЕТЛ-у

Спремиште метаподатака је место где се било која врста метаподатака чува било у локалној бази података (или) у виртуелној бази података. Свака врста метаподатака, попут пословних метаподатака (или) техничких метаподатака, може се логички одвојити у спремишту.

Поред горе наведена два типа, спремиште има и још једну компоненту која се зове Информатион навигатор.

Навигатор информација се може користити за обављање следећих задатака:

  • Интерфејс из алата за упите: Ово пружа интерфејс за алате за упит за приступ ДВ метаподацима.
  • Детаљно анализирајте: Ово омогућава кориснику да детаљно размотри метаподатке. Као пример, на првом нивоу корисник може добити дефиницију табеле података. Бушењем може добити атрибуте табеле на следећем нивоу. Анализирајући више података, он може добити детаље сваког атрибута итд.
  • Прегледајте унапред дефинисане упите и извештаје: Ово омогућава кориснику да прегледа унапред дефинисане упите и извештаје. Ово делује као референца на самосталне упите са одговарајућим параметрима итд.

Сликовни приказ Спремишта метаподатака:

Репозиторијум МетаДата

Како се могу управљати метаподацима складиштења података?

Људи, процеси и алати су кључни извори за управљање метаподацима.

  • Људи би требало да разумеју метаподатке за одговарајућу употребу.
  • Процес ће укључити метаподатке у спремиште алата (или) са напредовањем животног циклуса ДВ за будућу употребу.
  • После тога, метаподацима се може управљати помоћу алата.

Изазови за управљање метаподацима

Једном када се метаподаци креирају, приликом интеграције и управљања метаподацима у систем можете се суочити са доле наведеним изазовима.

  • Приближавање различитих формата метаподатака у стандардни формат можда ће требати више напора ако се у ДВ систему користе различити алати, јер се метаподаци могу чувати у табелама, апликацијама (или) базама података.
  • Формати метаподатака немају утврђене стандарде широм индустрије. С овим недостатком стандардизованог процеса, тешко је пренијети метаподатке кроз различите нивое ДВ система и алата.
  • Доследно одржавање различитих верзија историјских метаподатака је сложен задатак.

Шта је ЕТЛ вођен метаподацима?

ЕТЛ вођен метаподацима успоставља слој за поједностављивање процеса учитавања података у ДВ систем. Можете одлучити да ли ћете податке обрађивати у систему (или), не зависно од метаподатака. Стога га можете назвати ЕТЛ-ом вођеним метаподацима.

Закључак

Значајна улога метаподатака у одређивању успеха (или) неуспеха ДВ система детаљно је објашњена у овом упутству.

Такође смо детаљно истражили значење, улогу, примере, врсте, изазове метаподатака, заједно са дотичним сликовним приказом.

Надамо се да су ови информативни водичи из ове серије Складишта података обогатили ваше знање о складиштењу података и сродним концептима !!!

Срећно читање !!

=> Посетите овде да бисте од нуле научили складиштење података.

Препоручено читање

^