data warehousing fundamentals
Сазнајте све о основама складиштења података. Овај детаљни водич објашњава шта је складиштење података заједно са врстама, карактеристикама, заслугама и недостацима:
Складиште података је најновији тренд складиштења у данашњој ИТ индустрији.
Овај водич ће објаснити шта је складиште података? Зашто је складиштење података пресудно? Врсте апликација складишта података, карактеристике складишта података, предности и недостаци складиштења података.
Списак водича о складиштењу података из ове серије:
Туториал # 1: Основе складиштења података
Туториал # 2: Шта је ЕТЛ поступак у складишту података?
Туториал # 3: Тестирање складишта података
Туториал # 4: Димензионални модел података у складишту података
Водич бр. 5: Типови шема у моделирању складишта података
Лекција # 6: Дата Март Туториал
Туториал # 7: Метаподаци у ЕТЛ-у
Преглед упутстава у овој серији складиштења података
| Туториал_Нум | Шта ћете научити |
|---|---|
| Туториал # 7 | Метаподаци у ЕТЛ-у Овај водич објашњава улогу метаподатака у ЕТЛ-у, примере и врсте метаподатака, спремиште метаподатака и изазове у управљању метаподацима. |
| Туториал # 1 | Основе складиштења података Сазнајте све о концептима складиштења података из овог водича. Овај детаљни водич објашњава шта је складиштење података заједно са врстама, карактеристикама, заслугама и недостацима. |
| Туториал # 2 | Шта је ЕТЛ поступак у складишту података? Овај детаљни водич о ЕТЛ процесу објашњава ток процеса и кораке који су укључени у процес ЕТЛ (екстракција, трансформација и учитавање) у складишту података. |
| Туториал # 3 | Тестирање складишта података Циљеви и значај тестирања складишта података, одговорности за тестирање ЕТЛ-а, грешке у примени ДВ-а и ЕТЛ-а детаљно у овом упутству. |
| Туториал # 4 | Димензионални модел података у складишту података Овај водич објашњава предности и митове димензионалног модела података у складишту података. Такође ћете научити о табелама димензија и табелама чињеница са примерима. |
| Водич бр. 5 | Типови шема у моделирању складишта података Овај водич објашњава различите типове шеме складишта података. Сазнајте шта је шема звезда и пахуљица и разлика између шеме звезда и пахуљица. |
| Лекција # 6 | Дата Март Туториал Овај водич објашњава концепте Дата Март-а, укључујући имплементацију Дата Март-а, типове, структуру, као и разлике између складишта података против Дата Март-а. |
Шта ћете научити:
Основе складиштења података: Комплетан водич
Циљна група
- Програмери складишта података / ЕТЛ програмери и тестери.
- Стручњаци за базе података са основним знањем о концептима база података.
- Администратори базе података / стручњаци за велике податке који желе да разумеју концепте складиштења података.
- Дипломирани студенти / студенти који траже посао у складишту података.
Шта је складиштење података?
Складиште података (ДВ) је складиште огромне количине организованих података. Ови подаци су обједињени из једног или више различитих извора података. ДВ је релациона база података која је углавном дизајнирана за аналитичко извештавање и правовремено доношење одлука у организацијама.
Подаци за ову сврху су изоловани и оптимизовани од изворних података о трансакцијама, што неће имати утицаја на главно пословање. Ако организација уведе било коју пословну промену, тада се ДВ користи за испитивање ефеката те промене, па се према томе ДВ користи и за надгледање процеса доношења одлука.
Складиште података је углавном систем само за читање, јер су оперативни подаци у великој мери одвојени од ДВ-а. Ово пружа окружење за проналажење највеће количине података уз добро писање упита.
Тако ће ДВ деловати као позадински покретач алата за пословну интелигенцију који приказује извештаје, контролне табле за пословне кориснике. ДВ се широко користи у банкарском, финансијском, малопродајном сектору итд.
Зашто је складиштење података пресудно?
У наставку су наведени неки од разлога због којих је складиште података пресудно.
- Складиште података прикупља све оперативне податке из неколико хетерогених извора „различитих формата“ и кроз поступак издвајања, трансформисања и учитавања (ЕТЛ) учитава податке у ДВ у „стандардизованом димензионалном формату“ у целој организацији.
- Складиште података одржава „тренутне податке и историјске податке“ за аналитичко извештавање и доношење одлука заснованих на чињеницама.
- Помаже организацијама да донесу „паметније и брже одлуке“ о смањењу трошкова и повећању прихода, упоређујући кварталне и годишње извештаје како би побољшале свој учинак.
Врсте апликација складишта података
Бусинесс Интеллигенце (БИ) је грана складиштења података дизајнирана за доношење одлука. Једном када се подаци у ДВ учитају, БИ игра главну улогу анализирајући податке и представљајући их пословним корисницима.
Практично, термин „апликације складишта података“ подразумева у колико различитих врста података се може обрађивати и користити.
Имамо три врсте ДВ апликација као што је поменуто у наставку.
- Обрада информација
- Аналитичка обрада
- Рударство података које служи у сврху БИ
# 1) Обрада информација
Ово је врста апликације у којој складиште података омогућава директни један-један контакт са подацима који се у њему чувају.
Како се подаци могу обрађивати писањем директних упита на податке (или) са основном статистичком анализом података, а крајњи резултати ће се пријављивати пословним корисницима у облику извештаја, табела, графикона или графикона.
ДВ подржава следеће алате за обраду информација:
(и) Алати за упите: Пословни (или) аналитичар покреће упите помоћу алата за упите за истраживање података и генерисање резултата у облику извештаја или графика према пословном захтеву.
(ии) Алати за извештавање: Ако предузеће жели да види резултате у било ком дефинисаном формату и на заказаном нивоу, тј. Свакодневно, недељно или месечно, тада ће се користити алати за извештавање. Ове врсте извештаја могу се сачувати и прегледати у било ком тренутку.
алати за пробијање лозинки за Виндовс 7
(иии) Алати за статистику: Ако предузеће жели да изврши анализу широког приказа података, тада ће се користити статистички алати за генерисање таквих резултата. Предузећа могу доносити закључке и предвиђања разумевањем ових стратешких резултата.
# 2) Аналитичка обрада
Ово је врста апликације где складиште података омогућава аналитичку обраду података који се у њему чувају. Подаци се могу анализирати следећим операцијама као што су исецање и коцкање, бушење надоле, ролање и окретање.
(и) Слице-анд-Дице : Складиште података омогућава операције пресецања и коцкања да анализирају податке којима се приступа са више нивоа у комбинацији различитих перспектива. Операција сечења и коцкице интерно користи механизам за бушење. Резање ради на димензионалним подацима.
Као део пословног захтева, ако се усредсредимо на једну површину, тада резање анализира димензије те одређене површине према захтевима и даје резултате. Радови на коцкању на аналитичким операцијама. Коцкање зумом увећава одређени скуп атрибута у свим димензијама како би се обезбедиле различите перспективе. Димензије се узимају у обзир из једног или више узастопних кришки.
(ии) Бушење : Ако предузеће жели да пређе на детаљнији ниво било ког сажетог броја, онда је детаљна операција за навигацију тог резимеа на мање детаљне нивое. Ово даје сјајну представу о томе шта се дешава и где посао мора бити ближе усмерен.
Анализирајте трагове са нивоа хијерархије до мањег нивоа детаља за анализу основног узрока. Ово се лако може разумети на примеру, јер може доћи до смањења продаје На нивоу државе -> ниво регије -> ниво државе -> ниво округа -> ниво продавнице.
(иии) Смотајте : Ролл уп радови насупрот операцији бушења. Ако предузеће жели сажете податке, на увид долази ролање. Прикупља податке на нивоу детаља померајући се према горе у димензионалној хијерархији.
Збирни прегледи се користе за анализу развоја и перформанси система.
То се може разумети помоћу Пример као у продајном замотавању одакле се могу савити укупни износи Ниво града -> На државном нивоу -> Регионални ниво -> Ниво државе .
(ив) Пивот : Пивотирање анализира податке о димензијама ротирањем података на коцкама. На пример, димензија реда може се заменити у димензију колоне и обрнуто.
# 3) Дата Мининг
Ово је врста апликације у којој складиште података омогућава откривање знања и подаци ће бити представљени алатима за визуелизацију. У горње две врсте апликација информације могу управљати корисници.
Како података има много у разним предузећима, тешко је истражити и анализирати складиште података да бисте добили све могуће увиде у податке. Тада долази до ископавања података како би се постигло откриће знања.
Ово улази у податке са свим прошлим асоцијацијама, резултатима итд. И предвиђа будућност. Дакле, ово се заснива на подацима, а не на кориснику. Подаци се могу открити проналажењем скривених образаца, асоцијација, класификација и предвиђања.
Истраживање података иде у дубину са подацима како би се предвидела будућност. На основу предвиђања, она такође предлаже мере које треба предузети.
Доље су дате разне активности рударења података:
- Обрасци: Истраживање података открива обрасце који се јављају у бази података. Корисници могу пружити пословне улазне податке о којима се очекује неко знање о обрасцима за доношење одлука.
- Удружења / односи: Истраживање података открива везе између објеката са учесталошћу правила њиховог придруживања. Ова веза може бити између два или више објеката (или) може открити правила унутар својстава истог објекта.
- Класификација: Дата мининг организује податке у скупу унапред дефинисаних класа. Дакле, ако се било који објекат преузме из података, класификација придружује одговарајућу ознаку класе том објекту.
- Предвиђање: Истраживање података упоређује скуп постојећих вредности како би се пронашле најбоље могуће будуће вредности / трендови у пословању.
Дакле, на основу свих горе наведених резултата, Дата мининг такође предлаже скуп акција које треба предузети.
Карактеристике складишта података
Складиште података је изграђено на основу следећих карактеристика података као Предметно оријентисана, Интегрисана, Непрекидна и Временска варијанта.
# 1) Предметно оријентисан: Складиште података можемо дефинисати као предметно оријентисано јер можемо анализирати податке у односу на одређено предметно подручје, а не примену мудрих података. Ово даје резултате који су прецизније дефинисани за лако доношење одлука. Што се тиче образовног система, предметна подручја могу бити ученици, предмети, оцене, наставници итд.
# 2) Интегрисано: Подаци у складишту података интегрисани су из различитих извора као што су друге релационе базе података, равне датотеке итд. Тако велика количина података се преузима за ефикасну анализу података. Али може доћи до сукоба података, јер различити извори података могу бити у различитим форматима. Складиште података доноси све ове податке у доследном формату кроз цео систем.
# 3) Нехлапне: Када се подаци учитају у складиште података, не могу се променити. Логично је то прихватљиво јер вам честа промена података неће омогућити анализу података. Честе промене у оперативној бази података могу се редовно учитавати у складиште података, током овог процеса додају се нови подаци, међутим, ранији подаци се не бришу и остају као историјски подаци.
# 4) Временска варијанта: Сви историјски подаци, заједно са недавним подацима у складишту података, играју пресудну улогу за преузимање података било ког временског периода. Ако предузеће жели било какве извештаје, графиконе итд., За поређење са претходним годинама и анализу трендова потребни су сви стари подаци стари 6 месеци, подаци стари 1 годину или чак старији итд.
Предности складишта података
Када је систем складишта података продуктиван, организација користи следеће користи:
- Побољшана пословна интелигенција
- Повећане перформансе система и упита
- Пословна интелигенција из више извора
- Правовремени приступ подацима
- Побољшани квалитет података и доследност
- Историјска интелигенција
- Висок поврат улагања
# 1) Побољшана пословна интелигенција: Ранијих дана када није било складиштења података и пословне интелигенције, пословни корисници и аналитичари су доносили одлуке са ограниченом количином података и са сопственим осећајем.
ДВ & БИ су донели промену пружајући увиде са стварним чињеницама и са стварним подацима о организацији који се прикупљају током одређеног временског периода. Пословни корисници могу директно да питају било који од података о пословним процесима као што су маркетинг, финансије, продаја итд., На основу својих потреба за стратешким одлукама и паметним пословним одлукама.
# 2) Повећане перформансе система и упита: Складиштење података прикупља гломазне информације из хетерогених система и смешта их под један систем тако да се један механизам упита може користити за брзо проналажење података.
# 3) Пословна интелигенција из више извора: Да ли знате како Бусинесс Интеллигенце генерално ради на подацима? Апсорбује податке из више система, подсистема, платформи и извора података за рад на пројекту. Међутим, складиште података решава овај проблем за БИ обједињавањем свих пројектних података без дупликата.
# 4) Правовремени приступ подацима: Пословни корисници ће профитирати трошењем мање времена на проналажење података. Они имају при руци неке алате помоћу којих могу да претражују податке са минималним техничким знањем и генеришу извештаје. То чини да пословни корисници троше довољно времена на анализу података, а не на прикупљање података.
# 5) Побољшани квалитет и доследност података: Складиштење података трансформише податке са различитим форматима системских извора у јединствени формат. Стога, можда исте пословне јединице које доводе податке до складишта података могу поново користити ДВ спремиште за своје пословне извештаје и упите.
Стога ће, са становишта организације, све пословне јединице бити у приправности са доследним резултатима / извештајима. Стога ови квалитетни и доследни подаци помажу у успешном пословању.
# 6) Историјска интелигенција: Складиште података одржава све историјске податке које не одржава ниједан трансакциони систем. Ова велика количина података користи се за анализу података за одређено временско трајање и извештавање о њима, као и за анализу трендова у предвиђању будућности.
# 7) Висок повраћај улагања (РОИ): Свако ко започиње посао очекује очекујући добар повраћај улагања, у смислу веће добити и мањих трошкова. У стварном свету података, многа истраживања су доказала да је примена складишта података и система пословне интелигенције генерисала велике приходе и уштедела трошкове.
До сада бисте требали бити у стању да схватите како добро дизајнирани ДВ систем додаје предности вашем пословању.
Мане складиштења података
Иако је ово веома успешан систем, добро је знати неке замке у систему:
- Стварање складишта података дефинитивно је дуготрајан и сложен процес.
- Трошкови одржавања су тешки јер систему требају сталне надоградње. Такође се може повећати ако се не користи правилно.
- Програмерима, тестерима и корисницима треба пружити одговарајућу обуку да разумеју ДВ систем и да га технички примене.
- Можда постоје осетљиви подаци који се не могу учитати у ДВ за доношење одлука.
- Реструктурирање било којих пословних процеса (или) изворних система има главни ефекат на ДВ.
Закључак
Надамо се да је овај уводни водич пружио позадину основа складиштења података. Детаљно смо погледали све основне концепте складиштења података.
Дефиниције, врсте, карактеристике, предности и недостаци складиштења података научили смо у овом опсежном водичу.
=> Прочитајте низ обука о лаком складиштењу података.
Препоручено читање
- Примери рударства података: Најчешћа примена рударства података 2021
- Како функционише тестирање на основу података (примери КТП и селена)
- Рударство података: процес, технике и главни проблеми у анализи података
- Водич за тестирање складишта података ЕТЛ (комплетан водич)
- Најбољи БЕСПЛАТНИ водичи за Ц #: Крајњи водич за Ц # за почетнике
- Водич за рачунарско умрежавање: Крајњи водич
- КТП водич # 18 - Хибридни оквири вођени подацима и објашњени примерима КТП-а
- 10+ најбољих алата за прикупљање података са стратегијама прикупљања података