data mart tutorial types
Овај водич објашњава концепте Дата Март-а, укључујући имплементацију Дата Март-а, типове, структуру, као и разлике између складишта података и Дата Март-а:
У ово Комплетна серија обуке за складиште података , имали смо поглед на разне Шеме складишта података детаљно.
Овај водич ће вам помоћи да детаљно научите концепте Дата Март, заједно са једноставним примерима.
Видећемо Шта је дата март? Када нам треба дата-март? Исплативо маркирање података, трошак маркета података, врсте мартова података, кораци у примени дата марта, структура дата марта, када је пилот Дата Дата корисно? Недостаци Датамарт-а и разлике између Дата Варехоусе-а и Дата Март-а.
Циљна група
- Програмери складишта података / ЕТЛ програмери и тестери.
- Стручњаци за базе података са основним знањем о концептима база података.
- Администратори базе података / стручњаци за велике податке који желе да разумеју концепте складишта података / ЕТЛ.
- Дипломирани студенти / студенти који траже посао у складишту података.
Шта ћете научити:
- Шта је Дата Март?
- Поређење складишта података против података март
- Врсте маркета података
- Кораци имплементације Дата Март
- Структура података Март
- Када су корисни пилот подаци?
- Недостаци података Март
- Закључак
Шта је Дата Март?
Маркета података је мали део складишта података који се углавном односи на одређену пословну домену као што је маркетинг (или) продаја итд.
Подаци похрањени у ДВ систему су огромни, па су стога подаци дизајнирани са подскупом података који припадају појединим одјелима. Стога одређена група корисника може лако користити ове податке за своју анализу.
За разлику од складишта података које има много комбинација корисника, сваки тим података има одређени скуп крајњих корисника. Мањи број крајњих корисника резултира бољим временом одзива.
Мартови података су такође доступни и алатима за пословну интелигенцију (БИ). Ознаке података не садрже дуплиране (или) неискоришћене податке. Ажурирају се у редовним интервалима. Они су предметно оријентисане и флексибилне базе података. Сваки тим има право да развија и одржава своје податке без модификовања складишта података (или) података других података.
Каталог података је погоднији за мала предузећа јер кошта веома мало од система складишта података. Време потребно за изградњу базе података је такође мање од времена потребног за изградњу складишта података.
Сликовни приказ вишеструких података:
Када су нам потребни подаци Март?
На основу потребе, планирајте и дизајнирајте дата март за ваше одељење ангажовањем заинтересованих страна, јер оперативни трошкови дата марта могу бити високи у неколико наврата.
Размотрите доленаведене разлоге за изградњу дата марта:
- Ако желите да податке поделите са низом корисничке стратегије контроле приступа.
- Ако одређено одељење жели да види резултате упита много брже, уместо да скенира огромне ДВ податке.
- Ако одељење жели да се подаци граде на другим хардверским (или) софтверским платформама.
- Ако одељење жели да подаци буду дизајнирани на начин који је погодан за његове алате.
Исплативи подаци Март
Исплативо тржиште података може се направити следећим корацима:
- Препознајте функционалне поделе: Поделите податке организације у сваки специфичан податак за податке (одељења) како би се удовољило њеним захтевима, без даље организационе зависности.
- Утврдите захтеве алата за приступ кориснику: На тржишту могу постојати различити алати за приступ корисницима којима су потребне различите структуре података. Марке података се користе за подршку свим овим унутрашњим структурама без нарушавања ДВ података. Један подаци се може повезати са једним алатом према потребама корисника. Дата мартс такође могу свакодневно пружати ажуриране податке таквим алатима.
- Идентификујте проблеме са контролом приступа: Ако је различитим сегментима података у ДВ систему потребна приватност и треба да им приступи скуп овлашћених корисника, тада се сви такви подаци могу преместити у поља података.
Цена података Март
Цена података података може се проценити на следећи начин:
- Цена хардвера и софтвера: Било који ново додани дата март можда ће требати додатни хардвер, софтвер, процесорску снагу, мрежу и простор за складиштење диска за рад на упитима које захтевају крајњи корисници. То чини мартирање података скупом стратегијом. Стога буџет треба прецизно планирати.
- Приступ мрежи: Ако се локација маркета података разликује од локације складишта података, тада би сви подаци требало да се преносе у процесу учитавања маркета података. Стога треба обезбедити мрежу за пренос огромних количина података које могу бити скупе.
- Ограничења временског прозора: Време потребно за поступак учитавања података зависиће од различитих фактора као што су сложеност и количине података, мрежни капацитет, механизми преноса података итд.
Поређење складишта података против података март
С.Но | Складиште података | Дата Март |
---|---|---|
1 | Сложен и кошта више за имплементацију. | Једноставно и јефтиније за имплементацију. |
два | Ради на нивоу организације за целокупно пословање. | Делокруг је ограничен на одређено одељење. |
3 | Испитивање ДВ-а је тешко за пословне кориснике због велике зависности података. | Тражење података о подацима једноставно је за пословне кориснике због ограничених података. |
4 | Време примене може бити дуже у месецима или годинама. | Време примене је мање, може бити у данима, недељама или месецима. |
5 | Прикупља податке из различитих система спољних извора. | Прикупља податке из неколико централизованих ДВ (или) интерних (или) система екстерних извора. |
6 | Могу се доносити стратешке одлуке. | Могу се доносити пословне одлуке. |
Врсте маркета података
Ознаке података класификоване су у три типа, тј. Зависне, независне и хибридне. Ова класификација се заснива на начину на који су попуњени, тј. Било из складишта података (или) из било ког другог извора података.
Екстракција, трансформација и транспорт (ЕТТ) је процес који се користи за попуњавање података из било ког изворног система.
Погледајмо детаљно сваку врсту !!
# 1) Зависни подаци Март
У зависном простору за податке подаци се добијају из самог постојећег складишта података. Ово је приступ одозго према доле, јер се део реструктурираних података у дата марту извлачи из централизованог складишта података.
Дата март може користити ДВ податке било логички или физички како је приказано доле:
- Логичан поглед: У овом сценарију подаци података март-а нису физички одвојени од ДВ-а. Логично се односи на ДВ податке кроз табеле виртуелних приказа (или).
- Физички подскуп: У овом случају подаци дата март-а су физички одвојени од ДВ-а.
Једном када се развије један или више података, можете дозволити корисницима да приступају само подацима (или) за приступ подацима и складиштима података.
ЕТТ је поједностављени поступак у случају зависних мартова података јер употребљиви подаци већ постоје у централизованом ДВ. Тачан скуп резимираних података треба само преместити на одговарајуће маркације података.
Слика зависних података Март приказана је доле :
# 2) Независни подаци март
Независна база података је најпогоднија за мала одељења у организацији. Овде подаци не потичу из постојећег складишта података. Независна база података не зависи ни од ДВ предузећа ни од других маркета података.
Независне ознаке података су самостални системи у којима се подаци издвајају, трансформишу и учитавају из спољних (или) унутрашњих извора података. Једноставно их је дизајнирати и одржавати све док не подрже једноставне пословне потребе мудрих одељења.
Са сваком фазом ЕТТ процеса морате радити у случају независних мартова података на сличан начин као на начин на који су подаци обрађени у централизовани ДВ. Међутим, број извора и података попуњених на маркетама података може бити мањи.
Сликовни приказ Индепендент Дата Март :
# 3) Хибридни подаци Март
У хибридном систему података, подаци се интегришу и из ДВ-а и из других оперативних система. Хибридни подаци су флексибилни са великим складишним структурама. Такође се може односити на друге податке о подацима.
Сликовни приказ Хибрид Дата Март-а:
Кораци имплементације Дата Март
Примена Дата Март-а која се сматра помало сложеном објашњена је у следећим корацима:
- Пројектовање: С обзиром да време када пословни корисници захтевају маркирање података, фаза пројектовања укључује прикупљање захтева, стварање одговарајућих података из одговарајућих извора података, стварање логичких и физичких структура података и ЕР дијаграма.
- Конструисање: Тим ће дизајнирати све табеле, погледе, индексе итд., У дата март систему.
- Становништво: Подаци ће бити издвојени, трансформисани и учитани у податковни систем заједно са метаподацима.
- Приступ: Подаци Дата Март-а су доступни крајњим корисницима. Они могу да траже податке за своје анализе и извештаје.
- Управљање: То укључује разне управљачке задатке као што су корисничке контроле приступа, прецизно подешавање перформанси података, одржавање постојећих података и стварање сценарија опоравка података у случају да систем закаже.
Структура података Март
Структура сваког поља података креира се према захтеву. Дата Март структуре називају се звездани спојеви. Ова структура ће се разликовати од једног података до другог.
Звездани спојеви су вишедимензионалне структуре које се формирају помоћу табела чињеница и димензија за подршку великим количинама података. Звездни спој ће имати табелу чињеница у центру окружену табелама димензија.
Подаци табеле релевантних чињеница повезани су са подацима табела димензија са референцом страног кључа. Табела чињеница може бити окружена табелама 20-30 димензија.
Слично систему ДВ, и у звезданим придруживањима табеле чињеница садрже само нумеричке податке, а одговарајући текстуални подаци могу се описати у табелама димензија. Ова структура подсећа на звездану шему у ДВ.
Сликовни приказ структуре придруживања звезди.
Али зрнати подаци из централизованог ДВ-а основа су за све податке о подацима. Многи прорачуни ће се извршити на нормализованим ДВ подацима да би се трансформисали у вишедимензионалне податке означавају податке који се чувају у облику коцкица.
Ово функционише слично као и начин на који се подаци из застарелих изворних система трансформишу у нормализоване ДВ податке.
Када су корисни пилот подаци?
Пилот се може применити у малом окружењу са ограниченим бројем корисника како би се осигурало да ли је примена успешна пре пуноправне примене. Међутим, то није све време неопходно. Пилот распоређивање неће бити корисно када се испуни сврха.
Морате да узмете у обзир следеће сценарије који препоручују за пилот имплементацију:
- Ако су крајњи корисници нови у систему складишта података.
- Ако се крајњи корисници желе осећати пријатно да сами преузму податке / извештаје пре него што оду у производњу.
- Ако крајњи корисници желе практичну употребу најновијих алата (или) технологија.
- Ако управа жели да види бенефиције као доказ концепта, пре него што то учини великим издањем.
- Ако тим жели, осигура ли да све ЕТЛ компоненте (или) компоненте инфраструктуре раде добро пре издања.
Недостаци података Март
Иако подаци имају неке предности у односу на ДВ, они имају и неке недостатке како је објашњено у наставку:
мењачи гласа који раде са нескладом
- Створени нежељени подаци тешко се одржавају.
- Дата мартови су намењени малим предузећима. Повећавање величине података, смањиће његове перформансе.
- Ако креирате већи број мартова података, управа би требала правилно водити рачуна о њиховом верзионисању, сигурности и перформансама.
- Ознаке података могу садржати историјске (или) сажете (или) детаљне податке. Међутим, ажурирања ДВ података и података март података можда се неће десити истовремено због проблема са неконзистентношћу података.
Закључак
Многе организације се спремају ка податковним маркетама из перспективе уштеде трошкова. Стога се овај водич фокусирао на техничке аспекте мартова података у систему складишта података.
Метаподаци у ЕТЛ-у детаљно су објашњени у нашем предстојећем упутству.
=> Посетите овде да бисте видели серију обуке за складиштење података за све.
Препоручено читање
- Водич за тестирање складишта података са примерима | ЕТЛ Водич за тестирање
- Питхон типови података
- Типови података Ц ++
- Димензионални модел података у складишту података - Водич са примерима
- Априори алгоритам у рударству података: примена са примерима
- Примери рударства података: Најчешћа примена рударства података 2021
- Основе складиштења података: Крајњи водич са примерима
- Водич за испитивање запремине: примери и алати за испитивање запремине