29 питања и одговори за интервју са инжењером података

top 29 data engineer interview questions

Листа најчешће постављаних питања и одговора за интервју са инжењером података који ће вам помоћи да се припремите за предстојећи интервју:

Данас је инжењеринг података најтраженије подручје након развоја софтвера и постало је једна од најбрже растућих опција за посао на свету. Анкетари желе најбоље инжењере података за свој тим и зато имају тенденцију да темељито интервјуишу кандидате. Они траже одређене вештине и знања. Дакле, морате бити спремни у складу с тим да испуните њихова очекивања.

Шта ћете научити:

• Одговорности инжењера података
• Вештине инжењера података
• Често постављана питања за инжењере података
  • Општа питања за интервју
  • Питања за технички интервју
• Закључак
  • Препоручено читање

Одговорности инжењера података

Одговорности укључују:

• Да рукује и надгледа податке унутар компаније.
• Одржавање и руковање изворним системом података и подручјима за постављање.
• Поједноставите чишћење података заједно са каснијом изградњом и побољшањем редукције података.
• Омогућите и извршите трансформацију података и ЕТЛ процес.
• Издвајање и израда ад-хоц израде упита за податке.

Вештине инжењера података

Са квалификацијама су вам потребне и одређене вештине. Обоје су пресудни када се припремате за место инжењера података. Овде наводимо 5 најбољих вештина, без посебног редоследа, које ће вам требати да бисте постали успешни инжењер података.

• Вештине визуелизације података.
• Питхон и СКЛ.
• Знање о моделирању података и за велике податке и за складиштење података
• Математика
• Знање у ЕТЛ-у
• Искуство простора са великим подацима

Дакле, морате радити на побољшању ових скупова вештина пре него што почнете да се припремате за интервју. А када усавршите своје вештине, ево неколико питања за интервју која можете припремити да анкетари примете и ангажују и вас.

Често постављана питања за инжењере података

Општа питања за интервју

П # 1) Зашто сте студирали инжењеринг података?

Одговор: Ово питање има за циљ да сазна више о вашем образовању, радном искуству и позадини. То би могао бити природан избор у наставку вашег студија информационих система или рачунарства. Или сте можда радили на сличном пољу или можда прелазите из сасвим другог радног подручја.

Каква год била ваша прича, немојте се суздржавати или зазирати. И док делите, и даље истичите вештине које сте усвојили током пута и одличан посао који сте урадили.

Међутим, немојте започети приповедање. Почните мало са својим образовањем, а затим пређите на део за који сте знали да желите да будете инжењер података. А онда крени даље како стижеш овде.

П # 2) Шта је по вама најтежа ствар у вези са инжењером података?

Одговор: На ово питање морате искрено одговорити. Нису сви аспекти свих послова лаки и ваш анкетар то зна. Циљ овог питања није да утврдите своју слабост, већ да знате како радите кроз ствари са којима вам је тешко да се носите.

Можете рећи нешто попут: „Као инжењеру података, тешко ми је да испуним захтев свих одељења у компанији у којој већина њих често има супротстављене захтеве. Дакле, често ми је изазов да их уравнотежим у складу с тим.

Али пружио ми је драгоцен увид у рад одељења и улогу коју они играју у целокупној структури компаније. ' И ово је само један пример. Можете и требате изнети своје становиште.

П # 3) Реците нам инцидент у којем сте требали да обједините податке из различитих извора, али сте се суочили са неочекиваним проблемима и како сте то решили?

Одговор: Ово питање је прилика за вас да покажете своје вештине решавања проблема и како се прилагођавате наглим променама плана. Питању се може одговорити уопштено или посебно у контексту инжењеринга података. Ако нисте прошли такво искуство, можете дати хипотетички одговор.

Ево примера одговора: „У мојој претходној франшизној компанији, ја и мој тим требали смо да прикупљамо податке са различитих локација и система. Али једна од франшиза је променила свој систем, а да нас претходно није обавестила. То је резултирало прегрштом проблема за прикупљање и обраду података.

Да бисмо то решили, прво смо морали да смислимо краткотрајно решење за унос основних података у систем компаније. И након тога, развили смо дугорочно решење како бисмо спречили да се такви проблеми понове. “

П # 4) По чему се посао инжењера података разликује од посла архитекте података?

Одговор: Ово питање има за циљ да провери да ли разумете да постоје разлике у тиму складишта података. Са одговором не можете погрешити. Одговорности обојице се преклапају или се разликују у зависности од тога шта треба одељењу за одржавање базе података или компанији.

Можете рећи да „према мом искуству, разлика између улога инжењера података и архитекте података разликује се од компаније до компаније. Иако веома блиско сарађују, постоје разлике у њиховим општим одговорностима.

Управљање серверима и изградња архитектуре система података предузећа је одговорност архитекте података. А посао инжењера података је да тестира и одржава ту архитектуру. Уз то, ми, инжењери података, водимо рачуна да подаци који су доступни аналитичарима буду квалитетни и поуздани. “

Питања за технички интервју

П # 5) Шта су четири В-а Биг Дата-а?

(слика извор )

Одговор:

Четири В велика података су:

• Прво В је Брзина који се односи на брзину којом се велики подаци генеришу током времена. Дакле, то се може сматрати анализом података.
• Друго В је Разноврсност различитих облика великих података, било да се ради о сликама, датотекама дневника, медијским датотекама и гласовним записима.
• Треће В је Волуме података. То може бити број корисника, број табела, величина података или број записа.
• Четврти В је Вераити повезане са неизвесношћу или сигурношћу података. Другим речима, одлучује колико можете бити сигурни у тачност података.

П # 6) По чему се структурирани подаци разликују од неструктурираних података?

Одговор: Доња табела објашњава разлике:

П # 7) Који ЕТЛ алати су вам познати?

Одговор: Наведите све ЕТЛ алате са којима сте радили. Можете рећи: „Радио сам са САС управљањем подацима, ИБМ Инфоспхере и САП Дата Сервицес. Али мени је дражи ПоверЦентер из Информатице. Ефикасан је, има изузетно високе перформансе и флексибилан је. Укратко, има сва важна својства доброг ЕТЛ алата.

Они несметано воде операције пословних података и гарантују приступ подацима чак и када се промене одвијају у послу или његовој структури. “ Обавезно разговарајте само о онима са којима сте радили и онима са којима волите да радите. Или, могао би да спречи ваш интервју касније.

П # 8) Реците нам нешто о шемама дизајна за моделирање података.

Одговор: Моделовање података долази са две врсте шема дизајна.

Објашњени су на следећи начин:

• Прва је Звездан распоред , који је подељен на два дела - табелу чињеница и табелу димензија. Овде су обе табеле повезане. Звездана шема је најједноставнији стил шеме података март и њој се такође највише приступа. Назван је тако јер по својој структури подсећа на звезду.
• Други је Шема пахуљица што је продужетак звездане шеме. Додаје додатне димензије и назива се пахуљица јер по својој структури подсећа на снежинку.

П # 9) Која је разлика између шеме звезда и шеме пахуљица?

(слика извор )

Одговор: Доња табела објашњава разлике:

П # 10) Која је разлика између складишта података и оперативне базе података?

Одговор: Доња табела објашњава разлике:

П # 11) Укажите на разлику између ОЛТП и ОЛАП.

Одговор: Табела у наставку објашњава разлике:

П # 12) Објасните главни концепт који стоји иза оквира Апацхе Хадооп-а.

Одговор: Заснован је на алгоритму МапРедуце. У овом алгоритму се за обраду огромног скупа података користе операције Мапирање и Смањење. Мапира, филтрира и сортира податке, док Редуцира, сумира податке. Скалабилност и толеранција кварова су кључне тачке овог концепта. Ове функције можемо постићи у Апацхе Хадооп ефикасном применом МапРедуце и Мулти-тхреадинга.

П # 13) Да ли сте икада радили са Хадооп Фрамеворк-ом?

(слика извор )

Одговор: Многи менаџери за запошљавање питају за Хадооп алат у интервјуу како би знали да ли сте упознати са алатима и језицима које компанија користи. Ако сте радили са Хадооп Фрамеворк-ом, реците им детаље свог пројекта како би осветлили ваше знање и вештине са алатом и његовим могућностима. А ако никада нисте са њим радили, неко истраживање које ће показати неко познавање његових атрибута такође ће функционисати.

Можеш рећи, на пример, „Током рада на тимском пројекту имао сам прилику да радим са Хадооп-ом. Били смо фокусирани на повећање ефикасности обраде података, па смо се, због његове способности да повећа брзину обраде података, без нарушавања квалитета током дистрибуиране обраде, одлучили да користимо Хадооп.

А како је моја претходна компанија очекивала значајан пораст обраде података током следећих неколико месеци, добро је дошла и њена скалабилност. Хадооп је такође мрежа отвореног кода заснована на Јави, што је чини најбољом опцијом за пројекте са ограниченим ресурсима и лаком за употребу без икаквог додатног тренинга. “

образац за одјаву теста прихватања корисника

П # 14) Помените неке важне карактеристике Хадооп-а.

Одговор: Карактеристике су следеће:

• Хадооп је бесплатан оквир отвореног кода где можемо изменити изворни код према нашим захтевима.
• Подржава брже дистрибуирану обраду података. ХДФС Хадооп складишти податке на дистрибуиран начин и користи МапРедуце за паралелну обраду података.
• Хадооп је изузетно толерантан и подразумевано, на различитим чворовима, омогућава кориснику да креира три реплике сваког блока. Дакле, ако је један од чворова неуспешан, можемо опоравити податке са другог чвора.
• Такође је прилагодљив и компатибилан је са многим хардвером.
• Будући да је Хадооп податке чувао у кластерима, независно од свих осталих операција. Отуда је поуздан. На ускладиштене податке не утиче неисправан рад машина. И тако је и он врло доступан.

П # 15) Како можете повећати пословни приход анализом великих података?

Одговор: Анализа великих података је витални део предузећа, јер им помаже да се међусобно разликују, заједно са повећањем прихода. Аналитика великих података нуди прилагођене предлоге и препоруке предузећима кроз предиктивну анализу.

Такође помаже предузећима у лансирању нових производа заснованих на преференцијама и потребама купаца. Ово помаже предузећима да зараде знатно више, отприлике 5-20% више. Компаније попут Банк оф Америца, ЛинкедИн, Твиттер, Валмарт, Фацебоок, итд. Користе Биг Дата Аналисис за повећање прихода.

П # 16) Које кораке морате применити током примене решења за велике податке?

Одговор: При примени решења за велике податке постоје три корака:

• Унос података- То је први корак у примени решења за велике податке. То је издвајање података из различитих извора попут САП-а, МИСКЛ-а, Салесфорце-а, датотека дневника, интерне базе података итд. Уношење података може се догодити путем струјања у реалном времену или батцх послова.
• Складиштење података- Након што се подаци унесу, извађени подаци треба негде чувати. Складишти се или у ХДФС или НоСКЛ базама података. ХДФС добро функционише за секвенцијални приступ путем ХБасе за случајни приступ читању или писању.
• Обрада података- Ово је трећи и завршни корак за примену решења за велике податке. Након складиштења, подаци се обрађују кроз један од главних оквира попут МапРедуце или Пиг.

П # 17) Шта је блок и блок скенер у ХДФС-у?

Одговор: Блок је минимална количина података која се може записати или прочитати у ХДФС-у. 64 МБ је подразумевана величина блока.

Скенер блокова је програм који периодично прати број блокова на ДатаНодеу, заједно са верификовањем могућих грешака у контролној суми и оштећења података.

П # 18) Који су изазови са којима сте се суочавали приликом увођења нових апликација за аналитику података ако сте их икада увели?

Одговор: Ако никада нисте увели нову аналитику података, можете то једноставно рећи. Зато што су прилично скупе и стога компаније често то не раде. Али ако се компанија одлучи да инвестира у њу, то може бити изузетно амбициозан пројекат. Требали би бити високо обучени запослени да инсталирају, повежу, користе и одржавају ове алате.

Дакле, ако сте икада прошли кроз процес, реците им са којим препрекама сте се суочили и како сте их превазишли. Ако нисте, детаљно им реците шта знате о процесу. Ово питање одређује да ли имате основни кнов-хов за решавање проблема који би се могли појавити током увођења нових апликација за аналитику података.

Пример одговора; „Био сам део увођења нове аналитике података у својој претходној компанији. Читав процес је разрађен и потребан му је добро испланиран процес за што лакши прелазак.

Међутим, чак и уз беспрекорно планирање, не можемо увек избећи непредвиђене околности и проблеме. Једно од таквих питања била је невероватно велика потражња за корисничким лиценцама. Ишло је и даље од онога што смо очекивали. За добијање додатних лиценци, компанија је морала да прераспореди финансијска средства.

Такође, обука је морала бити планирана на начин да не омета ток посла. Такође, морали смо да оптимизујемо инфраструктуру како бисмо подржали велики број корисника. “

П # 19) Шта ако се НамеНоде сруши у ХДФС кластеру?

Одговор: Кластер ХДФС има само један НамеНоде и одржава метаподатке ДатаНоде-а. Имати само један НамеНоде даје ХДФС кластерима једну тачку квара.

Дакле, ако НамеНоде падне, системи могу постати недоступни. Да бисмо то спречили, можемо одредити секундарни НамеНоде који узима периодичне контролне тачке у системима датотека ХДФС, али није резервна копија НамеНоде. Али можемо га користити за поновно стварање НамеНоде и поновно покретање.

П # 20) Разлика између НАС и ДАС у кластеру Хадооп.

Одговор: У НАС-у слојеви за складиштење и рачунање су одвојени, а затим се складиште дистрибуира међу различитим серверима на мрежи. Док је у ДАС-у, складиште је обично прикључено на рачунски чвор. Апацхе Хадооп заснован је на принципу обраде у близини одређене локације података.

Дакле, диск за складиштење треба да буде локални за рачунање. ДАС вам помаже да постигнете перформансе на Хадооп кластеру и може се користити на робном хардверу. Једноставним речима, исплативије је. НАС складиште је пожељно са великом пропусном ширином од око 10 ГбЕ.

П # 21) Да ли је изградња НоСКЛ базе података боља од израде релационе базе података?

(слика извор )

Одговор: Као одговор на ово питање, морате показати своје знање о обе базе података. Такође, морате то подржати примером ситуације која показује како ћете или сте применили знање у стварном пројекту.

Ваш одговор би могао бити отприлике овакав: „У неким ситуацијама може бити корисно изградити НоСКЛ базу података. У мојој последњој компанији, када се систем франшизе експоненцијално повећавао, морали смо брзо да се прилагодимо како бисмо максимално искористили све оперативне и продајне податке које смо имали.

Скалирање је боље од скалирања са већим серверима када се рукује повећаним оптерећењем обраде података. Исплативо је и лакше га је постићи помоћу НоСКЛ база података, јер се лако може носити са огромним количинама података. То вам добро дође када у будућности требате брзо реаговати на значајна померања оптерећења података.

Иако релационе базе података имају бољу повезаност са било којим аналитичким алатима. Али НоСКЛ базе података могу много да понуде. “

П # 22) Шта радите када наиђете на неочекивани проблем са одржавањем података? Да ли сте испробали неко од уобичајених решења за то?

Одговор: Неизбежно се свако мало појаве неочекивани проблеми у сваком рутинском задатку, чак и током одржавања података. Ово питање има за циљ да зна да ли можете и како да се носите са ситуацијама високог притиска.

Можете рећи нешто попут „Одржавање података може бити рутински задатак, али од виталне је важности пажљиво праћење одређених задатака, укључујући осигурање успешног извршавања скрипти.

Једном приликом вршења провере интегритета, наишао сам на оштећени индекс који је могао да изазове озбиљне проблеме у будућности. Због тога сам смислио нови задатак одржавања како бих спречио додавање оштећених индекса у базу података предузећа. “

П # 23) Да ли сте икада обучили некога у својој области? Ако је одговор да, шта је по вама било најизазовније?

Одговор: Обично су инжењери података потребни за обуку својих сарадника на новим системима или процесима које сте креирали или обуку нових запослених на већ постојећим системима и архитектури. Дакле, овим питањем ваш испитивач жели да зна да ли можете то да поднесете. Ако нисте имали прилику да некога сами обучите, разговарајте о изазовима некога ко је тренирао или знате да сте се суочавали.

Узорак идеалног одговора биће отприлике овако. „Да, имао сам прилику да обучим малу и велику обе групе сарадника. Обука нових запослених са значајним искуством у другој компанији је најизазовнији задатак на који сам наишао. Често су толико навикли да прилазе подацима из једне различите перспективе да се боре да прихвате начин на који радимо ствари.

Често су крајње промишљени и мисле да све добро знају и зато им треба пуно времена да схвате да проблем може имати више решења. Покушавам да их подстакнем да отворе свој ум и прихвате алтернативне могућности наглашавајући колико су наша архитектура и процеси били успешни. “

П # 24) Које су предности и недостаци рада у рачунарству у облаку?

(слика извор )

Одговор:

Прос:

• Без трошкова инфраструктуре.
• Минимално управљање.
• Нема гњаваже око управљања и администрације.
• Једноставан приступ.
• Платите за оно што користите.
• Поуздан је.
• Нуди контролу података, израду сигурносних копија и опоравак.
• Огромно складиште.

Против:

• Потребна му је добра интернет веза са једнако добром пропусном ширином да би добро функционисала.
• Има застоја.
• Ваша контрола над инфраструктуром биће ограничена.
• Мало је флексибилности.
• Има одређене трајне трошкове.
• Можда постоје сигурносни и технички проблеми.

П # 25) Рад инжењера података обично је „иза кулиса“. Да ли вам је угодно да радите даље од „рефлектора“?

Одговор: Ваш менаџер за запошљавање жели да зна да ли волите светло пажње или можете добро радити у обе ситуације. Ваш одговор би требао да им каже да, иако вам се свиђа центар пажње, пријатно вам је радити и у позадини.

„Оно што ми је важно је да бих требао бити стручњак у својој области и допринети расту своје компаније. Ако морам да радим у центру пажње, и то ми је угодно. Ако постоји проблем на који руководиоци треба да се позабаве, нећу оклевати да повисим свој глас и скренем му пажњу. “

П # 26) Шта се дешава када скенер блокова открије оштећени блок података?

Одговор: Пре свега ДатаНоде извештава НамеНоде. Тада НамеНоде започиње стварање нове реплике кроз копију оштећеног блока. Оштећени блок података неће се избрисати ако се број репликација десних реплика подудара са фактором репликације.

П # 27) Да ли сте икада пронашли нову иновативну употребу већ постојећих података? Да ли је то позитивно утицало на компанију?

Одговор: Ово питање је намењено њима да сазнају да ли сте довољно мотивисани и жељни да допринесете успеху пројеката. Ако је могуће, одговорите на питање примером где сте преузели одговорност за пројекат или смислили идеју. А ако сте икада представили ново решење проблема, немојте га ни пропустити.

Пример одговора: „На свом последњем послу учествовао сам у откривању зашто имамо високу стопу флуктуације запослених. Помно сам посматрао податке из различитих одељења где сам пронашао високо корелиране податке у кључним областима као што су финансије, маркетинг, пословање итд. И стопа флуктуације запослених.

Сарађивао са аналитичарима одељења ради бољег разумевања тих корелација. Са нашим разумевањем направили смо неке стратешке промене које су позитивно утицале на стопу флуктуације запослених. “

П # 28) Које нетехничке вештине сматрате најприкладнијим као инжењер података?

Одговор: Покушајте да избегнете најочигледније одговоре попут комуникације или међуљудских вештина. Можете рећи: „Одређивање приоритета и мултитаскинг често ми добро дођу у послу. За дан добијамо разне задатке јер радимо са различитим одељењима. Стога нам постаје витално да им дамо приоритет. Олакшава нам посао и помаже нам да их ефикасно завршимо. “

П # 29) Који су најчешћи проблеми са којима сте се суочавали као инжењер података?

Одговор: То су:

• Континуирана интеграција у реалном времену.
• Похрањивање огромних количина података и информација из тих података.
• Ограничења ресурса.
• Узимајући у обзир које алате користити и који могу донети најбоље резултате.

Закључак

Инжењеринг података можда звучи као рутински досадан посао, али има много занимљивих аспеката. То је видљиво из могућих сценарија која би анкетари могли поставити. Требали бисте бити спремни да одговорите не само на техничка књишка питања већ и на ситуациона питања попут горе наведених. Тек тада ћете моћи да докажете да свој посао можете добро радити и заслужити.

Све најбоље!!

Препоручено читање

• Интервјуирајте питања и одговоре
• Питања и одговори за испитивање ЕТЛ-а
• 32 најбоља питања и одговори за интервју за Датастаге
• Најчешћа питања и одговори за ЈСОН интервјуе
• Најпопуларнија питања и одговори за интервјуе Терадата
• Најчешћа 24 питања о интервјуу за моделирање података са детаљним одговорима
• Топ 50+ питања и одговори за интервјуе из базе података
• Топ 30 питања и одговора за интервјуе са САС-а