S rastúcim prijatím Hadoopu v tradičných podnikových IT riešeniach a zvýšeným počtom implementácií Hadoopu v produkčnom prostredí sa stáva nevyhnutnosťou, aby sa odborníci na prevádzku a správu Hadoop starali o veľké klastre Hadoop.
Zodpovednosť správcu Hadoop:
- Zodpovedný za implementáciu a priebežnú správu infraštruktúry Hadoop.
- Zosúladenie s tímom systémového inžinierstva s cieľom navrhnúť a nasadiť nové hardvérové a softvérové prostredia potrebné pre Hadoop a rozšíriť existujúce prostredia.
- Spolupráca s tímami pre doručovanie dát na nastavovaní nových používateľov Hadoop. Táto úloha zahŕňa nastavenie používateľov systému Linux, nastavenie principálov Kerberos a testovanie prístupu HDFS, Hive, Pig a MapReduce pre nových používateľov.
- Údržba klastrov, ako aj vytváranie a odstraňovanie uzlov pomocou nástrojov ako Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage a ďalších nástrojov.
- Ladenie výkonu klastrov Hadoop a rutiny Hadoop MapReduce.
- Skontrolujte výkonnosť pracovných miest klastra Hadoop a plánovanie kapacity
- Monitorujte pripojenie a zabezpečenie klastra Hadoop
- Spravujte a kontrolujte súbory denníka Hadoop.
- Správa a monitorovanie súborového systému.
- Podpora a údržba HDFS.
- Dôsledne spolupracujeme s tímami infraštruktúry, sietí, databáz, aplikácií a business intelligence, aby sme zaručili vysokú kvalitu a dostupnosť údajov.
- Spolupráca s aplikačnými tímami na inštalácii operačných systémov a aktualizácií, opráv, aktualizácií verzií Hadoop, ak je to potrebné.
- Kontaktné miesto pre eskaláciu predajcu
Správa spoločnosti Hadoop je vďačnou a lukratívnou kariérou s množstvom príležitostí na rast. Ak vás vyššie uvedené pracovné povinnosti zaujímajú, je na čase zdokonaliť sa v administratíve Hadoop a nastúpiť na kariérny postup Hadoop Admin.
if vyhlásenie v sql dotaze
Zodpovednosti DBA vykonávané správcom Hadoop:
- Modelovanie, návrh a implementácia údajov na základe uznávaných štandardov.
- Inštalácia a konfigurácia softvéru.
- Zálohovanie a obnova databázy.
- Pripojiteľnosť a bezpečnosť databáz.
- Monitorovanie a ladenie výkonu.
- Správa miesta na disku.
- Softvérové opravy a aktualizácie.
- Automatizujte manuálne úlohy.
Zodpovednosti za vývoj DWH, ktoré vykonáva správca Hadoop:
Pracovné povinnosti správcov DWH zahŕňajú vývoj, testovanie a monitorovanie dávkových úloh pre tieto úlohy:
- Zaistite referenčnú integritu.
- Vykonajte vykonávanie primárneho kľúča.
- Vykonajte prepracovanie údajov.
- Načítajte veľké objemy dát včas.
Teraz, keď viete o pracovných povinnostiach správcu Hadoop, poďme sa pozrieť na zručnosti, ktoré sú potrebné na to, aby ste nimi boli.
Zručnosti potrebné na to, aby ste sa stali správcom Hadoop:
- Všeobecné prevádzkové znalosti, ako sú napríklad dobré zručnosti pri odstraňovaní problémov, porozumenie kapacity systému, úzke miesta, základy pamäte, CPU, OS, úložisko a siete.
- Hadoop zručnosti ako HBase, Hive, Pig, Mahout atď.
- Najdôležitejšie požiadavky sú: Mali by byť schopní nasadiť klaster Hadoop, pridávať a odstraňovať uzly, sledovať úlohy, monitorovať kritické časti klastra, konfigurovať vysokú dostupnosť menného uzla, plánovať a konfigurovať ho a robiť zálohy.
- Dobrá znalosť systému Linux, pretože program Hadoop funguje na systéme Linux.
- Oboznámenie sa s nástrojmi na správu konfigurácie a nasadenie otvoreného zdroja, ako sú skriptovanie Puppet alebo Chef a Linux.
- Znalosť riešenia problémov so základnými Java aplikáciami je výhodou.
Edureka špeciálne pripravila kurz správy Hadoop. Kliknutím na tlačidlo nižšie začnete so správou Hadoop a dozviete sa, ako vám kurz pomôže stať sa správcom Hadoop.
Súvisiace príspevky:
ako previesť dvojitý na int