Keď som bol mladší, miloval som filmové série Hviezdne vojny. Veľmi sa mi páčilo, že som mal každú z nich túto videokazetu. Zvykol som ich pozerať znova a znova. Potom nastal čas DVD prehrávačov a ja som musel tieto filmy dostať opäť na DVD. Nemal som výhrady k tomu, že som si celú sadu kúpil znova na DVD, pretože som chcel vyskúšať novú technológiu a naďalej si užívať aj svoje obľúbené filmy. Veci boli skvelé, až kým sa neobjavila ďalšia nová technológia Blu-ray. Keď som filmy kúpil už dvakrát, netešil som sa, že si ich dokúpim znova. Nejaký čas som sa nesnažil „aktualizovať“ sám seba a myslel som si, že bez tejto technológie by som bol v pohode. A urobil som dobre. Aj tak to neovplyvnilo môj život. Ale videl som zmenu v trende a nemohol som zdieľať svoje filmy s priateľmi, ako to robili medzi sebou. Skutočne som sa cítil vynechaný.
Nakoniec som išiel von a dostal film na Blu-ray. Pamätám si to nie preto, že by sa mi film páčil, ale kvôli tomu, že kvalita videa bola ohromujúca. A ešte k tomu všetkému, celú sadu filmov som dostal na jeden disk Blu-ray.
Potreba alebo nutkanie neustále sa aktualizovať je najsilnejšia, pokiaľ ide o našu profesiu, pretože riziká sú väčšie. Stalo sa nevyhnutné zostať na vrchole svojej hry.
4 praktické dôvody pre učenie sa Hadoop 2.0:
Ak je to nevyhnutné, zostať v obraze o našej profesii sa stalo dôležitou súčasťou nášho života. Akokoľvek to môže znieť skľučujúco, nemusíte sa báť, pretože technológie sa skutočne nemenia tak rýchlo alebo drasticky. Ale rozhovory a informácie o týchto technológiách a o veciach, ktoré s nimi môžeme robiť, sa zviditeľňujú. Tu je niekoľko dôvodov, prečo by ste mali byť stále v obraze:
# 1: Nenechajte sa chytiť
spracovanie výnimiek pl / sql
Ak nebudete venovať pozornosť najnovším aktualizáciám technológie, budete môcť vyzerať ako jeleň zachytený v čelovke. Nie je to úplne žiarivý obraz vašich profesionálnych schopností. Vďaka aktuálnosti si kolegovia budú vážené svojimi profesionálnymi zručnosťami. Možno nebude potrebné implementovať každú novú vec, ktorú sa naučíte, ale vedomie aktualizácií je nevyhnutné.
Napríklad, keď sa hovorí o Hadoop, môžete dať svojim kolegom vedieť, že Hadoop 2.5.0 má vylepšenia autentifikácie pri použití HTTP proxy servera. A tiež v úplne rovnakej verzii Hadoop existuje ustanovenie pre zápis priamo do Graphite.
Keď organizácie uvažujú o prechode na Hadoop, je nevyhnutné mať prehľad o najnovších aktualizáciách. A „vedieť“ môže mať vo vašej kariére obrovský rozdiel.
# 2: Mať konkurenčnú výhodu
Profesionáli, ktorí majú znalosti vo svojich odboroch, sú rešpektovaní. A aktuálnosť je najlepší spôsob, ako byť na vrchole. Vaša potreba byť informovaný odráža vašu vášeň pre prácu. Rozvojom odborných znalostí vo svojej práci a vo svojom odbore získate dôveru a rešpekt ľudí okolo vás. Z hľadiska vodcovstva je to neoceniteľné!
Aj keď vaša organizácia stále pracuje s Hadoop 1.0, znalosť všetkých najnovších funkcií Hadoop 2 vás udrží na dobrej ceste, pretože je relatívne nová a určite lepšia. Byť prvý, kto by sa to naučil, by ti dal náskok pred svojimi rovesníkmi.
# 3: Nové príležitosti
Je smutnou realitou, že naša súčasná rola sa neustále mení. Postupom času prichádzajú ďalšie povinnosti a príležitosti robiť nové úlohy. Udržiavaním aktuálnych trendov v odbore ste v najlepšej pozícii, aby ste tieto príležitosti využili.
Spoločnosti ako Macy's, Lockheed Martin, California Creative Solutions, Capital One, CSpring, CACI International Inc., Oracle, Yahoo !, American Express, BlueHawk, Aetna, Lawrence Livermore National Laboratory a mnoho ďalších hľadajú ľudí zručných v oblasti najnovších funkcií Hadoop 2, ako PRIATOK.
# 4: Robte lepšie rozhodnutia
Dodatočné informácie vám umožnia robiť informované rozhodnutia a lepšie rozhodnutia. Pomôže vám to rozpoznať príležitosti a pridať hodnotu stratégii vašej organizácie.
Hadoop 2 má funkcie, ktoré zvyšujú rýchlosť a znižujú náklady. Navrhovanie možností na zlepšenie výkonu a zvýšenie rýchlosti môže jednoznačne zvýšiť produktivitu organizácie. Tu sú niektoré funkcie Hadoop 2, ktoré prinesú organizácii úžitok a ich navrhnutie tiež podporí vašu kariéru.
Podpora pre spustenie Hadoop na Microsoft Windows
Zjednodušená distribúcia binárnych súborov MapReduce cez HDFS v YARN Distributed Cache.
Vylepšená podpora nových aplikácií na YARN so serverom Application History Server a Application Timeline Server
Kompletná podpora HTTPS v HDFS
Integrácia protokolu Kerberos pre obchod časovej osi YARN.
Podpora hierarchie heterogénneho úložiska v HDFS.
Vyrovnávacia pamäť v pamäti pre údaje HDFS s centralizovanou správou a správou.
Zjednodušená distribúcia binárnych súborov MapReduce cez HDFS v YARN Distributed Cache.
Aktualizácia má viac než len praktické dôvody. Existujú aj technické dôvody. Hadoop má množstvo funkcií, ktoré sú pre organizácie výhodné. Keď sa na ne pozriete podrobne, získate jasný obraz o tom, aké sú výhodné.
Aká je najnovšia aktualizácia v Hadoop?
Každý produkt prechádza rôznymi fázami vydaní a prichádza s rôznymi verziami. Hadoop nie je výnimkou a prišiel s Hadoop 2.0. Nadácia Apache prišla s následnými verziami Hadoop, ako sú Hadoop 2.1.0, Hadoop 2.4.0, a dosiahla Hadoop 2.5.1, čo je najnovšia verzia vydaná v septembri 2014.
Prečo bol Hadoop 2 uvedený na trh?
S novou verziou prichádzajú pridané funkcie a opravené chyby. Takže vždy, keď používate konkrétnu verziu Hadoopu a myslíte si, že je možné pridať určitú funkciu alebo že je potrebné opraviť niektoré chyby, dáte o tom vedieť ľuďom v nadácii Apache. Títo chlapci zase na tom pracujú a v budúcej verzii vám poskytnú lepší produkt.
Hadoop 2 - nielen číslo
Hadoop 2 nie je iba najnovšou verziou Hadoopu. Celkovo ide o architektúru druhej generácie. Arun Murthy, zakladateľ a architekt distribútora Hadoop, spoločnosti Hortonworks, trvá na tom, že rozdiel je dôležitý, pretože množstvo re-inžinierstva potrebného na to, aby sa Hadoop posunul nad dávkové spracovanie a do sveta analýz v reálnom čase, bolo značné.
Poďme si predstaviť, čím sa Hadoop 2.0 líši od svojho predchodcu Hadoop 1.0. Je zrejmé, že neskôr vydaná verzia bude lepšia ako predchádzajúca. Nasledujú štyri hlavné vylepšenia v Hadoop 2.0 oproti Hadoop 1.x:
HDFS Federation - horizontálna škálovateľnosť NameNode
Vysoká dostupnosť NameNode - NameNode už nie je jedným bodom zlyhania
YARN - Schopnosť spracovávať terabajty a petabajty dát dostupných v HDFS pomocou aplikácií Non-MapReduce ako MPI, GIRAPH
Správca zdrojov - Rozdeľuje dve hlavné funkcie preťaženého JobTrackera (správa zdrojov a plánovanie / monitorovanie úloh) na dva samostatné démony: globálny správca zdrojov a aplikácia ApplicationMaster pre každú aplikáciu.
K dispozícii sú ďalšie funkcie, ako napríklad Capacity Scheduler (Enable Multi-tenancy support in Hadoop), Data Snapshot, Support for Windows, NFS access, umožňujúce zvýšené prijatie Hadoop v priemysle na riešenie problémov s veľkými dátami.
Hadoop 2.X Vs Hadoop 1.X
Poďme si urobiť malé porovnanie a pozrime sa, v čom je Hadoop 2.0 lepší a odlišný od Hadoop 1.0
Prečo je Hadoop 2 preferovaný pred Hadoop 1.0?
Hadoop 2.0 ponúka vylepšenia výkonu, ktoré zvýhodňujú súvisiace technológie v ekosystéme Hadoop. Okrem priekopníckych funkcií HDFS a architektúry druhej generácie (YARN) existuje ešte viac a viac dôvodov uprednostňovať Hadoop 2 pred Hadoop 1.0:
Hadoop 2 už nemá jazykové obmedzenie. To znamená, že Hadoop teraz môže používať široká škála profesionálov.
S programom Hadoop 2 sa prekonávajú prekážky, ako napríklad nedostatok programovacích nástrojov MapReduce.
2 krát rýchlejší ako Hadoop 1.0
2-násobok NI s existujúcim hardvérom.
S programom YARN je aplikačno-programové rozhranie oveľa otvorenejšie a flexibilnejšie.
Hadoop 2 rozširuje možnosti použitia Hadoopu v projektoch veľkých dát.
ako používať triedu skenera v
S programom Hadoop 2 môžu vývojári teraz vykonávať obrovské množstvo úloh týkajúcich sa dát, ktoré presahujú predchádzajúci rozsah dávkového spracovania spoločnosti Hadoop.
Ponúka nové príležitosti pre informačných manažérov a rieši nedostatky v predchádzajúcich verziách.
Toto nové vydanie má jedinečnú vlastnosť spustenia viacerých pracovných záťaží na rovnakom klastri Hadoop.
Hadoop už nie je obmedzený na jednu funkciu. Jeho aplikácia teraz siaha za hranice HDFS a MapReduce.
Kľúčové výhody priadze
Sme si vedomí, že YARN je architektúrou druhej generácie, pozrime sa, čo ho robí takým skvelým.
Škála
Nové programovacie modely a služby
nastavenie hadoop na ubuntu
Vylepšené využitie klastra
Svižnosť
Oveľa viac ako Java
A mnoho ďalších
Dopyt po zručnostiach Hadoop 2
Organizácie teraz spúšťajú alebo experimentujú s Hadoop 2. V dôsledku toho existuje potreba odborníkov s Hadoopom 2. Mnoho organizácií už začalo interne hľadať ľudí, ktorí by s Hadoopom spolupracovali. Existujú jasné náznaky, že YARN je na vzostupe a nakoniec nahradí dopyt po zručnosti MapReduce.
Tu je niekoľko pohľadov na súčasný a predpokladaný dopyt po schopnostiach Hadoop:
Podľa analytikov z Gartnera je Hadoop 2 zásadným vývojom, pretože veľké podniky na celom svete zistili, že Hadoop zmenil hru v oblasti správy veľkých dát.
Podľa Erica Kavanagha zo skupiny Bloor získal Hadoop 2.0 priľnavosť medzi informačnými pracovníkmi, ktorí sa snažia dohnať Big Data.
Prijímanie protokolu Hadoop 2.0 stále rastie a teraz vstupuje do fázy zrelosti.
Organizácie sú si vedomé výhod YARNu a sú z nich nadšené.
Tu je prehľad pracovných ponúk pre Hadoop 2.0 / YARN v Indeed.com
Kto prechádza na Hadoop 2 alebo už má?
Yahoo:
Yahoo! , líder vo všetkých veciach, spoločnosť Hadoop implementovala YARN (0.23.x). Podľa Murthyho klaster Yahoo s 35 000 uzlami teraz spracuje 130 - 150 úloh za deň v porovnaní s 50 - 60 pred YARN.
Keď hovoríme o hviezdnom výkone, Murthy cituje: „Keď máš 2x cez 35 000 až 40 000 uzlov, je to fenomenálne.“ Ďalej dodal: „Je to veľmi pútavý príbeh, ktorý hovorí vedúcemu IT, že ak práve upgradujete softvér z Hadoop 1 na Hadoop 2, uvidíte vo svojich úlohách dvojnásobné zlepšenie priepustnosti.“
eBay:
eBay má jeden z najväčších klastrov Hadoop v priemysle, kde sú dáta v petabajtoch. Tiež migrovali svoje zoskupenia na Hadoop 2.
Záver:
Vďaka tomu, že Hadoop 2 je vyspelý a jeho implementácia je ľahšia, presviedčajú dokonca skeptikov a čoraz viac organizácií prechádza na Hadoop 2.0. Existujú pádne dôvody, prečo sa vyhnúť verziám 1.x. Ale s Hadoop 2, aj neveriaci o tom uvažujú, pretože sa dá použiť na najrôznejšie použitie. Ak sa naučíte Hadoop 2.0 a implementujete ho na vykonávanie výpočtov na veľkých dátach, otvoríte brány technicky vyspelej a finančne prospešnej kariére.
Máte na nás otázku? Uveďte ich prosím v sekcii komentárov a my sa vám ozveme.
Súvisiace príspevky: