Ak už ste z IT priemysel , musíte si byť vedomí toho Veľké dáta je reč dňa. Či už sú to nové startupy prichádzajúce s inovatívnymi obchodnými modelmi, alebo vaši kolegovia, ktorí sa k týmto startupom pridajú, z nejakého dôvodu dnešná zelenšie pastviny sa zdá byť Veľké dáta priemysel.
Ak sa pýtate prečo, potom vám odporúčam prečítať si to až do konca, pretože to môže byť samoobslužný blog, ktorý vás dovedie k tomu, na čo ste určený.
Tak prečo to všetkoHYPEokolité VEĽKÉ DÁTA?
Je to iba ďalšia doména, ktorá dočasne prinesie utečencov zo všetkých ostatných domén? Alebo to tu bude na diaľku?
Ak by som to mal hádať, povedal by som, že to tu bude nielen na diaľku, ale aj priemysel veľkých dát bude v epicentre technologického pokroku.
Pretože všetko je oÚDAJE!
Rovnako ako SlnkostúpazVýchodasadyvZápad, neustále používanie výpočtových / nevýpočtových zariadení bude mať za následok výbuch nezvládnuteľných údajov.
Keď tieto údaje prekročia prahovú hodnotu a sú spracovávané programom Excel alebo iným systémom na správu databáz, nazveme to VEĽKÉ DÁTA .
Zamyslite sa, ktorý bol posledný produkt, ktorý ste si kúpili od Amazonu? Ktorý môže byť ďalší produkt, ktorý si môžete kúpiť na základe minulej aktivity? Odpovede na tieto otázky sa ukladajú do Big Data.
Je za produktom rastúci trend? Alebo existuje klesajúci trend? Kúpi si zákazník pri nákupe „obuvi“ „pančuchy“? Toto sú otázky na riešenie obchodných problémov.
A tieto otázky môžu byť ľahko odpovedal používaním Analýza veľkých dát .
Nakoniec, na čo slúžia dáta, keď nie analyzovať že?
Takže, aj Big Dataúplne oAnalytics?Nie úplne, ale Analytics je najvyššia cena.
Ďalšími významnými prúdmi vo veľkých dátach súSkladovanieaZvládanie.
Tu môžete ako profesionál prispieť. Môžete prevziať úlohu buď:
- Veľký dátový inžinier
- Architekt riešenia veľkých dát
A uistite sa, že generované veľké dáta sú vždy k dispozícii a dajú sa neskôr použiť na analýzu. Týmto sa dostávame k otázke & hellip
Kde sú uložené veľké dáta?
Môže byť uložený vSúbor programu Excel? Môže byť uložený v asystém relačnej databázy?
Dopekla nie!
Keby to mohlo byť, tak by aj bolo!
A nazvať sa všetci dohromady. Možno niečo akoExcel dátaaleboÚdaje RDBMS: D
A to by nás vrátilo späť KROK 1 : - Prečo nie je možné spravovať veľké dáta pomocou programu Excel? PretožeVeľké dáta sú pre aplikáciu Excel príliš horúce. A dokonca aj ďalšie systémy na správu databáz.
trh práce na koľajniciach
Aká je teda alternatíva?
Na spracovanie veľkých dát máme HADOOP . Toto slovo by ste mohli vedieť aj vy. Možno by vás však zaujímalo, ako presne to funguje?
Pre začiatočníkov je HADOOP produktomNadácia APACHE. Apache je americká nezisková organizácia, ktorá podporuje vývoj softvéru typu open-source.
Hadoop je definovaný ako open-source programovací rámec založený na prostredí Java, ktorý podporuje spracovanie a ukladanie extrémne veľkých súborov údajov v prostredí distribuovanej výpočtovej techniky.
Čo môže Hadoop robiť, ale Excel nie?
Spracujte a pochopte neštruktúrované dáta!So štruktúrovanými údajmi, ktoré sú vo forme tabuľky alebo iným spôsobom, sa dá ľahko zaobchádzať. Excel to dokáže a rovnako tak aj akýkoľvek iný RDBMS.
Ale keď sa zníži čitateľnosť a dáta sú neštruktúrované, práve tam sú veľké dátanástroje ako Hadoopskóre. Príkladom neštruktúrovaných údajov je syslog . Ukážkový obrázok je uvedený nižšie.
Takéto protokoly určite nie je možné spochybniť pomocou programu Excel.
Hadoop, podobne ako nástroje Big Data, dokáže pochopiť dáta také, aké sú, tým, že odhaľuje vzory a formuje vzťahy medzi rôznymi oblasťami. Akonáhle majú dáta relatívny vzťah, sú toPripravené na analýzu.
Analytics bude mať dopad na podnikanie v organizácii! Vaša kariéra bude mať veľký úžitok z jej zapojenia do tejto domény veľkých dát.
„ Môžem to urobiť ako Hadoop-er? „
... možno máte na mysli ďalšiu otázku. A správne si myslíme, že Big Data je trh, ktorý je vždy horúci a rovnako dôležitý ako kedykoľvek predtým.
Bez Hadoopu budú mať spoločnosti ťažké vysporiadať sa s Big Data. A bez kvalifikovaných odborníkov, ako ste vy, budú mať spoločnosti s Hadoopom ťažké obdobie.
Existuje správa, ktorá hovorí, že v tejto oblasti je nedostatok talentov. Nedostatok talentov znamená, menej profesionálov, ale vysoký dopyt. A to v globálnom meradle a neobmedzuje sa iba na konkrétnu geografiu.
Chceš čísla?
TO McKinsey Global Institute Štúdia uvádza, že USA budú do roku 2018 čeliť nedostatku asi 190 000 vedcov v oblasti údajov a 1,5 milióna manažérov a analytikov, ktorí dokážu porozumieť a rozhodnúť pomocou Big Data.
Kariérne poradenstvo pre vás? Surfujte, keď je príliv nízky!
Ale ty si obmedzené iba Hadoop ?
Nie naozaj. Existuje množstvo nástrojov na spracovanie veľkých dát a Hadoop je považovaný za jeden z najlepších. Ale nie vždy!
Sú chvíle, kedy Hadoop nie je najvhodnejší. Napríklad, ak ste netechnický človek, ktorý nie je veľmi dobrý v písaní programov MapReduce.
V takýchto prípadoch môžete použiťTALEND, ktorá vám poskytne grafické používateľské rozhranie na vykonávanie všetkých aktivít, ktoré by ste inak robili s MapReduce.
Na písanie jednoduchších kódov Java môžete použiťPRASIATKO.
Ak chcete spúšťať dotazy typu SQL na veľkých dátach, potomÚĽmôže byť použité.
Ak chcete použiť údaje uložené v databáze NoSQL, potomHBasemôže byť použité.
Na vykonávanie analýz v reálnom čase môžete použiťSPARK.
Toto sú Big Data nástroje, ktoré idú ruka v ruke s Hadoopom, napriek tomu vôbec nenahrádzajú Hadoop. Sú to doplnky Hadoop pre veľké dáta.
rozdiel medzi nástavcami a náradím
Okrem toho existuje niekoľko ďalších nástrojov, ako sú SQOOP, FLUME, OOZIE atď., Ktoré je možné integrovať do rámca Hadoop na riešenie rôznych obchodných problémov.
Čo od vás odvetvie očakáva ako od experta na veľké dáta?
Toto odvetvie nevyhnutne potrebuje VEĽKÍ DATA ARCHITEKTI ktorí môžu pre svoje organizácie vytvoriť komplexné riešenie pre veľké dáta. Big Data Architects sú tí, ktorí majú skúsenosti so všetkými vyššie uvedenými nástrojmi.
Tu je svedectvo študenta Edureky kurz:
Stať sa počnúc certifikačným školením spoločnosti Edureka Big Data And Hadoop, ktoré pomáha študentom stať sa odborníkmi v oblasti HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume a Sqoop s využitím prípadov použitia v reálnom čase v oblasti maloobchodu, sociálnych médií, letectva, cestovného ruchu, financií .