Analýza veľkých dát - premena štatistík na konkrétne činy

Rovnako ako sa údajne vytvoril celý vesmír a naša galaxia v dôsledku výbuchu Veľkého tresku, podobne aj vďaka toľkému technologickému pokroku údaje taktiež exponenciálne rástli, čo viedlo k výbuchu veľkých dát. Tieto údaje pochádzajú z rôznych zdrojov, majú rôzne formáty, generujú sa variabilnou rýchlosťou a môžu obsahovať aj nezrovnalosti. Výbuch takýchto údajov teda môžeme jednoducho označiť ako .V tomto blogu vysvetlím nasledujúce témy, aby ste získali prehľad o analýze veľkých dát:

• Prečo analýza veľkých dát?
• Čo je Big Data Analytics?
• Big Data Tools
• Veľké dátové domény
• Prípady použitia veľkých dát
• Trendy v analýze veľkých dát

Prečo analýza veľkých dát?

Predtým, ako skočím ďalej, aby som ti povedal o čom Analytics, dovoľte mi povedať vám, chlapci, prečo je to potrebné. Chcem vám tiež prezradiť, že každý deň vytvoríme asi 2,5 quintillion bajtov dát! Takže teraz, keď sme nahromadili veľké dáta, nemôžeme ich ignorovať, ani ich nechať zostať nečinnými a nechať ich plytvať.

Rôzne organizácie a sektory po celom svete začali s Big Data Analytics prijímať s cieľom získať množstvo výhod. Big Data Analytics poskytuje prehľad, ktoré mnohé spoločnosti premieňajú na činy a dosahujú obrovské zisky i objavy. Vymenujem štyri takéto dôvody spolu so zaujímavými príkladmi.

Prvým dôvodom je,

1. Robiť inteligentnejšiu a efektívnejšiu organizáciu
   Poviem vám o jednej takejto organizácii, newyorskom policajnom oddelení (NYPD). NYPD bravúrne využíva veľké dáta a analytiku na detekciu a identifikáciu trestných činov skôr, ako k nim dôjde. Analyzujú historické vzory zatýkania a potom ich mapujú s udalosťami, ako sú federálne sviatky, výplaty, dopravné toky, dažde atď.To im pomáha pri okamžitej analýze informácií pomocou týchto dátových vzorov. Big Data a analytická stratégiapomáhaidentifikujú miesta zločinu, prostredníctvom ktorých nasadzujú svojich dôstojníkov do týchto miest. Teda tým, že sa dostanú na tieto miesta pred spáchaním trestných činov, zabraňujú vzniku trestnej činnosti.
   
   
2. Optimalizujte obchodné operácie analýzou správania zákazníkov Väčšina organizácií používa analýzu správania zákazníkov na zabezpečenie spokojnosti zákazníkov, a tým na zvýšenie svojej zákazníckej základne. Najlepším príkladom je Amazon. Amazon je jedným z najlepších a najbežnejšie využívaných webových stránok elektronického obchodu so základňou zákazníkov asi 300 miliónov. Používajú údaje o kliknutiach od zákazníkov a historické údaje o nákupoch, aby im poskytli prispôsobené výsledky na prispôsobených webových stránkach. Analyzuje sa kliknutia každého návštevníka na jeho webovú stránku im pomáhajú porozumieť jeho navigačnému správaniu, cestám, ktoré používateľ urobil pri kúpe produktu, cestám, ktoré ich viedli k opusteniu webu a ďalším. Všetky tieto informácie pomáhajú spoločnosti Amazon zlepšovať ich používateľské skúsenosti, a tým zlepšovať ich predaj a marketing.
3. Zníženie nákladov Technológie veľkých dát a technologický pokrok, ako je cloud computing, prinášajú značné nákladové výhody, pokiaľ ide o ukladanie a spracovanie veľkých dát. Poviem vám, ako zdravotníctvo využíva Big Data Analytics na zníženie svojich nákladov. Pacienti v dnešnej dobe používajú nové senzorové zariadenia doma alebo vonku, ktoré odosielajú neustále prúdy dát, ktoré je možné monitorovať a analyzovať v reálnom čase, a pomôcť tak pacientom vyhnúť sa hospitalizácii riadením ich stavu.U hospitalizovaných pacientov môžu lekári pomocou prediktívnej analýzy optimalizovať výsledky a znížiť počet readmisií.Nemocnica Parkland používa analytiku a prediktívne modelovanie na identifikáciu vysokorizikových pacientov a predpovedanie pravdepodobných výsledkov po odoslaní pacientov domov. Výsledkom bolo, že Parkland znížil 30-dňové readmisie u pacientov so srdcovým zlyhaním o 31%, čím ročne ušetrí 500 000 dolárov.

Produkty novej generácie

Vďaka schopnosti merať potreby a spokojnosť zákazníkov pomocou analytiky prichádza sila dať zákazníkom to, čo chcú. Našiel som tu tri také zaujímavé produkty, ktoré tu môžem citovať. najprv , Googlesamoriadiace autočo pri každej jazde robí milióny výpočtov, ktoré pomáhajú autu rozhodnúť sa, kedy a kam odbočiť, či spomaliť alebo zrýchliť a kedy zmeniť jazdný pruh - rovnaké rozhodnutia robí ľudský vodič za volantom.

The druhý jeden jeNetflix, ktorý sa počas dvoch sezón zaviazal k svojej mimoriadne populárnej šou House of Cards, tým, že úplne dôveruje analýze veľkých dát! V minulom roku Netflix zvýšil svoju americkú predplatiteľskú základňu o 10% a pridal takmer 20 miliónov predplatiteľov z celého sveta.

The tretí príklad je jedna z naozaj skvelých nových vecí, s ktorou som sa stretol, je inteligentná podložka na jogu. Pri prvom použití podložky Smart Mat vás prevedie sériou pohybov, aby ste kalibrovali tvar, veľkosť a osobné obmedzenia svojho tela. Tieto osobné informácie o profile sú uložené vo vašej aplikácii Smart Mat a pomôžu Smart Mat zistiť, či ste v rovnováhe alebo v rovnováhe. Postupom času sa bude automaticky vyvíjať na základe aktualizovaných údajov, keď budete zdokonaľovať svoje cvičenie jogy.

Čo je Big Data Analytics?

Teraz formálne definujeme „Čo je Big Data Analytics?“ Analýza veľkých dát skúma veľké a rôzne typy údajov, aby odhalila skryté vzorce, korelácie a ďalšie informácie. Big Data Analytics v zásade spoločnosti vo veľkej miere využívajú na uľahčenie svojho rastu a rozvoja. To predovšetkým spočíva v použití rôznych algoritmov dolovania dát na danom súbore dát, ktoré im potom pomôžu pri lepšom rozhodovaní.

Fázy v analýze veľkých dát

Do procesu analýzy veľkých dát sú zapojené tieto fázy:

Typy analýzy veľkých dát

Existujú štyri typy:

1. Popisná analýza: Využíva agregáciu údajov a dolovanie údajov na získanie vhľadu do minulosti a na odpoveď: „Čo sa stalo?“ Popisná analytika robí presne to, čo z názvu vyplýva, že „popisujú“ alebo sumarizujú nespracované údaje a umožňujú ich interpretáciu ľuďmi.
2. Prediktívna analýza: Využíva štatistické modely a techniky predpovedí na pochopenie budúcnosti a odpoveď: „Čo by sa mohlo stať?“ Prediktívna analýza poskytuje spoločnostiam použiteľné štatistiky založené na dátach. Poskytuje odhady pravdepodobnosti budúceho výsledku.
3. Predpísaná analýza: Využíva optimalizačné a simulačné algoritmy na poradenstvo v otázkach možných výsledkov a odpovedí: „Čo by sme mali robiť?“ Umožňuje používateľom „predpísať“ množstvo rôznych možných akcií a viesť ich k riešeniu. Stručne povedané, táto analýza je zameraná na poskytovanie poradenstva.
4. Diagnostická analýza: Používa sa na určenie, prečo sa niečo stalo v minulosti. Vyznačuje sa technikami, ako je hĺbková analýza, zisťovanie údajov, dolovanie údajov a korelácie. Diagnostická analýza podrobnejšie sleduje údaje, aby pochopila základné príčiny udalostí.

Veľké dáta Náradie

Tu sú niektoré z nasledujúcich nástrojov používaných pre analýzu veľkých dát: Hadoop , , Apache HBase , Apache Spark , , , Apache Hive , Kafka .

Veľké dátové domény

• Zdravotná starostlivosť: Zdravotníctvo využíva analýzu veľkých dát na zníženie nákladov, predpovedanie epidémií, predchádzanie chorobám, ktorým sa dá predísť, a celkovo zlepšenie kvality života. Jeden z najrozšírenejšíchaplikácií veľkých dát v zdravotníctve je elektronický zdravotný záznam (EHR).
• Telekom: Sú jedným z najvýznamnejších prispievateľov k Big Data. Telekomunikačný priemysel zvyšuje kvalitu služieb asmeruje dopravu efektívnejšie. Analýzou záznamov údajov o hovoroch v reálnom čase môžu tieto spoločnosti identifikovať podvodné správanie a okamžite podľa neho konať. Marketingová divízia môže upravovať svoje kampane tak, aby lepšie zacieľovala na svojich zákazníkov a využívala poznatky získané pri vývoji nových produktov a služieb.
• Poistenie: Tieto spoločnosti používajú analýzu veľkých dát na hodnotenie rizík, zisťovanie podvodov, marketing, prehľady zákazníkov, zákaznícke skúsenosti a ďalšie.
• Vláda: Indická vláda použila analýzu veľkých dát na získanie odhadu obchodu v krajine. Na analýzu rozsahu, v akom štáty navzájom obchodujú, použili centrálne faktúry z obratu.
• Financie: Banky a firmy poskytujúce finančné služby používajú analytiku na odlíšenie podvodných interakcií od legitímnych obchodných transakcií. Analytické systémy navrhujú okamžité kroky, napríklad blokovanie nepravidelných transakcií, ktoré zastaví podvod skôr, ako k nemu dôjde, a zvyšuje ziskovosť.
• Automobil: Rolls Royce, ktorý prijal Big Data nasadením stoviek senzorov do svojich motorov a pohonných systémov, ktoré zaznamenávajú všetky drobné podrobnosti o ich činnosti. Zmeny údajov v reálnom čase sa hlásia inžinierom, ktorí rozhodnú o najlepšom postupe, ako je plánovanie údržby alebo dispečing inžinierskych tímov.
• Vzdelanie: Toto je jedno z oblastí, kde sa analýza veľkých údajov absorbuje pomaly a postupne.Namiesto tradičných metód prednášania sa ako technológia výučby zvolila technológia napájaná z veľkých dát, ktorá zlepšila učenie študentov a pomohla učiteľom lepšie sledovať ich výkon.
• Maloobchodné: Maloobchod vrátane elektronického obchodu a obchodov vo veľkej miere využívajú Big Data Analytics na optimalizáciu svojho podnikania. Napríklad Amazon, Walmart atď.

Prípady použitia veľkých dát

Prvý prípad použitia, ktorý som tu vzal, je Starbucks.

Druhý prípad použitia, o ktorý sa s vami chcem podeliť, je spoločnosť Procter & Gamble.

Trendy v analýze veľkých dát

Na obrázku nižšie je znázornené trhové príjmy veľkých dát vmiliárdAmerických dolárov od roku 2011 do 2027.

Tu sú nejaké Fakty a štatistiky spoločnosti Forbes :

Kariérne vyhliadky v analýze veľkých dát:

• Aspekty platu: Priemerný plat analytických pracovných miest je okolo 94 167 dolárov. Data Scientist bol vyhlásený za najlepšiu prácu v Amerike za posledné tri roky, so stredným základným platom 110 000 dolárov a 4 524 voľnými pracovnými miestami. V Indii kleslo percento analytických odborníkov, ktorí riadia platy menej ako 10 INH Lakhov, nižšie percento analytických profesionálov, ktorí zarábajú viac ako 15 INR Lakhov, z 17% v roku 2016 do dvadsaťjeden% v roku 2017 do 22,3% v roku 2018.
• Obrovské pracovné príležitosti: Spoločnosti ako Google, Apple, IBM, Adobe, Qualcomm a mnoho ďalších si najímajú odborníkov na Big Data Analytics.

Zručnosť

Tu sú niektoré z požadovaných zručností, ktoré závisia od úlohy v oblasti analýzy veľkých dát:

• Základné programovanie: Mali by ste mať znalosti aspoň o nejakom univerzálnom programovacom jazyku, ako sú Java a Python.
• Štatistická a kvantitatívna analýza: Mať predstavu o štatistike a kvantitatívnej analýze je ideálne.
• Skladovanie údajov: Vyžadujú sa znalosti databáz SQL a NoSQL.
• Vizualizácia údajov: Je veľmi dôležité vedieť vizualizovať údaje, aby ste porozumeli poznatkom a mohli ich uplatniť v praxi.
• Konkrétne obchodné znalosti: Na optimalizáciu svojich operácií musí byť človek nevyhnutne oboznámený s podnikaním, kde uplatňuje analytiku.
• Výpočtové rámce: Najlepšie by malo byť, keby ste vedeli aspoň o jednom alebo dvoch nástrojoch, ktoré sú potrebné na analýzu veľkých dát.

Teraz, keď poznáte analýzu veľkých dát, pozrite sa na autor: Edureka, dôveryhodná online vzdelávacia spoločnosť so sieťou viac ako 250 000 spokojných študentov rozmiestnených po celom svete. Kurz certifikácie Edadoka Big Data Hadoop Certification Training pomáha študentom stať sa odborníkmi v oblasti HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume a Sqoop pomocou prípadov použitia v reálnom čase v oblasti maloobchodu, sociálnych médií, letectva, cestovného ruchu, financií.

ako sa naučiť vizuálne štúdio

Máte na nás otázku? Uveďte to prosím v sekcii komentárov a my sa vám ozveme.