Hadoop, ako všetci vieme, je plagátom veľkých dát. Ako softvérový rámec schopný spracovať slonové podiely dát sa spoločnosť Hadoop dostala na vrchol zoznamu Buzzwords CIO.
Nebývalý nárast zásobníka v pamäti však priniesol ekosystém veľkých dát novú alternatívu pre analytiku. Spôsob analýzy MapReduce je nahradený novým prístupom, ktorý umožňuje analýzu v rámci Hadoop aj mimo neho. Apache Spark je novou novou tvárou analýzy veľkých dát.
Milovníci veľkých dát certifikovali Apache Spark ako najhorúcejší výpočtový stroj pre veľké dáta na svete. MapReduce a Java rýchlo vysúvajú z ich pozícií a trendy v práci odrážajú túto zmenu. Podľa prieskumu TypeSafe v súčasnosti 71% svetových vývojárov Java vyhodnocuje alebo skúma okolo Sparku a 35% z nich to už začalo používať. Odborníci na Spark sú v súčasnosti žiadaní a v nasledujúcich týždňoch sa očakáva, že počet pracovných príležitostí súvisiacich so Sparkom prejde iba cez strechu.
Čím to je, že program Apache Spark sa objavuje na vrchole všetkých zoznamov úloh CIO?
Tu sú niektoré zo zaujímavých funkcií aplikácie Apache Spark:
- Integrácia Hadoop - Spark dokáže pracovať so súbormi uloženými v HDFS.
- Interaktívna schránka spoločnosti Spark - Spark je napísaný v jazyku Scala a má vlastnú verziu tlmočníka Scala.
- Spark’s Analytic Suite - Spark je dodávaný s nástrojmi na interaktívnu analýzu dotazov, rozsiahle spracovanie a analýzu grafov a analýzu v reálnom čase.
- Pružné distribuované datové sady (RDD) - RDD sú distribuované objekty, ktoré je možné ukladať do medzipamäte v klastri výpočtových uzlov. Sú to primárne dátové objekty používané v Sparku.
- Distribuovaní operátori - Okrem MapReduce existuje veľa ďalších operátorov, ktoré je možné na RDD použiť.
Organizácie ako NASA, Yahoo a Adobe sa zaviazali k programu Spark. Toto musí povedať John Tripier, vedúci aliancií a ekosystémov v spoločnosti Databricks, „Osvojenie Apache Spark malými i veľkými podnikmi rastie neuveriteľnou rýchlosťou v širokom spektre priemyselných odvetví a dopyt po vývojároch s certifikovanou odbornosťou je rýchly. nasledujúci oblek “. Ak máte zázemie v Hadoope, nikdy nebol lepší čas učiť sa Spark.
ako ukončiť metódu v jave
Edureka špeciálne pripravila kurz Apache Spark & Scala, ktorý spoločne vytvorili odborníci z praxe. Vyskúšajte náš kurz, aby ste získali diferencovaný priamy e-learningový zážitok spolu s odvetvovými projektmi. Nové dávky čoskoro začnú, takže sa pozrite na kurz tu: .
Máte na nás otázku? Uveďte to prosím v sekcii komentárov a my sa vám ozveme.
Súvisiace príspevky: