V tomto blogu sa pozrime, ako vytvoriť Spark pre konkrétnu verziu Hadoop.
Naučíme sa tiež, ako postaviť Spark pomocou HIVE a YARN.
návod na otvorené štúdio talend pdf
Vzhľadom na to, že máte Hadoop, jdk, mvn a choď predinštalovaný a predkonfigurovaný vo vašom systéme.
Otvorené Prehliadač Mozilla a na stiahnutie Iskra pomocou odkazu nižšie.
https://edureka.wistia.com/medias/k14eamzaza/
Otvorte terminál.
Príkaz: tar -xvf Downloads / spark-1.1.1.tgz
Príkaz: ls
Otvorte adresár spark-1.1.1.
Môžete otvoriť pom.xml spis. Tento súbor poskytuje informácie o všetkých súboroch závislosti potrebuješ.
Neupravujte ho, aby ste sa vyhli problémom.
Príkaz: cd spark-1.1.1 /
Príkaz: sudo gedit sbt / sbt-launch-lib.bash
Súbor upravte podľa obrázka nižšie, uložte ho a zavrite.
Zmenšujeme pamäť, aby sme sa vyhli problémom s haldy objektov, ako je uvedené v nasledujúcom snímku.
Teraz spustite nasledujúci príkaz v termináli a vytvorte iskru pre Hadoop 2.2.0 s HIVE a YARN.
Príkaz: ./sbt/sbt -P priadza -P úľ -Phadoop-2,2 -D hadoop.verzia = 2,2,0 -D skipTests zhromaždenie
Poznámka: Moja verzia Hadoop je 2.2.0, môžete ju zmeniť podľa svojej verzie Hadoop.
Pre ostatné verzie Hadoop
# Apache Hadoop 2.0.5-alfa
-Dhadoop.version = 2.0.5-alfa
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0,23 -Dhadoop.verzia = 0.23.7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2,4 -Dhadoop.version = 2.4.0
Zostavenie a zabalenie bude chvíľu trvať. Počkajte, kým sa dokončí.
Dve nádoby spark-assembly-1.1.1-hadoop2.2.0.jar a spark-examples-1.1.1-hadoop2.2.0.jar sa vytvorí.
Cesta z spark-assembly-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Cesta z spark-examples-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Gratulujeme, úspešne ste vytvorili Spark for Hive & Yarn.
Máte na nás otázku? Uveďte ich prosím v sekcii komentárov a my sa vám ozveme.
Súvisiace príspevky:
Apache Spark s Hadoop - prečo je to dôležité?