Naučili sme sa, ako na to Postavte úľ a priadzu na Spark . Teraz si vyskúšajme príklady úľov a priadze na Sparku.
Príklad úľa na Spark
Ukážeme si príklad Hive on Spark. Vytvoríme tabuľku, načítame do nej údaje a vykonáme jednoduchý dotaz. Pri práci s Úľom je potrebné zostrojiť a HiveContext ktorá dedí z SQLContext .
Príkaz: cd iskra-1.1.1
Príkaz: ./bin/spark-shell
ako zvýšiť na moc v Jave
Vytvorte vstupný súbor ‘Vzorka’ vo vašom domovskom adresári, ako je uvedené nižšie (karta je oddelená).
Príkaz: val sqlContext = nový org.apache.spark.sql.hive.HiveContext (sc)
Príkaz: sqlContext.sql („VYTVORIŤ TABUĽKU, AK NEEXISTUJE test (názov STRING, poradie INT) ROW FORMAT DELIMITED FIELDS TERMINATED by‘ ‘LINES TERMINAT BY‘
„“)
Príkaz: sqlContext.sql („LOAD DATA LOCAL INPATH‘ / home / edureka / sample ‘INTO TABLE test”)
Príkaz: sqlContext.sql („VYBERTE * Z testu, KDE sú hodnotenia<5”).collect().foreach(println)
Príklad priadze na Spark
Spustíme príklad SparkPi na Yarn. Yarn on Spark môžeme nasadiť v dvoch režimoch: klastrový režim a klientský režim. V režime klastra priadze beží ovládač Spark vo vnútri procesu hlavnej aplikácie, ktorý spravuje Yarn v klastri, a klient môže po spustení aplikácie zmiznúť. V režime klient-priadza sa ovládač spúšťa v klientskom procese a hlavná aplikácia sa používa iba na vyžiadanie zdrojov z priadze.
reťazce v Jave sú nemenné
Príkaz: cd iskra-1.1.1
Príkaz: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master yarn –deploy-mode cluster –class org.apache.spark.examples. SparkPi - počet exekútorov 1 - pamäť operátora 2 g - pamäť exekútora 1 g - jadrá exekútora 1 príklady / target / scala-2.10 / spark-examples-1.1.1-hadoop2.2.0.jar
Po vykonaní vyššie uvedeného príkazu počkajte, kým sa dostanete ÚSPEŠNÉ správa.
Prechádzať localhost: 8088 / klaster a kliknite na aplikáciu Spark.
Kliknite na guľatiny .
Kliknite na stdout skontrolovať výstup.
miešanie údajov tabla nefunguje
Pre nasadenie Yarn na Spark v klientskom režime stačí urobiť –Deploy-mode ako 'zákazník'. Teraz viete, ako na Spark postaviť úľ a priadzu. Robili sme na nich aj praktické úlohy.
Máte na nás otázku? Uveďte ich prosím v sekcii komentárov a my sa vám ozveme.
Súvisiace príspevky
Apache Spark s Hadoop - prečo je to dôležité?
Úľ a priadza sú elektrizované jiskrou