V tomto príspevku budem hovoriť o Inštalácia Apache Pig na Linuxe . Začnime základnou definíciou prasiat Apache Pig a Pig Latin.
Apache Pig je nástroj / platforma na vytváranie a vykonávanie programu Map Reduce používaného s programom Hadoop. Je to nástroj / platforma na analýzu veľkých súborov údajov. Môžete povedať, že Apache Pig je abstrakciou nad MapReduce. Programátori, ktorí nie sú takí dobrí v Jave, sa zvykli trápiť s prácou na Hadoope, hlavne pri písaní úloh MapReduce.Je to teda dôležitá téma, ktorú je potrebné sa naučiť a zvládnuť .Apache Pig má svoj vlastný jazyk Prasacia latinka čo je prínosom pre chudobných programátorov.
Základný úvod do latinčiny Pig vám pomôže lepšie pochopiť:
Volá sa procedurálny jazyk na vysokej úrovni používaný v platforme Apache Pig Prasacia latinka . Apache Pig je vybavený jazykom „Pig Latin“, ktorý je relatívne jednoduchším jazykom, ktorý môže bežať nad distribuovanými množinami údajov v systéme súborov Hadoop File System (HDFS). V Apache Pig musíte písať skripty Pig pomocou jazyka Pig Latin, ktorý sa prevedie na úlohu MapReduce, keď spustíte skript Pig. Apache Pig má rôzne operátory, ktoré sa používajú na vykonávanie úloh, ako je čítanie, zápis, spracovanie údajov. Ak sa chcete dozvedieť viac o operátoroch Apache Pig, choďte na náš blog “ Operátory v Apache Pig: Časť 1 - Relačné operátory “.
rámec riadený údajmi v príklade webového ovládača selénu
Teraz, keď máte základné znalosti o Apache Pig, začnime s inštaláciou Apache Pig v systéme Linux.
Inštalácia Apache Pig v systéme Linux:
Ďalej sú uvedené kroky pre inštaláciu Apache Pig v systéme Linux (ubuntu / centos / windows pomocou Linux VM). Používam Ubuntu 16.04 v nižšie uvedenom nastavení.
Krok 1: Stiahnuť ▼ Prasa decht spis.
Príkaz: wget http://www-us.apache.org/dist/pig/pig-0.16.0/pig-0.16.0.tar.gz
Krok 2: Extrahujte decht súbor pomocou príkazu tar. V príkaze pod tarom X znamená extrahovať archívny súbor, s znamená filtrovať archív cez gzip, f znamená názov súboru archívu.
Príkaz: decht -xzf prasa-0.16.0.tar.gz
Príkaz: je
Krok 3: Upravte „ .bashrc ”Na aktualizáciu premenných prostredia Apache Pig. Nastavujeme to tak, aby sme mali prístup k prasaťu z ľubovoľného adresára. Na vykonávanie príkazov prasaťa nemusíme ísť do priečinka pig. Taktiež, ak iná aplikácia hľadá Pig, spozná z tohto súboru cestu Apache Pig.
Príkaz: sudo gedit .bashrc
Na koniec súboru pridajte toto:
ako nastaviť java classpath v príkazovom riadku linux -
# Nastaviť PIG_HOME
exportovať PIG_HOME = / home / edureka / pig-0.16.0
export PATH = $ PATH: /home/edureka/pig-0.16.0/bin
exportovať PIG_CLASSPATH = $ HADOOP_CONF_DIR
Uistite sa tiež, že je nastavená aj cesta hadoop.
Spustením príkazu dole vykonajte aktualizáciu zmien v rovnakom termináli.
Príkaz: zdroj .bashrc
Krok 4: Skontrolujte verziu ošípaných. Toto je na otestovanie, či bol Apache Pig správne nainštalovaný. V prípade, že verziu Apache Pig nezískate, musíte si overiť, či ste vyššie uvedené kroky vykonali správne.
Príkaz: prasa -verzia
Krok 5 :Skontrolujte pomocníka ošípanej a zobrazte všetky možnosti príkazov ošípanej.
Príkaz: prasa -pomoc
Krok 6 :Spustite prasa a spustite gruntovú škrupinu. Grunt shell sa používa na spustenie skriptov Pig Latin.
Príkaz: sviňa
Ak sa pozriete na vyššie uvedený obrázok správne, Apache Pig má dva režimy, v ktorých môže bežať, štandardne zvolí režim MapReduce. Ďalším režimom, v ktorom môžete spustiť program Pig, je režim Local. Poviem vám o tom viac.
Režimy vykonávania v Apache Pig:
- Režim MapReduce - Toto je predvolený režim, ktorý vyžaduje prístup ku klastru Hadoop a inštalácii HDFS. Pretože sa jedná o predvolený režim, nie je potrebné určovať príznak -x (môžete vykonať sviňa ALEBO prasa -x mapreduce ). Vstup a výstup v tomto režime sú k dispozícii na HDFS.
- Miestny režim - S prístupom k jedinému zariadeniu sa všetky súbory inštalujú a spúšťajú pomocou lokálneho hostiteľa a súborového systému. Tu je lokálny režim určený pomocou príznaku -x ( prasa -x miestny ). Vstup a výstup v tomto režime sú prítomné v lokálnom súborovom systéme.
Príkaz: prasa -x miestny
Nasledujúcim videom si môžete pozrieť inštaláciu Apache Pig v systéme Linux:
Inštalácia Apache Pig Inštalácia ošípaných v systéme Linux Edureka
Teraz, keď ste dokončili inštaláciu Apache Pig v systéme Linux, ďalším krokom vpred je vyskúšať niektorých relačných operátorov Pig v prostredí Pig Grunt. Preto ďalší blog „ Operátory v Apache Pig: Časť 1 - Relačné operátory ”Vám pomôže zvládnuť operátorov ošípaných.
rozdiel medzi triedou a rozhraním v jave
Teraz, keď máte nainštalovaný Apache Pig na Linuxe, pozrite sa na autor: Edureka, dôveryhodná online vzdelávacia spoločnosť so sieťou viac ako 250 000 spokojných študentov rozmiestnených po celom svete. Kurz certifikácie Edadoka Big Data Hadoop Certification Training pomáha študentom stať sa odborníkmi v oblasti HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume a Sqoop pomocou prípadov použitia v reálnom čase v oblasti maloobchodu, sociálnych médií, letectva, cestovného ruchu, financií.
Máte na nás otázku? Uveďte to prosím v sekcii komentárov a my sa vám ozveme.