Inštalácia Apache Hive na Ubuntu

V tomto blogu sa dozvieme o inštalácii Apache Hive na Ubuntu a konceptoch okolo Hadoop Hive, Hive sql, databázy Hive, servera Hive a inštalácie Hive.

Apache Hive je jedným z najdôležitejších rámcov v ekosystéme Hadoop, vďaka čomu je zase veľmi dôležitý . V tomto blogu sa dozvieme o inštalácii Apache Hive a Hive na Ubuntu.

Čo je Apache Hive?

Apache Hive je infraštruktúra dátového skladu, ktorá uľahčuje dopytovanie a správu veľkých súborov dát, ktoré sa nachádzajú v distribuovanom úložnom systéme. Je postavený na vrchole Hadoop a vyvinutý spoločnosťou Facebook. Úľ poskytuje spôsob dotazovania údajov pomocou dotazovacieho jazyka podobného na SQL, ktorý sa volá HiveQL (Hive query Language).





Interne prekladá prekladač HiveQL výkazy do MapReduce pracovných miest, ktoré sa potom odovzdajú Rámec Hadoop na exekúciu.

Rozdiel medzi Hive a SQL:

Úľ vyzerá veľmi podobne ako tradičná databáza s SQL prístup. Avšak preto Úľ založené na Hadoop a MapReduce existuje niekoľko kľúčových rozdielov:



Pretože Hadoop je určený na dlhé sekvenčné skenovanie a Úľ založené na Hadoop , môžete očakávať, že dotazy budú mať veľmi vysokú latenciu. Znamená to, že Úľ by nebolo vhodné pre tie aplikácie, ktoré vyžadujú veľmi rýchle časy odozvy, ako môžete očakávať u tradičnej databázy RDBMS.

Nakoniec Úľ je založené na čítaní, a preto nie je vhodné na spracovanie transakcií, ktoré zvyčajne zahŕňa vysoké percento operácií zápisu.

príklady tried a objektov pythonu

Inštalácia úľa na Ubuntu:

Pri inštalácii postupujte podľa nasledujúcich pokynov Apache Hive na Ubuntu:



Krok 1: Stiahnuť ▼ Úľový decht.

Príkaz: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz

Krok 2: Extrahujte decht spis.

Príkaz: tar -xzf apache-úľ-2.1.0-bin.tar.gz

Príkaz: je

Spread File Hive - Inštalácia Hive - Edureka

Krok 3: Upravte „.Bashrc“ súbor na aktualizáciu premenných prostredia pre používateľa.

Príkaz: sudo gedit .bashrc

Na koniec súboru pridajte toto:

# Nastaviť HIVE_HOME

exportovať HIVE_HOME = / home / edureka / apache-hive-2.1.0-bin
export PATH = $ PATH: /home/edureka/apache-hive-2.1.0-bin/bin

Uistite sa tiež, že je nastavená aj cesta hadoop.

Spustením pod príkazom vykonajte zmeny v rovnakom termináli.

Príkaz: zdroj .bashrc

Krok 4: Skontrolujte verziu úľa.

výkonová funkcia v jave pre celé čísla

Krok 5: Vytvoriť Úľ adresáre v rámci HDFS . Adresár „Sklad“ je miesto na uloženie tabuľky alebo údajov týkajúcich sa úľa.

Príkaz:

  • hdfs dfs -mkdir -p / užívateľ / úľ / sklad
  • hdfs dfs -mkdir / tmp

Krok 6: Nastavte povolenia na čítanie a zápis pre tabuľku.

Príkaz:

V tomto príkaze dávame skupine oprávnenie na zápis:

  • hdfs dfs -chmod g + w / užívateľ / úľ / sklad
  • hdfs dfs -chmod g + w / tmp

Krok 7: Nastaviť Hadoop cesta dovnútra h ive-env.sh

Príkaz: cd apache-úľ-2.1.0-bin /

Príkaz: gedit conf / hive-env.sh

Nastavte parametre, ako je znázornené na nasledujúcej snímke.

Krok 8: Upraviť hive-site.xml

Príkaz: gedit conf / hive-site.xml

javax.jdo.option.ConnectionURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = skutočný reťazec pripojenia JDBC pre metastázu JDBC. Ak chcete na šifrovanie / autentifikáciu pripojenia použiť SSL, v adrese URL pripojenia zadajte príznak SSL špecifický pre databázu. Napríklad jdbc: postgresql: // myhost / db? Ssl = true pre databázu postgres. hive.metastore.warehouse.dir / user / hive / warehouse umiestnenie predvolenej databázy pre sklad hive.metastore.uris Thrift URI pre vzdialený metastore. Používa sa klientom metastore na pripojenie k vzdialenému metastore. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Názov triedy ovládača pre metastázu JDBC javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory trieda implementujúca vytrvalosť jdo

Krok 9: Štandardne používa Hive Derby databázy. Inicializujte databázu Derby.

Príkaz: bin / schematool -initSchema -dbType derby

Krok 10 :Spustiť Úľ.

Príkaz: úľ

Krok 11 :Spustite niekoľko dotazov v úli.

Príkaz: zobraziť databázy

Príkaz: vytvoriť zamestnanca tabuľky (reťazec id, reťazec mena, odd reťazec) formát riadku oddeľovacie polia ukončené znakom „“ uložené ako textový súbor

Príkaz: ukáž tabuľky

ako nainštalovať hadoop v linuxe

Krok 12: Odísť z Úľ:

Príkaz: východ

Teraz, keď ste s inštaláciou Hive hotoví, ďalším krokom je vyskúšanie príkazov Hive na prostredí Hive. Preto náš ďalší blog „ Najlepšie príkazy úľa s príkladmi v HQL ”Vám pomôže zvládnuť príkazy Úľa.

Súvisiace príspevky:

Ako spustiť úlové skripty?

Príkazy úľa

Úvod do Apache Hive