Apache Hive je jedným z najdôležitejších rámcov v ekosystéme Hadoop, vďaka čomu je zase veľmi dôležitý . V tomto blogu sa dozvieme o inštalácii Apache Hive a Hive na Ubuntu.
Čo je Apache Hive?
Apache Hive je infraštruktúra dátového skladu, ktorá uľahčuje dopytovanie a správu veľkých súborov dát, ktoré sa nachádzajú v distribuovanom úložnom systéme. Je postavený na vrchole Hadoop a vyvinutý spoločnosťou Facebook. Úľ poskytuje spôsob dotazovania údajov pomocou dotazovacieho jazyka podobného na SQL, ktorý sa volá HiveQL (Hive query Language).
Interne prekladá prekladač HiveQL výkazy do MapReduce pracovných miest, ktoré sa potom odovzdajú Rámec Hadoop na exekúciu.
Rozdiel medzi Hive a SQL:
Úľ vyzerá veľmi podobne ako tradičná databáza s SQL prístup. Avšak preto Úľ založené na Hadoop a MapReduce existuje niekoľko kľúčových rozdielov:
Pretože Hadoop je určený na dlhé sekvenčné skenovanie a Úľ založené na Hadoop , môžete očakávať, že dotazy budú mať veľmi vysokú latenciu. Znamená to, že Úľ by nebolo vhodné pre tie aplikácie, ktoré vyžadujú veľmi rýchle časy odozvy, ako môžete očakávať u tradičnej databázy RDBMS.
Nakoniec Úľ je založené na čítaní, a preto nie je vhodné na spracovanie transakcií, ktoré zvyčajne zahŕňa vysoké percento operácií zápisu.
príklady tried a objektov pythonu
Inštalácia úľa na Ubuntu:
Pri inštalácii postupujte podľa nasledujúcich pokynov Apache Hive na Ubuntu:
Krok 1: Stiahnuť ▼ Úľový decht.
Príkaz: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
Krok 2: Extrahujte decht spis.
Príkaz: tar -xzf apache-úľ-2.1.0-bin.tar.gz
Príkaz: je
Krok 3: Upravte „.Bashrc“ súbor na aktualizáciu premenných prostredia pre používateľa.
Príkaz: sudo gedit .bashrc
Na koniec súboru pridajte toto:
# Nastaviť HIVE_HOME
exportovať HIVE_HOME = / home / edureka / apache-hive-2.1.0-bin
export PATH = $ PATH: /home/edureka/apache-hive-2.1.0-bin/bin
Uistite sa tiež, že je nastavená aj cesta hadoop.
Spustením pod príkazom vykonajte zmeny v rovnakom termináli.
Príkaz: zdroj .bashrc
Krok 4: Skontrolujte verziu úľa.
výkonová funkcia v jave pre celé čísla
Krok 5: Vytvoriť Úľ adresáre v rámci HDFS . Adresár „Sklad“ je miesto na uloženie tabuľky alebo údajov týkajúcich sa úľa.
Príkaz:
- hdfs dfs -mkdir -p / užívateľ / úľ / sklad
- hdfs dfs -mkdir / tmp
Krok 6: Nastavte povolenia na čítanie a zápis pre tabuľku.
Príkaz:
V tomto príkaze dávame skupine oprávnenie na zápis:
- hdfs dfs -chmod g + w / užívateľ / úľ / sklad
- hdfs dfs -chmod g + w / tmp
Krok 7: Nastaviť Hadoop cesta dovnútra h ive-env.sh
Príkaz: cd apache-úľ-2.1.0-bin /
Príkaz: gedit conf / hive-env.sh
Nastavte parametre, ako je znázornené na nasledujúcej snímke.
Krok 8: Upraviť hive-site.xml
Príkaz: gedit conf / hive-site.xml
javax.jdo.option.ConnectionURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = skutočný reťazec pripojenia JDBC pre metastázu JDBC. Ak chcete na šifrovanie / autentifikáciu pripojenia použiť SSL, v adrese URL pripojenia zadajte príznak SSL špecifický pre databázu. Napríklad jdbc: postgresql: // myhost / db? Ssl = true pre databázu postgres. hive.metastore.warehouse.dir / user / hive / warehouse umiestnenie predvolenej databázy pre sklad hive.metastore.uris Thrift URI pre vzdialený metastore. Používa sa klientom metastore na pripojenie k vzdialenému metastore. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Názov triedy ovládača pre metastázu JDBC javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory trieda implementujúca vytrvalosť jdo
Krok 9: Štandardne používa Hive Derby databázy. Inicializujte databázu Derby.
Príkaz: bin / schematool -initSchema -dbType derby
Krok 10 :Spustiť Úľ.
Príkaz: úľ
Krok 11 :Spustite niekoľko dotazov v úli.
Príkaz: zobraziť databázy
Príkaz: vytvoriť zamestnanca tabuľky (reťazec id, reťazec mena, odd reťazec) formát riadku oddeľovacie polia ukončené znakom „“ uložené ako textový súbor
Príkaz: ukáž tabuľky
ako nainštalovať hadoop v linuxe
Krok 12: Odísť z Úľ:
Príkaz: východ
Teraz, keď ste s inštaláciou Hive hotoví, ďalším krokom je vyskúšanie príkazov Hive na prostredí Hive. Preto náš ďalší blog „ Najlepšie príkazy úľa s príkladmi v HQL ”Vám pomôže zvládnuť príkazy Úľa.
Súvisiace príspevky: