Apache Falcon: Nová platforma na správu údajov pre ekosystém Hadoop



Apache Falcon je nová platforma na správu údajov pre ekosystém Hadoop, ktorá zjednodušuje integrované spracovanie krmiva a správu krmiva v klastroch hadoop. Naučte sa, ako to nastaviť.

Apache Falcon je rámec pre správu životného cyklu údajov v klastroch Hadoop. Vytvára vzťah medzi rôznymi údajmi a prvkami spracovania v prostredí Hadoop a poskytuje tiež služby správy krmív, ako je uchovávanie krmiva, replikácie naprieč klastrami, archivácia atď.





Najprv si povieme, ako nastaviť Apache Falcon. Spustením nižšie uvedeného príkazu stiahnete úložisko git Falconu:

Príkaz: git klon https://git-wip-us.apache.org/repos/asf/falcon.git sokol



git-command-apache-falcon

Ak chcete sokola spustiť, musíte ho najskôr postaviť.

ako implementovať hashmapu

Príkaz: cd sokol



Príkaz: export MAVEN_OPTS = ”- Xmx1024m -XX: MaxPermSize = 256m -noverify” && mvn clean install -DskipTests

Príkaz: mvn clean assembly: zhromaždenie -DskipTesty -DskipITs

Keď si postavíte sokola, nájdete v priečinku / falcon / distro / target / sokol balíček.

Príkazy na vytvorenie sokola vyzerajú veľmi ľahko, ale skôr, ako sa zobrazí správa Build Success, budete čeliť mnohým problémom. Pri jeho zostavovaní pre Hadoop-2.2.0 som čelil mnohým problémom

Aby ste teda preskočili bolesť pri stavaní Falconu, ponúkam vám úspešne zostavený balíček sokolov, ktorý si môžete stiahnuť pomocou nasledujúceho odkazu.

https://edureka.wistia.com/medias/xw5cfzqmho/download?media_file_id=124642564

Rozbaľte súbor a získate adresár falcon-0.10.

Príkaz: rozbaliť sokol-0.10-SNAPSHOT.zip

Nastavte premenné prostredia flacon v súbore .bashrc.

Príkaz: sudo gedit .bashrc

Príkaz: zdroj .bashrc

Môžete ísť do adresára falcon a pozrieť sa na súbory a adresáre v ňom.

Príkaz: cd falcon-0.10-SNAPSHOT /

Príkaz: je

Skripty sokola nájdete v priečinku bin.

Spustením príkazu nižšie spustite Falcon.

Príkaz: ./bin/falcon-start

Teraz uvidíte spusteného nového démona FalconServer.

Príkaz: jps

Príkaz: ./bin/falcon admin -verzia

Otvorte prehliadač a prejdite na localhost: 15000 . Môžete vidieť webové používateľské rozhranie Falcon.

Máte na nás otázku? Uveďte ich v sekcii komentárov a my sa vám ozveme.

Súvisiace príspevky:

Vŕtanie na vrtáku Apache