ako nájsť palindróm v jave
Hadoop Job Tacker
Job Tracker je hlavný démon pre správu zdrojov úloh a plánovanie / sledovanie úloh. Funguje ako spojovací prostriedok medzi spoločnosťou Hadoop a vašou aplikáciou.
Proces
Používateľ najskôr skopíruje súbory do systému distribuovaných súborov (DFS) a až potom zadá úlohu klientovi. Klient potom dostane tieto vstupné súbory. Používateľ dostane rozdelenia alebo bloky na základe vstupných súborov.Klient moholvytvoriť rozdelenie alebo bloky v človekuner to prefsú za tým určité úvahy. Ak sa vykoná analýza úplných údajov, údaje sa rozdelia na časti. Súbory sa nekopírujú cez klienta, ale kopírujú sa pomocou aplikácie flume alebo Sqoop alebo iného externého klienta.
Po skopírovaní súborov do DFS a interakcii klienta s DFSrozdelenie spustí MapReduce job. Úloha sa odovzdáva prostredníctvom sledovača úloh. Sledovač úloh je hlavný démon, ktorý beží na rovnakom uzle ako tentobežítýchto viacerých úloh na dátových uzloch. Tieto údaje budú ležať na rôznych dátových uzloch, ale je za to zodpovedný sledovač úloh.
Potom, čo sa klient prihlásisledovač úloh, úloha sa inicializuje vo fronte úloh a sledovač úloh vytvorí mapy a zmenší ich. Na základe programu, ktorý je obsiahnutý vo funkcii mapovania a redukcie, vytvorí mapovú úlohu a zmenší úlohu. Tieto dva budú bežať na vstupných rozdeleniach. Poznámka: Keď je toto vstupné rozdelenie vytvorené klientmi, obsahuje všetky údaje.
Každé vstupné rozdelenie má v sebe spustenú mapovú úlohu a výstup mapovej úlohy ide do redukčnej úlohy. Sledovač úloh spustí stopu na konkrétnych dátach. Môže to byť viacnásobné, takže vyberie miestne údaje a spustí úlohu na konkrétnom sledovači úloh. Sledovač úloh je ten, ktorý skutočne spúšťa úlohu v dátovom uzle. Sledovač úloh prejdeinformáciedo sledovača úloh a sledovač úloh spustí úlohu v dátovom uzle.
Po priradení úlohy k sledovaču úloh je s každým sledovačom úloh a sledovačom úloh spojený srdcový tep. Posiela signály na zistenie, či sú dátové uzly stále nažive. Tieto dva programy sú často synchronizované, pretože existuje možnosť, že uzly vyblednú.
prevod typu v c ++
Máte na nás otázku? Uveďte ich v sekcii komentárov a my sa vám ozveme.
Súvisiace príspevky:
vytvoriť parameter v table