què és el llenguatge de programació sas
Hadoop Job Tacker
Job Tracker és el dimoni principal tant per a la gestió de recursos de treball com per a la programació / supervisió de treballs. Actua com a enllaç entre Hadoop i la vostra sol·licitud.
El procés de
L’usuari primer copia fitxers al sistema de fitxers distribuït (DFS) abans d’enviar una tasca al client. El client rep aquests fitxers d'entrada. L'usuari rebrà les divisions o blocs en funció dels fitxers d'entrada.El client podriacrear les divisions o blocs en un homener it prefaltres, ja que hi ha certes consideracions al darrere. Si es fa una anàlisi de les dades completes, les dividireu en fraccions. Els fitxers no es copien a través del client, sinó que es copien mitjançant flume o Sqoop o qualsevol client extern.
Una vegada que els fitxers es copien al DFS i el client interactua amb el DFS,les divisions executaran un MapReduce job. El treball s’envia a través d’un seguidor de treballs. El localitzador de treballs és el dimoni mestre que s'executa al mateix node quecarreresaquests múltiples treballs als nodes de dades. Aquestes dades es trobaran en diversos nodes de dades, però és responsabilitat del rastrejador de feina fer-ne càrrec.
Després que un client l’enviïel rastrejador de treballs, el treball s’inicialitza a la cua de treballs i el rastrejador de treballs crea mapes i redueix. Basat en el programa que conté la funció de mapa i la funció de reducció, es crearà la tasca de mapa i es reduirà la tasca. Aquests dos s’executaran a les divisions d’entrada. Nota: Quan els clients la creen, aquesta divisió d'entrada conté totes les dades.
Cada divisió d'entrada inclou un treball de mapa i la sortida de la tasca de mapa entra a la tasca de reducció. El rastrejador de treballs executa la pista amb dades concretes. Hi pot haver diverses rèpliques, de manera que selecciona les dades locals i executa la tasca en aquest rastrejador de tasques en particular. El rastrejador de tasques és el que realment executa la tasca al node de dades. El rastrejador de treballs passarà elinformacióal rastrejador de tasques i el rastrejador de tasques executarà la tasca al node de dades.
Un cop assignada la feina al rastrejador de tasques, hi ha un batec del cor associat a cada rastrejador de tasques i rastrejador de treballs. Envia senyals per esbrinar si els nodes de dades encara estan vius. Els dos sovint estan sincronitzats, ja que hi ha la possibilitat que els nodes s’esvaeixin.
Tens alguna pregunta? Esmenta’ls a la secció de comentaris i et respondrem.
Articles Relacionats: