Una de les característiques més atractives del framework Hadoop és la seva utilització de maquinari bàsic . Tot i això, això provoca bloquejos freqüents de DataNode en un clúster Hadoop. Una altra característica sorprenent de Hadoop Framework és el facilitat d’escala d’acord amb el ràpid creixement del volum de dades . Per aquestes dues raons, una de les tasques més habituals d’un administrador d’Hadoop és fer-ho comissió (Afegeix) i desmantellament (Eliminar) nodes de dades en un clúster Hadoop.
com utilitzar un iterador a Java
Posada en funcionament i desactivació de nodes en un clúster Hadoop:
El diagrama superior mostra un procés pas a pas per donar de baixa un DataNode al clúster.
La primera tasca és actualitzar excloure ‘Fitxers per a tots dos HDFS (hdfs-site.xml) i MapReduce (mapred-site.xml).
El fitxer 'exclou':
- per al buscador de llocs de treball conté la llista d'amfitrions que el responsable de treball hauria d'excloure. Si el valor està buit, no s'exclouen cap amfitrió.
- per a Namenode conté una llista d'amfitrions als quals no se'ls permet connectar-se al Namenode.
Aquí teniu la configuració de mostra del fitxer d’exclusió a hdfs-site.xml i mapred-site.xml:
hdfs-site.xml
dfs.hosts.exclude
/ home / hadoop / exclou
cert
mapred-site.xml
exclou mapred.hosts.
/ home / hadoop / exclou
cert
Nota: Cal especificar la ruta completa dels fitxers.
De la mateixa manera, tenim els fitxers 'inclou':
- per al buscador de llocs de treball que conté la llista de nodes que es poden connectar al JobTracker. Si el valor està buit, es permeten tots els amfitrions.
- per a Namenode que conté una llista d'amfitrions que tenen permís per connectar-se al Namenode. Si el valor està buit, es permeten tots els amfitrions.
El ‘ dfsadmin 'I' mradmin ’Actualitza la configuració amb els canvis per fer-los conscients del nou node.
El ‘ esclaus ’Al servidor principal conté la llista de tots els nodes de dades. Això també s'ha d'actualitzar per assegurar qualsevol problema en el futur inici / aturada del dimoni hadoop.
El pas important en el procés de comissió de nodes de dades és executar el Cluster Balancer.
> equilibri hadoop-llindar 40
Equilibrador intenta proporcionar un saldo a un llindar determinat entre els nodes de dades mitjançant la còpia de dades de blocs de nodes antics a nodes recentment posats en servei.
Així doncs, així es pot fer - Posada en marxa i Desmantellament Nodes en un clúster Hadoop.
Tens alguna pregunta? Esmenta’l a la secció de comentaris i et respondrem.
Enllaços relacionats: