Responsabilitats d'administrador de Hadoop



Aquest bloc sobre les responsabilitats de l’administrador d’Hadoop tracta de l’abast de l’administració d’Hadoop. Les feines d’administrador d’Hadoop són molt demandades, així que apreneu Hadoop ara.

Amb l’augment de l’adopció d’Hadoop a les solucions de TI empresarials tradicionals i l’augment del nombre d’implementacions d’Hadoop a l’entorn de producció, la necessitat que els experts d’Operacions i Administracions d’Hadoop s’encarreguin dels grans clústers d’Hadoop s’està convertint en vital.

Responsabilitats de l'administrador de Hadoop:

  • Responsable de la implementació i administració contínua de la infraestructura Hadoop.
  • Alinear-se amb l'equip d'enginyeria de sistemes per proposar i desplegar nous entorns de maquinari i programari necessaris per a Hadoop i ampliar els entorns existents.
  • Treballar amb equips de lliurament de dades per configurar nous usuaris d’Hadoop. Aquesta tasca inclou la configuració d’usuaris de Linux, la configuració de principis de Kerberos i la prova de l’accés HDFS, Hive, Pig i MapReduce per als nous usuaris.
  • Manteniment de clústers, creació i eliminació de nodes mitjançant eines com Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage i altres eines.
  • Sintonització del rendiment de clústers Hadoop i rutines Hadoop MapReduce.
  • Screen Hadoop: actuacions i planificació de la capacitat del clúster
  • Superviseu la connectivitat i la seguretat del clúster Hadoop
  • Gestioneu i reviseu els fitxers de registre Hadoop.
  • Gestió i supervisió del sistema de fitxers.
  • Assistència i manteniment HDFS.
  • Uniu-vos de manera diligent amb els equips d’infraestructures, xarxes, bases de dades, aplicacions i business intelligence per garantir una alta qualitat i disponibilitat de les dades.
  • Col·laborar amb equips d'aplicacions per instal·lar actualitzacions, pedaços, actualitzacions de versions del sistema operatiu i Hadoop quan sigui necessari.
  • Punt de contacte per a l'escalada del proveïdor

Hadoop Administration és una carrera gratificant i lucrativa amb moltes oportunitats de creixement. Si us interessen les responsabilitats laborals enumerades anteriorment, és hora de perfeccionar-vos amb l’Administració d’Hadoop i iniciar la carrera professional d’Administrador d’Hadoop.





com es mostra la matriu en php

Become-a-Hadoop-Administrator

Responsabilitats de DBA realitzades per un administrador de Hadoop:

  • Modelització, disseny i implementació de dades basats en estàndards reconeguts.
  • Instal·lació i configuració de programari.
  • Còpia de seguretat i recuperació de bases de dades.
  • Connectivitat i seguretat de bases de dades.
  • Supervisió i afinació del rendiment.
  • Gestió de l’espai en disc.
  • Pedaços i actualitzacions de programari.
  • Automatitzar tasques manuals.

Responsabilitats de desenvolupament de DWH realitzades per l'administrador de Hadoop:

Les responsabilitats laborals dels administradors de DWH inclouen desenvolupar, provar i supervisar treballs per lots per a les tasques següents:



  • Assegureu la integritat referencial.
  • Realitzeu l'execució de la clau primària.
  • Realitzeu reformulacions de dades.
  • Carregueu grans volums de dades a temps.

Ara que ja coneixeu les responsabilitats laborals d’un administrador d’Hadoop, fem una ullada a les habilitats necessàries per ser-ne un.

Habilitats necessàries per convertir-se en administrador d'Hadoop:

  • Experiència operativa general, com ara bones habilitats de resolució de problemes, comprensió de la capacitat del sistema, colls d'ampolla, conceptes bàsics de memòria, CPU, SO, emmagatzematge i xarxes.
  • Hadoop, com HBase, Hive, Pig, Mahout, etc.
  • Els requisits més essencials són: Haurien de ser capaços de desplegar el clúster Hadoop, afegir i eliminar nodes, fer un seguiment dels treballs, supervisar les parts crítiques del clúster, configurar la disponibilitat elevada del node de nom, programar-lo i configurar-lo i fer còpies de seguretat.
  • Bon coneixement de Linux ja que Hadoop funciona amb Linux.
  • Coneixement de les eines de desplegament i gestió de configuracions de codi obert com Puppet o Chef i Linux.
  • El coneixement de la solució de problemes de les aplicacions bàsiques de Java és un avantatge.

Edureka ha comissariat especialment un curs sobre Administració Hadoop. Feu clic al botó següent per començar a administrar Hadoop i conèixer com el curs us ajuda a convertir-vos en administrador d’Hadoop.



Articles Relacionats:

Avantatges professionals a través de la certificació Hadoop.

Què tan essencial és la formació Hadoop?

com es crea un paquet a Java