Quan era més jove, m’encantava la sèrie de pel·lícules de Star Wars. Em va encantar tant que tenia aquests cassets de vídeo de tots i cadascun d’ells. Els veia una vegada i una altra. Després va arribar el moment dels reproductors de DVD i vaig haver de tornar a reproduir aquestes pel·lícules en DVD. No vaig tenir cap mena de dubte en tornar a comprar tot el conjunt en DVD, ja que volia experimentar la nova tecnologia i continuar gaudint també de les meves pel·lícules preferides. Les coses van anar molt bé fins que va aparèixer una altra nova tecnologia, el Blu-ray. Havent comprat les pel·lícules dues vegades, no tenia ganes de tornar-les a comprar de nou. Durant algun temps no vaig fer cap esforç per ‘actualitzar-me’, pensant que ho faria bé sense aquesta tecnologia. I ho vaig fer bé. De tota manera, no va afectar la meva vida. Però vaig poder veure un canvi de tendència i no podia compartir les meves pel·lícules amb els meus amics, com feien entre si. Realment em vaig sentir exclòs.
Finalment vaig sortir i vaig aconseguir la pel·lícula en Blu-ray. No ho recordo perquè m’encanta la pel·lícula, sinó pel fet que la qualitat del vídeo era impressionant. I, per acabar-ho d’adobar, vaig aconseguir tot el conjunt de pel·lícules en un sol disc Blu-ray.
La necessitat o l’afany de mantenir-nos actualitzats és més important quan es tracta de la nostra professió, ja que els riscos són més grans. S’ha convertit en essencial per estar al dia del vostre joc.
4 raons pràctiques per aprendre Hadoop 2.0:
Per inevitable que sigui, estar al dia en la nostra professió s’ha convertit en una part important de les nostres vides. Per descoratjador que sembli, no cal alarmar-se, ja que les tecnologies no canvien tan ràpidament ni dràsticament. Però les xerrades i la informació sobre aquestes tecnologies i les coses que podem fer amb elles estan guanyant visibilitat. A continuació, es detallen alguns dels motius pels quals us heu d’actualitzar:
# 1: No et deixis agafar
No prestar atenció a l’última actualització d’una tecnologia pot fer que sembli un cérvol atrapat en un far. No és exactament una imatge radiant de les vostres capacitats professionals. Estar al dia us farà respectar pels vostres companys per les vostres competències professionals. És possible que no sigui necessari implementar totes les novetats que apreneu, però és imprescindible ser conscient de les actualitzacions.
Per exemple, quan es parla sobre Hadoop, podeu fer saber als vostres companys que l'Hadoop 2.5.0 té millores d'autenticació quan s'utilitza un servidor intermediari HTTP. I també a la mateixa versió d’Hadoop, hi ha una disposició per escriure directament a Graphite.
Es fa imprescindible estar al dia de les darreres actualitzacions quan les organitzacions pensin en migrar a Hadoop. I “conèixer” pot marcar una gran diferència en la vostra carrera.
# 2: Tenir un avantatge competitiu
Es respecten els professionals qualificats en els seus camps. I mantenir-se al dia és la millor manera d’estar al dia. La vostra necessitat d’estar al dia reflecteix la vostra passió per la vostra feina. En desenvolupar experiència en la vostra feina i la vostra indústria, obtindreu la confiança i el respecte de les persones que us envolten. Des d’una perspectiva de lideratge, això és inestimable.
Fins i tot si la vostra organització encara treballa amb Hadoop 1.0, conèixer totes les funcions més recents d’Hadoop 2 us mantindrà en bon camí, ja que és relativament nova i definitivament millor. Ser el primer a aprendre això us donaria un avantatge sobre els vostres companys.
# 3: noves oportunitats
És una trista realitat que el nostre paper actual continua canviant. Amb el temps, s’incorporen responsabilitats i oportunitats per fer noves tasques. Si esteu al dia de les tendències del sector, esteu en la millor posició per aprofitar aquestes oportunitats.
Empreses com Macy's, Lockheed Martin, California Creative Solutions, Capital One, CSpring, CACI International Inc., Oracle, Yahoo !, American Express, BlueHawk, Aetna, Lawrence Livermore National Laboratory i molts més busquen persones expertes en les últimes funcions de Hadoop 2, com YARN.
# 4: Prengui millors decisions
La informació addicional us permetrà prendre decisions informades i prendre millors decisions. Us ajudarà a reconèixer oportunitats i a afegir valor a l’estratègia de la vostra organització.
Hadoop 2 té funcions que milloren la velocitat i redueixen el cost. Suggerir opcions per millorar el rendiment i augmentar la velocitat pot sens dubte augmentar la productivitat de l’organització. Aquí hi ha algunes funcions d’Hadoop 2 que beneficiaran l’organització i suggerir-les que també augmentarà la vostra carrera professional.
Suport per executar Hadoop a Microsoft Windows
Distribució simplificada de binaris MapReduce mitjançant HDFS a YACH Distributed Cache.
Assistència millorada per a noves aplicacions a YARN amb el servidor d’història d’aplicacions i el servidor de cronologia d’aplicacions
Suport HTTPS complet en HDFS
Integració de Kerberos per a la botiga de cronologia de YARN.
Suport per a la jerarquia d’emmagatzematge heterogeni en HDFS.
Memòria cau en memòria per a dades HDFS amb administració i gestió centralitzades.
Distribució simplificada de binaris MapReduce mitjançant HDFS a YACH Distributed Cache.
Hi ha més que motius pràctics per estar al dia. També hi ha motius tècnics. Hadoop té nombroses funcions que són avantatjoses per a les organitzacions. Si els analitzeu en profunditat, obtindreu una idea clara de quins avantatges són.
Quina és l’última actualització d’Hadoop?
Tots els productes passen per diverses etapes de llançaments i presenten diverses versions d’ell mateix. Hadoop no és una excepció i ha creat Hadoop 2.0. La fundació Apache ha presentat versions posteriors d’Hadoop com Hadoop 2.1.0, Hadoop 2.4.0 i ha arribat a Hadoop 2.5.1, que és l’última versió publicada el setembre de 2014.
Per què es va llançar Hadoop 2?
Amb la nova versió s'inclouen funcions afegides i errors corregits. Per tant, cada vegada que utilitzeu una versió particular d’Hadoop i penseu que es pot afegir una determinada característica o que cal corregir alguns errors, feu-ho saber als nois d’Apache Foundation. Aquests nois, al seu torn, hi treballen i us donen un millor producte a la propera versió.
Hadoop 2: no només un número
Hadoop 2 no és només l’última versió d’Hadoop. En general, és una arquitectura de segona generació. Arun Murthy, fundador i arquitecte del distribuïdor Hadoop Hortonworks, insisteix que la distinció és important perquè la quantitat de reenginyeria necessària per traslladar Hadoop més enllà del processament per lots i al món de l’anàlisi en temps real ha estat substancial.
Analitzem la diferència entre Hadoop 2.0 i el seu predecessor Hadoop 1.0. Viouslybviament, la versió llançada posteriorment serà superior a la versió anterior. A continuació es detallen les quatre principals millores d’Hadoop 2.0 respecte a Hadoop 1.x:
Federació HDFS: escalabilitat horitzontal de NameNode
NameNode Alta disponibilitat: NameNode ja no és un punt de fallada únic
YARN: capacitat de processar terabytes i petabytes de dades disponibles en HDFS mitjançant aplicacions que no són MapReduce com MPI, GIRAPH
Administrador de recursos: divideix les dues principals funcionalitats del JobTracker sobrecarregat (gestió de recursos i programació / supervisió de treballs) en dos dimonis diferents: un gestor de recursos global i ApplicationMaster per aplicació
Hi ha funcions addicionals com Capacity Scheduler (Activa el suport multi-arrendament a Hadoop), Instantània de dades, Suport per a Windows, Accés NFS, que permet una major adopció d'Hadoop a la indústria per resoldre problemes de Big Data
com crear sessió a Java
Hadoop 2.X contra Hadoop 1.X
Fem una petita comparació i veurem de quines maneres Hadoop 2.0 és millor i diferent de l’Hadoop 1.0
Per què es prefereix Hadoop 2 sobre Hadoop 1.0?
Hadoop 2.0 ofereix millores de rendiment que beneficien les tecnologies relacionades a l’ecosistema Hadoop. A més de les característiques innovadores d’HDFS i l’arquitectura de segona generació (YARN), hi ha encara més motius per preferir Hadoop 2 a Hadoop 1.0:
Hadoop 2 ja no té restriccions d'idioma. És a dir, ara una àmplia gamma de professionals poden utilitzar Hadoop.
Amb Hadoop 2, es superen obstacles com l'escassetat de programadors MapReduce.
2 vegades més ràpid que Hadoop 1.0
2 vegades el ROI amb maquinari existent.
Amb YARN, la interfície de programació d’aplicacions és molt més oberta i flexible.
Hadoop 2 amplia les possibilitats d’utilitzar Hadoop en projectes Big Data.
Amb Hadoop 2, els desenvolupadors ara poden realitzar una gran varietat de tasques de reducció de dades, més enllà de l’abast anterior de processament per lots de Hadoop.
Ofereix noves oportunitats per als gestors d’informació i soluciona les deficiències de les versions anteriors.
Aquesta nova versió té la característica única d’executar diverses càrregues de treball al mateix clúster Hadoop.
Hadoop ja no es limita a una característica. La seva aplicació ara s’estén més enllà de HDFS i MapReduce.
Avantatges clau de YARN
Som conscients que YARN és una arquitectura de segona generació, a veure què ho fa tan fantàstic.
Escala
Nous models i serveis de programació
Ús millorat del clúster
Agilitat
Molt més que Java
I molts més
Demanda d’habilitats d’Hadoop 2
Ara les organitzacions llancen o experimenten amb Hadoop 2. En conseqüència, hi ha una necessitat de professionals qualificats en Hadoop 2. Moltes organitzacions ja han començat a buscar internament que la gent treballi amb Hadoop. Hi ha indicis clars que YARN augmenta i, finalment, substituirà la demanda d’habilitat MapReduce.
Aquí teniu algunes opinions sobre la demanda actual i projectada d’habilitats Hadoop:
Segons analistes de Gartner, Hadoop 2 és un desenvolupament vital, ja que les grans empreses de tot el món han trobat que Hadoop canvia el joc en la seva gestió de Big Data.
Segons Eric Kavanagh, del grup Bloor, Hadoop 2.0 ha guanyat força entre els treballadors de la informació que volen discutir el Big Data.
L’adopció d’Hadoop 2.0 continua augmentant i ara entra en fase de maduresa.
Les organitzacions són conscients dels avantatges de YARN i n’estan encantades.
Aquí teniu una instantània de les ofertes de feina per a Hadoop 2.0 / YARN a Indeed.com
Qui passa a Hadoop 2 o ja ho ha fet?
Yahoo:
Yahoo! , el líder en tot allò que Hadoop ha implementat YARN (0.23.x). Segons Murthy, el clúster de 35.000 nodes de Yahoo processa ara 130-150 feines al dia en comparació amb els 50-60 anteriors a YARN.
Quan parla del rendiment estel·lar, Murthy cita: 'Quan tens dos vegades més de 35.000 a 40.000 nodes, és fenomenal'. També va afegir: 'És una història bastant convincent explicar a un CIO que si acabeu d'actualitzar el vostre programari d'Hadoop 1 a Hadoop 2, veureu dues vegades millores de rendiment en els vostres treballs'.
com sortir a Java
eBay:
eBay té un dels clústers Hadoop més grans de la indústria, on les dades es troben en petabytes. També han migrat els seus clústers a Hadoop 2.
Conclusió:
Com que Hadoop 2 és madur i és més fàcil d’implementar, fins i tot convenç als escèptics i cada vegada hi ha més organitzacions que migren a Hadoop 2.0. Hi ha motius vàlids per evitar les versions 1.x. Però amb Hadoop 2, fins i tot els incrédules ho consideren, ja que es pot utilitzar per a una àmplia gamma d’usos. Aprenent Hadoop 2.0 i implementant-lo per realitzar càlculs en Big Data, obrirà les portes a una carrera tècnicament avançada i econòmicament gratificant.
Tens alguna pregunta? Esmenteu-los a la secció de comentaris i us respondrem.
Articles Relacionats: