Si ja sou de la Indústria informàtica , heu de ser conscients que Dades massives és la xerrada del dia. Tant si es tracta de noves empreses emergents amb models de negoci innovadors, com si els vostres col·legues passen a unir-se a aquestes startups, per alguna raó, pastures més verdes sembla ser el Dades massives indústria.
Si us pregunteu per què, us recomano que llegiu això fins al final, ja que pot ser un bloc autoexplorador que us porti al que esteu destinat.
Per tant, per què tot aixòHYPEal voltant de DADES MASSIVES?
És només un altre domini que aterrarà refugiats de tots els altres dominis de manera temporal? O serà aquí per al llarg recorregut?
Si suposés una suposició, diria que no només serà aquí per a llarg termini, sinó que la indústria del Big Data serà l’epicentre de l’avenç tecnològic.
Perquè tot està a puntDADES!
Igual que el Solpujades delEsticonjuntsalOest, l'ús continu de dispositius informàtics / no informàtics donarà lloc a un esclat de dades no gestionables.
Quan aquestes dades creuen el llindar de ser manipulades per Excel o qualsevol sistema de gestió de bases de dades, les anomenem DADES MASSIVES .
Penseu, quin va ser l’últim producte que vau comprar a Amazon? Quin pot ser el següent producte que podeu comprar en funció de l'activitat passada? Les respostes a aquestes preguntes s’emmagatzemen a Big Data.
Hi ha una tendència creixent darrere d’un producte? O hi ha una tendència a la baixa? Comprarà un client 'Mitges' quan compri 'Sabates'? Són preguntes sobre la resolució de problemes empresarials.
I aquestes preguntes poden ser fàcils va respondre mitjançant l'ús de Big Data Analytics .
Al cap i a la fi, per a què serveixen les dades quan no ho feu? analitzant això?
També ho és el Big Datacompletament aproximadamentAnalítica?No del tot, però Analytics és l’últim premi.
java com utilitzar-ho
Altres grans fluxos a Big Data sónEmmagatzematgeiGestió.
Aquí és on podeu col·laborar com a professional. Podeu assumir el paper de:
- Enginyer de Big Data
- Arquitecte de solucions Big Data
I assegureu-vos que les dades massives que es generen estan sempre disponibles i que es puguin utilitzar per fer anàlisis en un moment posterior. Per tant, això ens porta a la qüestió i hellip
On s’emmagatzema el Big Data?
Es pot emmagatzemar en un fitxerFitxer Excel? Es pot emmagatzemar en un fitxersistema de bases de dades relacionals?
Dimonis no!
Si hagués pogut ser, hauria estat així!
I que se'ls anomeni una cosa diferent tots junts. Potser alguna cosa aixíExcel-Datao béRDBMS-Dades: D
I això ens portaria de nou PAS 1 : - Per què no es pot gestionar el Big Data mitjançant Excel? PerquèEl Big Data és massa calent per gestionar-lo a Excel. I fins i tot altres sistemes de gestió de bases de dades per cert.
Quina és l’alternativa?
Per al maneig de Big Data, ho tenim HADOOP . És possible que també en tingueu coneixement. Però, us podeu preguntar, com funciona exactament?
Per començar, HADOOP és un producte deFundació APACHE. Apache és una organització sense ànim de lucre nord-americana que dóna suport al desenvolupament de programari de codi obert.
Hadoop es defineix com un marc de programació de codi obert basat en Java que admet el processament i l’emmagatzematge de conjunts de dades extremadament grans en un entorn informàtic distribuït.
Què pot fer Hadoop, però Excel no?
Processar i comprendre dades no estructurades.Les dades estructurades en format tabular o d’una altra manera es poden tractar fàcilment. Excel ho pot fer, així com qualsevol altre SGBDR.
Però quan la llegibilitat es redueix i les dades no estan estructurades, és aquí el Big Dataeines com Hadooppuntuació. Un exemple de dades no estructurades és syslog . A continuació es mostra una imatge de mostra.
convertir l'objecte a matriu php
Aquests registres definitivament no es poden consultar amb Excel.
Hadoop, com les eines de Big Data, pot entendre les dades tal com són, desenterrant patrons i formant relacions entre diversos camps. I un cop les dades tenen un toc relacional, ho sónA punt per a analítiques.
L’anàlisi és el que farà que un negoci tingui impacte en una organització. La vostra carrera es beneficiarà en gran mesura de la seva participació en aquest domini del Big Data.
' Puc fer-ho com a Hadoop-er? '
... pot ser la següent pregunta que tingueu en compte. I amb raó de pensar, el Big Data és un mercat tan calent com sempre i tan important com sempre.
Sense Hadoop, les empreses tindran dificultats per tractar el Big Data. I sense professionals qualificats com vosaltres, les empreses tindran dificultats per tractar Hadoop.
ús de l'escàner a Java
Hi ha un informe que diu que hi ha un dèficit de talent en aquest domini. El dèficit de talents significa menys professionals, però molta demanda. I això és a escala mundial i no es limita a una geografia particular.
Voleu números?
A McKinsey Global Institute l’estudi afirma que els Estats Units s’enfrontaran a una escassetat d’uns 190.000 científics en dades i 1,5 milions de gestors i analistes que puguin entendre i prendre decisions mitjançant Big Data el 2018.
Us assessorem professionalment? Navega quan les marees són baixes!
Però tu ets tu? restringit només Hadoop ?
No realment. Hi ha diverses eines per processar Big Data i Hadoop és considerat un dels millors. Però, no sempre!
Hi ha vegades que Hadoop no és el més adequat. Per exemple, si sou una persona no tècnica que no és molt bona en escriure programes MapReduce.
En aquests casos, podeu utilitzar-loTALEND, que us proporciona una interfície gràfica d'usuari per fer tot el que hauríeu fet amb MapReduce.
Per escriure codis Java més senzills, podeu utilitzar-loPORC.
Si voleu executar consultes semblants a SQL a Big Data, llavorsRUSCpot ser utilitzat.
Si voleu utilitzar les dades emmagatzemades en una base de dades NoSQL, llavorsBase HBpot ser utilitzat.
Per fer anàlisis en temps real, podeu utilitzar-loESPURNA.
Aquestes són eines de Big Data, que van de la mà de Hadoop, però no substitueixen en absolut Hadoop. Són complements Hadoop per a Big Data.
A més, hi ha un parell d’eines més com SQOOP, FLUME, OOZIE, etc. que es poden integrar amb el marc Hadoop per resoldre diversos problemes empresarials.
Què espera la indústria de vosaltres com a expert en Big Data?
La indústria en té una enorme necessitat ARQUITECTES DE DADES GRANS qui pot crear una solució de big data de punta a punta per a les seves organitzacions. Els Big Data Architects són aquells que tenen experiència en totes les eines abans esmentades.
Aquí hi ha un testimoni d’un alumne d’Edureka curs:
Converteix-te en un a partir de la formació de certificació Big Data And Hadoop d’Edureka que ajuda els estudiants a convertir-se en experts en HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume i Sqoop, utilitzant casos d’ús en temps real en dominis Retail, Social Media, Aviació, Turisme, Finances .