El rusc i el fil s’electrificen amb Spark



En aquest bloc d’Apache Spark i big data, vegem com construir Spark per a una versió específica d’Hadoop. També aprendrem a construir Spark for YARN and HIVE.

En aquest bloc, vegem com construir Spark per a una versió específica de Hadoop.

També aprendrem a construir Spark amb HIVE i YARN.





KM

com utilitzar sprites css

Tenint en compte que ho tens Hadoop, jdk, mvn i vaja preinstal·lats i preconfigurats al vostre sistema.



configure-Building-Yarn-and-Hive-on-Spark

Obert Navegador Mozilla i Descarregar Espurna mitjançant l'enllaç següent.

https://edureka.wistia.com/medias/k14eamzaza/



Terminal obert.

Ordre: descàrregues tar -xvf / spark-1.1.1.tgz

Ordre: ls

Obriu el directori spark-1.1.1.

Podeu obrir pom.xml dossier. Aquest fitxer us proporciona informació sobre tots els fitxers dependències Necessites.

No l’editeu per evitar problemes.

Ordre: cd spark-1.1.1 /

Ordre: sudo gedit sbt / sbt-launch-lib.bash

Editeu el fitxer com a instantània següent, deseu-lo i tanqueu-lo.

Estem reduint la memòria per evitar problemes d’espai d’emmagatzematge d’objectes tal com s’esmenta a la instantània següent.

Ara, executeu l'ordre següent al terminal per crear spark per Hadoop 2.2.0 amb HIVE i YARN.

Ordre: ./sbt/sbt -P filats -P rusc -Phadoop-2.2 -D hadoop.versió = 2.2.0 -D skipTests muntatge

Nota: La meva versió d'Hadoop és 2.2.0, podeu canviar-la segons la vostra versió d'Hadoop.

Per a altres versions de Hadoop

# Apache Hadoop 2.0.5-alfa

-Dhadoop.version = 2.0.5-alfa

#Cloudera CDH 4.2.0

-Dhadoop.version = 2.0.0-cdh4.2.0

# Apache Hadoop 0.23.x

-Phadoop-0,23 -Dhadoop.versió = 0,23,7

# Apache Hadoop 2.3.X

-Phadoop-2.3 -Dhadoop.version = 2.3.0

# Apache Hadoop 2.4.X

-Phadoop-2.4 -Dhadoop.version = 2.4.0

La compilació i l’envasament trigaran una mica en un temps. Espereu fins que finalitzi.

Dos pots spark-assembly-1.1.1-hadoop2.2.0.jar i spark-examples-1.1.1-hadoop2.2.0.jar es crea.

Camí de spark-assembly-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar

Camí de spark-examples-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar

Enhorabona, heu creat Spark for Hive & Yarn amb èxit.

Tens alguna pregunta? Esmenteu-los a la secció de comentaris i us respondrem.

Articles Relacionats:

Apache Spark amb Hadoop: per què és important?