En aquest bloc, vegem com construir Spark per a una versió específica de Hadoop.
També aprendrem a construir Spark amb HIVE i YARN.
com utilitzar sprites css
Tenint en compte que ho tens Hadoop, jdk, mvn i vaja preinstal·lats i preconfigurats al vostre sistema.
Obert Navegador Mozilla i Descarregar Espurna mitjançant l'enllaç següent.
https://edureka.wistia.com/medias/k14eamzaza/
Terminal obert.
Ordre: descàrregues tar -xvf / spark-1.1.1.tgz
Ordre: ls
Obriu el directori spark-1.1.1.
Podeu obrir pom.xml dossier. Aquest fitxer us proporciona informació sobre tots els fitxers dependències Necessites.
No l’editeu per evitar problemes.
Ordre: cd spark-1.1.1 /
Ordre: sudo gedit sbt / sbt-launch-lib.bash
Editeu el fitxer com a instantània següent, deseu-lo i tanqueu-lo.
Estem reduint la memòria per evitar problemes d’espai d’emmagatzematge d’objectes tal com s’esmenta a la instantània següent.
Ara, executeu l'ordre següent al terminal per crear spark per Hadoop 2.2.0 amb HIVE i YARN.
Ordre: ./sbt/sbt -P filats -P rusc -Phadoop-2.2 -D hadoop.versió = 2.2.0 -D skipTests muntatge
Nota: La meva versió d'Hadoop és 2.2.0, podeu canviar-la segons la vostra versió d'Hadoop.
Per a altres versions de Hadoop
# Apache Hadoop 2.0.5-alfa
-Dhadoop.version = 2.0.5-alfa
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0,23 -Dhadoop.versió = 0,23,7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
La compilació i l’envasament trigaran una mica en un temps. Espereu fins que finalitzi.
Dos pots spark-assembly-1.1.1-hadoop2.2.0.jar i spark-examples-1.1.1-hadoop2.2.0.jar es crea.
Camí de spark-assembly-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Camí de spark-examples-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Enhorabona, heu creat Spark for Hive & Yarn amb èxit.
Tens alguna pregunta? Esmenteu-los a la secció de comentaris i us respondrem.
Articles Relacionats:
Apache Spark amb Hadoop: per què és important?