Hem après a fer-ho Construeix Hive and Yarn a Spark . Ara provem exemples de Hive and Yarn a Spark.
Exemple de rusc a Spark
Executarem un exemple d’Hive on Spark. Crearem una taula, carregarem les dades en aquesta taula i executarem una consulta senzilla. Quan es treballa amb Hive, s’ha de construir un HiveContext que hereta de SQLContext .
Comandament: cd spark-1.1.1
Comandament: ./bin/spark-shell
Creeu un fitxer d'entrada 'Mostra' al directori inicial tal i com es mostra a continuació (separada per pestanyes).
Comandament: val sqlContext = nou org.apache.spark.sql.hive.HiveContext (sc)
Comandament: sqlContext.sql (prova 'CREA TAULA SI NO EXISTEIX (nom STRING, rang INT) FORMAT DE FILA CAMPS DELIMITATS TERMINATS PER' 'LÍNIES TERMINADES PER
' ')
Comandament: sqlContext.sql ('CARREGAR DADES LOCAL INPATH '/ home / edureka / sample' INTO TABLE test')
Comandament: sqlContext.sql ('SELECCIONA * DE la prova WHERE classificació<5”).collect().foreach(println)
Exemple de fil a Spark
Executarem l'exemple de SparkPi a Yarn. Podem desplegar Yarn on Spark en dos modes: mode clúster i mode client. En mode de clúster de filats, el controlador Spark s'executa dins d'un procés mestre d'aplicacions que gestiona Yarn al clúster i el client pot desaparèixer després d'iniciar l'aplicació. En mode client-fil, el controlador s'executa en el procés client i el mestre d'aplicacions només s'utilitza per sol·licitar recursos de Yarn.
Comandament: cd spark-1.1.1
Comandament: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master yarn –deploy-mode cluster –class org.apache.spark.examples. SparkPi –num-executors 1 –driver-memory 2g –executor-memory 1g –executor-cores 1 examples / target / scala-2.10 / spark-examples-1.1.1-hadoop2.2.0.jar
Després d'executar l'ordre anterior, espereu una estona fins que obtingueu ÈXIT missatge.
Navega localhost: 8088 / cluster i feu clic a l'aplicació Spark.
Fer clic a registres .
Fer clic a stdout per comprovar la sortida.
system.exit (0) es pot utilitzar per finalitzar el programa.
Per desplegar Yarn on Spark en mode client, només cal que feu –Deploy-mode com 'Client'. Ara ja sabeu com construir Hive and Yarn a Spark. També els vam fer pràctiques.
Tens alguna pregunta? Esmenteu-los a la secció de comentaris i us respondrem.
Articles Relacionats
Apache Spark amb Hadoop: per què és important?
Rusc i fils s’electrificen amb Spark