Apache Hive és un dels marcs més importants de l’ecosistema Hadoop, que al seu torn el fa molt crucial . En aquest bloc, aprendrem sobre la instal·lació d’Apache Hive i Hive a Ubuntu.
Què és Apache Hive?
Rusc Apache és una infraestructura de magatzem de dades que facilita la consulta i la gestió de grans conjunts de dades que resideixen en un sistema d'emmagatzematge distribuït. Està construït sobre Hadoop i desenvolupat per Facebook. Rusc proporciona una manera de consultar les dades mitjançant un llenguatge de consulta similar a SQL HiveQL (llenguatge de consulta Hive).
Internament, un compilador tradueix HiveQL declaracions a MapReduce treballs, que després s’envien a Marc Hadoop per a l'execució.
Diferència entre Hive i SQL:
Rusc té un aspecte molt similar a la base de dades tradicional amb SQL accés. No obstant això, perquè Rusc està basat en Hadoop i MapReduce operacions, hi ha diverses diferències clau:
As Hadoop està pensat per a exploracions seqüencials i llargues Rusc està basat en Hadoop , esperareu que les consultes tinguin una latència molt alta. Vol dir això Rusc no seria adequat per a aquelles aplicacions que necessiten temps de resposta molt ràpids, com podeu esperar amb una base de dades RDBMS tradicional.
Finalment, Rusc es basa en la lectura i, per tant, no és adequat per al processament de transaccions que normalment impliquen un alt percentatge d’operacions d’escriptura.
què és una aplicació a Salesforce
Instal·lació de Hive a Ubuntu:
Seguiu els passos següents per instal·lar-los Rusc Apache a Ubuntu:
Pas 1: descarregar Quitrà de rusc.
Comandament: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
Pas 2: Extraieu el fitxer quitrà dossier.
Comandament: tar -xzf apache-hive-2.1.0-bin.tar.gz
Comandament: ls
Pas 3: Editeu el fitxer '.Bashrc' per actualitzar les variables d'entorn per a l'usuari.
Comandament: sudo gedit .bashrc
Afegiu el següent al final del fitxer:
# Estableix HIVE_HOME
exporta HIVE_HOME = / home / edureka / apache-hive-2.1.0-bin
exporta PATH = $ PATH: /home/edureka/apache-hive-2.1.0-bin/bin
A més, assegureu-vos que el camí hadoop també estigui definit.
Executeu l'ordre següent perquè els canvis funcionin al mateix terminal.
Comandament: font .bashrc
Pas 4: Comproveu la versió del rusc.
c ++ salta a la línia
Pas 5: Crear Rusc directoris dins HDFS . El directori 'Magatzem' és la ubicació per emmagatzemar la taula o les dades relacionades amb el rusc.
Comandament:
- hdfs dfs -mkdir -p / usuari / rusc / magatzem
- hdfs dfs -mkdir / tmp
Pas 6: Definiu els permisos de lectura / escriptura de la taula.
Comandament:
En aquesta ordre, donem permís d’escriptura al grup:
- hdfs dfs -chmod g + w / usuari / rusc / magatzem
- hdfs dfs -chmod g + w / tmp
Pas 7: Conjunt Hadoop camí a h ive-env.sh
Comandament: cd apache-hive-2.1.0-bin /
Comandament: gedit conf / hive-env.sh
Establiu els paràmetres tal com es mostra a la instantània següent.
Pas 8: Edita hive-site.xml
Comandament: gedit conf / hive-site.xml
javax.jdo.option.ConnectionURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = true JDBC connect string per a un metastore JDBC. Per utilitzar SSL per xifrar / autenticar la connexió, proporcioneu el senyalador SSL específic de la base de dades a l'URL de connexió. Per exemple, jdbc: postgresql: // myhost / db? Ssl = true per a la base de dades postgres. hive.metastore.warehouse.dir / user / hive / magatzem ubicació de la base de dades per defecte per al magatzem hive.metastore.uris Thrift URI per al metastore remot. Utilitzat pel client metastore per connectar-se a metastore remot. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Nom de la classe de controlador per a un metastore JDBC javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory que implementa la jdo persistent
Pas 9: Per defecte, fa servir Hive Derby base de dades. Inicialitzeu la base de dades Derby.
Comandament: bin / schematool -initSchema -dbType derby
Pas 10 :Llançament Rusc.
anul·lació i sobrecàrrega a Java
Comandament: rusc
Pas 11 :Executeu poques consultes a l'intèrpret d'ordres Hive.
Comandament: mostrar bases de dades
Comandament: crear empleat de taula (cadena d'identificació, cadena de nom, cadena dept) camps delimitats en format de fila acabats per '' emmagatzemat com a fitxer de text
Comandament: mostrar taules
Pas 12: Per sortir de Rusc:
Comandament: sortir
Ara que heu acabat la instal·lació de Hive, el següent pas endavant és provar les ordres de Hive a l'intèrpret d'ordres de Hive. Per tant, el nostre proper bloc ' Comandaments principals de rusc amb exemples en HQL ”Us ajudarà a dominar les ordres de Hive.
Articles Relacionats: