com fer una matriu d'objectes
Apache HBase és una base de dades distribuïda i no relacionada de codi obert basada en Bigtable de Google i escrita en Java. Proporciona funcions similars a Bigtable a la part superior d’Hadoop i HDFS (Hadoop Distributed Filesystem), és a dir, proporciona una manera tolerant a falles d’emmagatzemar grans quantitats de dades disperses, que són habituals en molts casos d’ús de dades grans. HBase s’utilitza per accedir a lectura i escriptura en temps real a Big Data.
L’arquitectura HBase Storage comprèn nombrosos components. Vegem les funcions d’aquests components i sabem com s’escriuen les dades.
Fitxers H:
HFiles forma el nivell baix de l’arquitectura de HBase. Els fitxers HF són fitxers d’emmagatzematge creats per emmagatzemar les dades d’HBase de manera ràpida i eficaç.
HMaster:
L'HMaster és responsable d'assignar les regions a cada HRegionServer quan s'inicia HBase. S’encarrega de gestionar tot el relacionat amb les files, les taules i les seves activitats de coordinació. L'Hmaster també disposa dels detalls de les metadades.
Components de HBase:
HBase té els components següents:
xef vs titella contra sal
- Taula: comprèn les regions
- Regió: rang de files emmagatzemades juntes
- Servidors de regions: serveix una o més regions
- Servidor principal: Daemon és responsable de gestionar el clúster HBase
La base HBase emmagatzema dades directament a l’HDFS i depèn en gran mesura de l’alta disponibilitat i tolerància a fallades de HDFS.
Arquitectura d'emmagatzematge HBase:
El flux general és que un client contacta primer amb el Zookeeper per trobar una clau de fila determinada. Ho fa recuperant el nom del servidor de Zookeeper. Amb aquesta informació, ara pot consultar aquell servidor per obtenir el servidor que conté la metatable. Tots dos detalls es guarden a la memòria cau i només es busquen una vegada. Per últim, pot consultar el metaservei i recuperar el servidor que té la fila que busca el client.
Un cop sap a quina regió resideix la fila, també emmagatzema a la memòria cau aquesta informació i es posa en contacte directament amb HRegionServer. Així, amb el pas del temps, el client té informació completa d’on treure files sense necessitat de tornar a consultar el metaservei. Quan s’obre el HRegion, configura una instància de Store per a cada HColumnFamily per a cada taula. Les dades s’escriuen quan el Client envia una sol·licitud a HRegionServer que proporciona els detalls a la instància de HRegion coincident. El primer pas és que hem de decidir si les dades s’han d’escriure primer al ‘Write-Ahead-Log’ (WAL) representat per la classe HLog. La decisió es basa en el senyalador establert pel client.
Una vegada que les dades s’escriuen al WAL, es col·loquen al MemStore. Al mateix temps, es comprova si el Memstore està ple i, en aquest cas, es demana un flush al disc. A continuació, les dades s’escriuen al fitxer HF.
Tens alguna pregunta? Esmenteu-los a la secció de comentaris i us respondrem.
el que és excessiu en l’aprenentatge automàtic
Articles Relacionats
Insights on HBase Architecture