Apache Kafka: el que necessiteu per a una carrera en analítica en temps real



Apache Kafka continua sent popular quan es tracta d’anàlisis en temps real. A continuació, es fa una ullada des del punt de vista professional, discutint les oportunitats professionals i les demandes laborals.

En aquesta era digital, la necessitat de recopilar dades i analitzar-les en temps real s’ha convertit en gairebé obligatòria, ja que els responsables de la presa de decisions han començat a entendre el valor de les dades en temps real que reflecteixen la situació actual del negoci. Això s’ha vist pràcticament en tots els dominis de la indústria. Les dades en temps real són ara una de les maneres de quantificar el rendiment i fer les accions necessàries ràpidament. Per aquestes raons, les analítiques en temps real han guanyat popularitat i, en els propers mesos, podem esperar un gran canvi en Big Data i Analytics, des del processament per lots fins al processament gairebé en temps real. Projectes Apache com Kafka, Storm i Spark continuen sent populars pel que fa al processament de transmissions. Amb els anys, els enginyers també han començat a integrar Kafka amb Storm i Spark. A més, Confluent, una nova startup fundada pels fundadors de Kafka, intensifica el joc de Kafka. Això ha donat lloc a multitud d'oportunitats professionals a Apache Kafka a tot el món.





Abans d’anar cap a la 'carn' del tema, fem una ullada ràpida a què tracta Apache Kafka i què fa.

Què és Apache Kafka?

Kafka és un projecte de corredor de missatges de codi obert desenvolupat per l'Apache Software Foundation i està escrit en l'idioma Scala. L’objectiu de Kafka és proporcionar una plataforma unificada d’alt rendiment i baixa latència per gestionar feeds de dades en temps real. El disseny de Kafka es basa principalment en registres de transaccions.



obtenir la longitud de la matriu js

Quan s’utilitza per al cas d’ús adequat, Kafka té atributs únics que el converteixen en una opció molt atractiva per a la integració de dades. Funcions com l’escalabilitat, el particionament de dades, la baixa latència i la capacitat de gestionar un gran nombre de consumidors diversos fan que sigui un bon ajust per a casos d’ús relacionats amb la integració de dades.

Els altres usos de Kafka són el seguiment de l’activitat del lloc web, les mètriques operatives, l’agregació de registres i el processament de fluxos.

Popularitat d'Apache Kafka

Kafka és tan popular que recentment s'havia unit al club de les comes després de rebre 1,1 bilions de missatges al dia (1.100.000.000.000, quatre comes ... ho entens?). El desplegament d’Apache Kafka de LinkedIn ha superat els 1,1 bilions i és, amb diferència, el desplegament més gran de Kafka en producció de qualsevol organització.



Kafka va tenir un impacte greu en la capacitat de LinkedIn per afrontar dades que abans no eren accessibles, però que ara estan disponibles de manera espontània per al seu processament. Les dades, com ara les dades d’activitat dels usuaris i les dades de registre, que no es podien recollir anteriorment als sistemes heretats de LinkedIn, ara es recullen fàcilment mitjançant Kafka. Kafka juga un paper crític a l’hora de configurar la infraestructura de LinkedIn, així com la dels centenars d’altres organitzacions que han adoptat Kafka.

Dice ha analitzat recentment les seves ofertes de feina en línia i ha identificat habilitats tecnològiques que s’han disparat en termes de demanda. El resultat va ser que Kafka va arribar al Top 10. És evident que l'habilitat de Kafka s'està convertint en vital.

Carreres d'Apache Kafka:

Vegem la tendència laboral de Kafka des d’un punt de vista global o global. Tot i que el cens només pertany al Regne Unit i als Estats Units, ens dóna una molt bona idea de com va Kafka (Font: Indeed Job Trends)

Tendències laborals de Kafka

Per la imatge anterior, és evident que Kafka ho ha estat fent força bé. Kafka ha pujat el rang i té més del doble del nombre de llocs de treball que el 2014.

També s’ha observat una tendència similar a Indeed, un popular portal de treball amb seu als Estats Units.

Tendències salarials d'Apache Kafka:

Kafka ha estat la paraula de moda darrerament pel que fa al processament en temps real. Atès que la demanda és elevada i la tecnologia com a tal va bé, el paquet de remuneració per a professionals amb habilitat Kafka està a l’alçada dels estàndards de la indústria.

Segons Indeed, el salari mitjà del professional de Kafka és de 122.000 dòlars anuals . És un 112% superior als salaris mitjans d’altres llocs de treball. La tendència salarial també indica un creixement constant i ampli des de principis del 2015 que encara està en augment.

Ara que hem establert que Apache Kafka està 'calent', vegem qui ha de tenir aquesta habilitat.

Qui hauria d'aprendre l'Apache Kafka?

Kafka és una habilitat imprescindible per a aquells que volen aprendre tècniques de Kafka i és molt recomanable per als següents professionals:

  • Desenvolupadors que vulguin accelerar la seva carrera com a 'Kafka Big Data Developer'.
  • Provar professionals que actualment treballen en sistemes de cua i missatgeria.
  • Arquitectes de Big Data que voldrien incloure Kafka al seu ecosistema.
  • Gestors de projectes implicats en projectes relacionats amb sistemes de missatgeria.

Conclusió:

Apache Kafka s’ha convertit en l’estàndard de facto per a l’anàlisi de dades en temps real i LinkedIn no és l’única empresa que està aprofitant grans fluxos de dades. Amb Kafka, es pot assegurar que excel·lirà en la seva carrera de Big Data Analytics.

Tens alguna pregunta? Esmenteu-los a la secció de comentaris i us respondrem.

Publicació relacionada: