Descripción del puesto
En VIAMATICA nos encontramos en la búsqueda de in Ingeniero de Datos. El candidato será responsable de diseñar e implementar pipelines de datos escalables utilizando Databricks, asegurando una carga fluida de datos basados en modelos Kimball o Data Vault a través de una arquitectura medallón en las capas Bronze, Silver y Gold.
Requisitos
Experiencia en Ingeniería de Datos enfocados en el ecosistema
Azure/Databricks.
Conocimiento en patrones de carga (Full, Incremental, CDC)
Conocimiento Devops/DataOps: CI/CD aplicado a datos (Azure Devops,
Terraform)
Dominio de arquitecturas
- Modelado de datos Kimball, Data Vault
- Metodología de almacenamiento masivo.
- Metodología de almacenamiento y computación distribuida.
Lenguajes de programación:
- PySpark.
- Real Time (Spark Streaming, Kafka, etc.)
Conocimiento de Bases de Datos Relacionales y no relacionales (nonSQL).
Conocimientos de lenguajes de consultas SQL.
Conocimiento de despliegue de soluciones en Nube.
Conocimiento en gestión de proyectos