Lead data engineer

Perfil buscado (Hombre/Mujer)


La figura estará incluida en el equipo de IT Digital & Data Transformation, tendrá responsabilidad sobre los grupos de Italia y España, y tendrá que ocuparse en particular de:
• Implementación de canales de procesamiento de datos no analíticos de fuentes internas y externas, enriquecimiento de datos y almacenamiento en el lago de datos.
• activar procesos de gobernanza de la calidad de los datos para garantizar la calidad, la coherencia, la precisión y el cumplimiento, así como el linaje de los datos
• trabajar en estrecha colaboración con el equipo de ciencia de datos para facilitar el uso de datos y la implementación de algoritmos de aprendizaje automático en producción.

En concreto se tratará de:
• Ingestión de flujos de datos de diferentes fuentes en la nube y on-premise
• implementación de procesos de procesamiento de datos no analíticos
• implementación de flujos para alimentar otros sistemas
• industrialización de procesos analíticos escritos por científicos de datos
• garantizar que los datos sean precisos y coherentes, gracias al uso de herramientas específicas como herramientas de gestión de metadatos, diccionario de datos, etc.
• comprobar que la plataforma de big data funciona correctamente, en particular verificando el correcto funcionamiento de las tuberías, monitorizando los tiempos ETL y la coherencia de los datos de salida.
• supervisión de las actividades de desarrollo para que sean consistentes con las tecnologías utilizadas y sigan las mejores prácticas definidas por el grupo


• Cliente final|Proyecto indefinido y en crecimiento

Se requiere al menos 5 años de experiencia en el puesto y en particular:

* Experiencia en la creación de soluciones basadas en datos en entornos nativos de la nube.

* Experiencia con herramientas y técnicas de calidad y gobernanza de datos.

* Conocimiento y uso de al menos una de las diversas pilas de big data en la nube de GCP, AWS o Azure.

* conocimiento profundo de los lenguajes Python y SQL, se valora el conocimiento de bash

* conocimiento de los principales marcos de Big Data, en particular Spark Hive Airflow

* conocimiento de los principios del modelado y gestión de datos en tiempo real

* Visión a largo plazo sobre cómo hacer avanzar la infraestructura de datos al siguiente nivel, explorando y evaluando nuevas tecnologías según corresponda.

* Buena capacidad para comunicarse en inglés o español.

* Se aceptan conocimientos de tecnologías y habilidades de análisis como científico de datos.


Importante empresa editorial líder en España ubuicada en la zona norte de Madrid

Seguro de vida
Restaurante de empresa (comida en sus instalaciones por 1 euro al día)
Parking dentro del recinto
Plan de retribución flexible
Beneficios por convenio: ayuda a las gafas, ayuda por nacimiento hijo, etc....
Horario flexible. Son 36 horas/semana. El horario dependerá del área.
Vacaciones:
28 días laborables
El 24 y 31 diciembre
+ 3 días más por asuntos propios
• 2 días de teletrabajo.