Data Engineer

Nombre del Cargo:

Data Engineer

Vicepresidencia y área:

DA Hub

Jefe Inmediato:

Cargo Jefe Inmediato:

DA Platform Head

Lugar de Trabajo (ciudad y país):

Bogotá, Colombia

Fecha de elaboración/actualización:

26/02/2020

Elaborado/actualizado por:

1. PROPÓSITO DEL CARGO

La principal responsabilidad es el control sobre diseño, desarrollo y mantenimiento de los sistemas de procesamiento de datos para el DA HUB de SPLatam. Asimismo deberá impulsar mejoras continuas en el área y garantizar su implementación.

2. PRINCIPALES FUNCIONES

1. Establecer directrices para diseñar y desarrollar modelos de arquitectura de datos en función de la naturaleza (tiempo real, batch, etc) del dato y el tipo de acceso más frecuentes realizado sobre esos datos.
2. Gestionar todos los aspectos relativos a la ingesta, procesamiento y acceso a los datos y la información (estructurada o no).
3. Gestionar la calidad del dato, generando mecanismos de control.
4. Iniciar el proceso de implementación en la plataforma de Continuous Integration (CI) y Continuous Deployment (CD).
5. Desarrollar software en el ecosistema Spark que sirva de base para analítica, estadística y aprendizaje automático (machine learning).

1. FUNCIONES ADICIONALES ESPECIFICAS

1. Establecer técnicas de limpieza, sumarización y validación de los datos, de modo que la información llegue a los usuarios de la misma en la forma más adecuada para su correcta explotación
2. Optimizar los motores de procesamiento.
3. Encontrar e implementar mejoras tanto en los procesos como en las herramientas del área.

4. RED DE INTERACCION

Tiene gente a cargo: NO.

Relacionamiento interno:

Analytics, Tecnologia, Operaciones, Consultoria, Comercial.

Alcance del cargo: Regional (SLATAM)

Relacionamiento externo:

Clientes y proveedores

5. FORMACIÓN Y COMPETENCIAS

Formacion profesional y postgrados: Ingeniero de Sistemas, electrónico y afines.

Conocimiento Tecnico Requerido:

• Plataformas Cloud: AWS, Azure y servicios serverless como S3, lambda, Glue, ect.
• Lenguajes: Python y/o R, Java. Deseable si también conoce Scala
• Experiencia en procesamiento distribuido: Spark
• Teoría de bases de datos relacionales y no relacionales y lenguaje SQL.
• Sistemas Operativos basados en LINUX
• Conocimientos en el framework Hadoop.
• Manejo de ETLs
• Manejo de herramientas de BI como Tableau
• Conocimiento en herramientas GIT
• Analytics: conocimiento básico en Machine Learning y Advanced Analytics
• Fundamento de seguridad informática
• Deseable que conozca Databricks

Idiomas:

Inglés Intermedio - avanzado

Competencias:

• Fuertes habilidades de desarrollo/automatización.
  Actitud de resolución de problemas
• Excelentes capacidades de relación y trabajo en equipo.
• Capacidad de aprovechar las oportunidades para aprender nuevas habilidades y desarrollar fortalezas
• Auto motivado, orientado a los detalles y organizado con excelentes habilidades de comunicación.
• Capacidad para realizar múltiples tareas y soportar múltiples proyectos y plazos en un entorno dinámico y de ritmo rápido

6. EXPERIENCIA

Se requiere al menos 2 años de Experiencia en plataformas Cloud.

Se requiere al menos 3 años de Experiencia desarrollando en Python

Se requiere al menos 3 años de Experiencia en procesamiento con SPARK

Se requiere al menos 3 años de experiencia en en plataformas de Big Data

Se requiere al menos 2 años de experiencia en manejo de bases de datos.