Overview
Descripción de empleo. Buscamos un ingeniero de datos para crear y mantener sistemas de datos y garantizar que cada conjunto de datos sea fácil de analizar. Una gran parte de la función también girará en torno a la mejora de la calidad y la eficiencia de los datos.
Responsabilidades
- Acceder a los orígenes de los datos.
- Transformarlos, enrutarlos entender el proceso ETL.
- Configurar y mantener infraestructuras
- Crear producto final, APIs, servicios y su despliegue.
- Seguridad informática, mantenimiento, escalabilidad y rendimientos.
- Colaborar con el equipo para definir los requisitos de cada tarea.
- Analizar, combinar y preparar datos brutos de acuerdo con los requisitos empresariales y las especificaciones de diseño.
- Diseñar y crear canalizaciones de datos y procesos ETL.
- Reformular los marcos existentes para mejorar la calidad y fiabilidad de los datos.
- Realizar análisis de datos complejos y generar reportes estándar, así como reportes ad hoc.
- Colaborar con los científicos de datos cuando sea necesario.
- Documente todos los procesos y reportes. Aplique métodos y sistemas de supervisión de la calidad de los datos para garantizar que los datos de producción sean siempre exactos y estén disponibles para las principales partes interesadas y los procesos empresariales que dependen de ellos.
- Desarrollar un plan de arquitectura de la plataforma de datos a largo plazo en colaboración con todas las divisiones empresariales y los equipos de ingeniería.
Requisitos
Licenciatura, Maestría o Doctorado en Ingeniería de Datos, Ingeniería Informática o campo relacionadoExperiencia demostrada como Ingeniero de Datos o similarExperiencia con herramientas ETL y de datos estándar del sector proceso de trabajo como AWS Glue, Kinesis, Power BI, Pentaho, Clover, SSRSExperiencia con bases de datos relacionales y no relacionales (Postgres, MySQL, MSSQL, etc.)Experiencia práctica en lenguajes como Python, Java, Scala, GoLang, shell scripting, etc.Familiaridad con marcos de procesamiento de datos como Spark, Hadoop, etc.Excelente capacidad analítica y de resolución de problemas.Herramientas Que Debe Manejar
Big Data : Spark, kafka, etcBase de datos : SQL NoSQLGestión de flujo de trabajo : AirFlow, GitCloud : AWS, AZURE, GCPProcesamiento en tiempo real streaming : Storm, Spark-Streaming, etc.Lenguajes Python, Java; Scala, etc.#J-18808-Ljbffr