Data Engineer (The Data Pipeline Architect)

Job title: Data Engineer (The Data Pipeline Architect)

Company: Unreal Gigs

Job description: ¿Le apasiona crear una infraestructura de datos que impulse el análisis avanzado y el aprendizaje automático? ¿Le gusta transformar datos sin procesar en conjuntos de datos bien organizados, accesibles y confiables que impulsen la toma de decisiones basada en datos? Si está entusiasmado por trabajar con tecnologías de datos de vanguardia y diseñar tuberías escalables, entonces nuestro cliente tiene una oportunidad interesante para usted. Buscamos un ingeniero de datos (también conocido como The Data Pipeline Architect) para diseñar, desarrollar y optimizar los sistemas de datos que forman la columna vertebral de nuestros productos.Como ingeniero de datos de nuestro cliente, será responsable de construir canales de datos eficientes y escalables, garantizando que los datos sean accesibles y utilizables para analistas, científicos de datos y partes interesadas del negocio. Trabajará con grandes conjuntos de datos, implementará procesos ETL y creará la infraestructura que impulsa el análisis y la información basada en IA.Responsabilidades clave: * Diseño y desarrollo de canales de datos:

• Cree y mantenga canales de datos sólidos, escalables y eficientes para ingerir, procesar y almacenar datos de una variedad de fuentes. Diseñará procesos ETL (Extracción, Transformación, Carga) para mover y transformar datos, garantizando la integridad y precisión de los datos.
• Gestión del almacén de datos:

• Diseñe y mantenga almacenes de datos o lagos de datos utilizando plataformas en la nube (por ejemplo, AWS Redshift, Google BigQuery o Snowflake) para organizar y almacenar conjuntos de datos a gran escala. Se asegurará de que la infraestructura esté optimizada para consultas rápidas y escalabilidad.
• Colabore con analistas y científicos de datos:

• Trabaje en estrecha colaboración con científicos de datos, analistas y otras partes interesadas para comprender los requisitos de datos y entregar conjuntos de datos que satisfagan las necesidades comerciales. Proporcionará datos limpios y bien estructurados para permitir análisis avanzados y proyectos de aprendizaje automático.
• Calidad y gobernanza de datos:

• Implemente controles de calidad de datos y sistemas de monitoreo para garantizar la precisión, integridad y coherencia de los datos en todo el proceso. Ayudará a establecer estándares y políticas de gobierno de datos para garantizar el cumplimiento y la seguridad.
• Optimización del rendimiento:

• Optimice el rendimiento de los sistemas de datos, garantizando un acceso rápido y confiable a los datos. Ajustará consultas, diseñará arquitecturas de almacenamiento eficientes e implementará mejores prácticas para la recuperación y el procesamiento de datos.
• Automatización y Monitoreo:

• Automatice los flujos de trabajo de datos, las implementaciones de canalizaciones y los controles de calidad de los datos para minimizar la intervención manual. Configurará sistemas de monitoreo y alerta para detectar problemas tempranamente y garantizar el buen funcionamiento de los canales de datos.
• Seguridad y cumplimiento de datos:

• Implemente protocolos de seguridad para proteger datos sensibles, garantizando el cumplimiento de regulaciones relevantes como GDPR, HIPAA o SOC2. Trabajará con equipos de seguridad para hacer cumplir los controles de acceso, el cifrado y las mejores prácticas de privacidad de datos.

RequisitosHabilidades requeridas:

• Experiencia en ingeniería de datos: sólida experiencia en la creación y mantenimiento de canalizaciones de datos, procesos ETL y almacenes de datos utilizando plataformas en la nube (AWS, GCP, Azure). Tiene habilidades para manejar conjuntos de datos grandes y complejos de manera eficiente.
• Programación y scripting: dominio de lenguajes como Python, SQL o Scala, y experiencia con herramientas de ingeniería de datos como Apache Spark, Airflow o Kafka. Puede escribir código eficiente para procesar y transformar grandes conjuntos de datos.
• Almacenamiento y almacenamiento de datos: experiencia en la gestión y optimización de almacenes de datos o lagos de datos (p. ej., Redshift, BigQuery, Snowflake). Comprende las técnicas de partición, indexación y optimización del almacenamiento.
• Optimización de bases de datos y consultas: sólido conocimiento del diseño de bases de datos y optimización de consultas para el rendimiento. Puede ajustar las consultas SQL y estructurar bases de datos para un acceso rápido y confiable a grandes volúmenes de datos.
• Gobernanza y seguridad de datos: comprensión sólida de las prácticas de gobernanza de datos, protocolos de seguridad y regulaciones de cumplimiento. Puede hacer cumplir la privacidad de los datos e implementar medidas para salvaguardar la información confidencial.

Requisitos educativos:

• Licenciatura o Maestría en Ciencias de la Computación, Ingeniería de Datos, Tecnología de la Información o un campo relacionado. También se valora una experiencia equivalente en ingeniería de datos.
• Las certificaciones en plataformas en la nube (AWS, GCP, Azure) o tecnologías de ingeniería de datos (por ejemplo, Apache Hadoop, Apache Spark) son una ventaja.

Requisitos de experiencia:

• Más de 3 años de experiencia en ingeniería de datos, con experiencia práctica en la creación y gestión de canalizaciones de datos, almacenes de datos y soluciones de almacenamiento basadas en la nube.
• Experiencia comprobada trabajando con tecnologías de big data y sistemas distribuidos, optimizando flujos y procesos de datos para manejar grandes conjuntos de datos.
• Es muy deseable estar familiarizado con las mejores prácticas de calidad de datos, gobernanza de datos y seguridad de datos.

Beneficios

• Salud y bienestar: Planes de seguro médico, dental y de la vista integrales con copagos y primas bajos.
• Tiempo libre remunerado: vacaciones competitivas, licencia por enfermedad y 20 días festivos remunerados por año.
• Conciliación vida-trabajo: horarios de trabajo flexibles y opciones de teletrabajo.
• Desarrollo profesional: Oportunidades de capacitación, reembolso de certificaciones y programas de avance profesional.
• Programas de bienestar: acceso a programas de bienestar, que incluyen membresías en gimnasios, exámenes de salud y recursos de salud mental.
• Seguro de Vida e Invalidez: Seguro de vida y cobertura de invalidez a corto y largo plazo.
• Programa de asistencia al empleado (EAP): asesoramiento confidencial y servicios de apoyo para desafíos personales y profesionales.
• Reembolso de matrícula: Asistencia financiera para educación continua y desarrollo profesional.
• Participación comunitaria: oportunidades para participar en servicio comunitario y actividades de voluntariado.
• Programas de reconocimiento: Programas de reconocimiento de empleados para celebrar logros e hitos.

Expected salary: $100000 – 175000 per year

Location: San Francisco, CA

Job date: Thu, 17 Oct 2024 22:10:32 GMT

Apply for the job now!