Lead Data Engineer
Job title: Lead Data Engineer
Company: WorkHQ
Job description: Contexto de la empresaSerie A, una startup estadounidense bien financiada en HRTech Desarrollo y un producto reclutador de IA.Este es un rol remoto solo en EE. UU. (Continente).Descripción general de rolesArquitecto de infraestructura de datos de plomo que administra miles de millones de puntos de datos en perfiles profesionales de 250m+.Contrata ingenieros de datos para ayudarlo en ese viaje.Responsabilidades centralesDiseño de datos escalables de datos procesando volúmenes de registros masivosProcesos de ETL de arquitecto utilizando Pyspark en Amazon EMR (abierto a cambiar a otras soluciones como ladrillos de datos / copo de nieve)Distribuir datos enriquecidos a través de la arquitectura de medallón a través de Postgres, Athena, OpenSearchIntegrar nuevas fuentes de datos en la tubería principalImplementar la coincidencia de datos avanzados utilizando SplinkRequisitos técnicosExperiencia profesional de ingeniería de datos de 5 a 8 añosBuena competencia en:Pyspark y computación distribuidaAWS Data Services (EMR, Glue, Athena)EstibadorManipulación de pandas y marco de datosManejo de formatos de datos complejos (JSONL, Parquet)Fuerte antecedentes en:Arquitecturas de procesamiento de big dataDiseño de almacén de datosOptimización del rendimientoPython avanzada, habilidades SQLEncantado de tenerExperiencia de enlace de registro probabilísticoOpenSearch/Elasticsearch TechnologiesDiseño de la tubería de datos de aprendizaje automáticoConocimiento del ecosistema de tecnología de reclutamientoPila técnicaBig Data: Pyspark, EMRBases de datos: Postgres, OpenSearchNube: AWSContenedorización: DockerFormatos de datos: JSONL, ParquetAnálisis: Metabase, Atenea, GlueProcesamiento de datos: pandas, splinkOtras consideracionesSi bien este rol tiene requisitos específicos: si carece de algunas habilidades técnicas, pero motivado para aprender y liderar la plataforma, solicite consideración.Si viene de los niveles del director/jefe de/VP que es relevante para este trabajo, también puede solicitar.Deberá aplicar directamente en nuestra plataforma.Gracias por tu tiempo.
Expected salary: $140000 – 180000 per year
Location: Los Angeles, CA
Job date: Thu, 13 Feb 2025 23:29:28 GMT
Apply for the job now!
