Azure Databricks Developer

Job title: Azure Databricks Developer

Company: Diverse Lynx

Job description: Descripción del trabajo:

En total, más de 8 años de experiencia como desarrollador en tecnologías de big data como Databricks/Spark y ecosistemas Hadoop
Experiencia en el desarrollo de aplicaciones Spark utilizando spark-SQL en Databricks para la extracción, transformación y agregación de datos de múltiples formatos de archivos para analizar y transformar los datos para descubrir información sobre los patrones de uso del cliente.
Extraer, transformar y cargar desde el sistema de origen a los servicios de Azure Data Storage mediante una combinación de Azure Data Factory, T-SQL, Pyspark y U-SQL Axure Data Lake Analytics. Ingesta de datos a uno o más servicios de Azure (Azure Data Lake, Azure Storage, Azure SQL, Azure DW) y procesamiento de los datos en Azure Databricks
Experiencia práctica en el desarrollo de scripts SQL para automatización.
Amplia experiencia práctica en la implementación de la arquitectura de Lake House utilizando la plataforma de ingeniería de datos Data Bricks, SQL Analytics, Delta Lake y Unity Catalog
Buen conocimiento de la arquitectura Spark con transmisión estructurada de Databricks, configuración de Azure con Databricks, administración de clústeres en Databricks
Excelentes habilidades de comunicación interpersonal, verbal y escrita.
Licenciatura o experiencia laboral equivalente

Responsable de estimar el tamaño del clúster, monitorear y solucionar problemas del clúster de Spark Databrick
Impulsar el análisis, la arquitectura, el diseño, la gobernanza y el desarrollo de almacenes de datos, lagos de datos y soluciones de inteligencia empresarial.
Investigar, sintetizar, recomendar y seleccionar enfoques técnicos para resolver problemas difíciles de migración, desarrollo e integración.
Realizar y apoyar talleres, sesiones de diseño y reuniones de proyectos según sea necesario, desempeñando un papel clave en las relaciones con los clientes.
Desarrollar y optimizar procesos ETL utilizando Databricks y herramientas relacionadas como Apache Spark
Colaborar con equipos de aplicaciones y usuarios comerciales para desarrollar nuevas líneas de trabajo con metodologías y procesos de migración de datos a la nube, incluidas herramientas como Azure Data Factory, Event Hub, etc.
Experiencia trabajando en proyectos de desarrollo ágil y entrega de sprints.

Trabajo en modelo Onsite-Offshore
Habilidades de comunicación oral y escrita
Habilidades interpersonales y consultivas
Habilidades de facilitación
Pensamiento analítico y resolución de problemas
Estar orientado a los detalles y ser capaz de ofrecer un alto nivel de precisión.
Habilidades organizativas
Conocimiento de la estructura empresarial
Analisis de los interesados
Ingeniería de requisitos

Diverse Lynx LLC es una empresa que ofrece igualdad de oportunidades laborales. Todos los candidatos calificados recibirán la debida consideración para el empleo sin discriminación alguna. Todos los candidatos serán evaluados únicamente en función de su capacidad, competencia y capacidad demostrada para desempeñar las funciones descritas en el puesto correspondiente. Promovemos y apoyamos una fuerza laboral diversa en todos los niveles de la empresa.

Expected salary:

Location: Chicago, IL

Job date: Tue, 18 Jun 2024 23:29:29 GMT

Apply for the job now!