Especialista em Observabilidade de Dados

Somos uma empresa 100% digital, com tecnologia desenvolvida localmente e líder no mercado de compra e venda online. Nos tornamos a marca que melhor representa a economia circular no país. Hoje contamos com dois escritórios nas cidades de Rio de Janeiro e São Paulo. Nosso modelo de trabalho flexível oferece autonomia e liberdade para que nossas pessoas elaborem seus padrões e rotinas com disciplina e protagonismo na conexão com negócio, as prioridades e o propósito da empresa.Construir um ambiente diverso, inclusivo e comprometido com a equidade faz parte do nosso DNA. Entendemos que diversidade, equidade e inclusão são essenciais para criarmos um ambiente seguro com entregas inovadoras e eficientes para nossas pessoas e sociedade.Responsabilidades e atribuiçõesSe você quer fazer parte desse desafio, essa oportunidade é a sua chance. Nessa posição de Especialista em Observabilidade de Dados, você irá somar ao Time Data Observability, que tem como objetivo garantir a confiabilidade, qualidade e disponibilidade dos dados em toda a organização. Você será responsável por construir sistemas de monitoramento e alertas proativos que detectam e resolvem anomalias em nossos pipelines antes que elas impactem as decisões de negócio e nossos clientes.No dia a dia você vai:Criar processos proativos que acompanhem a execução dos pipelines orquestrados garantindo que os dados cheguem no prazo e na frequência acordados com as áreas de negócio;Desenvolver e automatizar testes de qualidade de dados para identificar dados nulos, duplicados ou anômalos antes que cheguem aos usuários finais;Atuar na Resolução de Incidentes, investigando a causa raiz de falhas nos pipelines ou anomalias nos dados, mitigando os problemas e reduzindo o tempo de inatividade;Garantir que a rastreabilidade dos dados (data lineage) esteja documentada e funcional, facilitando o entendimento de quais relatórios e produtos de dados são impactados quando uma tabela ou uma rotina falha;Conduzir reuniões de post-mortem após incidentes críticos, propondo melhorias na arquitetura e criando playbooks para acelerar a resolução de problemas futuros;Monitorar os custos de processamento e armazenamento, identificando anomalias como queries ineficientes que disparam o faturamento ou uso excessivo de poder de processamento, sugerindo otimizações;Atuar lado a lado com Engenheiros de Dados, Analistas e Cientistas de Dados para estabelecer contratos de dados e garantir que as novas peças técnicas e fontes de dados já nasçam com as métricas de observabilidade configuradas.Requisitos e qualificaçõesE o que você precisa ter? Sólido conhecimento em fundamentos e boas práticas de engenharia de software;Domínio em Python e PySpark;SQL avançado e experiência com motores de consulta distribuidos (Athena, Presto, Trino);Experiência prática com arquiteturas de processamento de dados em tempo real (Streaming);Frameworks de Big Data: Conhecimento prático em Spark, Hive e Presto;Conhecimento em ambiente Linux;Domínio em AWS: Experiência robusta focada em sustentação e evolução de plataforma de dados;Segurança e Governança: Vivência com AWS IAM e AWS Lake Formation;Infraestrutura como Código & CI/CD: Conhecimento em Terraform e automação com GitHub Actions (CI/CD);Orquestração: Airflow / MWAA (Amazon Managed Workflows for Apache Airflow);Processamento e Catálogo: AWS Glue (Jobs, Metastore e Data Quality).Informações adicionaisMais sobre o Grupo OLX:No Brasil desde 2010, o Grupo OLX tem como propósito empoderar as pessoas para que alcancem seus sonhos, reinventando o modelo de consumo. Com a aquisição do Grupo ZAP, concluída em outubro de 2020, a companhia opera a OLX, plataforma horizontal com posição de liderança nas categorias de automóveis, bens de consumo usados e imóveis; e duas plataformas líderes do mercado imobiliário, ZAP e Viva Real.Benefícios: Remuneração compatível com o mercado Plano de Saúde Plano Odontológico Previdência Privada Benefícios flexíveis que se adaptam às suas necessidades Aux