Engenheiro de Dados AWS - Databricks

Você é movido(a) por tecnologia, dados e inovação? 🚀Na Triggo.ai, transformamos desafios complexos em soluções inteligentes. Somos uma empresa brasileira focada em Analytics, IA e transformação digital, ajudando organizações a tomar decisões mais estratégicas e gerar impacto real nos negócios.Trabalhamos com diferentes setores do mercado, sempre combinando tecnologia de ponta, visão de negócio e execução ágil.Se você quer construir soluções que fazem a diferença e crescer junto com um time de alta performance, seu lugar pode ser aqui.👉 Vem para a Triggo.ai e construa o futuro com a gente.Responsabilidades e atribuições

Desenvolver e evoluir soluções de Engenharia de Dados utilizando Databricks e AWS.Atuar na administração e evolução do Unity Catalog.Estruturar catálogos, schemas, tabelas, volumes e demais objetos de dados.Implementar e administrar controle de acesso e permissões utilizando Unity Catalog.Apoiar a definição e implementação de políticas de segurança e governança de dados.Trabalhar com Data Lineage, descoberta e rastreabilidade dos dados.Desenvolver e manter pipelines de dados batch e, quando aplicável, streaming.Desenvolver transformações utilizando SQL, Python e PySpark.Trabalhar com Delta Lake / Delta Tables e arquitetura Lakehouse.Integrar fontes de dados utilizando serviços AWS e componentes da plataforma Databricks.Garantir qualidade, confiabilidade, segurança e disponibilidade dos dados.Apoiar a definição de padrões de arquitetura e boas práticas para utilização do Databricks.Monitorar e otimizar performance e custos dos workloads de dados.Trabalhar em conjunto com times de Data Engineering, Data Science, Analytics, Arquitetura, Segurança e Governança.

Requisitos e qualificaçõesExperiência sólida com Databricks.Boa experiência prática com Unity Catalog, incluindo:Catálogos e schemas;Tabelas e views;Volumes;Controle de acesso e privilégios;GRANT/REVOKE;Data Lineage;Organização e governança dos ativos de dados;Integração com mecanismos de identidade e segurança;Boas práticas de governança em ambientes corporativos.Experiência com Delta Lake.Conhecimento de Apache Spark e/ou PySpark.Experiência com Databricks Workflows/Jobs.Conhecimento de otimização e performance de workloads.