Engenheiro de Dados - Pleno

A FCamara está em busca de uma pessoa para atuar como Engenheiro de Dados - Pleno.

Responsabilidades e atribuições

Desenvolvimento de Pipelines de Dados:Projetar, implementar e otimizar pipelines de ETL (Extração, Transformação e Carga) para garantir a fluidez dos dados entre sistemas.Utilizar ferramentas como Apache Airflow para orquestrar e agendar tarefas de processamento de dados.Implementação de Cloud Functions:Criar e gerenciar funções em ambientes de cloud (ex.: AWS Lambda, Google Cloud Functions) para automação de processos e manipulação de dados.Integrar serviços de dados na nuvem para melhorar a escalabilidade e a eficiência.Monitoramento e Observabilidade:Configurar e manter dashboards em Grafana para monitorar o desempenho de pipelines de dados e identificar possíveis gargalos.Implementar alertas e métricas para garantir a integridade e a disponibilidade dos dados.Documentação e Melhoria Contínua:Documentar processos e rotinas de dados para garantir a transparência e facilitar a manutenção.Participar de Engineering Change Proposals (ECP) para propor melhorias e inovações nos fluxos de trabalho e na arquitetura de dados.Colaboração Interdisciplinar:Trabalhar em estreita colaboração com equipes de ciência de dados, analistas e desenvolvedores para entender requisitos e garantir que as soluções atendam às necessidades do negócio.Participar de reuniões de planejamento e revisão para alinhar objetivos e prioridades.Qualidade de Dados:Implementar e monitorar processos de validação de dados para garantir a qualidade e a precisão das informações.Realizar testes e auditorias nos pipelines de dados para identificar e corrigir problemas.

Requisitos e qualificações

Requisitos e qualificaçõesTécnicos:Proficiência em SQL e em linguagens de programação como Python ou Java.Experiência com ferramentas de ETL e integração de dados.Sólido entendimento de arquiteturas de dados em nuvem (ex.: AWS, Google Cloud, Azure).Ferramentas de Orquestração:Conhecimento profundo em Apache Airflow para gerenciamento de workflows.Habilidade em configurar e utilizar ferramentas de monitoramento como Grafana.Cloud Computing:Familiaridade com serviços de cloud (ex.: S3, BigQuery, Redshift) e suas melhores práticas.Conhecimento em gerenciamento de custos e otimização de recursos em ambientes de nuvem.