Profile1. Responsabilidades principales:
Migración de bases de datos
● Analizar bases de datos y plataformas existentes para identificar estructuras, dependencias, volumen, complejidad y riesgos de migración.
● Diseñar y ejecutar estrategias de migración hacia AWS.
● Configurar y operar AWS Database Migration Service (AWS DMS) para migraciones y replicaciones.
● Gestionar cargas iniciales, cargas incrementales y procesos de sincronización.
● Participar en actividades de cutover, validación y estabilización de las plataformas migradas.
● Realizar troubleshooting de errores de migración, conectividad, rendimiento y consistencia de datos.
SQL y bases de datos
● Desarrollar y mantener SQL avanzado.
● Analizar y adaptar queries, vistas, stored procedures, funciones y procesos SQL existentes.
● Identificar diferencias entre motores de bases de datos origen y destino.
● Optimizar consultas y procesos para mejorar rendimiento.
● Diseñar mecanismos de validación y reconciliación de información entre origen y destino.
ETL / ELT y AWS Glue
● Analizar procesos ETL existentes y comprender su lógica funcional y técnica.
● Migrar y rediseñar procesos ETL/ELT para ejecutarse sobre AWS.
● Desarrollar pipelines utilizando AWS Glue.
● Crear y administrar Glue Jobs, Crawlers, Workflows y Glue Data Catalog.
● Desarrollar transformaciones utilizando Python y/o PySpark.
● Diseñar procesos de ingesta, transformación y carga sobre S3 y otros servicios AWS.
● Automatizar la ejecución, dependencia y orquestación de los pipelines.
● Implementar controles de calidad y validaciones dentro de los procesos de datos.
Automatización y CI/CD
● Utilizar GitHub como plataforma de control de versiones y colaboración.
● Definir y mantener estrategias de branching, pull requests y code reviews.
● Diseñar e implementar pipelines de GitHub Actions.
● Automatizar procesos de build, testing, packaging y deployment.
● Automatizar despliegues hacia los diferentes ambientes: DEV, QA/UAT y PROD.
● Gestionar variables, secrets y configuraciones de forma segura.
● Implementar mecanismos de rollback y control de versiones.
● Integrar GitHub Actions con AWS para automatizar el despliegue de componentes de datos y ETL.
● Reducir al mínimo las actividades manuales en el ciclo de desarrollo y operación.
Infraestructura y operación AWS
● Implementar infraestructura y configuraciones mediante Infrastructure as Code.
● Trabajar preferentemente con Terraform y/o AWS CloudFormation.
● Configurar monitorización, logging y alertas utilizando Amazon CloudWatch.
● Implementar y operar servicios de AWS orientados a datos, automatización y procesamiento.
● Participar en el diseño de soluciones escalables, seguras y mantenibles
2. Requerimientos técnicos:
AWS
Experiencia práctica y demostrable con:
● AWS Glue
● AWS DMS
● Amazon S3
● Amazon CloudWatch
● AWS IAM
● AWS Lambda
● AWS Step Functions y/o herramientas de orquestación equivalentes
● EventBridge y/o mecanismos de automatización de eventos
Data Engineering
● ETL / ELT
● Data pipelines
● Data migration
● Data transformation
● Data validation y reconciliation
● Data quality
● Procesamiento de grandes volúmenes de datos
SQL y bases de datos
● SQL avanzado
● Queries complejas
● Joins
● CTEs
● Window functions
● Stored procedures
● Functions
● Views
● Optimización de consultas
● Experiencia con bases de datos relacionales
Lenguajes
● Python
● PySpark como conocimiento altamente deseable para AWS Glue
GitHub y DevOps
● Git
● GitHub
● GitHub Actions
● CI/CD
● Pull Requests
● Branching strategies
● Automated testing
● Automated deployments
● Gestión de secrets y variables
● Integración de GitHub con AWS
Infrastructure as Code
● Terraform y/o CloudFormation