Data Engineer Python y Apache Spark — Remoto - México y Colombia — AI Advertising

Descripción del puesto

Sobre la vacante

TeamStation AI está buscando un Data Engineer de nivel intermedio para unirse a su equipo y construir pipelines de datos batch y streaming para una plataforma de publicidad OOH en tiempo real. Trabajarás con conjuntos de datos a gran escala que impulsan casos de uso de analítica e inteligencia artificial.

Responsabilidades principales:

• Construir y optimizar pipelines de datos utilizando Apache Spark y Databricks
• Asegurar la calidad y rendimiento de los datos
• Diseñar modelos de datos en Snowflake o Redshift
• Desarrollar soluciones en la nube con AWS (S3, Glue, EMR, Kinesis)
• Colaborar con equipos de datos y producto

Modalidad: 100% remoto en Latinoamérica

¿Por qué deberías aplicar?

Esta es una oportunidad para trabajar en una startup de AI advertising donde impactarás directamente en cómo se procesan y analizan datos masivos para publicidad en tiempo real. Aprenderás arquitecturas de datos modernas, trabajarás con tecnologías líderes como Spark y Databricks, y desarrollarás soluciones escalables en AWS. El equipo colaborativo y el enfoque en innovación te permitirán crecer profesionalmente en el campo del data engineering.

Tips y consejos de VacantesDigitales.com

Skills indispensables

• Python avanzado para procesamiento de datos
• Experiencia sólida con Apache Spark para procesamiento distribuido
• Conocimiento de Databricks para orquestación de pipelines
• Experiencia con almacenes de datos como Snowflake o Redshift
• Habilidades en AWS (S3, Glue, EMR, Kinesis)
• Comprensión de ETL/ELT y arquitecturas de datos
• Inglés técnico para documentación y comunicación

Tips prácticos para este puesto

• Prepara tu portafolio: Muestra proyectos donde hayas construido pipelines con Spark y Databricks, incluyendo optimizaciones de rendimiento.
• Domina los conceptos de streaming: Estudia arquitecturas de procesamiento en tiempo real y cómo se implementan con Kinesis o Spark Streaming.
• Practica con AWS: Familiarízate con los servicios mencionados, especialmente cómo integrar S3, Glue y EMR en un pipeline de datos.
• Aprende sobre data quality: Investiga herramientas y prácticas para asegurar la calidad de datos en pipelines a gran escala.

Recursos recomendados

• Documentación oficial: Apache Spark, Databricks, AWS Data Services
• Cursos: Databricks Academy, AWS Training, cursos de data engineering en Coursera o Udemy
• Influencers: Follow data engineers en LinkedIn que compartan casos de uso reales con Spark y AWS
• Herramientas: Jupyter Notebooks para prototipado, Airflow para orquestación, dbt para transformaciones

Preguntas frecuentes en entrevistas para este rol

• "Describe cómo optimizarías un pipeline de Spark que está lento" - Tip: Habla sobre particionamiento de datos, uso de caché, ajuste de configuraciones de ejecutores, y monitoreo con Spark UI.
• "¿Cómo asegurarías la calidad de datos en un pipeline de streaming?" - Tip: Menciona validaciones en tiempo real, esquemas de datos, monitoreo de métricas, y estrategias de reprocesamiento.
• "Explica la diferencia entre Snowflake y Redshift y cuándo usar cada uno" - Tip: Compara arquitectura, escalabilidad, costos, y casos de uso típicos para cada almacén de datos.

Rango salarial estimado (LATAM)

Basado en datos de Glassdoor, Computrabajo, GetOnBoard y el mercado actual: | Nivel | Rango mensual USD | |-------|-------------------| | Junior | $2,500 - $3,500 | | Mid | $3,500 - $5,000 | | Senior | $5,000 - $7,500 |

*Nota: Varía según país, empresa, modalidad (remoto internacional paga más) y tecnologías específicas. Empresas de USA/EU pagando en LATAM suelen ofrecer 30-50% más.*

Red flags a considerar

• Bandera roja 1: Falta de claridad en los requisitos de datos - Pregunta en la entrevista sobre los volúmenes de datos, latencias esperadas, y cómo se definen los SLAs para los pipelines.
• Bandera roja 2: Infraestructura desorganizada - Investiga antes de aceptar si la empresa tiene un buen manejo de costos en AWS y prácticas de governance de datos.
• Bandera roja 3: Sobre carga de mantenimiento - Señal de advertencia común en este rol: si el equipo pasa más tiempo apagando incendios en pipelines que construyendo nuevos, pregunta sobre la estrategia de deuda técnica y automatización.