Data Engineer

어떤 일을 하나요?

  • 뤼이드 분석 플랫폼과 머신러닝에서 쉽게 사용할 수 있도록 분산형, 대용량 ETL 데이터 파이프라인을 디자인합니다.
  • Airflow, Kafka, Elasticsearch 등과 같은 오픈소스와 Kinesis, Aurora, S3, Athena 등과 같은 클라우드서비스를 폭넓게 사용합니다.
  • 제품 개발팀과의 협업을 통해 분석 및 운영에 필요한 데이터 형식을 정의합니다.

이런 분을 찾습니다!

  • 2년 이상의 데이터 엔지니어 업무 경험이 있는 분
  • 특정 프로그래밍 언어(Python, Scala, Kotlin, Go, ...)를 능숙하게 사용하시는 분
  • Message Queueing, Stream Processing, Highly Scalable Data Store 중 하나 이상의 경험이 있는 분
  • 제한된 환경에서 최적의 솔루션을 찾는 것을 두려워하지 않는 분

우대사항

  • Infrastructure as a Service (AWS, Azure, GCP) 를 통한 서비스 배포 및 운영 경험이 있으신 분
  • Infrastructure as Code (Kubernetes, Terraform, etc…) 를 능숙하게 사용하시는 분
  • 로깅 인프라 구축에 대한 경험이 있으신 분
  • ETL을 자체적으로 디자인 해보신 분
  • Spark, MapReduce등과 같은 Hadoop Ecosystem에 대한 이해가 있으신 분
  • BigQuery 쿼리 최적화 경험과 이해가 있으신 분
  • 데이터 품질 관리에 대한 경험과 이해가 있으신 분

기술스택

  • Multi Cloud(AWS, GCP, Azure)를 이용하여 인프라를 구축합니다.
  • 신뢰할 수 있는 운영 및 탄력적인 배포를 위해 인프라를 코드로 관리합니다.
    • Terraform, Kubernetes
  • GCP BigQuery를 데이터 분석 플랫폼으로 사용합니다.
  • Data Workflow Engine(Airflow, Argo, Dataflow)을 사용하여 데이터 플로우를 관리합니다.