• 1분 티타임

데이터 엔지니어링 디자인 패턴 - 데이터 수집부터 품질, 오케스트레이션, 관찰 가능성까지 반복되는 문제를 해결하는 70가지 패턴 전략

티타임

데이터 수집, 오류 처리, 멱등성, 데이터 품질, 관찰 가능성까지 현업 데이터 엔지니어가 매번 고민해 온 핵심 과제를 디자인 패턴으로 정리해 제시한다. 패턴별로 언제 사용해야 하는지, 어떤 해결책이 있으며 어떤 트레이드오프가 따르는지를 함께 설명해 설계 판단의 기준을 명확히 한다.

책 소개

데이터 파이프라인을 설계하다 보면, 프로젝트가 달라져도 놀랍도록 비슷한 문제를 반복해서 마주하게 된다. 이 책은 이러한 반복이 개인의 역량 부족이 아니라, 표준화된 패턴과 전략이 부재했기 때문이라고 말한다.<BR> <BR> 데이터 수집, 오류 처리, 멱등성, 데이터 품질, 관찰 가능성까지 현업 데이터 엔지니어가 매번 고민해 온 핵심 과제를 디자인 패턴으로 정리해 제시한다. 패턴별로 언제 사용해야 하는지, 어떤 해결책이 있으며 어떤 트레이드오프가 따르는지를 함께 설명해 설계 판단의 기준을 명확히 한다. 기술 스택과 환경이 바뀌어도 재사용할 수 있는 원칙을 통해, 더 탄력적이고 신뢰할 수 있는 데이터 파이프라인을 설계하도록 돕는 실무형 가이드다.

목차

저자 소개

바르토시 코니에치니 (지은이)
2010년부터 개발을 시작해 현재 프리랜서 데이터 엔지니어로 활동하고 있다. 엔지니어링 전반에 깊은 관심을 갖고 있다. 커리어 전반에 걸쳐 주요 퍼블릭 클라우드 서비스와 함께 아파치 스파크(Apache Spark), 아파치 플링크(Apache Flink), 아파치 에어플로(Apache Airflow), PostgreSQL, 델타 레이크(Delta Lake) 등 다양한 오픈 소스 기술을 활용하며 세션화, 데이터 수집과 정제, 순서가 있는 데이터 처리, 데이터 마이그레이션 등 폭넓은 데이터 엔지니어링 과제를 해결해 왔다.


김인범 (옮긴이)
RSQUARE의 DATA 기술 팀 팀장이자 데이터 엔지니어로, 열정적인 동료들과 함께 여러 가지 데이터 과제를 수행하고 있다. SK AX 클라우드 컴퓨팅 기술 팀 및 클라우드 아키텍트 유닛을 거쳐, CNCITY에너지 AI 솔루션 팀에서 데이터 엔지니어로 근무했다. 다양한 분야의 데이터에 관심이 많으며 글쓰기를 좋아한다.


연관 도서