데이터 엔지니어링 입문부터 실무까지 필요한 자료와 커뮤니티를 한곳에 모은 길잡이
새로운 분야에 진입할 때 어디서부터 시작해야 할지 막막할 때, 이 저장소는 필요한 자료를 체계적으로 정리해 줍니다. 데이터 엔지니어링 관련 책, 강의, 커뮤니티, 그리고 업계 동향을 아우르는 링크 모음집입니다.
초보자를 위한 학습 로드맵
데이터 엔지니어링을 처음 접하는 사람은 2024년 진입 로드맵을 따라가면 됩니다. 4주 과정의 입문 부트캠프와 6주 과정의 중급 부트캠프 각각의 소개와 필요한 소프트웨어 목록이 준비되어 있습니다. 실무 적용을 원한다면 프로젝트 섹션의 실습 예제와 인터뷰 섹션의 면접 팁을 참고하는 것이 좋습니다. 책, 커뮤니티, 뉴스레터 섹션도 학습을 돕는 중요한 자료로 분류되어 있습니다.
필독서와 주요 커뮤니티
25권 이상의 책 목록 중 'Fundamentals of Data Engineering', 'Designing Data-Intensive Applications', 'Designing Machine Learning Systems' 세 권을 필독서로 추천합니다. 데이터 엔지니어링 커뮤니티로는 DataExpert.io Discord, Data Talks Club Slack, Data Engineer Things Community가, 머신러닝 분야에서는 AdalFlow Discord와 Chip Huyen MLOps Discord가 주요 모임으로 꼽힙니다. 이러한 커뮤니티들은 학습 과정에서 발생하는 질문을 해결하고 동향을 공유하는 데 유용합니다.
용도별 도구 분류
데이터 엔지니어링에 사용되는 도구들은 용도별로 명확히 구분되어 있습니다. 오케스트레이션에는 Airflow, Dagster, Prefect 등이, 데이터 레이크와 클라우드에는 Databricks, Delta Lake, Apache Iceberg 등이 포함됩니다. 데이터 웨어하우스로는 Snowflake, Firebolt, Databend이, 데이터 품질 관리에는 dbt, Great Expectations, Soda 등이 나열되어 있습니다. 또한 분석 시각화, 데이터 통합, 시맨틱 레이어, 현대 OLAP, LLM 애플리케이션 라이브러리, 실시간 데이터 집계, 데이터 계보 추적 등 세부 분야별 도구 목록도 제공됩니다.
업계 블로그와 콘텐츠 소스
Netflix, Uber, Databricks, Airbnb, Amazon AWS, Microsoft, Oracle, Meta 등 주요 기업의 데이터 엔지니어링 블로그 링크가 모여 있어 실무 사례를 살펴볼 수 있습니다. 'Lakehouse', 'Big Data Quality', 'Spark', 'MapReduce' 등 데이터 엔지니어링의 기초가 된 백서 목록도 포함되어 있습니다. YouTube, LinkedIn, X/Twitter, Instagram, TikTok 등 소셜 미디어 플랫폼별 크리에이터 목록과 팔로워 수까지 정리되어 있어 관심 있는 채널을 쉽게 찾을 수 있습니다. 팟캐스트와 뉴스레터 목록도 20개 이상 제공되어 다양한 매체로 학습을 이어갈 수 있습니다.
강의, 자격증, 그리고 활용 전 확인 사항
DataExpert.io, LearnDataEngineering.com, IBM, DataCamp, Udemy 등 다양한 플랫폼의 강의와 DeepLearning.AI의 전문 인증 과정이 목록에 있습니다. Google Cloud, Databricks, Microsoft, AWS의 데이터 엔지니어 관련 자격증 시험 정보도 함께 확인할 수 있습니다. README에는 라이선스나 유지보수 주기에 대한 명시적 정보가 없으므로, 자료의 지속적 업데이트 여부는 방문 시점에 직접 판단해야 합니다.