[데이터엔지니어링] Hadoop HDFS에 대해서 알아보자 - (2편)

Hadoop Distributed File System은 Apache Hadoop의 핵심 스토리지 시스템으로, 대용량 데이터를 분산 저장하고 안정적으로 관리하기 위해 설계된 파일 시스템입니다.HDFS의 디자인 목표1. 하드웨어 FailureHDFS는 파일 시스템의 데이터를 수백, 수천 대의 서버 머신(Node)에 분산하여 저장하는 구조를 갖습니다. 이 때 해당 머신들에서 다양한 장애가 발생할 수 있습니다. (ex : 디스크 장애로 인한 데이터 유실, 네트워크 장애로 인한 접근 불가 등…)HDFS는 이러한 장애를 빠르게 감지하고 대처할 수 있게 설계 되었습니다. HDFS에 데이터를 저장하면, 복제본도 함께 저장되어 데이터 유실을 방지하고, NameNode와 DataNode 간에는 주기적인 Health Ch..

• format_list_bulleted 데이터엔지니어링
• · 2026. 1. 25.

[데이터엔지니어링] Hadoop에 대해서 알아보자 (1편)

데이터 엔지니어 직무를 목표로 취업을 준비하면서 워크플로우 관리 도구인 Airflow, Observability를 위한 Grafana, 실시간 처리, 모니터링을 위한 EFK 스택 등을 경험해 봤지만, 대규모 분산 처리를 위한 Hadoop Ecosystem에 대한 이해나 실습 경험이 없었다...그래서 이번 기회에 Hadoop Ecosystem을 중심으로 대용량 데이터 처리를 위한 기술 스택들을 공부해보려 합니다.🐘 Hadoop이란?온라인 서비스가 발전하면서 데이터의 양과 종류가 다양해졌습니다. 웹 로그와 같은 비정형 데이터를 기존의 RDBMS에 저장하기에는 데이터의 크기나 보관 측면에서 비용 부담이 컸고, 데이터 처리에 있어 RDBMS의 복잡하고 세밀한 기능이 반드시 필요한 상황도 아니었습니다. 그래서 ..

• format_list_bulleted 데이터엔지니어링
• · 2026. 1. 11.

2025년 회고 (근데 이제 MZ신입사원을 곁들인)

2024년 마지막에 2024년 회고 글을 썼던 게 엊그제 같은데, 어느새 1년이란 시간이 금방 지나가 버렸습니다...2025년은 인생에서 중요한 일들이 있었던 한 해였습니다. 대학교 졸업부터 취업까지 개인적으로 의미 있으면서도 나름 굵직한 변화들을 경험한 한 해가 아니었나 생각이 듭니다.2025년은 어떤 해였는가?2025년을 한 마디로 정리하면 '학생 신분을 마무리하고 직장인으로서 첫발을 내디딘 해'라고 정의할 수 있을 것 같습니다. 2019년에 입학한 대학교를 2025년에 졸업했고, 직장이라는 새로운 환경에서 사회생활을 시작하게 된 해였습니다.직장 생활을 시작하면서 제가 원하는 대로 부서나 지역에 배치받지 못해 새로운 지역과 환경에서 적응해야 했고, 학생 때는 비슷한 나이대의 친구들과 어울려 지냈는데 ..

• format_list_bulleted 회고
• · 2026. 1. 1.

[혼공네] 5장 응용 계층

5-1. DNS와 자원도메인 네임과 네임 서버네트워크상의 호스트를 특정하기 위해 IP 주소를 사용하지만, 통신하는 모든 호스트의 IP 주소를 기억하기도 어렵고, 호스트의 IP 주소는 언제든지 바뀔 수 있어 IP 주소만을 사용하기에는 번거롭습니다. 그래서 일반적으로 사용자는 IP 주소보다는 도메인 네임을 많이 사용합니다.도메인 네임 : 호스트 IP 주소와 대응되는 문자열 형태의 호스트 특정 정보.도메인 네임과 IP 주소는 네임 서버에서 관리하고, 도메인 네임을 관리하는 네임 서버를 DNS 서버라고 부릅니다.도메인 네임의 계층적 분류도메인 네임은 점(”.”)을 기준으로 계층적으로 분류됩니다. 최상단에 루트 도메인(.), 그 다음 최상위 도메인(TLD), 2단계 도메인처럼 계속 그 다음 단계의 도메인이 있는 ..

• format_list_bulleted 컴퓨터네트워크
• · 2025. 12. 26.

[혼공네] 4장 전송 계층

4-1. IP의 한계와 포트IP 프로토콜의 한계1. 비연결형 프로토콜- 송,수신 호스트 간에 사전 연결 수립 작업을 거치지 않고, 수신지를 향해 패킷을 보내기만 한다.2. 신뢰할 수 없는 프로토콜- 통신과정에서 패킷의 데이터가 손상되거나, 중복된 패킷이 전송되었더라도 확인 할 수 없다.전송 계층 역할 1. IP의 한계 보완1. 전송 계층은 연결형 통신을 가능하게 한다.- 연결형 통신의 대표적인 프로토콜인 TCP는 두 호스트가 정보를 주고 받기 전에 연결을 수립함.2. 전송 계층은 신뢰성 있는 통신을 가능하게 한다.- TCP 프로토콜의 경우 패킷이 수신지까지 올바른 순서대로 확실히 전달되는 것을 보장함- 재전송을 통한 오류 제어, 흐름 제어, 혼잡 제어 등의 기능을 제공전송 계층 역할 2. 응용 계층과의 ..

• format_list_bulleted 컴퓨터네트워크
• · 2025. 12. 13.

[혼공네] 3장 네트워크 계층

3-1. LAN을 넘어서는 네트워크 계층데이터 링크 계층(Layer 2)의 한계한계 1. 물리 계층과 데이터 링크 계층만으로는 다른 네트워크까지의 도달 경로를 파악하기 어렵다.물리 계층, 데이터 링크 계층에서는 기본적으로 같은 네트워크(LAN) 단위를 다루는데, 다른 네트워크 간의 통신은 다루지 않는다.패킷이 이동할 최적의 경로를 결정하는 것을 라우팅이라고 하고, 네트워크 계층에서는 라우팅을 수행하기 위해 라우터라는 것이 이용된다.한계 2. MAC 주소만으로는 모든 네트워크에 속한 호스트의 위치를 특정하기 어렵다.모든 호스트가 모든 네트워크에 속한 호스트의 MAC 주소를 서로 알고 있기는 너무 어렵기 때문에 MAC 주소만으로 이 세상 모든 호스트를 특정하는 것은 어렵다.네트워크 계층에서는 IP 주소를 활..

• format_list_bulleted 컴퓨터네트워크
• · 2025. 10. 12.