Github Actions를 이용한 ECR, ECS 배포 자동화하기 (2)

이전 글에서는 ECR, ECS, Github Actions에 대해서 설명했습니다. 이번에는 실제 코드를 확인하면서 GitHub Actions를 활용한 CI/CD 파이프라인을 알아보겠습니다.CI/CD 파이프라인에서는 AWS CodeBuild를 이용해 소스 코드 테스트를 진행하고, 이후 ECR, ECS를 활용해 배포할 예정입니다.참고한 문서는 아래 링크에서 확인할 수 있습니다. Create a CI/CD pipeline for Amazon ECS with GitHub Actions and AWS CodeBuild Tests | Amazon Web ServicesAmazon Elastic Container Service (Amazon ECS) is a fully managed container orchestr..

• format_list_bulleted 데이터엔지니어링
• · 2025. 3. 16.

Github Actions를 이용한 ECR, ECS 배포 자동화하기 (1)

팀 프로젝트를 진행하며 개발 및 배포 환경을 통일하기 위해 Docker를 활용해 백엔드 서버를 배포하였습니다.  AWS를 활용해 서버를 배포하는 과정에서 ECR과 ECS를 처음 접하게 되어 ECR과 ECS에 대해 정리해보겠습니다.또한 코드가 변경되는 매번 ECR과 ECS를 업데이트를 하는 과정이 번거로웠기 때문에 Github Actions를 도입했는데, Github Actions에 대한 소개도 진행해보겠습니다.ECRAmazon Elastic Container Registry(Amazon ECR)는 어디서나 애플리케이션 이미지 및 아티팩트를 안정적으로 배포할 수 있도록 뛰어난 성능 호스팅을 제공하는 완전관리형 컨테이너 레지스트리입니다. (Docker Hub와 비슷한 개념이라고 보시면 됩니다.) ECR Pr..

• format_list_bulleted 데이터엔지니어링
• · 2025. 3. 16.

서버리스 데이터 파이프라인 구축하면서 배운점!

이전에 동아리 프로젝트를 진행하면서 구축한 서버리스 데이터파이프라인에 대해 정리해봤는데, 이번 글에서는 프로젝트를 통해서 배운 점들에 대해서 정리해보는 시간을 가지려고 합니다.이전에 작성한 글을 아래에 링크 첨부합니다 서버리스(Serverless) 데이터 파이프라인 구축기동아리 프로젝트에서 서버리스 서비스들을 이용해 데이터 파이프라인을 구축했습니다.이번 글에서는 어떤 데이터 파이프라인을 구축했는지, 왜 서버리스로 데이터파이프라인을 구축했는지에itcodeheaven.tistory.com1. 서버리스 서비스 불편함첫번째로 배운 점은 서버리스 서비스를 이용하면서 몇가지 불편한 부분이 존재했습니다. 서버리스는 서버, 인프라의 확장과 유지보수를 클라우드(AWS)측에 전적으로 맡긴다는 장점이 있지만, 이런 장점 외..

• format_list_bulleted 데이터엔지니어링
• · 2025. 2. 16.

서버리스(Serverless) 데이터 파이프라인 구축기

동아리 프로젝트에서 서버리스 서비스들을 이용해 데이터 파이프라인을 구축했습니다.이번 글에서는 어떤 데이터 파이프라인을 구축했는지, 왜 서버리스로 데이터파이프라인을 구축했는지에 대해서 설명드리겠습니다.프로젝트 소개프로젝트를 간단히 소개하자면, 사용자의 현재 위치를 기반으로 주변의 다양한 맛집을 빠르게 추천해주는 애플리케이션입니다. 짧은 시간 내에 다양한 맛집 정보를 효율적으로 제공하려 했습니다.오늘 글은 데이터 파이프라인에 초점을 맞춰 설명드리고자 하므로, 프로젝트에 대한 내용은 간략하게만 적겠습니다.Serverless 데이터 파이프라인 소개저희 프로젝트는 네이버, 카카오, 다이닝코드 라는 3개의 플랫폼에서 맛집 정보를 크롤링한 후, 해당 데이터를 각각의 플랫폼별 폴더 구조에 맞춰 S3 경로에 저장했습니다..

• format_list_bulleted 데이터엔지니어링
• · 2025. 1. 31.

[데이터엔지니어링] Docker 개념

Docker란 무엇인가?Docker는 Container 기반의 오픈소스 가상화 플랫폼입니다.쉽게 얘기하면 컨테이너라 불리는 하나의 작은 소프트웨어 유닛 안에 Application, System Tools, Dependencies 와 같은 실행을 위한 모든 것을 하나로 묶어 다른 서버, PC 에 쉽게 배포하고 안정적으로 구동할 수 있게끔 해주는 Tool입니다.컨테이너란?컨테이너의 개념을 알기 위해서는 Virtualization(가상화) 개념에 대해서 먼저 알아야합니다.Virtualization (가상화)가상화(Virtualization)는 가짜(not real) 하드웨어 환경을 만들어 내는 기술입니다.가상화(Virtualization)를 통해서 물리적 머신의 기능을 여러 사용자, 환경에 배포해 물리적 머신..

• format_list_bulleted 데이터엔지니어링
• · 2024. 5. 3.

[데이터엔지니어링] Apache Kafka Connect 설명

Kafka Connect 데이터베이스, 키-밸류 스토어와 같은 외부 시스템을 Kafka에 연결해 주는 구성 요소. Kafka와 외부 시스템 간의 연결을 쉽고, 간편하게 해준다. Consumer 와 Producer의 기능을 Code 작성 없이 설정만으로 구성할 수 있다. Kafka connect의 도입 배경 Single Kafka System with Producer & Consumer 카프카(kafka)는 프로듀서(Producer)와 컨슈머(Consumer)를 통해 다양한 외부 시스템 데이터를 주고 받으며 메세지 파이프라인 아키텍쳐를 구성. Multiple Kafka System with Producer & Consumer 하지만 이러한 파이프라인을 매번 구성하며 프로듀서와 컨슈머를 개발하는 것은 비용,..

• format_list_bulleted 데이터엔지니어링
• · 2024. 4. 13.