Cloud Engineering

모두의연구소 & Tech4Impact 활동으로 활동을 진행하고 있습니다. 누구나 리포터 Lab은 비영리 단체들이 데이터 기반의 의사결정을 통해 선한 영향력을 펼칠 수 있도록 지원하기 위해 기획자, 개발자, 분석가 등이 모인 Lab 입니다. 저는 누구나리포터 Lab 의 개발자로 참여하게 되었고 카카오톡 챗봇의 API 개발과 CICD 파이프라인 배포의 역할을 담당하게 되었습니다. 서버리스 서비스가 가져온 혁신누구나 리포터 랩은 누구나 데이터 팀이 실제로 운영중이던 일 단위의 데이터 기반 레포트 서비스를 발전시켜서 Text-to-SQL 기반으로 마치 주니어 데이터 분석가를 고용한 것과 같은 효과를 LLM 으로 대체해보자는 목표를 가지고 있습니다.누구나 데이터 팀은 사회적 기업으로 비영리 단체 (ex. 초록우..

고객 집착 (Customer Obsession)리더는 고객으로부터 시작해서 그에 맞춰 일합니다. 고객의 신뢰를 얻고 유지하기 위해 열정적으로 일합니다. 리더는 경쟁자에게 주의를 기울이지만 고객에게는 집착합니다.주인 의식 (Ownership)리더는 주인입니다. 리더는 장기적 관점에서 생각하고 단기간의 성과를 위해 장기적 가치를 희생하지 않습니다. 리더는 자신의 팀을 넘어서 회사 전체를 위해 행동해야 합니다. 리더는 절대 "그건 내 일이 아니야"라고 말하지 않습니다.창조하고 간소화하라 (Invent and Simplify)리더는 팀에게 혁신과 창조를 기대하고 요구하며 언제나 간소화할 방법을 찾습니다. 리더는 회사 밖에서 벌어지는 일을 잘 알고 있고, 모든 곳에서 새로운 아이디어를 얻으며, "여기에서 만들지 ..

참고 : Ubuntu 22.04 LTS 환경에서 작업했습니다. 사이드 프로젝트 서비스 배포 준비를 하며 Dockerfile 빌드를 하던 중, No space left on device 에러가 발생했다. 원래 EC2에 연결되어 있던 EBS 볼륨의 크기는 8GB였다. 도커 파일 빌드 시에 ML 관련 패키지들이 무거운 것들이 있어서인지 df -h 명령어로 파일시스템을 확인하면 빌드가 진행되면서 사용률이 늘어나는 것을 확인할 수 있었다. EC2 인스턴스 > 스토리지 > 블록 디바이스를 선택한다. 수정할 EBS 를 선택하고 볼륨 수정을 선택한다. 나의 경우 16GB로 늘려주었다. 아직 xvda 1 는 7.9G 가 할당된것을 볼 수 있다. 루트 파티션 xvda1 이 전체 공간을 사용할 수 있도록 확장하는 작업이 필..

airflow 를 t2.micro (가장 저렴한 프리티어 인스턴스) 로 deploy 하다가 서버가 계속 죽는 현상이 나서 메모리 사용량을 찍어봤더니 인스턴스가 버거워 하는 것을 확인했다..사용중인 인스턴스를 '중지' (절대 종료하면 안된다 인스턴스가 삭제됨) 한 후에, 인스턴스 설정 > 인스턴스 유형 변경을 선택한다. 원하는 인스턴스 유형을 선택하고 적용시킨다. 4GB 정도면 충분하겠지..! 적용이 성공되면 다음과 같다 재부팅 후 airflow 실행을 해보니 이제 인스턴스가 어는 것도 없고 task 가 잘 실행된다!

Intro 지인들과 사이드 프로젝트로 개발한 Django 앱을 deploy 해보는 예제로 Docker Image를 배포하는 간단한 hands on 을 소개해보겠습니다. Docker Image로 관리하는게 배포할 때 버전관리나 환경 구축 시에 편리할 것 같아서 Image화하였습니다. 아래의 Git Repository 가 개발한 Django 앱 입니다. https://github.com/FoodieZone/Backend GitHub - FoodieZone/Backend Contribute to FoodieZone/Backend development by creating an account on GitHub. github.com 작업 및 배포 환경 Host Server : ubuntu 22.04 Cloud S..

Lambda 함수를 trigger 거는 방법에는 여러가지가 있지만 그중에서도 AWS 외부에서 lambda 에 요청을 보내기 위해서 API Gateway 와 연동하게 되면, lambda 함수를 빠르게 서버리스로 배포할 수 있다. API Gateway 와 Lambda 서비스를 사용하여 Serverless HTTP API 를 배포하는 방법에 대해 알아보자 우선 AWS 에서 API Gateway > Create API 를 선택하고, HTTP API 타입을 선택한다. 생성하게 될 HTTP API 이름을 적는다. HTTP method 를 여기서도 정의할 수 있지만 우선 넘어가고, 나중에 한번에 정의하도록 한다. API 배포를 관리하기 위한 Stage 이름을 정한다. 구성 내용을 확인하고 Create 버튼을 눌러 A..

지난주에 시험보고 이제서야 쓰는 후기 AWS Data Analytics Specialty Certification 을 취득했다. Solutions Architect 를 취득하고 나서 머리가 가열되어 있는 상태(?)에서 조금만 더 공부하면 금방 딸 수 있다는 주위 사람들의 말을 듣고 SAA 시험 본 날에 DAS 시험을 신청했다. 솔루션즈 아키텍트 시험을 공부할 때와 동일하게 Exam Topics 로 공부했고 따로 유료 결제까지 하면서 dump 공부를 하진 않았다. 그래서 무료로 제공되는 약 70-80 문제 정도만 1회독 했다. 덤프를 외우지는 않았고 문제 풀면서 몰랐던 기능들을 정리해보았고, 서비스들을 어떻게 붙여서 써먹는지 이해하면서 공부하려고 노력했다. 공부하면서 Kinesis , EMR, Glue 등..

미루고 미루다가 SAA 시험을 드디어 봤다. 17만원짜리 시험 떨어지면 어떡하나 했는데 다행히 790점대로 무난히 합격하였다. 1. 준비기간 : 3 ~ 4개월 - 준비 기간의 경우 회사를 다니면서 준비하느라 집중적으로 하루에 N시간씩 쏟지는 못했다 - 시간을 많이 쓸 수 있는 상황이거나 AWS 경험이 많다면 좀 더 짧은 기간에 준비할 수 있을 것 같다. - Cloud Practitioner 는 따지 않았으며, 바로 SAA 준비를 시작했다. 2. 준비 방법 1) Udemy SAA-03 강의 저렴한 가격에 강의 퀄리티, ppt 퀄리티도 다 마음에 들었다. 다만 꼼꼼히 듣는데 시간이 꽤 걸린다. 영어자막으로 보긴했는데 한국어 자막도 지원하는 것으로 알고 있다. 강의를 찾는다면 추천 ! Udemy 는 캐싱을 해..