전체 글
-
[AWS SAA] AWS ElasticCaheAWS 2023. 9. 25. 20:18
ElasticCahe 관리형 캐싱(Redis or Memcahed) 서비스 캐시는 매우 높은 성능과 짧은 지연시간을 가진 in-memory DB, 자주 사용하는 쿼리의 정보를 미리 저장하여 APP에서 쿼리의 결과를 빠르게 가져올 수 있게 도와준다. 가장 최신의 데이터만을 사용하기 위해 "캐시 무효화 전략"이 있어야 한다. Redis vs Memcahed Redis : 복제되는 캐시, 가용성과 내구성이 뛰어남 Memcahed : 분산 된 순수한 캐시. 데이터가 손실되어도 괜찮은 경우. Redis Memcahed Multi AZ , Auto-Failover(자동 장애 조치) Sharding, Mulit-node for partioning of data Read Replica, scale read, HA(고가..
-
AWS RDSAWS 2023. 9. 21. 18:55
AWS RDS RDS는 관계형 DB(RDB)를 완전 관리형(managed)로 제공하는 서비스. 기본적으로 EC2에 SSH로 접근 못함 auto scale을 지원하여, 디스크를 자동 증감 가능 읽기 전용 DB를 구축할 수 있어, 서비스 중인 DB의 부담을 낮출 수 있다. Network 비용 AWS는 AZ간 데이터가 이동할 때 비용이 발생한다. 보통 관리형 서비스에서는 예외임. ex) Read Replicas 가 다른 AZ에 있지만, 같은 리전 내에 있을 때는 비용이 발생하지 않는다. 단일 AZ에서 다중 AZ로 전환시 다운타임은 존재하지 않는다.(DB 중지 필요 없음) RDS Custom Oracle, MS SQL의 관리자 권한 전체를 갖게 된다. OS 및 DB 사용자 지정 기능에 액세스(SSH, SSM) ..
-
AWS EC2AWS 2023. 9. 21. 17:45
보안그룹(Security Groups, SG) 지역과 VPC에 연동됨 EC2 instances의 방화벽(firewall) 기능 IP , Ports를 in/out bound 측면에서 제어 기본적으로 inbound는 모두 차단, outbound는 모두 허용 보안그룹과 EC2 instance는 1:1, N:1 관계가 가능 : 1대의 EC2에 여러 보안 그룹을 연결 할 수 있음 보안그룹은 EC2 외부에 존재하는 방화벽 SSH 액세스를 위한 별도의 보안 그룹을 만드는 것이 좋음 time out : 보안 그룹으로 차단됨, connection refuse : 앱 에러 Spot Instance Spot 요청의 수정과 Spot Instance를 다루는 것은 다른 이야기 Spot 요청 후, Instance가 켜진 상태에서..
-
AWS IAMAWS 2023. 9. 17. 16:56
user access AWS에 접근하기 위해서는 3가지 방법이 존재. 1. AWS Console : password + MFA 2. AWS CLI : access keys 3. AWS SDK : access keys * SDK : 언어별로 API 개발이 되어 있으며, CLI처럼 직접 접속하는 것이 아니라, 앱에 심어두고 사용하는 것 Access Key ID ~= userName Secret Access Key ~= password IAM Role 사용자 또는 AWS 서비스에 의해 사용되도록 만들어짐 ex) AWS 서비스 : EC2, MSK 등에게 IAM 권한 부여를 위한 것 IAM Security Tools * IAM Credentials Report(account-level) 자격증명 보고서 * IAM..
-
kafkaKRU 2023 2nd meetup 후기세미나 밋업 후기 2023. 8. 11. 01:42
회사에서 AWS MSK를 운영하고 관리하는 입장에서, kafkaKRU(카프카 한국 사용자 모임)의 도움이 정말 많이 되었었다. 카프카에 대한, 실시간 스트리밍의 개념을 아예 모르는 입장에서 당장 봐야 하는 metric, 구조 동작등을 알려주는 좋은 세미나 들이 많았다. 마침 이번에 밋업을 진행한다하여 참석하였고 너무 좋은 내용들이 많아서 남기고자 한다. (이하는 작성중인 글입니다.) 세션1. 무신사 - 1,000만 회원 MAU 500만을 위한 데이터 아키텍쳐 유환성님의 미션 : 데이터에 많은 사내 인원이 접근할 수 있게 만들기 kafka의 대한 내용보다는 데이터 팀이 다루는 데이터의 양에 따라, 요구 사항에 따라서 어떻게 의사결정과 무신사의 아키텍쳐가 발전했는지에 대한 세션이였다. 무신사의 데이터 아키 ..
-
-
[실날데] 5주차 Airflow Deepdive카테고리 없음 2023. 4. 22. 16:03
Dag Configureation Dag parameters 아무리 높게 지정해도 Worker 서버의 CPU 수 이상으로 돌아갈 수 없다. * max_active_runs : 동시에 실행할 수 있는 Dags instance 수 * max_active_tasks : 동시에 힐생 할 수 있는 task의 수 xcom_pull 데이터가 작을때는 airflow 자체 DB에 저장한 뒤 전달해도 되지만, 큰 데이터의 경우 S3와 같은 storage에 저장한 후, 그 경로를 전달하는 방식으로 가져와야 한다. Variable 중요한 logic과 관계된 것에는 넣으면 안된다. 이 경우 히스토리도 남지 않고, 코드 리뷰가 어렵기때문에 디버깅이 어렵다. ex) sql qurey, 코드 DAG와 Task Task를 많이 만들면..
-
[AWS] VPC 생성 실습AWS 2023. 3. 30. 01:08
VPC 알아 둘 점 커스텀 VPC 생성 시 만들어지는 리소스 : 라우팅 테이블, 기본 NACL, 기본 보안그룹 서브넷 생성시 모든 기본 라우팅 테이블로 자동 연동 : 목적(Public, Private)에 따라 라우팅 테이블 생성하여 재연동 서브넷 생성시 AWS는 총 5개의 IP를 미리 점유 VPC에는 단 하나의 IGW만 생성 가능 IGW 생성 후 직접 VPC에 연동 필요 IGW 는 자체적으로 고가용성/장애내구성 확보 보안그룹(SG)는 VPC 단위 서브넷은 가용영역 단위(1 서브넷 = 1 가용영역) VPC 생성 실습 직접 커스텀 VPC 생성(10.0.0.0/16) 서브넷 3개 생성 : Public, Private, DB 각 서브넷에 각각 Routing Table 연동 Public 서브넷에 인터넷 경로 구성..