CS

AWS 서비스를 학습하기 위하여 간단한 파이프라인을 만들어 보았습니다.Firehose에 데이터를 전송하여 S3에 저장하도록 하고, S3 트리거로 Lambda를 작동시켜 데이터를 RDS에 입력하는 아키텍처입니다.Python만 사용하였습니다.  데이터보낼 데이터는 관계형 데이터베이스에 저장할 만한 유저 데이터 형식을 따릅니다.from faker import Fakerdef random_log(): fake = Faker('ko-KR') # (이름, 주소, 우편번호, 전화번호('-' 미포함), 이메일, 타임스탬프('2008-04-09 05:23:30'), 랜덤 텍스트) raw_data = {'name': fake.name(), 'address': fake.addres..

서비스를 학습하기 위하여 간단한 파이프라인을 만들어 보았습니다. Github Actions에서 AWS SQS로 이미지 URL 전달 SQS는 AWS Lambda 함수를 트리거하여 이미지 URL에서 이미지를 받고 축소한 후 S3에 저장 Github Actions ▶ SQS 주기적으로 작업을 실행할 수 있는 서비스인 Github Actions를 사용하여 매일 0시(UTC)에 이미지 URL 20개를 SQS 대기열에 보내도록 하였습니다. SQS에 접근한 후 이미지 URL을 SQS 대기열에 보내는 파이썬 파일과, 이를 Actions로 실행하기 위해 워크플로 파일을 만들었습니다. Github Actions 환경이기 때문에, SQS 클라이언트 객체를 생성할 때 공유 자격 증명 등 파일이 아닌 방법으로 자격 증명을 해야..