CS

이전에는 Data Firehose를 대기열로 사용하여 S3로 데이터를 보내고 Lambda를 트리거하였는데, 이번에는 SQS를 대기열로 사용하여 바로 Lambda를 트리거하는 아키텍처를 만들었습니다. Firehose는 스트리밍 데이터를 ETL하는 플랫폼으로 만들어졌기 때문에, RDB에 입력할 데이터를 전달하는 용도로 사용하기에는 버퍼나 Lambda를 직접 트리거하지 못하는 등 부적합한 부분이 있다고 생각합니다. 그래서 이름 그대로 간단한 대기열인 SQS를 사용하기로 하였습니다. SQS에 데이터 전송 import boto3 import json from createLog import random_log sqs = boto3.client('sqs') for _ in range(3000): response = ..

AWS 서비스를 학습하기 위하여 간단한 파이프라인을 만들어 보았습니다.Firehose에 데이터를 전송하여 S3에 저장하도록 하고, S3 트리거로 Lambda를 작동시켜 데이터를 RDS에 입력하는 아키텍처입니다.Python만 사용하였습니다.  데이터보낼 데이터는 관계형 데이터베이스에 저장할 만한 유저 데이터 형식을 따릅니다.from faker import Fakerdef random_log(): fake = Faker('ko-KR') # (이름, 주소, 우편번호, 전화번호('-' 미포함), 이메일, 타임스탬프('2008-04-09 05:23:30'), 랜덤 텍스트) raw_data = {'name': fake.name(), 'address': fake.addres..