CS

이전에는 Data Firehose를 대기열로 사용하여 S3로 데이터를 보내고 Lambda를 트리거하였는데, 이번에는 SQS를 대기열로 사용하여 바로 Lambda를 트리거하는 아키텍처를 만들었습니다. Firehose는 스트리밍 데이터를 ETL하는 플랫폼으로 만들어졌기 때문에, RDB에 입력할 데이터를 전달하는 용도로 사용하기에는 버퍼나 Lambda를 직접 트리거하지 못하는 등 부적합한 부분이 있다고 생각합니다. 그래서 이름 그대로 간단한 대기열인 SQS를 사용하기로 하였습니다. SQS에 데이터 전송 import boto3 import json from createLog import random_log sqs = boto3.client('sqs') for _ in range(3000): response = ..

서비스를 학습하기 위하여 간단한 파이프라인을 만들어 보았습니다. Github Actions에서 AWS SQS로 이미지 URL 전달 SQS는 AWS Lambda 함수를 트리거하여 이미지 URL에서 이미지를 받고 축소한 후 S3에 저장 Github Actions ▶ SQS 주기적으로 작업을 실행할 수 있는 서비스인 Github Actions를 사용하여 매일 0시(UTC)에 이미지 URL 20개를 SQS 대기열에 보내도록 하였습니다. SQS에 접근한 후 이미지 URL을 SQS 대기열에 보내는 파이썬 파일과, 이를 Actions로 실행하기 위해 워크플로 파일을 만들었습니다. Github Actions 환경이기 때문에, SQS 클라이언트 객체를 생성할 때 공유 자격 증명 등 파일이 아닌 방법으로 자격 증명을 해야..

AWS SQS는 AWS 메시지 큐 서비스 중 하나입니다. 메시지 큐는 보통 아키텍처의 규모가 어느 정도 큰 경우 사용하는 서비스로, 이를 사용하면 큐 방식으로 어떤 서비스에서 다른 서비스로 정보(메시지)를 보낼 수 있습니다. 일단 비동기 장점이 있고, 서비스끼리 직접 통신할 경우 연결 과정 자체도 번거롭고 해당 서비스를 변경하기가 어려워지기 때문입니다. 또한 모든 메시지를 메시지 큐에 모은 후, 서비들이 자기가 원하는 정보만 가져가도록 만들 수 있기 때문에(이를 '구독'이라 함) 구성하기가 편한 점도 있습니다. 참고로 메시지 큐처럼 애플리케이션 간 통신에 사용되는 소프트웨어를 미들웨어라고 부릅니다. Simple Queue Service라는 이름처럼, 다른 메시지 큐 서비스보다 간단한 듯합니다. 콘솔상에서..