[AWS] DataTransfer 요금 증가 원인 찾기

한 고객으로부터 '이번 달 요금이 저번 달에 비해 많이 나오고 있는데 확인 좀 해달라'는 요청이 왔다.

 

EC2 단 1대를 Saving Plan으로 사용하기 때문에 딱히 요금이 증가할 이유가 없어서 Billing 페이지를 확인했고 원인은 DataTransfer 요금인걸 확인할 수 있었다.

DataTransfer - 리전 간 데이터 전송 아웃바운드 트래픽 확인

AWS는 리전 간 데이터 전송 시에도 아웃바운드 트래픽에 대한 요금이 발생한다.

 

 

DataTransfer 리전 간 데이터 전송 요금은 계정 내 리전 간 데이터 전송 시 발생하는 비용으로 알고 있었는데 그게 아닌가보다...

 

다른 리전에 쓰는 서비스가 없으니까 계정 내 서비스 간 데이터 플로우를 점검할 필요는 없고,

EC2 내부를 우선 살펴보기로 했다.

 

Web Access Log - Bot 접근 확인

 

웹 액세스 로그를 보니 ClaudeBot과 AmazonBot이 상당히 자주 접근 중인걸 확인했고,

이외에는 특별한 점이 없었다.

 

ClaudeBot, AmazonBot에 대해 조금 더 확인해 보기로 했다.

ClaudeBot, AmazonBot IP 위치 확인

 

Bot IP가 AWS 소유인지 확인, AWS는 보유한 공인IP를 JSON 형식으로 공개하고 있다.

 

IP 위치 조회를 해보니 대부분 버지니아, 오하이오였고 AWS에서 보유한 IP를 사용하고 있는걸로 봐서

봇을 통한 웹 크롤링을 AWS 상에서 돌리고 있는 것 같다.

 

 

다른 계정의 AWS 리전으로 데이터를 전송할 때 인터넷 아웃바운드 트래픽으로 처리될 줄 알았으나,

실제로는 리전 간 데이터 전송으로 처리된다는 사실을 알게 되었다.

 

고객사에게는 웹 크롤링을 허용하고 있는 특별한 사유가 없다면 robots.txt 파일에 Disallow 설정하라고 안내했고 그 이후로는 리전 간 데이터 전송 트래픽이 잡히지 않고 있다.

 

LLM 학습때문에 웹 크롤링이 앞으로 더 잦아지지 않을까 싶은데, 의도치 않은 요금 발생을 막으려면 적절한 조치가 필요할 것 같다.

 

*참고자료

https://docs.aws.amazon.com/ko_kr/cur/latest/userguide/cur-data-transfers-charges.html

https://ip-ranges.amazonaws.com/ip-ranges.json