Steam App List Crawling - 1

게임 검색을 위해 Steam App List API를 이용해서 스팀 관련 앱을 데이터베이스에

저장하려고 크롤링을 시작했다.

여전히 개수는 8만개 정도여서 일단은 1000개 정도만 가져오려했다.

그런데… 막혔다(?) 스팀에서 내 IP를 차단했다.

찾아보니 계속 차단하는 것은 아니고 스팀쪽에서도 트래픽이 걸리는 IP를

잠시 차단하는 것 같았다.

시간이 지나면 다시 풀리긴 해서 조금 더 검색을 해보니 stackoverflow 다음과 같은 내용을 찾았다.

As you can see in the Steam Web API Terms of Use:

You are limited to one hundred thousand (100,000) calls to the Steam Web API per day. Valve may approve higher daily call limits if you adhere to these API Terms of Use.

You are not using an API which you need a Web API Key for. Therefore, your requests are not limited to 100,000 a day, but to about 10 requests every 10 seconds. You can send a request once every second, or 10 requests at once and wait 10 seconds.

그리고 문서에도 내용이 있었다.

https://steamcommunity.com/dev/apiterms

한 번 요청할 때마다 1초 이상의 딜레이를 걸어야 했다.

그래서 time 모듈을 써서 1.5초를 주고 크롤링을 시작했다.