Steam App List Crawling - 2

저번에 8만개나 되는 스팀 데이터를 크롤링하면서 알아낸 사실은

8만개가 모두 게임 앱이 아니었다.

https://api.steampowered.com/ISteamApps/GetAppList/v2

위 앱 리스트에서는 앱 고유 ID와 이름 밖에 나와있지 않다.

https://store.steampowered.com/api/appdetails?appids= [앱 고유 ID]

위 Web API 주소로 앱 고유 ID의 디테일한 정보를 보면…

type가 game이 아니고 movie인 것도 있고 정보가 존재하지 않는 것도 있었다.

그래서 두 가지로 조건을 걸었다.

json data에서 success가 true일때만 데이터가 존재하기 때문에

1. success가 false일 경우 해당 앱 고유 ID 제외
2. type가 game이 아닐 경우 해당 앱 고유 ID 제외

이렇게 해서 8만개 중에 데이터베이스에 저장할 것을 골라내야겠다.