Archive: 2019/8

2019
0
개발 일지개인 프로젝트

Pagination Error?

Search Option을 선택할 수 있게 Select Box를 만들었는데 검색한 후에 다른 페이지로 넘어가게 되면 오류가 발생했다. 파이참 디버깅으로 확인해보니 search option에서 none 값이 들어와서 Template 부분을 확인해봤더니 반환한 search option 값을 pagination의 Querystring에 추가해주지 않아서 조건을

0
개발 일지개인 프로젝트

JQuery Autocomplete 구현!

저번 조건대로 스팀 데이터를 필터링했더니 8만개에서 3만 6천개 정도로 반 이상이 줄었다! 그래서 앱 ID, 이름, 개발사, 배급사, 지원 언어, 가격 등이 들어가도록 크롤링을 시작해서 데이터베이스에 넣었다. 그리고 JQuery Autocomplete를 검색하고 적용하고 고치면서 구현에 성공했다! 123456789101112131415161718192021

0
개발 일지개인 프로젝트

Steam App List Crawling - 2

저번에 8만개나 되는 스팀 데이터를 크롤링하면서 알아낸 사실은 8만개가 모두 게임 앱이 아니었다. https://api.steampowered.com/ISteamApps/GetAppList/v2 위 앱 리스트에서는 앱 고유 ID와 이름 밖에 나와있지 않다. https://store.steampowered.com/api/appdetails?appids= [앱

0
개발 일지개인 프로젝트

STEAM TREND에 링크 걸기

메인 페이지에서 STEAM TREND라는 글자에 a 태그를 이용해서 해당 상품들에 대한 상세 랭크를 볼 수 있도록 스팀 페이지를 등록했다. 123456<div class="col-sm" style="font-weight: bold; font-size: 0.80em; text-align:right"> <a href="https://sto

0
개발 일지개인 프로젝트

Steam App List Crawling - 1

게임 검색을 위해 Steam App List API를 이용해서 스팀 관련 앱을 데이터베이스에 저장하려고 크롤링을 시작했다. 여전히 개수는 8만개 정도여서 일단은 1000개 정도만 가져오려했다. 그런데… 막혔다(?) 스팀에서 내 IP를 차단했다. 찾아보니 계속 차단하는 것은 아니고 스팀쪽에서도 트래픽이 걸리는 IP를 잠시 차단하는 것 같았다. 시간이 지나면

0
개발 일지개인 프로젝트

Main Data Crontab 적용!

메인 페이지에서 크롤링한 데이터를 텍스트 파일에 저장했고 직접 수동 업데이트하는 방식으로 테스트를 진행했다. 그리고 static이라는 폴더를 만들어서 텍스트 파일로 모아 관리했다. django에서는 정적인 파일을 static 폴더에 넣어서 관리하는데 collectstatic을 하지않으면 업데이트가 되지 않는다. 배포할 때는 AWS S3를 연동할텐데 coll

0
StudyData Structure

동적 프로그래밍(Dynamic Programming)

동적 프로그래밍(Dynamic Programming) 알고리즘 문제Memoization 반복되는 결과를 메모리에 저장해서 다음에 같은 결과가 나올 때 빨리 실행되도록 하는 기법 함수의 입력이 같다면 그에 따른 출력이 같을 때만 사용할 수 있다.123456789101112131415161718192021# 재귀 함수 - 피보나치def fibo(n): i

0
StudyData Structure

최단 경로(Shortest path)

최단 경로 음수 사이클은 안되지만 음수 가중치는 된다. 방향 그래프(directed graph) - 방향 그래프는 대칭이 아니다. 가중치 그래프(weighted graph) 경로의 길이 = 에지 가중치의 합 최단 경로 알고리즘의 종류 하나의 출발점과 나머지 모든 목적지 Dijkstra Algorithm(음수 가중치가 없음) Bellman-Ford Alg

0
개발 일지팀 프로젝트

Crontab 문제 해결!

12시간마다 동작하라고 한 작업이 동작하긴 했는데, 정해진 시간에 동작하지 않는 문제가 발생했다. 시간을 확인해보니까 오전 9시에 실행이 되었다. 흠… 앗! 하고 순간 떠오른게 로컬에서의 시간과 서버에서의 시간이었다. 그래서 터미널을 통해서 date를 입력해봤더니 KST로 현재 시간이 잘 나왔다. 그리고 AWS EC2에 접속해서 date를 쳤더니… UTC가