<aside> 🎯 개선해야 할 포인트
</aside>
이런 이유로 소분류당 크롤링을 돌리는 작업을 진행했다.
그런데 쿠팡의 카테고리를 하나 살펴보면 ‘가전’ 만해도 대분류 당 무려 203번을 돌려야 하고 대분류도 15개라서 예상되는 작업은 대략 3000번에 해당한다.
(ex. 대분류: 가전 / 중분류 : 25개 / 소분류 : 203개)
한번 돌려 소분류를 가져오는 데 보통 4-5분 후반대가 걸리며 이 때마다 카테고리 넘버와 소분류 이름을 바꿔줘야 하는 작업을 해야 했다.
이 때문에 시간은 둘째 치고 다른 작업을 계속 방해 받아 이를 개선할 필요가 있었다.