<aside> 🎯 개선해야 할 포인트

</aside>

🤮 잦은 크롤링 작업 조작으로 인한 불편함

Untitled

Untitled

이런 이유로 소분류당 크롤링을 돌리는 작업을 진행했다.

그런데 쿠팡의 카테고리를 하나 살펴보면 ‘가전’ 만해도 대분류 당 무려 203번을 돌려야 하고 대분류도 15개라서 예상되는 작업은 대략 3000번에 해당한다.

(ex. 대분류: 가전 / 중분류 : 25개 / 소분류 : 203개)

한번 돌려 소분류를 가져오는 데 보통 4-5분 후반대가 걸리며 이 때마다 카테고리 넘버와 소분류 이름을 바꿔줘야 하는 작업을 해야 했다.

이 때문에 시간은 둘째 치고 다른 작업을 계속 방해 받아 이를 개선할 필요가 있었다.


😫 하나하나 합치고 변환하는 불편한 작업