[16일차] ABC 부트캠프_조별 프로젝트

오늘은 어제에 이어서 조별과제를 했는데요, 조별과제를 진행하며 팀원들과 매우 가까워질 기회가 되었고, 저에 대한 코딩 역량도 테스트해볼 수 있는 기회였습니다.

 

우선 저희조는 모든 조원들이 패션에 관심이 많아서 옷을 주제로 하면 어떨까 라는 생각에 무신사를 생각하게 되었고, 무신사에서도 ESG를 실천하고 있는 무신사 EARTH라는 사이트에서 크롤링 및 프로그램을 진행하게 되었습니다.

 

저는 개발자의 입장이어서 코드에 대한 설명을 해보도록 하겠습니다.

필요 요소들을 import해주는 모습 & image라는 폴더 생성

사이트에서 수집할 데이터를 찾고 동적 이벤트를 주었습니다.

상품에 대한 기본 정보들을 다운받고 불러오는 중 입니다.

댓글 정보와 상품 이미지를 저장하는 차례입니다. (상기에 images라는 폴더를 만든 이유.

무신사 url을 나중에 지정해주었습니다. (이유는 업써.) 그리고 한글로 encoding해주고, 파일명을 지정해 저장해주는 작업까지 해주었습니다.

---

'무신사 어스'라는 사이트 자체가 PC를 위한 PC사이트는 없어서  HTML에서 어떤 걸 크롤링해야 할지, 복잡하기도 해서 힘이 좀 들었습니다. 그리고, '댓글 크롤링'편에서는 페이지가 넘어가지 않아서 해결하려고자 교수님께도 도움을 요청하였는데, '이건 모바일 페이지라서 댓글을 넘겨도 사이트 url이 변하지도 않고, console창에서도 어느 하나 변하는 게 없다. 사이트에서 크롤링을 하기 어렵게 만든 거 같다. 이래서 모바일 사이트는 조금 비추하는 이유이다.'라고 말씀하셨습니다.

그래서 댓글을 1페이지씩만 지정해 두고, 필요에 따라서 더 많은 상품들을 크롤링하는 것으로 바꾸었습니다.

 

또한 처음에는 이미지를 다운로드하자니 다른 이미지가 다운받아져서 이미지를 포기하려고 했는데, 조원분들이 저에게 시간을 많이 투자해 주셔서 다행히도 이미지에 대한 연구를 할 수 있었습니다. 제 생각은 '그래도 교수님이 알려주신 이미지 크롤링인데 마지막 프로젝트인 만큼 쓰는 게 좋지 않을까?'라는 생각에 이미지를 꼭 하고 싶었습니다. 

처음에는 폴더 안에 담기지 않는 버그가 나서 포기할까도 했지만 긴 고민시간 동안에 해결하게 되었고, 다운로드한 것을 colab에서 틀자니 jpg파일 명이 상품명으로 되어있어 순서가 뒤죽박죽이었습니다. 그래서 1_(상품명). jpg로 할 수 있게 지정하여 colab에서도 실행시킬 수 있게끔 하였습니다.

 

많은 시간을 저에게 주신 조원분들에게도 감사하고
또한 이러한 합동을 걸쳐서 조원들과 협력심을 기르게 해 주신
교수님께 정말 감사드립니다.
5일이라는 짧은 기간이었지만 정말 많은 것들을 배워갑니다.
5일 동안 정말 감사했습니다!

썸네일