본문 바로가기
ABC 부트캠프

[16일차] ABC 부트캠프_조별 프로젝트

by ejis 2024. 7. 28.

오늘은 어제에 이어서 조별과제를 했는데요, 조별과제를 진행하며 팀원들과 매우 가까워질 기회가 되었고, 저에 대한 코딩 역량도 테스트해볼 수 있는 기회였습니다.

 

우선 저희조는 모든 조원들이 패션에 관심이 많아서 옷을 주제로 하면 어떨까 라는 생각에 무신사를 생각하게 되었고, 무신사에서도 ESG를 실천하고 있는 무신사 EARTH라는 사이트에서 크롤링 및 프로그램을 진행하게 되었습니다.

 

저는 개발자의 입장이어서 코드에 대한 설명을 해보도록 하겠습니다.

필요 요소들을 import해주는 모습 & image라는 폴더 생성
사이트에서 수집할 데이터를 찾고 동적 이벤트를 주었습니다.
상품에 대한 기본 정보들을 다운받고 불러오는 중 입니다.
댓글 정보와 상품 이미지를 저장하는 차례입니다. (상기에 images라는 폴더를 만든 이유.
무신사 url을 나중에 지정해주었습니다. (이유는 업써.) 그리고 한글로 encoding해주고, 파일명을 지정해 저장해주는 작업까지 해주었습니다.


'무신사 어스'라는 사이트 자체가 PC를 위한 PC사이트는 없어서  HTML에서 어떤 걸 크롤링해야 할지, 복잡하기도 해서 힘이 좀 들었습니다. 그리고, '댓글 크롤링'편에서는 페이지가 넘어가지 않아서 해결하려고자 교수님께도 도움을 요청하였는데, '이건 모바일 페이지라서 댓글을 넘겨도 사이트 url이 변하지도 않고, console창에서도 어느 하나 변하는 게 없다. 사이트에서 크롤링을 하기 어렵게 만든 거 같다. 이래서 모바일 사이트는 조금 비추하는 이유이다.'라고 말씀하셨습니다.

그래서 댓글을 1페이지씩만 지정해 두고, 필요에 따라서 더 많은 상품들을 크롤링하는 것으로 바꾸었습니다.

 

또한 처음에는 이미지를 다운로드하자니 다른 이미지가 다운받아져서 이미지를 포기하려고 했는데, 조원분들이 저에게 시간을 많이 투자해 주셔서 다행히도 이미지에 대한 연구를 할 수 있었습니다. 제 생각은 '그래도 교수님이 알려주신 이미지 크롤링인데 마지막 프로젝트인 만큼 쓰는 게 좋지 않을까?'라는 생각에 이미지를 꼭 하고 싶었습니다. 

처음에는 폴더 안에 담기지 않는 버그가 나서 포기할까도 했지만 긴 고민시간 동안에 해결하게 되었고, 다운로드한 것을 colab에서 틀자니 jpg파일 명이 상품명으로 되어있어 순서가 뒤죽박죽이었습니다. 그래서 1_(상품명). jpg로 할 수 있게 지정하여 colab에서도 실행시킬 수 있게끔 하였습니다.

 

많은 시간을 저에게 주신 조원분들에게도 감사하고
또한 이러한 합동을 걸쳐서 조원들과 협력심을 기르게 해 주신
교수님께 정말 감사드립니다.
5일이라는 짧은 기간이었지만 정말 많은 것들을 배워갑니다.
5일 동안 정말 감사했습니다!

썸네일