오늘은 어제에 이어서 조별과제를 했는데요, 조별과제를 진행하며 팀원들과 매우 가까워질 기회가 되었고, 저에 대한 코딩 역량도 테스트해볼 수 있는 기회였습니다.
우선 저희조는 모든 조원들이 패션에 관심이 많아서 옷을 주제로 하면 어떨까 라는 생각에 무신사를 생각하게 되었고, 무신사에서도 ESG를 실천하고 있는 무신사 EARTH라는 사이트에서 크롤링 및 프로그램을 진행하게 되었습니다.
저는 개발자의 입장이어서 코드에 대한 설명을 해보도록 하겠습니다.
'무신사 어스'라는 사이트 자체가 PC를 위한 PC사이트는 없어서 HTML에서 어떤 걸 크롤링해야 할지, 복잡하기도 해서 힘이 좀 들었습니다. 그리고, '댓글 크롤링'편에서는 페이지가 넘어가지 않아서 해결하려고자 교수님께도 도움을 요청하였는데, '이건 모바일 페이지라서 댓글을 넘겨도 사이트 url이 변하지도 않고, console창에서도 어느 하나 변하는 게 없다. 사이트에서 크롤링을 하기 어렵게 만든 거 같다. 이래서 모바일 사이트는 조금 비추하는 이유이다.'라고 말씀하셨습니다.
그래서 댓글을 1페이지씩만 지정해 두고, 필요에 따라서 더 많은 상품들을 크롤링하는 것으로 바꾸었습니다.
또한 처음에는 이미지를 다운로드하자니 다른 이미지가 다운받아져서 이미지를 포기하려고 했는데, 조원분들이 저에게 시간을 많이 투자해 주셔서 다행히도 이미지에 대한 연구를 할 수 있었습니다. 제 생각은 '그래도 교수님이 알려주신 이미지 크롤링인데 마지막 프로젝트인 만큼 쓰는 게 좋지 않을까?'라는 생각에 이미지를 꼭 하고 싶었습니다.
처음에는 폴더 안에 담기지 않는 버그가 나서 포기할까도 했지만 긴 고민시간 동안에 해결하게 되었고, 다운로드한 것을 colab에서 틀자니 jpg파일 명이 상품명으로 되어있어 순서가 뒤죽박죽이었습니다. 그래서 1_(상품명). jpg로 할 수 있게 지정하여 colab에서도 실행시킬 수 있게끔 하였습니다.
많은 시간을 저에게 주신 조원분들에게도 감사하고
또한 이러한 합동을 걸쳐서 조원들과 협력심을 기르게 해 주신
교수님께 정말 감사드립니다.
5일이라는 짧은 기간이었지만 정말 많은 것들을 배워갑니다.
5일 동안 정말 감사했습니다!
'ABC 부트캠프' 카테고리의 다른 글
[18일차] ABC 부트캠프 인공지능_1 (0) | 2024.07.31 |
---|---|
[17일차] ABC 부트캠프_건양대학교 메디컬 캠퍼스 견학 (0) | 2024.07.28 |
[13일차] ABC 부트캠프_동적 크롤링 (2) | 2024.07.22 |
[12일차] ABC 부트캠프 ESG데이! (3) | 2024.07.21 |
[11일차] ABC 부트캠프 데이터 수집을 위한 크롤링 (0) | 2024.07.21 |