2주차 프로젝트를 준비하며, 변하지 않은 것 바로 “대용량 트래픽” 1주차 논의결과 간단요약 아키텍처: MSA 배포 구조: Kubernetes 기반 컨테이너 배포 (👀미정이였던 것 같은데) 메시징 시스템: Apache Kafka 인프라: AWS (EKS, RDS 등) 기술 스택: Spring Boot, Spring Cloud, React, MySQL, Redis ㄴ*FE스택과 SQL, 배포구조, Redis는 아직 정리되지 않은 추상적인 부분 오늘 다뤄 볼 내용은 어떤 서비스에 어떤 기술 스택을 사용하고, 왜 사용하는가? 난 뭘 잘할 수 있지? 1. 어떤 서비스에 어떤 기술 스택을 사용하고, 왜 사용하는가? 1-1. 프로젝트 내 서비스 기술 스택 1-2. 추가될만한 서비스 기술 및 스택 요약 2. JAVA 버전과 레포방식 2-1. JAVA 버전 비교 오류를 해결하며, 헤쳐나가는 것이 개발자의 숙명이지만, 사실 초기단계에서 안정성을 배제하고 모험을 하는 것이 맞을까? 하는 생각이기 떄…

프로젝트 개요 이번 프로젝트는 당근마켓에서 특정 키워드와 관련된 게시글을 체계적으로 수집하는 크롤러를 개발하는 것이었습니다. 단순한 데이터 수집을 넘어서, 안정성과 효율성을 모두 갖춘 프로덕션 레벨의 크롤러를 만드는 것이 목표였습니다. 프로젝트 규모 항목 수치 비고 크롤링 대상 지역 12,000개 전국 시/군/구 단위 병렬 워커 수 3-10개 서버 성능에 따라 조정 기본 딜레이 2.5초 봇 탐지 회피 예상 소요 시간 4시간 10워커 기준 개발 과정 타임라인 1. 기본 구조 설계 BaseCrawler 추상 클래스와 Selenium, aiohttp 크롤러 구현체 설계 2. 핵심 기능 구현 크롤러 방식 선택, 데이터 수집, 데이터베이스 저장, JSON 내보내기 기능 구현 3. 진행상황 관리 진행상황 저장/복구, 중단/재시작 기능 구현 4. 트러블슈팅 중단 기능, 진행상황 표기, 딜레이 적용 문제 해결, 403 error 대책 5. 최적화 및 완성 성능 최적화, 사용자 경험 개선, 최종 …

코드 리펙토링을 통한 최적화. 처음 경험했던 최적화? 는 아마 javascript의 메서드 였던 것 같다. 우리 메서드 씨는요… 순회 가능한 객체에 주어진 모든 프로미스가 이행된 후, 혹은 예외처리된 프로미스를 반환해요.. 게임으로 따지면 1보스에서 죽으면 2보스는 트라이도 못하는거다. 응 1단계 못 깼잖아 돌아가~😂 프로젝트를 진행할 때 한개의 서비스에 여러가지의 기능들이 추가되다 보니, API 요청을 처리하는 함수가 여러 개 있었는데, 매번 함수를 호출할 때마다 처리 속도가 느려지는 게 신경 쓰였다. 게다가 수정할 때마다 반복적인 작업이 필요해서 너무 번거롭고 비효율적이라는 걸 자각 해버렸달까… 이걸 계기로 유지보수 편의성과 효율적인 설계가 얼마나 중요한지 확실히 깨닫게 됐다. 느꼈으면..? 실행해야겠지..? 단순하게 4개의 API 호출함수의 실행시간이 각 1초가 걸린다고 가정해보자 1초 - 1초 - 1초 - 1초 = 4초 즉, 순차처리로 인하여,4초가 걸리는 것이다…