Back-End/Java(Spring)
-
[Java] Jsoup를 이용한 웹 페이지 크롤링Back-End/Java(Spring) 2022. 3. 29.
순서 1. AFK Arena의 홈페이지에서 필요한 쿠폰 코드들을 크롤링하여 DB에 저장(여기서 DB작업은 다 되었다고 가정) 2. 쿠폰 등록 페이지에 들어가서 로그인(쿠키 또는 세션 유지) 3. 로그인 한 상태의 페이지를 파싱하여 requestBody에 쿠폰을 담아 전송 크롤링 하고 싶은 페이지의 URL을 Jsoup객체에 담는다. import org.jsoup.Connection; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; final String URL = "https://www.afkarena.net/redemption-codes"; Document doc = Jsoup.connect(URL).get(); get()으로 해당 URL을 불러오면 ..