java爬虫系列：怎么用jsoup进行爬虫开发(1)

1、第一步：maven引入jsoup，或者从jsoup的官网下载jsoup导入编译器，官网下载地址：jsoup.org/download。因有依赖问题，这里建议使用maven

3、第三步：jsoup的爬取的其他方式：Connection conn = Jsoup.connect("").method(Connection.Method.GET);post如下：Connection conn = Jsoup.connect("").method(Connection.Method.POST);

5、第五步：cookies的作用就是让网站记住你，告诉网站还是我，别验证了，所以如果再次请求的撰颧幌汪验证的网站，带上cookies就不用验证。代码如下：Connection.Response response = cget.execute();Document doc = response.parse();Map<String, String> cookies = response.cookies();Document document = Jsoup.connect("").cookies(cookies).get();

6、第六步：下次开始讲代理，头部，get和Post的参数传递，并模拟登陆