java爬虫问题一：解决使用htmlunit 时候ssl认证失败问题

  • 作者： 凯哥Java(公众号：凯哥Java)
  • 工作小总结
  • 时间：2018-02-28 13:00
  • 3040人已阅读
工作小总结&小工具类 Redis AI相关 MQTT Maven mybatis ChatGPT uniapp zookeeper Thymeleaf语法 POI-TL sa-token PowerDesigner16.5 taos数据库 frp echarts Actor模型及Akka thingsboard 大疆无人机对接 CI/CD 教师资格证 小任务 面试其他 职场 淘宝客 支付宝支付 HBuilder X Flink Java集合类 多线程 ES Ribbon eureka Docker java游戏 网络通信 Nacos 芋道管理系统 Solr 分布式相关 Dubbo 数据结构 EasyPOI Drools RocketMQ JS 七天深入MySQL实战营 书籍 kafka spring Java基础 java web 若依(ruoyi) 分布式事务 面试宝典 mysql java8新特性 spring cloud ElasticSearch学习系列 HM_leadnews 即时通讯 并发 思维&学习 VUE 宝塔面板 算法刷题 设计模式 RabbitMQ学习系列教程 P3C规范 JVM学习系列 反射 自定义注解 网络美文 PHP源码 经验分享 资源 git项目 websocket 网赚 数据库读写分离 测试相关 其他随笔 shiro学习系列 fremarker学习系列 学习笔录-spring boot 网络文章 工作小总结
简介 前言：在使用htmlunit爬取其他网站信息的时候，提示错误信息：unabletofindvalidcertificationpathtorequestedtarget意思：说明证书问题。各种检索，使用了很多方法，以下记录解决思路：解决方案一：一种解决方案是：webClient.getOptions().setUseInsecureSSL(true);这么设置之后，确实没有在提示unabletof

🔔🔔🔔好消息!好消息!🔔🔔🔔

有需要的朋友👉:联系凯哥 微信号 kaigejava2022

前言：

在使用htmlunit 爬取其他网站信息的时候，提示错误信息：unable to find valid certification path to requested target

意思：

说明证书问题。各种检索，使用了很多方法，以下记录解决思路：

解决方案一：

一种解决方案是： webClient.getOptions().setUseInsecureSSL(true);

这么设置之后，确实没有在提示unable to find valid certification path to requested target错误了。但是引发了其他的问题。所以该方案不成立。

继续排查：

解决方案二：

设置setUseInsecureSSL(false);

重要代码：

WebClient webClient = new WebClient(BrowserVersion.CHROME);

/***  htmlunit unable to find valid certification path to requested target

 **/

webClient.getOptions().setThrowExceptionOnScriptError(false);//当JS执行出错的时候是否抛出异常, 这里选择不需要

       webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);//当HTTP的状态非200时是否抛出异常, 这里选择不需要

       webClient.getOptions().setActiveXNative(false);

      // webClient.getOptions().setCssEnabled(false);//是否启用CSS, 因为不需要展现页面, 所以不需要启用

       webClient.getOptions().setJavaScriptEnabled(true); //很重要，启用JS

       webClient.setAjaxController(new NicelyResynchronizingAjaxController());//很重要，设置支持AJAX

添加上面代码问题完美解决。


工作小总结&小工具类 Redis AI相关 MQTT Maven mybatis ChatGPT uniapp zookeeper Thymeleaf语法 POI-TL sa-token PowerDesigner16.5 taos数据库 frp echarts Actor模型及Akka thingsboard 大疆无人机对接 CI/CD 教师资格证 小任务 面试其他 职场 淘宝客 支付宝支付 HBuilder X Flink Java集合类 多线程 ES Ribbon eureka Docker java游戏 网络通信 Nacos 芋道管理系统 Solr 分布式相关 Dubbo 数据结构 EasyPOI Drools RocketMQ JS 七天深入MySQL实战营 书籍 kafka spring Java基础 java web 若依(ruoyi) 分布式事务 面试宝典 mysql java8新特性 spring cloud ElasticSearch学习系列 HM_leadnews 即时通讯 并发 思维&学习 VUE 宝塔面板 算法刷题 设计模式 RabbitMQ学习系列教程 P3C规范 JVM学习系列 反射 自定义注解 网络美文 PHP源码 经验分享 资源 git项目 websocket 网赚 数据库读写分离 测试相关 其他随笔 shiro学习系列 fremarker学习系列 学习笔录-spring boot 网络文章 工作小总结

上一篇： spring boot自动注解引发的错误

下一篇： Notepad++ 代码格式化

TopTop