Java抓取需要客户端身份认证的页面的解决方案


通过JAVA抓取页面时,有些页面会返回401(Unauthorized)响应状态码和www-authenticate响应头来要求客户端进行身份认证。这种认证有两种方式:BASIC和DIGEST,BASIC验证要求客户端对用户名和密码进行BASE64编码后传送给服务器。DIGEST的认证方式的细节比较复杂,会经过一系列的加密,所以很难被破译。

JAVA提供一个用于启用身份认证的类,可以支持HTTP协议中的多个认证方式,这个类是java.net.Authenticator,使用方法如下:

package com.xixuyishi;
import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.Authenticator;
import java.net.PasswordAuthentication;
import java.net.URL;
public class RunHttpSpnego {
static final String kuser = "username"; // 用户名
static final String kpass = "password"; // 密码
static class MyAuthenticator extends Authenticator {
@Override
public PasswordAuthentication
getPasswordAuthentication() {
return (new PasswordAuthentication(kuser,
kpass.toCharArray()));
}
}
public static void main(String[] args) throws Exception {
Authenticator.setDefault(new MyAuthenticator());
URL url = new URL(args[0]);
InputStream ins = url.openConnection().getInputStream();
BufferedReader reader = new BufferedReader(new
InputStreamReader(ins));
String str;
while ((str = reader.readLine()) != null)
System.out.println(str);
}

只需要创建一个继续自Authenticator的类,并且重写其中的getPasswordAuthentication()方法,将用户名和密码放入方法中,这样在需要使用身份认证的地方实现这个类就可以了



相关阅读:
Mysql my.ini 配置文件详解
一些SQLServer存储过程参数及举例
数据挖掘查询任务编辑器
js中根据字数截取字符串,不能截断url
研究动网得到的一些动网参数
实用技巧:使用LoadRunner监控Linux方法
了解DMX的Select语句
Mysql服务器的启动与停止(二)
Win7系统安装PHPnow的解决步骤
批处理 正则表达式(findstr) 整理
asp.net 特定目录form验证
php skymvc 一款轻量、简单的php
iframe的onload在Chrome/Opera中执行两次Bug的解决方法
Oracle数据导入导出imp/exp
快速导航

Copyright © 2016 phpStudy | 皖ICP备18014864号-4