瓦史托德 2015-09-01 09:17 采纳率: 100%
浏览 1519
已采纳

MapReduce中执行HTMLUnit 报nosuchfielderror:INSTANCE

public static class CrawlReducer
extends TableReducer{
private String url = "";
@Override
protected void reduce(Text key, Iterable value, Context context)
throws IOException, InterruptedException{
this.url = key.toString();
final WebClient webClient = new WebClient(BrowserVersion.CHROME);
webClient.getOptions().setCssEnabled(false);
webClient.getOptions().setJavaScriptEnabled(true);
webClient.getOptions().setThrowExceptionOnScriptError(false);
webClient.setAjaxController(new NicelyResynchronizingAjaxController());
webClient.getOptions().setTimeout(5000);
HtmlPage page = null;
try {
page = webClient.getPage(url);//运行到这句就出错
} catch (FailingHttpStatusCodeException e1) {
e1.printStackTrace();
} catch (MalformedURLException e1) {
e1.printStackTrace();
} catch (IOException e1) {
e1.printStackTrace();
}

        String s = page.getPage().asXml();
        // Put 实例化,每个词存一行
        Put put = new Put(Bytes.toBytes(url));
        // 列族为 content,列修饰符为 count,列值为数目
        put.add(Bytes.toBytes("content"), Bytes.toBytes("html"),
                Bytes.toBytes(s));
        context.write(NullWritable.get(), put);
    }
    这是Map从Hbase读URL,在reduce里面解析网页过程。运行到getPage就结束了。没币鸟,求大神解脱,好人一生平安
  • 写回答

1条回答 默认 最新

  • devmiao 2015-09-04 21:28
    关注
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

悬赏问题

  • ¥15 如何在scanpy上做差异基因和通路富集?
  • ¥20 关于#硬件工程#的问题,请各位专家解答!
  • ¥15 关于#matlab#的问题:期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707,使系统具有较小的超调量
  • ¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
  • ¥30 截图中的mathematics程序转换成matlab
  • ¥15 动力学代码报错,维度不匹配
  • ¥15 Power query添加列问题
  • ¥50 Kubernetes&Fission&Eleasticsearch
  • ¥15 報錯:Person is not mapped,如何解決?
  • ¥15 c++头文件不能识别CDialog