windows wget没办法下载一个网页内的所有文件,怎么办?

图片说明如图,我要批量下载这个网页目录下的所有文件。用了下面这段代码:

wget -r -nH --cut-dirs 2 --restrict-file-names=nocontrol -P F:\data --http-user=XXXX --http-passwd=XXXX https://n5eil01u.ecs.nsidc.org/SMAP/SPL2SMAP_S.002/2015.03.31/

(由于隐私,用户名和密码我用XXXX代替)

执行代码后过程如下:

--2018-12-06 23:39:12--  https://urs.earthdata.nasa.gov/oauth/authorize?app_type=401&client_id=_JLuwMHxb2xX6NwYTb4dRA&response_type=code&redirect_uri=https%3A%2F%2Fn5eil01u.ecs.nsidc.org%2FOPS%2Fredirect&state=aHR0cDovL241ZWlsMDF1LmVjcy5uc2lkYy5vcmcvU01BUC9TUEwyU01BUF9TLjAwMi8yMDE1LjAzLjMxLw
Resolving urs.earthdata.nasa.gov (urs.earthdata.nasa.gov)... 2001:4d0:241a:4081::89, 198.118.243.33
Connecting to urs.earthdata.nasa.gov (urs.earthdata.nasa.gov)|2001:4d0:241a:4081::89|:443... connected.
HTTP request sent, awaiting response... 401 Unauthorized
Authentication selected: Basic realm="Please enter your Earthdata Login credentials. If you do not have a Earthdata Login, create one at https://urs.earthdata.nasa.gov//users/new"
Reusing existing connection to [urs.earthdata.nasa.gov]:443.
HTTP request sent, awaiting response... 302 Found
Location: https://n5eil01u.ecs.nsidc.org/OPS/redirect?code=b01004c779d377e755a8baf424ff2a756a0d61469640e0175dd9a42b92100c71&state=aHR0cDovL241ZWlsMDF1LmVjcy5uc2lkYy5vcmcvU01BUC9TUEwyU01BUF9TLjAwMi8yMDE1LjAzLjMxLw [following]
--2018-12-06 23:39:14--  https://n5eil01u.ecs.nsidc.org/OPS/redirect?code=b01004c779d377e755a8baf424ff2a756a0d61469640e0175dd9a42b92100c71&state=aHR0cDovL241ZWlsMDF1LmVjcy5uc2lkYy5vcmcvU01BUC9TUEwyU01BUF9TLjAwMi8yMDE1LjAzLjMxLw
Connecting to n5eil01u.ecs.nsidc.org (n5eil01u.ecs.nsidc.org)|128.138.97.102|:443... connected.
HTTP request sent, awaiting response... 302 Found
Location: https://n5eil01u.ecs.nsidc.org/SMAP/SPL2SMAP_S.002/2015.03.31/ [following]
--2018-12-06 23:39:16--  https://n5eil01u.ecs.nsidc.org/SMAP/SPL2SMAP_S.002/2015.03.31/
Connecting to n5eil01u.ecs.nsidc.org (n5eil01u.ecs.nsidc.org)|128.138.97.102|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: 'F:/data/2015.03.31/index.html'

2015.03.31/index.html             [   <=>                                            ]  29.25K  49.5KB/s    in 0.6s

2018-12-06 23:39:17 (49.5 KB/s) - 'F:/data/2015.03.31/index.html' saved [29950]

FINISHED --2018-12-06 23:39:17--
Total wall clock time: 6.4s
Downloaded: 1 files, 29K in 0.6s (49.5 KB/s)

最终仅仅只是下了个Index文件。

我想问一下这里面是哪里出错了?

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的。是时候展现真正的技术了!
其他相关推荐
如何使用wget批量下载或递归下载网页中的所有文件
<br />windows中没有找到wget命令,不过这个命令linux上有。如果你想下载某个网页目录中的所有文件,可以使用以下命令:<br /> <br />wget -r http://site.com/content_dir<br /> <br />更详细的参数可以参见linux自带的手册。
使用wget下载指定目录下所有文件-Windows
wget是一个从网络上自动下载文件的自由工具,支持通过HTTP、HTTPS、FTP三个最常见的TCP/IP协议下载,并可以使用HTTP代理。wget名称的由来是“World Wide Web”与“get”的结合。Linux系统中的wget是一个下载文件的工具,它用在命令行下。对于Linux用户是必不可少的工具,我们经常要下载一些软件或从远程服务器恢复备份到本地服务器。wget支持HTTP,HTTPS
win下安装wget以及使用wget下载整个网站或目录
1、 安装wget网址:http://gnuwin32.sourceforge.net/packages/wget.htm下载http://downloads.sourceforge.net/gnuwin32/wget-1.11.4-1-setup.exe双击
Windows下用wget下载网页
Howto Download Your Website Using WGET for Windows Windows下用wget下载网页 Writtenby: Richard Baxter Ever had that terrifying feeling you’velost your blog? Perhaps your WordPress installation got hacked,
Wget下载整个网站(包含图片/JS/CSS)
我会向你展示10个 Wget 命令的实际案例. Wget 是一个用于下载文件的免费工具,它支持大多数常用的Internet协议,包括 HTTP, HTTPS, 以及 FTP.Wget这个名字来源于 World Wide Web + get. Wget 有很多功能,可以很方便地做到下载大型文件,递归下载,一次下载多个文件以及镜像web网站和FTP站点.Wget是非交互式的,但是使用起来相当的灵活. 你
windows下使用wget下载文件夹
1)安装wget.exe。从【http://gnuwin32.sourceforge.net/packages/wget.htm】网站上下载setup文件并进行安装,我选的版本为(Complete package, except sources)。将bin目录添加到系统环境变量2) 打开winodws powershell。键入命令【wget.exe --user 'yourusername' -...
用wget下载整个网站,或者特定目录全部文件
需要下载某个目录下面的所有文件。 命令如下 wget -c -r -np -k -L -p http://docs.openstack.org/liberty/install-guide-rdo/ 在下载时。有用到外部域名的图片或连接。如果需要同时下载就要用-H参数。 wget -np -nH -r –span-hosts www.xianren.org/pub
强大的wget 下载某页面的所有指定类型的文件
http://www.phontron.com/class/nn4nlp2017/assets/slides/ 页面有好多pdf文档是我们需要的,需要写爬虫下载所有pdf文件吗? 不需要,一条wget命令即可解决问题。 mkdir  pdf  wget  -r -np -P ./pdf -A pdf http://www.phontron.com/class/nn4nlp2017/asset...
Python + wGet 合璧,一键下载网页上所有的PDF
Python抓网页,wGet下载之。两个常见的开源工具强强联手,何事不成功?
linux下wget下载整个网站
欢迎阅读kyo酱的博客! emmm欢迎所有的认识的,不认识的大家来阅读我的博客!其实在这篇博客之前写过好几篇解leetcode的博客,无奈功力不够深厚,代码写得不好都没有什么人看。。。 于是不知是从什么时候开始,我就在想,怎么才能写一些有内容,有参考价值的博客呢,至少发给男盆友他也不至于一眼不看,能毁劳惶6Nz掠k0烈疚撬甭载抑 《 http://baobao.baidu.com/article/...
wget 递归下载整个网站
wget命令详解 wget -r -p -np -k http://xxx.com/xxx -r, --recursive(递归) specify recursive download.(指定递归下载) -k, --convert-links(转换链接) make links in downloaded HTML point to local files.(将下载的HTML页
如何在linux下使用wget下载网站制定目录的所有文件
wget命令很强大,具体有多强大,没有使用linux shell经验的朋友可能没有体会。突然有个需求,还是在CentOS 7.2环境下载想要安装docker环境,但是机器无法访问互联网,可真是头大。只能去网上把适合centos 7的docker rpm包及metadata全下载下来。一个一个包去点着下载很不现实。想到了可以开挂的wget,让它从docker介质库中只下载centos 7的rpm包和...
wget下载整个网站或特定目录
需要下载某个目录下面的所有文件。命令如下wget -c -r -np -k -L -p www.xxx.org/pub/path/在下载时。有用到外部域名的图片或连接。如果需要同时下载就要用-H参数。wget -np -nH -r --span-hosts www.xxx.org/pub/path/-c 断点续传-r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件-nd 递归下载时不创建...
WGET下载https链接及WGET命令的详解
使用如下的命令下载https链接:wget -r -np -nd --accept=gz --no-check-certificate https://w
wget 下载整个网站,或者特定目录
转载自:http://www.cnblogs.com/lidp/archive/2010/03/02/1696447.html 需要下载某个目录下面的所有文件。命令如下 wget -c -r -np -k -L -p www.xxx.org/pub/path/ 在下载时。有用到外部域名的图片或连接。如果需要同时下载就要用-H参数。 wget -np -nH -r --span-host
wget下载目录下的文件
wget下载目录
[小技巧] wget 下载文件名为中文的文件
使用wget 去抓一个网站的文件时,有时候会碰到中文
使用wget来下载文件
今天上网查了一些关于wget这个强大的网络工具的使用方法,现列举如下:wget 使用技巧集锦wget的使用形式是:wget [参数列表] URL首先来介绍一下wget的主要参数:· -b:让wget在后台运行,记录文件写在当前目录下"wget-log"文件中;· -t [nuber of times]:尝试次数,当wget无法与服务器建立连接时,尝试连接多少次。比如"-t120"表示尝试120次。
利用wget批量下载http目录下文件
因为网络特殊,连不上互联网,只好自己制作一个本地源。
使用wget工具抓取网页和图片
wget -e robots=off -w 1 -xq -np -nH -pk -m -t 1 -P "$PATH" "$URL" 使用wget工具抓取网页和图片: 包括css\js\html\图片文件
用wget命令的爬虫功能抓取网页到本地文件,然后用grep命令分析文件。
用wget命令的爬虫功能抓取网页到本地文件,然后用grep命令分析文件。 1. 抓取网页到本地 选择一个网页,比如 http://www.oschina.net/code/snippet_1391852_26067,用wget抓取到本地。 $ wget http://www.oschina.net/code/snippet_1391852_26067
Linux 如何使用 wget 下载整个网站
Linux 如何使用 wget 下载整个网站近期要去缅甸呆半个月,想顺便把 W3SCHOOL.COM 上面的 HTML/CSS/JS/PHP 教程温习一遍。但是有一个问题,缅甸的网速很慢,我们住的酒店 wifi 不稳定,今年 1 月份和 6 月份我也在缅甸胶漂岛呆过,特别怀念我国的 4g 网络。所以,这次无论如何我要把 W3SCHOOL.COM 的内容离线下载下来。wget 是用于从网站下载资源的
Wget 的下载网站 下载资源
[root@master network-scripts]# wget --helpGNU Wget 1.14,非交互式的网络文件下载工具。用法: wget [选项]... [URL]... 长选项所必须的参数在使用短选项时也是必须的。 启动:  -V,  --version           显示Wget 的版本信息并退出。  -h,  --help              打印此帮助。  ...
解决Wget下载时的乱码问题
解决Wget下载时的乱码问题 使用wget下载文件时,如果被下载文件名是中文或者日文等多字节文字的时候,可能出现乱码 解决方法是使用下面参数: --restrict-file-names=nocontrol 来看一下效果,以星际争霸2 的官方网站为例 首先是不加此参数: wget -r -p -k -n
wget获取一个url的完整目录
wget -r -l1 -np -nd http://your_url/your_folder/
使用wget工具抓取网页和图片 及 相关工具几个
想保存一些网页,最后找到这 wget 的 shell脚本,虽然不是太理想,亲测可用呢。 使用wget工具抓取网页和图片   来源 https://my.oschina.net/freestyletime/blog/356985 #!/bin/sh URL="$2" PATH="$1" echo "download url: $URL" echo "download dir: $
wget账户密码下载网页上的数据
下载方法,可以指定用户名、密码下载: wget --user=xxx --password=xxx http://xxx.xxx.xxx.xxx/cdh3/script/ntp-.sh -O /etc/cron.d/ntp-.sh
用wget下载文件
用wget下载文件刚安装了stardict,打算装备离线词典,毫无意外地用到了for the first time。 默认现在在当前目录。首先 wget http://abloz.com/huzheng/stardict-dic/zh_CN/ 下载试试,下载的是一个名为index.html的网页而已。 然后添加参数 -r 递归试试 wget -r http://abloz.com/huzh
Linux wget 批量下载
本文转自https://www.cnblogs.com/chenjinxi/p/7479386.html 需求:已知50个pdf的URL地址,需要批量下载,该怎么办呢? 方案一:使用wget自带的一个功能 -i 选项  从指定文件中读取下载地址,这样的好处是一直是这一个wget进程下载所有pdf,不会来回的启、停止进程 [root@Jenkins tmp]# pwd /roo
解决wget中文乱码问题
试了下网上修改源码的方式,没有用。最后发现只要简单加入参数--restrict-file-names=nocontrol即可。
【Python】 Wget网页图片下载利器
【Python】 Wget网页图片下载利器 对于新手小白学爬虫,获取网页连接后,想要下载图片怎么办,下面是两种方法,推荐用Wget,能使代码简洁不少,这里放一个对比: 方法一:requests模块 安装: pip install requests 程序调用: import requests img = requests.get(url) # 请求链接,有防爬的要加headers #...
转 wget指定文件,指定目录,指定路径下载
转自 https://blog.csdn.net/tylai520/article/details/17168673有时候我们需要wget一个文件下载到指定的目录下,或者重命名成指定的名字wget -r -p -np -k -P ~/tmp/ http://java-er.comwget居然有如此邪恶的用法这个语句表示下载全站资料等于把一个网站整个静态化到本地。解释一下参数-P 表示下载到哪个目录...
Wget下载含中文字符的资源的出现乱码现象的分析和处理
1 现象 1.1 ftp_server.exe工具(或windowns XP IIS 中的FTP服务器) wget自动将中文转为URL编码,下载不成功。 1.2 WingFTP工具 wget自动将中文转为URL编码,下载成功。 2 分析和处理 每个操作系统有自己的编码,中文的windows系统默认编码为GBK。每个应用
初学shell,今天遇到由wget下载到本地的网页源代码的乱码问题,无聊的写了一个转码的脚本
今天用wget想下载文件,结果下载了一堆本地的index.html文件,一查看全是乱码,然后百度了一下,网页的编码格式大概有三种: 1、utf-8 2、gb2312 3、gbk 要在网页源码中的下的属性的设置中查看 charset  对应的属性值。 而我的centos的操作系统只识别utf-8格式的,由环境变量LANG保存的配置,我们可以查看一下 echo $LANG  ,系统返回的是:
shell(wget)模拟浏览器登录认证并下载文件
PS:最近本人在做一个JAVAWEB网站,有一个需求是这样:把生产出来的食品送去实验室进行检测,根据实验室数据判断食品是否合格,但是一个食品检测项目可能会有很多项,一样一样输入很麻烦,只能导入Excel,但是实验室那边不给开接口,只能手动登录网址并根据筛选条件进行下载,所以本人就写了一个shell脚本让服务器自动去下载并导入系统 话不说直接上干货 示例一、 #!/bin/bash #目的:
wget批量下载FTP上的文件
wget "ftp://192.168.1.1:21/*" --ftp-user=ftp --ftp-password=ftp -r -P /home/www/
wget 命令的使用:HTTP文件下载、FTP文件下载
本文链接: https://blog.csdn.net/xietansheng/article/details/84669662 1. wget 命令简介与安装 wget主要用于在命令行终端下载网络文件的命令工具,支持 HTTP、HTTPS、FTP 三种最常见的 TCP/IP协议 下载。wget 与 curl 相似,curl 可以理解为是一个浏览器,wget 则可以理解是迅雷。wget 意为 Wo...
wget 批量下载并且按序号重命名 windows版
@echo off setlocal enabledelayedexpansion set /a num=0 FOR /F %%i in (URL.txt) do ( set /a num+=1 title !num! wget -c -q %%i -O !num!.jpg )各条命令按行解释关闭显示启用变量延迟,不然循环里获取不到上一次设置的值num=0FOR循环,批处理里变量必须用%%作...
使用wget无法下载http链接的文件解决方案
wget --no-check-certificate https://我们下载文件路径
使用Windows的Powershell下载文件
$client = new-object System.Net.WebClient$client.DownloadFile('#1', '#2')#1是需要下载文件的url#2是保存为本地文件的路径,包括文件名例如:$client.DownloadFile('https://www.2cto.com/net/201611/562900.html', 'D:/562900.html')...