windows wget没办法下载一个网页内的所有文件,怎么办?

图片说明如图,我要批量下载这个网页目录下的所有文件。用了下面这段代码:

wget -r -nH --cut-dirs 2 --restrict-file-names=nocontrol -P F:\data --http-user=XXXX --http-passwd=XXXX https://n5eil01u.ecs.nsidc.org/SMAP/SPL2SMAP_S.002/2015.03.31/

(由于隐私,用户名和密码我用XXXX代替)

执行代码后过程如下:

--2018-12-06 23:39:12--  https://urs.earthdata.nasa.gov/oauth/authorize?app_type=401&client_id=_JLuwMHxb2xX6NwYTb4dRA&response_type=code&redirect_uri=https%3A%2F%2Fn5eil01u.ecs.nsidc.org%2FOPS%2Fredirect&state=aHR0cDovL241ZWlsMDF1LmVjcy5uc2lkYy5vcmcvU01BUC9TUEwyU01BUF9TLjAwMi8yMDE1LjAzLjMxLw
Resolving urs.earthdata.nasa.gov (urs.earthdata.nasa.gov)... 2001:4d0:241a:4081::89, 198.118.243.33
Connecting to urs.earthdata.nasa.gov (urs.earthdata.nasa.gov)|2001:4d0:241a:4081::89|:443... connected.
HTTP request sent, awaiting response... 401 Unauthorized
Authentication selected: Basic realm="Please enter your Earthdata Login credentials. If you do not have a Earthdata Login, create one at https://urs.earthdata.nasa.gov//users/new"
Reusing existing connection to [urs.earthdata.nasa.gov]:443.
HTTP request sent, awaiting response... 302 Found
Location: https://n5eil01u.ecs.nsidc.org/OPS/redirect?code=b01004c779d377e755a8baf424ff2a756a0d61469640e0175dd9a42b92100c71&state=aHR0cDovL241ZWlsMDF1LmVjcy5uc2lkYy5vcmcvU01BUC9TUEwyU01BUF9TLjAwMi8yMDE1LjAzLjMxLw [following]
--2018-12-06 23:39:14--  https://n5eil01u.ecs.nsidc.org/OPS/redirect?code=b01004c779d377e755a8baf424ff2a756a0d61469640e0175dd9a42b92100c71&state=aHR0cDovL241ZWlsMDF1LmVjcy5uc2lkYy5vcmcvU01BUC9TUEwyU01BUF9TLjAwMi8yMDE1LjAzLjMxLw
Connecting to n5eil01u.ecs.nsidc.org (n5eil01u.ecs.nsidc.org)|128.138.97.102|:443... connected.
HTTP request sent, awaiting response... 302 Found
Location: https://n5eil01u.ecs.nsidc.org/SMAP/SPL2SMAP_S.002/2015.03.31/ [following]
--2018-12-06 23:39:16--  https://n5eil01u.ecs.nsidc.org/SMAP/SPL2SMAP_S.002/2015.03.31/
Connecting to n5eil01u.ecs.nsidc.org (n5eil01u.ecs.nsidc.org)|128.138.97.102|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: 'F:/data/2015.03.31/index.html'

2015.03.31/index.html             [   <=>                                            ]  29.25K  49.5KB/s    in 0.6s

2018-12-06 23:39:17 (49.5 KB/s) - 'F:/data/2015.03.31/index.html' saved [29950]

FINISHED --2018-12-06 23:39:17--
Total wall clock time: 6.4s
Downloaded: 1 files, 29K in 0.6s (49.5 KB/s)

最终仅仅只是下了个Index文件。

我想问一下这里面是哪里出错了?

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
如何使用wget批量下载或递归下载网页中的所有文件
<br />windows中没有找到wget命令,不过这个命令linux上有。如果你想下载某个网页目录中的所有文件,可以使用以下命令:<br /> <br />wget -r http://site.com/content_dir<br /> <br />更详细的参数可以参见linux自带的手册。
用wget下载整个网站,或者特定目录全部文件
需要下载某个目录下面的所有文件。 命令如下 wget -c -r -np -k -L -p http://docs.openstack.org/liberty/install-guide-rdo/ 在下载时。有用到外部域名的图片或连接。如果需要同时下载就要用-H参数。 wget -np -nH -r –span-hosts www.xianren.org/pub
Python + wGet 合璧,一键下载网页上所有的PDF
Python抓网页,wGet下载之。两个常见的开源工具强强联手,何事不成功?
win下安装wget以及使用wget下载整个网站或目录
1、 安装wget网址:http://gnuwin32.sourceforge.net/packages/wget.htm下载http://downloads.sourceforge.net/gnuwin32/wget-1.11.4-1-setup.exe双击
Wget下载整个网站(包含图片/JS/CSS)
我会向你展示10个 Wget 命令的实际案例. Wget 是一个用于下载文件的免费工具,它支持大多数常用的Internet协议,包括 HTTP, HTTPS, 以及 FTP.Wget这个名字来源于 World Wide Web + get. Wget 有很多功能,可以很方便地做到下载大型文件,递归下载,一次下载多个文件以及镜像web网站和FTP站点.Wget是非交互式的,但是使用起来相当的灵活. 你
使用wget下载指定目录下所有文件-Windows
wget是一个从网络上自动下载文件的自由工具,支持通过HTTP、HTTPS、FTP三个最常见的TCP/IP协议下载,并可以使用HTTP代理。wget名称的由来是“World Wide Web”与“get”的结合。Linux系统中的wget是一个下载文件的工具,它用在命令行下。对于Linux用户是必不可少的工具,我们经常要下载一些软件或从远程服务器恢复备份到本地服务器。wget支持HTTP,HTTPS
Windows下用wget下载网页
Howto Download Your Website Using WGET for Windows Windows下用wget下载网页 Writtenby: Richard Baxter Ever had that terrifying feeling you’velost your blog? Perhaps your WordPress installation got hacked,
强大的wget 下载某页面的所有指定类型的文件
http://www.phontron.com/class/nn4nlp2017/assets/slides/ 页面有好多pdf文档是我们需要的,需要写爬虫下载所有pdf文件吗? 不需要,一条wget命令即可解决问题。 mkdir  pdf  wget  -r -np -P ./pdf -A pdf http://www.phontron.com/class/nn4nlp2017/asset...
如何在linux下使用wget下载网站制定目录的所有文件
wget命令很强大,具体有多强大,没有使用linux shell经验的朋友可能没有体会。突然有个需求,还是在CentOS 7.2环境下载想要安装docker环境,但是机器无法访问互联网,可真是头大。只能去网上把适合centos 7的docker rpm包及metadata全下载下来。一个一个包去点着下载很不现实。想到了可以开挂的wget,让它从docker介质库中只下载centos 7的rpm包和...
Wget 的下载网站 下载资源
[root@master network-scripts]# wget --helpGNU Wget 1.14,非交互式的网络文件下载工具。用法: wget [选项]... [URL]... 长选项所必须的参数在使用短选项时也是必须的。 启动:  -V,  --version           显示Wget 的版本信息并退出。  -h,  --help              打印此帮助。  ...
利用wget批量下载http目录下文件
因为网络特殊,连不上互联网,只好自己制作一个本地源。
linux下wget下载整个网站
到现在为止,所有的教程项目都没有使用Effects11框架类来管理资源。因为在D3DCompile API ( 47)版本中,如果你尝试编译fx_5_0的效果文件,会收到这样的警告: 在未来的版本中,D3DCompiler可能会停止对FX11的支持,所以我们需要自行去管理各种特效,并改用HLS r蹦Xj蝗u91 http://blog.sina.com.cn/s/articlelist_58655...
windows下使用wget下载文件夹
1)安装wget.exe。从【http://gnuwin32.sourceforge.net/packages/wget.htm】网站上下载setup文件并进行安装,我选的版本为(Complete package, except sources)。将bin目录添加到系统环境变量2) 打开winodws powershell。键入命令【wget.exe --user 'yourusername' -...
wget下载整个网站或特定目录
需要下载某个目录下面的所有文件。命令如下wget -c -r -np -k -L -p www.xxx.org/pub/path/在下载时。有用到外部域名的图片或连接。如果需要同时下载就要用-H参数。wget -np -nH -r --span-hosts www.xxx.org/pub/path/-c 断点续传-r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件-nd 递归下载时不创建...
wget 下载整个网站,或者特定目录
转载自:http://www.cnblogs.com/lidp/archive/2010/03/02/1696447.html 需要下载某个目录下面的所有文件。命令如下 wget -c -r -np -k -L -p www.xxx.org/pub/path/ 在下载时。有用到外部域名的图片或连接。如果需要同时下载就要用-H参数。 wget -np -nH -r --span-host
使用wget工具抓取网页和图片 及 相关工具几个
想保存一些网页,最后找到这 wget 的 shell脚本,虽然不是太理想,亲测可用呢。 使用wget工具抓取网页和图片   来源 https://my.oschina.net/freestyletime/blog/356985 #!/bin/sh URL="$2" PATH="$1" echo "download url: $URL" echo "download dir: $
wget 命令的使用:HTTP文件下载、FTP文件下载
本文链接: https://blog.csdn.net/xietansheng/article/details/84669662 1. wget 命令简介与安装 wget主要用于在命令行终端下载网络文件的命令工具,支持 HTTP、HTTPS、FTP 三种最常见的 TCP/IP协议 下载。wget 与 curl 相似,curl 可以理解为是一个浏览器,wget 则可以理解是迅雷。wget 意为 Wo...
使用wget来下载文件
今天上网查了一些关于wget这个强大的网络工具的使用方法,现列举如下:wget 使用技巧集锦wget的使用形式是:wget [参数列表] URL首先来介绍一下wget的主要参数:· -b:让wget在后台运行,记录文件写在当前目录下"wget-log"文件中;· -t [nuber of times]:尝试次数,当wget无法与服务器建立连接时,尝试连接多少次。比如"-t120"表示尝试120次。
Linux 如何使用 wget 下载整个网站
Linux 如何使用 wget 下载整个网站近期要去缅甸呆半个月,想顺便把 W3SCHOOL.COM 上面的 HTML/CSS/JS/PHP 教程温习一遍。但是有一个问题,缅甸的网速很慢,我们住的酒店 wifi 不稳定,今年 1 月份和 6 月份我也在缅甸胶漂岛呆过,特别怀念我国的 4g 网络。所以,这次无论如何我要把 W3SCHOOL.COM 的内容离线下载下来。wget 是用于从网站下载资源的
wget 递归下载整个网站
wget命令详解 wget -r -p -np -k http://xxx.com/xxx -r, --recursive(递归) specify recursive download.(指定递归下载) -k, --convert-links(转换链接) make links in downloaded HTML point to local files.(将下载的HTML页
用wget命令的爬虫功能抓取网页到本地文件,然后用grep命令分析文件。
用wget命令的爬虫功能抓取网页到本地文件,然后用grep命令分析文件。 1. 抓取网页到本地 选择一个网页,比如 http://www.oschina.net/code/snippet_1391852_26067,用wget抓取到本地。 $ wget http://www.oschina.net/code/snippet_1391852_26067
使用wget工具抓取网页和图片
wget -e robots=off -w 1 -xq -np -nH -pk -m -t 1 -P "$PATH" "$URL" 使用wget工具抓取网页和图片: 包括css\js\html\图片文件
使用wget无法下载http链接的文件解决方案
wget --no-check-certificate https://我们下载文件路径
wget递归下载文件夹
如: wget -nc -np -c -r -v --reject=html --ignore-tags=robots.txt http://ftp.gnu.org/gnu/wget/ ----------------------------------------------------------- wget帮助文档: wget --help GNU Wget 1.12,非交互式的网
利用wget复制网站
曾经维护过一个网站,但是为了成本和安全性多方面的考虑,主机上只host静态网页。于是就在自己的机器上搭建wordpress环境,在本地更新内容之后,使用wget将整个网站复制下来,再上传到远程主机上。整个网页看起来和直接使用wordpress是一模一样的。 使用的命令如下: 1 wget -E -c -r -p -k -np -l 100 http:/
Wget下载终极用法和15个详细的例子
http://www.cnblogs.com/dzh-stuff/archive/2012/02/16/2354611.html Wget是一种很好用的因特网下载工具,他具有的很多特性是其他工具所不能比拟的,再者他是一个轻量级可配置的下载工具。 本文结合例子介绍Windows下wget的多种下载方法和用途。 1、用Wget下载单个文件 下载的时候会显示:   ~文
用wget下载文件
用wget下载文件刚安装了stardict,打算装备离线词典,毫无意外地用到了for the first time。 默认现在在当前目录。首先 wget http://abloz.com/huzheng/stardict-dic/zh_CN/ 下载试试,下载的是一个名为index.html的网页而已。 然后添加参数 -r 递归试试 wget -r http://abloz.com/huzh
[小技巧] wget 下载文件名为中文的文件
使用wget 去抓一个网站的文件时,有时候会碰到中文
wget下载目录下的文件
wget下载目录
wget命令 下载时down下来的是html文件解决办法
wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://www.scala-lang.org/files/archive/scala-2.10.4.tgz
WGET下载https链接及WGET命令的详解
使用如下的命令下载https链接:wget -r -np -nd --accept=gz --no-check-certificate https://w
批量下载网页中所有的PDF文档
某日要下载网页中所有的PDF文档,大约400个。作为计算机专业的学生,显然不能手工去下载啊!!!于是在网上找到了相关的批量下载文档脚本,众里寻他千百度,终于在一篇博客http://blog.csdn.net/waylife/article/details/41021641中找到最贴切的脚本代码。 然而,我略加修改,始终会出现问题,对于从未爬过虫的小白,慢慢的开始分析网页结构:      对于上
解决wget中文乱码问题
试了下网上修改源码的方式,没有用。最后发现只要简单加入参数--restrict-file-names=nocontrol即可。
wget批量下载FTP上的文件
wget "ftp://192.168.1.1:21/*" --ftp-user=ftp --ftp-password=ftp -r -P /home/www/
初学shell,今天遇到由wget下载到本地的网页源代码的乱码问题,无聊的写了一个转码的脚本
今天用wget想下载文件,结果下载了一堆本地的index.html文件,一查看全是乱码,然后百度了一下,网页的编码格式大概有三种: 1、utf-8 2、gb2312 3、gbk 要在网页源码中的下的属性的设置中查看 charset  对应的属性值。 而我的centos的操作系统只识别utf-8格式的,由环境变量LANG保存的配置,我们可以查看一下 echo $LANG  ,系统返回的是:
wget账户密码下载网页上的数据
下载方法,可以指定用户名、密码下载: wget --user=xxx --password=xxx http://xxx.xxx.xxx.xxx/cdh3/script/ntp-.sh -O /etc/cron.d/ntp-.sh
wget 批量下载并且按序号重命名 windows版
@echo off setlocal enabledelayedexpansion set /a num=0 FOR /F %%i in (URL.txt) do ( set /a num+=1 title !num! wget -c -q %%i -O !num!.jpg )各条命令按行解释关闭显示启用变量延迟,不然循环里获取不到上一次设置的值num=0FOR循环,批处理里变量必须用%%作...
windows下cmd使用wget命令
wget听说很好用备份一下 我们都知道wget这个工具是Linux、Unix下才能使用的。那么windows平台下到底可否使用?答案是确定的可以的!!! 请从下面链接下载wget(1.11.4) for win: 。下载完成后,解压出wget.exe文件,把它放到c:\windows\sytem32目录下。加粗样式 进入命令行 运行—cmd----- wget 即可生效 。wget或者w...
使用wget递归下载某目录下的所有文件
wget -c -r -nd -np -k -L -p -A c,h www.mydomain.com/pub/path/ -c 断点续传  -r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件  -nd 递归下载时不创建一层一层的目录,把所有的文件下载到当前目录  -np 递归下载时不搜索上层目录。 如wget -c -r www.mydomain.com/pu
【Python】 Wget网页图片下载利器
【Python】 Wget网页图片下载利器 对于新手小白学爬虫,获取网页连接后,想要下载图片怎么办,下面是两种方法,推荐用Wget,能使代码简洁不少,这里放一个对比: 方法一:requests模块 安装: pip install requests 程序调用: import requests img = requests.get(url) # 请求链接,有防爬的要加headers #...
文章热词 Windows Windows教程 Windows课程 Windows视频教程 Windows课程
相关热词 c++删除文件夹内所有文件 c++ 一个文件夹内所有文件名 c++ 打开文件夹内所有文件 人工智能工程师课程下载 人工智能视频教程下载