我现在在做一个搜索引擎爬虫的课题,遇到的问题是不知道怎么获取所有网站的域名。是不是可以通过爬取域名解析根服务器上的内容来获取呢?
如果实在不行,能够获取百度或google上收录的域名也可以,不知道哪位大虾可以指点一二。
如何获取所有的域名?
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
1条回答
- qq_24973589 2021-06-26 22:11关注
1. 生成网站的字符串的域名;
2. 扫描 IP地址,全扫一次;
3. 假如你有浏览器,那么你就可以肆意的收集用户访问的IP地址; 特别是那些DNS相关的存在比如:114等
4. 就是如果你是微软操作系统等,那么你就可以通过这些很方便的在底层收集这些东西;
至于其它的我还想不出来,但我觉得不管怎么收集,在国内肯定不行的,因为国内它把网站给闭关锁国了一部分,当你想要寻找所有网站的存在时,就会受到阻碍;
解决 无用评论 打赏 举报
悬赏问题
- ¥15 数学的三元一次方程求解
- ¥20 iqoo11 如何下载安装工程模式
- ¥15 本题的答案是不是有问题
- ¥15 关于#r语言#的问题:(svydesign)为什么在一个大的数据集中抽取了一个小数据集
- ¥15 C++使用Gunplot
- ¥15 这个电路是如何实现路灯控制器的,原理是什么,怎么求解灯亮起后熄灭的时间如图?
- ¥15 matlab数字图像处理频率域滤波
- ¥15 在abaqus做了二维正交切削模型,给刀具添加了超声振动条件后输出切削力为什么比普通切削增大这么多
- ¥15 ELGamal和paillier计算效率谁快?
- ¥15 蓝桥杯单片机第十三届第一场,整点继电器吸合,5s后断开出现了问题