欢迎来到 黑吧安全网 聚焦网络安全前沿资讯,精华内容,交流技术心得!

Google和必应都无法替代的10大深网搜索引擎

来源:本站整理 作者:佚名 时间:2017-06-27 TAG: 我要投稿


当我们想要搜索某些内容时,我们第一个想到的就是打开Google、百度或必应这类的搜索引擎。但针对有些内容,却是这些常规搜索引擎无法获取到的,那就是隐藏在深网的内容。据不完全统计,深网的信息量为表层网络的500倍。那么,深网主要都包含了些什么内容呢?其实,深网主要包括的都是些,例如需要某些条件如注册、付费,才能访问的内容,如数据库和某些服务等。而常规搜索引擎通常只会对静态网页进行抓取,而对于这些存储在数据库中的内容,对其而言几乎是不可见的。其次,当我们使用Google时,Google还可能对我们的活动轨迹进行跟踪。这对于要求匿名的用户而言,也是不可接受的。
为什么Google搜索不到深网的内容?
这是因为所有的Deb网站(.onion)都是没有索引的,而正常的搜索引擎通常都是通过目标网页索引来获取内容的。因此对于没有索引的搜索结果则不会被Google所收录。此外,在搜索过程中还会和服务器建立连接,这样对我们的隐私和安全也带来了一定的隐患。
“据研究人员介绍,只有4%的互联网对公众可见,剩下的96%的网站和数据则隐藏在Deep web。”
此外,深网中还包含了许多非法内容,例如毒品,武器交易,高度成熟的黑客工具,色情,军事机密等。
robots文件
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件会告诉蜘蛛程序,在服务器上什么文件是可以被查看/禁止查看的。如果某些页面被设为不可查看,那么搜索引擎也是无法正常获取到的。
说了这么多,那么有没有既可以保证高度匿名性,又可以获取到深网内容的搜索引擎呢?下面,我将为大家推荐十款比Google,必应更加“强大”搜索引擎:
1. pipl

Pipl是一款为搜索网络上的人物信息而生的搜索引擎。不同于传统意义上的搜索引擎,Pipl是专为检索“深网”上的信息而设计的。Pipl的爬虫能够与可搜索的数据库打交道,从中提取个人信息、联系方式、成员名录、科学出版物、法院记录以及其它很多“深网”内容。
Pipl目前提供五种方式搜索方式搜索特定人物:名字、Email地址、用户名、电话号码以及还处于BETA版的商业搜索。
Pipl所关注的不仅仅是找到更多的结果,它还通过高级语言分析和排名算法将与你搜索关键词最相关最匹配的结果以简单的单页形式展示给你。
2. My Life

MyLife是一个全面的成年人资料数据库,可以根据姓名、年龄、邮编等信息来查询你想要找的人。
MyLife的服务可以通过整合Twitter、Facebook、LinkedIn、Friendster和Flickr等社交网站的数据,帮助用户在互联网上找人。MyLife用户是免费注册,但如果要使用单身搜索、查看谁在搜索自己等高级功能,用户就需要付费。
MYLIFE网站还推出了一个全新的个人关系管理系统(PRM),是一个基于浏览器的服务,让用户在同一个内容流里就能看到Facebook、Twitter和LinkedIn的订阅源并进行答复、“赞”、转推等操作。
3. Yippy

Yippy是一个将多个搜索引擎信息结合在一起,然后得出统计结果的集成化搜索引擎。如果你想检索暗网的信息,Yippy便是一个不错的工具。暗网因其存储在专用网络而被屏蔽难以发现,而Yippy提供的搜索结果将帮助你发现不被传统搜索引擎检索到的隐藏网站。
4. Surfwax

SurfWax是一个元搜索引擎,能限定最多返回结果条数和排序方法,检索速度一般。该搜索引擎有一个显著特点,即点击每条结果左边的“网址按钮”图标,可浏览该结果包括的任何页面,并显示搜索语句在文件中的位置。可以把搜索结果和文件存储起来以备后用。此外,焦点字(FocusWords)功能提供搜索词在各种不同含义下的同义词/近义词、上位词、下位词的列表,辅助选择词语检索。
5. Way Back Machine

通过Wayback Machine可以搜索某一特定网站过去(从1996年到现在)的样子。实现对Web过去的存档要求一百太字节的存储空间,并包含一百亿个网页!网页存档起初是由Alexa项目的负责人收集的。你可以在你的电脑上安装一个提供网站信息和排名的工具栏。
在Wayback Machine网站上,你可以搜索和链接你喜欢的网站,看它们过去的样子,你会发现它们像时间“快照”一样保存着。例如,你可以看到whatis.com网站在1996年的样子,也可以看见它在1997年及以后的样子。
6. Google Scholar

GoogleScholar学术搜索专门在期刊论文、理论摘要及其他学术著作文献中进行搜索,内容从医学、物理学到经济学、计算机科学等等,横跨多个学术领域以及大量书籍和整个网络中的学术性的文章。它虽然不支持中文,但可以用拼音搜索国内学者在国际刊物上发表的文章。这个搜索引擎搜索国外的资料非常方便,输入一个学者的名字,就可以搜索出其全部在网上的文章,并且可以知道在哪个数据库,以及该篇文章被多少篇其它文章所引用,以及所引用文章的目录等等。同时该学者所著的书也都有显示,并告知该书被哪些图书馆所收藏,或其它可能获得的商业途径。

[1] [2]  下一页

【声明】:黑吧安全网(http://www.myhack58.com)登载此文出于传递更多信息之目的,并不代表本站赞同其观点和对其真实性负责,仅适于网络安全技术爱好者学习研究使用,学习中请遵循国家相关法律法规。如有问题请联系我们,联系邮箱admin@myhack58.com,我们会在最短的时间内进行处理。
  • 最新更新
    • 相关阅读
      • 本类热门
        • 最近下载