钟馗之眼(ZoomEye):网络空间搜索引擎

近日,国内互联网安全厂商知道创宇开放了他们的海量数据库,对之前沉淀的数据进行了整合、整理,打造了一个名符其实的网络空间搜索引擎ZoomEye(http://www.zoomeye.org/),该搜索引擎的后端数据计划包括两部分:

1,网站组件指纹:包括操作系统,Web服务,服务端语言,Web开发框架,Web应用,前端库及第三方组件等等。

2,主机设备指纹:结合NMAP大规模扫描结果进行整合。

目前只上线了第一部分网站组件指纹。

为什么叫做ZoomEye?

实际上我们的内部叫法是:钟馗之眼,钟馗是追鬼大师,大家懂得,我们跑全球网站与主机就是要把其中的“鬼”捉出来。为了洋气,总得弄个英文名吧,想来想去,想到了ZoomEye:)

ZoomEye打造成搜索引擎其实很早就是我们的想法,只是放到了现在才开放,因为我们已经准备差不多了。

使用小计:

有的同学应该还知道国外的shodanhq.com(我们称之为:撒旦),这也是一个非常优秀的主机搜索引擎,ZoomEye有些思想也是借鉴了shodanhq。ZoomEye和Shodanhq的区别是ZoomEye目前侧重于Web层面的资产发现而Shodanhq则侧重于主机层面。比如我们以当前使用量世界第一的Blog应用Wordpress作为关键字分别进行搜索。

钟馗之眼(ZoomEye):网络空间搜索引擎

钟馗之眼(ZoomEye):网络空间搜索引擎

使用Shodanhq搜索到了3万多条记录,而使用ZoomEye搜索到了30多W条记录且结果吻合度非常高。

除了最普通的关键词搜索,ZoomEye目前还支持对Web应用指定版本号,比如我们想搜索使用wordpress 3.5.1版本的网站,输入搜索短语wordpress:3.5.1即可。同样我们还可以对国家和城市进行限定,比如输入wordpress:3.5.1 country:cn city:beijing能够搜索到主机位于中国北京且使用wordpress 3.5.1版本的网站。

钟馗之眼(ZoomEye):网络空间搜索引擎

该搜索引擎目前正在逐步完善,更多功能也在逐步添加当中,目前已经整合了全球4100万网站的网站组件指纹库,数据量相对可观,后期会继续扩充。在搜索框中可以搜索你关心的网站组件,比如discuz、dedecms,比如nginx、apache,甚至你搜hacked by也能得到一些亮点。

争议:是否会被黑客利用?

这个问题我们早就注意到了,所以在做一些查询限制。正式上线前,我们还会做出更多的策略保证不会被黑客大规模利用。

由于是逐渐开放,目前还存在一些不完备之处,后端还有海量的数据正在整合和优化,欢迎各位同学给我们提出建设性的建议,我们收纳后,会在适合的地方进行感谢。

还有很重要的几点:

1. 实际上专业的黑客根本不在乎我们这个搜索引擎;

2. 我们并没给出非法的信息,所有信息采集都是合法的;

ZoomEye为什么要定位成网络空间搜索引擎?

全球网站都是由各种组件组成,比如用的哪种操作系统、哪种Web容器、什么服务端语言、什么Web应用等等。这些我们都认为是组件,这些组件构成了网站,形成了我们这个丰富多彩的网络世界。

现在很多攻击都是针对网站组件进行的,拿组件下手是因为组件被使用的很多,只要研究出某个组件的漏洞,就能让使用这个组件的一大批网站沦陷。同理到主机,在我们现有的库里,我们发现了很多亮点,比如亚洲某国的核设施设备,大存储设备,大量Win2000主机(是不是可以直接干掉?),大量的MongoDB数据库(可以直接干掉),数十万的网络摄像头。这个库我们还没开放,会逐渐开放,大家如果要体验主机设备的可以到之前提到过的撒旦网站上。

网站+主机构成了这个网络空间,ZoomEye的目标是采集全球这些指纹,开放搜索引擎,推进这个安全领域的进展,让更多人意识到,你暴露在网络空间上的组件或设备,实际上并不安全,藏着掖着没用!只要你在公网,ZoomEye就会默认收录,不过我们尊重不愿意搜录的网站或设备,这个协议,会在下一步进行。

最后,希望zoomeye这样有争议的搜索引擎能够促进安全领域的进步!

[原文地址]

相关讨论:

eip_0x (6级) 职业网络渗透工程师 2013-07-03 1楼

GOOD IDEA!!!

softbug (2级) MYIIS-VIF网络安全专家 | www.iisu... 2013-07-03 2楼

说实话 感觉还是没有简单的几句话阐述清楚这个是做什么的。 实际用了一下,感觉很强大,可以搜索出一些http反馈以及一些APP分布统计。望继续深入科普.

M 2013-07-03 3楼

nmap-os-db

3万行数据

又是主动又是被动 window size,DF,Time to live ,SEQ各种参数综合比较

理论识别几千种OS,

实际上扫出来的全是netbsd

落叶纷飞 (1级) 00day.cn,打站尸,脚本猪,WEB安全攻城尸 2013-07-03 4楼

好劲抽啊

anlfi (1级) ??????????????????????????... 2013-07-03 5楼

想必为了测试 更有威胁力的漏洞范围 肯定有内部通查询

不管怎么说意图和技术目的明显

Do some little things to make action more simple :)

路人 2013-07-03 6楼

不错,国内黑产神器专业搜索国内的组件漏洞。 以后国内的网站记得要提前向知道创宇交好保护费,不然你懂的,菊花不保。

路人 2013-07-06

@路人 是全球

路人 2013-07-03 7楼

保证不会被黑客大规模利用。 由于是逐渐开放,目前还存在一些不完备之处,后端还有海量的数据正在整合和优化,欢迎各位同学给我们提出建设性的建议,我们收纳后,会在适合的地方进行感谢。 还有很重要的几点:

1. 实际上专业的黑客根本不在乎我们这个搜索引擎;

///////////////////////不懂你搞这个出来意义何在? 然后你的数据还都是国内的,

Freedom (1级) 有梦想,无所谓 2013-07-03 8楼

为啥我搜不到种子

global_hacker (3级) 2013-07-03 9楼

哈哈哈 可想而知 想在的 创于 有 多少 裤子了 啊 亲们 注意了 啊

黑黑的白猫 (1级) 2013-07-03 10楼

呵呵

M1rr0r 2013-07-03 11楼

我也找不到番号

xxx 2013-07-03

@M1rr0r torrentkitty.com 呀发错地方了。。。。

305536777 (1级) 2013-07-03 12楼

该评论已被关进小黑屋,请在提出你的观点的同时,最好附上有力的论据! BY FB客服

jacker (1级) 成为天马博士一样的人。 2013-07-03 13楼

这搜素引擎可以当扫描功能了,期待新的功能

... 2013-07-03 14楼

该评论已被关进小黑屋,请在提出你的观点的同时,最好附上有力的论据! BY FB客服

helen 2013-07-04 15楼

除了黑阔谁会用这个来搜索???菜市场买菜大妈?

helen 2013-07-04 16楼

请问这个东西除了黑客谁会去用?

菜市场买菜的大妈会没事来搜索wordpress?

路口擦皮鞋的阿姨会关心你用的是dede还是shopex?

工地上搬砖的大叔会关心这是lnmp还是wamp?

谁会没事闲着来搜索谁谁谁使用了什么cms啊?

helen他爹 2013-07-04 17楼

该评论已被关进小黑屋,请在提出你的观点的同时,最好附上有力的论据! BY helen他爹

ping0s 2013-07-04 18楼

开放api,然后卖接口吧

fooying (1级) 知道创宇研发工程师 2013-07-05 19楼

别拿钟馗之言做坏事呢,哈哈

工信部 2013-07-07 20楼

值得推广