Select Browser Mobile | Continue

Silic Group Froum Archive - Silic Security

 Forgot Password?
 Join Us
Search
Show: 5740|Reply: 19

[原创] 基于hadoop分布式暴力破解

  [Copy URL]
blackbap豆 The user has been deleted
Posted 2013-6-6 23:36:42 | Show all replies |Read Mode
闲着没事干,在freebuf上逛了一下,有个帖子:OWASP杭州2013年春季WEB应用安全沙龙速描
看了一下内容,其中有一个主题吸引了我:基于hadoop分布式暴力破解
20130528212202_38652.jpg


我在上一篇文章《搭建TB级超快速社工库》中有提到,以后会发一篇分布式暴力破解的帖子。
其实我要用到的技术也就是利用hadoop分布式计算框架来暴力破解加密字符串。
今天居然真的看到有人利用hadoop来实现。
那我这里就稍微给大家解释一下hadoop,各位看官看个热闹,多积累点知识就好。毕竟本帖的内容涉及太多编程方面的,适合程序员看。
所以本帖也不仔细讲解,分布式编程具体内容,比如如何编写破解代码- -.

正文:
什么是hadoop
hadoop是目前最主流的分布式计算框架,是用java写的。国外咱不讲,国内使用hadoop的包括阿里巴巴,百度,等巨头。hadoop当初是一个搜索引擎lucene的子项目,搜索引擎的需要抓取大量的网页信息。对网页信息进行分析。
对于搜索引擎,这边有两个问题:1:如何存储大量网页信息 2:如何让集群协调计算,比如谷歌权重计算
那lucene负责人Doung cutting为了解决这些问题,借鉴谷歌的经验,根据谷歌公司公开的3大论文,Google Mapreduce ,Big Table,Goole File System.
仿造了一套自己的系统,那就是Hadoop.
Hadoop有两大支架:HDFS,Mapreduce

为什么用hadoop
所谓人多力量大,一百个屌丝顶过一个高富帅.用hadoop集合一群屌丝一起工作。速度超快!


HDFS
HDFS就是hadoop distribute file system,hadoop分布式文件系统。用于存储海量数据。参照谷歌的bigtable思想。hdfs存储的基本单位是
64M的文件。

MapReduce
MapReduce是一个编程计算模型.分为Mapper函数和Reduce函数。

集群
hadoop在集群上的结构是这样的,一台主节点(master),其余的为子节点(slave).所有计算,存储都会通过master节点提交,和请求.

假设我已经有写好的破解程序(MapReduce程序)Crack.jar
ssh到集群任何一节点,运行如下命令
  1. hadoop jar Crack.jar   需要破解的文件    输出路径
Copy
那么我们就可以监控和得到输出。

云安全
云安全?我不知道是不是这么形容。hadoop几乎没做任何安全限制。集群内各个主机都是通过ssh连接。而且是配置成免密码连接.也就是说,攻破一台主机,整个集群沦陷!
当然据说大公司都是自己重新修改hadoop源码,添加权限控制.

如何辨别hadoop集群
hadoop一般是搭载在linux系统上。我们在shell下,使用命令:
  1. jps
Copy
可以查看java虚拟机中运行的进程.
master主机上:
1PEW0546726))6MI6$PY``B.jpg

slave主机上:
BMSD0`MO`~H[QB~_GM{06.jpg

当然一般情况下,会直接把用户名命名为hadoop.


费用
处理PB级规模数据的Hadoop集群(125到250节点)的费用大约为100万美元,而每个节点每年的费用为4000美元

我的集群
一直在学习hadoop等一些分布式框架,附上自己用3台ubuntu机子搭建的集群:
a.jpg


jophy The user has been deleted
Posted 2013-6-7 02:59:36 | Show all replies
Hadoop 主流~分布式
Chaplin The user has been deleted
Posted 2013-6-7 09:43:33 | Show all replies
集群内各个主机都是通过ssh连接,为什么不想着一个集中式验证,或者用个kerberos也安全多,
如果这样的话,应该都是ssh信任了。太不安全了!
blackbap豆 The user has been deleted
 Author| Posted 2013-6-7 10:47:18 | Show all replies
Chaplin 发表于 2013-6-7 09:43
集群内各个主机都是通过ssh连接,为什么不想着一个集中式验证,或者用个kerberos也安全多,
如果这样的话, ...

通过ssh的rsa生成密钥对,配置免密码访问。并不是无密码
小威 The user has been deleted
Posted 2013-6-7 11:04:56 | Show all replies
= =,看来楼主是奔着贡献值来的。
HK007 The user has been deleted
Posted 2013-6-7 11:56:10 | Show all replies
搞视频!!谢谢!!!
blackbap豆 The user has been deleted
 Author| Posted 2013-6-7 13:02:16 | Show all replies
小威 发表于 2013-6-7 11:04
= =,看来楼主是奔着贡献值来的。

已经不为贡献了- -。自己买了1T的硬盘
夜真灰 The user has been deleted
Posted 2013-6-7 14:12:23 | Show all replies
我朋友在美丽说,貌似就是搞hadoop开发的
blackbap豆 The user has been deleted
 Author| Posted 2013-6-7 14:22:43 | Show all replies
夜真灰 发表于 2013-6-7 14:12
我朋友在美丽说,貌似就是搞hadoop开发的

恩,用hadoop分析用户行为,喜好等
Chaplin The user has been deleted
Posted 2013-6-7 15:05:15 | Show all replies
blackbap豆 发表于 2013-6-7 10:47
通过ssh的rsa生成密钥对,配置免密码访问。并不是无密码

我知道,不过想想还是不那么安全,搞定一个节点,其他节点就没安全可言了。。
小威 The user has been deleted
Posted 2013-6-7 15:08:22 | Show all replies
blackbap豆 发表于 2013-6-7 13:02
已经不为贡献了- -。自己买了1T的硬盘

= =,基友要坚持每天一贡献的热情啊,为大家多带来点营养。
华崽 The user has been deleted
Posted 2013-6-7 17:44:40 | Show all replies
夜真灰 发表于 2013-6-7 14:12
我朋友在美丽说,貌似就是搞hadoop开发的

前几天看见一学长给了一张美丽说的后台照,表示很膜拜
bsks The user has been deleted
Posted 2013-6-7 20:43:02 | Show all replies
机油要继续给力啊。
durkworf The user has been deleted
Posted 2013-6-8 10:35:48 | Show all replies
楼主牛逼,我也去试试分布式存储,只尝试过主从数据存储。
loginyourheart The user has been deleted
Posted 2013-6-11 22:09:09 | Show all replies
话说我自己在虚拟机上写了个分布式雏形来着,当时是想着完善做个类计算智能的,因为当时刚好看了一些遗传算法什么,后来上了ssd,电脑由于接口问题搞到打不开,数据全跪了= =。。。现在想着也是得云储存了
Joker_Qzi The user has been deleted
Posted 2013-6-19 09:32:32 | Show all replies
放了2T的岛国硬盘的撸过!
free7473 The user has been deleted
Posted 2013-7-9 14:02:03 | Show all replies
凑个热闹,露个脸~
h1ck5r The user has been deleted
Posted 2013-7-15 21:05:36 | Show all replies
感谢分享!!!!!!!
19770310 The user has been deleted
Posted 2014-9-21 21:10:27 | Show all replies
应该都是ssh信任了。太不安全了!
Posted 2016-4-6 00:09:43 | Show all replies
lz 做大数据 是用java语言吗?   
You need to login before reply! Login | Join Us

Credit Rules of This Forum

Close

公告Privious /1 Next

小黑屋|手机版|Archiver|Silic Security

GMT+8, 2020-8-16 00:21

© 2001-2014 Silic Corp.

Quick Reply Top Return List