关于wsltools的一切

16 Apr 2020 - Tr3jer_CongRong

      wsltools - Web Scan Lazy Tools (Python Package) 是开源的web扫描辅助集,在构建web爬虫/扫描器的基础上节省可通用实现的功能,例如:正文相似度判断、url多种处理、域名处理、正文/数据类型判断、处理/识别http响应基础安全、参数/表单数据填充等。兼容Python 2/3,开箱即用。

      本身也是从我的自动化套件抽取出几个模块整合成的库,功能本身很纯洁,但面向爬虫/漏扫很多场景可用,感兴趣可以试试,好用给个star ;)

      当我们使用Python构建web爬虫时,可以使用requests/urlparse/scrapy等优秀的三方库,基本不需要我们去处理繁琐/可通用实现的基础功能。

      当我们构建漏洞扫描器时,会倾向于结合poc框架来实现。poc框架有很多,但至今编写poc并没有绝对的通用标准模版,也不需要有。不过这些poc框架或传统漏扫,会依赖于一些通用的扫描/检测基础方法论,所以完全可以合并这些方法论的具体实现。说到依赖的通用方法论,那么bin世界的pwntools就是这种类型。

说到pwntools,也是wsltools名字的由来启发,感觉web scan lazy蛮贴合的而且还蹭了下猥琐流 XD

      如果都依赖同一种漏扫,预期情况下正常的树上不可能结出两种果子。不同的想法结果就会是不同的,所以部署自己的自动化能力是每个Cyber Researcher的必修课。happy hunting!

      在我的自动化套件中,python/golang/nodejs我都用,但为什么发布python版本,因为python目前仍然是众多初学者构建扫描器的首选语言。

      最初着手整合这几个模块的时候是想加入更精确的urlparse+指纹识别,如果你经常用py构建漏扫相关,会发现标准库的urlparse并不精准,奈何官方代码实在多,与好处不对等就没有加入,后期再考虑下。还有指纹识别是因为个人更倾向于headless识别,倒也简单,只是加入了会显得臃肿吧。XD

wsltools提供的功能都不是复杂的实现,只是尽可能的提供一些便利,同时也可以作为爬虫/扫描器初学者的学习资料。