0X00　简介：

　　在渗透测试中信息收集的重要性不言而喻，子域收集是信息收集中必不可少且非常重要的一环，目前网上也开源了许多子域收集的工具，但是总是存在以下部分问题：　

　　* 不够强大，子域收集的接口不够多，不能做到对批量子域自动收集，没有自动子域解析，验证，FUZZ以及信息拓展等功能。
　　* 不够友好，固然命令行模块比较方便，但是当可选的参数很多，要实现的操作复杂，用命令行模式就有点不够友好，如果有交互良好，高可操作的前端那么使用体验就会好很多。
　　* 缺少维护，很多工具几年没有更新过一次，issues和PR是啥，不存在的。
　　* 效率问题，没有利用多进程，多线程以及异步协程技术，速度较慢。

0X01　功能特性：

　　1）收集能力强大：

1 利用证书透明度收集子域（目前有6个模块：censys_api，spyse_api，certspotter，crtsh，entrust，google）
2 常规检查收集子域（目前有4个模块：域传送漏洞利用axfr，检查跨域策略文件cdx，检查HTTPS证书cert，检查内容安全策略csp，检查robots文件robots，检查sitemap文件sitemap，后续会添加检查NSEC记录，NSEC3记录等模块）
3 利用网上爬虫档案收集子域（目前有2个模块：archivecrawl，commoncrawl，此模块还在调试，该模块还有待添加和完善）
4 利用DNS数据集收集子域（目前有21个模块：ip138, ximcx, CeBaidu, binaryedge_api, circl_api, hackertarget, riddler, bufferover, dnsdb, ipv4info, robtex, chinaz, dnsdb_api, netcraft, securitytrails_api, chinaz_api, dnsdumpster, passivedns_api, ptrarchive, sitedossier,threatcrowd）
5 利用DNS查询收集子域（目前有1个模块：通过枚举常见的SRV记录并做查询来收集子域srv，该模块还有待添加和完善）
6 利用威胁情报平台数据收集子域（目前有6个模块：alienvault, riskiq_api，threatbook_api，threatminer，virustotal，virustotal_api该模块还有待添加和完善）
7 利用搜索引擎发现子域（目前有17个模块：ask, bing_api, fofa_api, shodan_api, yahoo, baidu, duckduckgo, gitee,github, google, so, yandex, bing, exalead, google_api, sogou, zoomeye_api），在搜索模块中除特殊搜索引擎，通用的搜索引擎都支持自动排除搜索，全量搜索，递归搜索。

　　 2）支持子域爆破：该模块有常规的字典爆破，也有自定义的fuzz模式，支持批量爆破和递归爆破，自动判断泛解析并处理。

        3）支持子域验证：默认开启子域验证，自动解析子域DNS，自动请求子域获取title和banner，并综合判断子域存活情况。
        4）支持子域接管：默认开启子域接管风险检查，支持子域自动接管（目前只有Github，有待完善），支持批量检查。
        5）处理能力强大：发现的子域结果支持自动去除，自动DNS解析，HTTP请求探测，自动筛选出有效子域，拓展子域的Banner信息，最终支持的导出格式有txt, rst, csv, tsv, json, yaml, html, xls, xlsx, dbf, latex, ods。
        6）速度极快：收集模块使用多线程调用，爆破模块使用异步多进程多协程，子域验证中DNS解析和HTTP请求使用异步多协程，多线程检查子域接管风险。
        7）体验良好： 日志和终端输出全使用中文，各模块都有进度条，异步保存各模块结果。

0X02　安装：

1、下载：git clone https://gitee.com/shmilylty/OneForAll.git
2、安装：
   cd OneForAll/
   python -m pip install -U pip setuptools wheel -i https://mirrors.aliyun.com/pypi/simple/
   pip3 install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/
   cd oneforall/
   python oneforall.py --help
3、更新：
   git fetch --all
   git reset --hard origin/master
   git pull

0X03　使用：

　　基础使用：

1 通过pip安装：
2     python3 oneforall.py --target example.com run
3 通过pipenv安装：
4     pipenv run python oneforall.py --target example.com run

　　 进阶使用：

　　　　命令行参数只提供了一些常用参数，更多详细的参数配置请见config.py。由于众所周知的原因，如果要使用一些被墙的收集接口请先到config.py配置代理，有些收集模块需要提供API（大多都是可以注册账号免费获取），如果需要使用请到config.py配置API信息，如果不使用请忽略有关报错提示。

    　　  oneforall.py是主程序入口，oneforall.py可以调用aiobrute.py，takerover.py及dbexport.py等模块，为了方便进行子域爆破独立出了aiobrute.py，为了方便进行子域接管风险检查独立出了takerover.py，为了方便数据库导出独立出了dbexport.py，这些模块都可以单独运行，并且所接受参数要更丰富一点。
    　　  OneForAll命令行界面基于Fire实现，有关Fire更高级使用方法请参阅使用Fire CLI。https://github.com/google/python-fire/blob/master/docs/using-cli.md
    　　  当你使用的过程中遇到一些问题或者疑惑的时候，先到lssues里使用搜索找找答案，还可以参阅常见问题与回答：https://github.com/shmilylty/OneForAll/blob/master/docs/Q%26A.md

　　 四个主要模块的使用帮助：

  1 1、oneforall.py：
  2 NAME
  3     oneforall.py - OneForAll是一款功能强大的子域收集工具
  4 SYNOPSIS
  5     oneforall.py --target=TARGET <flags>
  6 DESCRIPTION
  7     Version: 0.0.4
  8     Project: https://git.io/fjHT1
  9     Example:
 10         python3 oneforall.py --target example.com run
 11         python3 oneforall.py --target ./domains.txt run
 12         python3 oneforall.py --target example.com --brute True run
 13         python3 oneforall.py --target example.com --verify False run
 14         python3 oneforall.py --target example.com --valid None run
 15         python3 oneforall.py --target example.com --port medium run
 16         python3 oneforall.py --target example.com --format csv run
 17         python3 oneforall.py --target example.com --show True run
 18     Note:
 19         参数valid可选值1，0，None分别表示导出有效，无效，全部子域
 20         参数verify为True会尝试解析和请求子域并根据结果给子域有效性打上标签
 21         参数port可选值有'small', 'medium', 'large', 'xlarge'，详见config.py配置
 22         参数format可选格式有'csv', 'tsv', 'json', 'yaml', 'html', 'xls', 'xlsx',
 23                           'dbf', 'latex', 'ods'
 24         参数path为None会根据format参数和域名名称在项目结果目录生成相应文件
 25 ARGUMENTS
 26     TARGET
 27         单个域名或者每行一个域名的文件路径(必需参数)
 28 FLAGS
 29     --brute=BRUTE
 30         使用爆破模块(默认False)
 31     --verify=VERIFY
 32         验证子域有效性(默认True)
 33     --port=PORT
 34         请求验证的端口范围(默认medium)
 35     --valid=VALID
 36         导出子域的有效性(默认1)
 37     --path=PATH
 38         导出路径(默认None)
 39     --format=FORMAT
 40         导出格式(默认xlsx)
 41     --show=SHOW
 42         终端显示导出数据(默认False)
 43 
 44 
 45 2、aiobrute.py：
 46 NAME
 47     aiobrute.py - OneForAll多进程多协程异步子域爆破模块
 48 
 49 
 50 SYNOPSIS
 51     aiobrute.py --target=TARGET <flags>
 52 
 53 
 54 DESCRIPTION
 55     Example：
 56         python3 aiobrute.py --target example.com run
 57         python3 aiobrute.py --target ./domains.txt run
 58         python3 aiobrute.py --target example.com --process 4 --coroutine 64 run
 59         python3 aiobrute.py --target example.com --wordlist subdomains.txt run
 60         python3 aiobrute.py --target example.com --recursive True --depth 2 run
 61         python3 aiobrute.py --target m.{fuzz}.a.bz --fuzz True --rule [a-z] run
 62 
 63 
 64     Note:
 65         参数segment的设置受CPU性能，网络带宽，运营商限制等问题影响，默认设置500个子域为任务组，
 66         当你觉得你的环境不受以上因素影响，当前爆破速度较慢，那么强烈建议根据字典大小调整大小：
 67         十万字典建议设置为5000，百万字典设置为50000
 68         参数valid可选值1，0，None，分别表示导出有效，无效，全部子域
 69         参数format可选格式：'csv', 'tsv', 'json', 'yaml', 'html', 'xls', 'xlsx',
 70                           'dbf', 'latex', 'ods'
 71         参数path为None会根据format参数和域名名称在项目结果目录生成相应文件
 72 
 73 
 74 ARGUMENTS
 75     TARGET
 76         单个域名或者每行一个域名的文件路径
 77 
 78 
 79 FLAGS
 80     --process=PROCESS
 81         爆破的进程数(默认CPU核心数)
 82     --coroutine=COROUTINE
 83         每个爆破进程下的协程数(默认64)
 84     --wordlist=WORDLIST
 85         指定爆破所使用的字典路径(默认使用config.py配置)
 86     --segment=SEGMENT
 87         爆破任务分割(默认500)
 88     --recursive=RECURSIVE
 89         是否使用递归爆破(默认False)
 90     --depth=DEPTH
 91         递归爆破的深度(默认2)
 92     --namelist=NAMELIST
 93         指定递归爆破所使用的字典路径(默认使用config.py配置)
 94     --fuzz=FUZZ
 95         是否使用fuzz模式进行爆破(默认False，开启须指定fuzz正则规则)
 96     --rule=RULE
 97         fuzz模式使用的正则规则(默认使用config.py配置)
 98     --export=EXPORT
 99         是否导出爆破结果(默认True)
100     --valid=VALID
101         导出子域的有效性(默认None)
102     --format=FORMAT
103         导出格式(默认xlsx)
104     --path=PATH
105         导出路径(默认None)
106     --show=SHOW
107         终端显示导出数据(默认False)
108 
109 3、takeover.py：
110 NAME
111 takeover.py - OneForAll多线程子域接管风险检查模块
112 
113 
114 
115 
116 
117 
118 
119 
120 SYNOPSIS
121      takeover.py COMMAND | --target=TARGET <flags>
122 
123 
124 
125 
126 DESCRIPTION
127      Example:
128          python3 takeover.py --target www.example.com  --format csv run
129          python3 takeover.py --target ./subdomains.txt --thread 10 run
130 
131 
132 
133 
134      Note:
135          参数format可选格式有'txt', 'rst', 'csv', 'tsv', 'json', 'yaml', 'html',
136                            'jira', 'xls', 'xlsx', 'dbf', 'latex', 'ods'
137          参数dpath为None默认使用OneForAll结果目录
138 
139 
140 
141 
142 ARGUMENTS
143      TARGET
144          单个子域或者每行一个子域的文件路径(必需参数)
145 
146 
147 
148 
149 FLAGS
150      --thread=THREAD
151          线程数(默认100)
152      --dpath=DPATH
153          导出目录(默认None)
154      --format=FORMAT
155          导出格式(默认xls)
156 
157 
158 4、dbexport.py：
159 NAME
160     dbexport.py - OneForAll数据库导出模块
161 
162 
163 
164 
165 SYNOPSIS
166     dbexport.py TABLE <flags>
167 
168 
169 
170 
171 DESCRIPTION
172     Example:
173         python3 dbexport.py --table name --format csv --path= ./result.csv
174         python3 dbexport.py --db result.db --table name --show False
175 
176 
177 
178 
179     Note:
180         参数port可选值有'small', 'medium', 'large', 'xlarge'，详见config.py配置
181         参数format可选格式有'csv', 'tsv', 'json', 'yaml', 'html', 'xls', 'xlsx',
182                           'dbf', 'latex', 'ods'
183         参数path为None会根据format参数和域名名称在项目结果目录生成相应文件
184 
185 
186 
187 
188 POSITIONAL ARGUMENTS
189     TABLE
190         要导出的表
191 
192 
193 
194 
195 FLAGS
196     --db=DB
197         要导出的数据库路径(默认为results/result.sqlite3)
198     --valid=VALID
199         导出子域的有效性(默认None)
200     --path=PATH
201         导出路径(默认None)
202     --format=FORMAT
203         导出格式(默认xlsx)
204     --show=SHOW
205         终端显示导出数据(默认False)

0X04　主要框架：

1 aiodns - 简单DNS异步解析库。
2 aiohttp - 异步http客户端/服务器框架
3 aiomultiprocess - 将Python代码提升到更高的性能水平(multiprocessing和asyncio结合，实现异步多进程多协程)
4 beautifulsoup4 - 可以轻松从HTML或XML文件中提取数据的Python库
5 fire - Python Fire是一个纯粹根据任何Python对象自动生成命令行界面（CLI）的库
6 loguru - 旨在带来愉快的日志记录Python库
7 records - Records是一个非常简单但功能强大的库，用于对大多数关系数据库进行最原始SQL查询。
8 requests - Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。
9 tqdm - 适用于Python和CLI的快速，可扩展的进度条库

0X05　目录结构：

 1 D:.
 2 |
 3 +---.github
 4 +---docs
 5 |       collection_modules.md 收集模块说明
 6 +---images
 7 ---oneforall
 8     |   aiobrute.py   异步多进程多协程子域爆破模块，可以单独运行
 9     |   collect.py    各个收集模块上层调用
10     |   config.py     配置文件
11     |   dbexport.py   数据库导出模块，可以单独运行
12     |   domains.txt   要批量爆破的域名列表
13     |   oneforall.py  OneForAll主入口，可以单独运行
14     |   __init__.py
15     |
16     +---common 公共调用模块
17     +---data   存放一些所需数据
18     |       next_subdomains.txt     下一层子域字典
19     |       public_suffix_list.dat  顶级域名后缀
20     |       srv_names.json          常见SRV记录前缀名
21     |       subdomains.txt          子域爆破常见字典
22     |
23     ---modules
24         +---certificates     利用证书透明度收集子域模块
25         +---check            常规检查收集子域模块
26         +---crawl            利用网上爬虫档案收集子域模块
27         +---datasets         利用DNS数据集收集子域模块
28         +---dnsquery         利用DNS查询收集子域模块
29         +---intelligence     利用威胁情报平台数据收集子域模块
30         ---search           利用搜索引擎发现子域模块

0X06　总结：

　　这个工具是在vulkey_chen师傅的介绍下入坑的，感觉挺好用的。采用模块化的方式开发，其中的构成虽然很多，但是在仔细了解以后丝毫不会让你觉得混乱。这篇文章是为了帮助大家更好的使用该工具，上面已经写得很详尽了。如果还有什么不懂地方或者奇怪的报错，可以在开发群中提出建议以及给开发者发送邮件。

　　反馈群：824414244，加群验证，我的英雄学院。

　　开发者邮箱：admin@hackfun.org