2019情报收集指南

congtoucongtou 最新资讯 5年前
5.74W 0
华盟原创文章投稿奖励计划

（作者：Tek）近来我做了许多开源情报收集方面的工作, 因此为了庆祝2019年的到来, 决定在本指南中总结一下我学到的很多技巧和窍门。当然这不是完美的指南 (没有完美的指南), 但我希望它能帮助初学者学习，以及经验丰富的情报收集黑客发现新的技巧。

2019情报收集指南

01

方法论

那些你随处可见的经典情报收集方法都是分步实施的：

  • 定义需求：你在寻找什么?

  • 获取数据

  • 分析收集的信息

  • 数据的透视分析与报告: 要么通过基于分析刚收集的数据来定义新的需求，或者结束调查并编写报告。

这种方法非常直观，而且或许没有多大帮助，但是我认为定期回到这个方法论上来并花时间让该方法的几个步骤循环交互仍然很重要。在调查过程中，我们常常迷失在收集的数据量中，很难了解接下去调查应往哪个方向进行。在这种情况下，我认为稍作休息并回到第三步、第四步会有所帮助：分析总结你发现的内容，列出可以帮助你定义还有待回答的新的（或更精确的）问题的内容。

我给出的其他建议是：

  • 永不放弃：有时候你会感觉到你已经探索了获取信息的所有可能性。不要放弃，休息一下（花一小时或一天做其他事情），然后再次分析你的数据并尝试从一个不同的视角看待他们。你是否可以使用新的信息来作转置分析？如果你开始就问错了怎么办？贾斯汀·塞茨（Justin Seitz）最近写了篇关于韧性品质的博客文章，给出了几个韧性品质得到回报的例子。

  • 保持证据：信息很快就会在网上消失。假设你做了一次误操作，比如在“推特”上点击了“喜欢”或者对你研究的人产生怀疑，突然之间所有的社交媒体账户和网站都一天天消失了。因此，请保留证据：屏幕截图、档案、网络档案（后续更多的信息）或其他适合你的信息。

  • 时间表很有用：司法鉴定中，时间表和同时发生的事件是关键。它在信息收集中当然不是那么重要，但仍然是组织你的数据的一个非常有趣的工具。网站是在何时创建的？FaceBook上的账户是何时创建的？最后一篇博文是何时完成的？把这都记在表格中，经常让我对正在寻找的东西有很好的了解。

然后我发现还有另外两种有用的方法。第一个是流程图，它们用于通过描述工作流程，以搜索更多基于某种数据类型（如电子邮件）的信息。我见过的最好的流程图，是由Michael Bazzell在IntelTechniques.com完成的。比如这里就是Michael Bazzell研究电子邮件地址时候的工作流程：

2019情报收集指南

电子邮件信息收集工作流程 by Michael Bazzell

过了一段时间后，我认为开始制定你自己的调查工作流程，并随着时间的推移用你发现的新技巧慢慢改进它，是个好主意。

最后一种我建议的长期调查的方法是竞争性假设分析方法（ACH，Analysis of Competing Hypotheses）。这种方法是由美国中情局（CIA）在70年代制定的，旨在帮助分析师消除分析中的偏见，并仔细评估不同的假设。考虑到这是个繁重而耗时的方法，但是如果你陷入长达一年之久的调查的话，有时候有个方法可以帮助你仔细评估你的假设也是很好的。

02

准备你的系统

在进入调查之前，你应该考虑几个操作安全方面的问题，以避免使你正在研究的人警觉。访问一个不起眼的个人网站，可能会把你的IP地址和位置提供给你的目标，使用你的个人社交媒体账户可能会导致误操作”点赞“等等。

我在进行调查时遵循以下规则：

  • 使用商业VPN或者Tor来建立你的调查浏览器的所有连接。大多数商业VPN提供不同国家的服务器，Tor允许你选择出口节点国家/地区（choose the exit node country ），因此我尝试选择不会在该情况下举起旗帜的国家（美国对一个美国组织的调查等）。

  • 从与你无关的廉价VPS上执行所有扫描和爬行任务。

  • 使用专用于调查研究的社交媒体账户，并使用假的名字创建。

完成所有这些之后，你现在可以根据需要在深夜进行调查，想多晚就多晚，这时人们能确定谁在寻找他们是相当没有可能的。

03

工具作业

在信息安全中，工具的问题总是令人好奇的问题，以至于没有什么比那些在他们的个人履历中列出无穷无尽的工具列表，而不是他们的技能的人更加困扰我了。所以，让我说直白一点：工具并不重要，重要的是你用工具做的事情。如果你不知道自己在做什么，工具将无法帮助你，它们只会为你提供一长串你无法理解或评估的数据。测试工具，阅读它们的代码，创建自己的工具等，但请确保你了解它们做的的工作。

其必然的结果是没有完美的工具包。最好的工具包就是你所知道、喜欢以及掌握的工具包。但是，让我告诉你我使用的是什么以及你可能感兴趣的其他工具。

04

Chrome浏览器与插件

我使用Chrome作为我的调查研究的浏览器，主要是因为Hunchly仅适用于Chrome（见后文）。我还给它添加了一些有用的插件：

  • archive.is Button允许在在archive.is中快速保存网页（稍后会详细介绍）

  • Wayback Machine在archive.org”互联网档案室网站”的Wayback machine（时光机）中搜索存档的页面

  • OpenSource Intelligence可以快速访问许多OSINT开源情报收集工具

  • EXIF Viewer允许快速查看图像中的EXIF数据

  • FireShot可以快速截屏

05

Hunchly

我最近开始使用Hunchly，它是个很棒的工具。Hunchly是Chrome扩展程序，可以保存、标记和搜索你在调查期间找到的所有web数据。基本上你只需在开始调查时点击扩展程序中的“捕获”按钮，Hunchly会将你访问的所有网页保存在数据库中，从而允许你向它们添加注释和标记。

它每年的花费为$130，考虑到它有多大的帮助，这其实并不是很多。

2019情报收集指南

Hunchly Dashboard 仪表板的屏幕截图

06

Maltego

Maltego与其说是个OSINT开源情报收集工具，说它是威胁情报工具会更合适，并且有很多局限性，但是图表通常是表示和分析调查数据的最佳方式，而Maltego对此表现不俗。基本上Maltego会提供GUI（图形用户界面）来表示图形，并进行转换以查找新数据（例如，从被动DNS数据库查找链接到某个IP地址的域名）。它有点贵（第一年为99美元/年，然后是每年续订499美元），它可能只有在你还进行威胁情报或大量基础设施分析时才值得。你也可以使用Maltego Community Edition，虽然会限制转换的使用和图形的大小，但是对于小型调查来说，它应该足够了。

2019情报收集指南

Maltego的屏幕截图（来源：Paterva）

07

Harpoon

我开发了名为Harpoon的命令行工具（有关详细信息，请参阅此处 此处  的博客文章）。它最初是个威胁情报工具，但我为OSINT开源情报收集添加了许多命令。它在Linux上是使用python3来运行（但MacOS和Windows也应该能运行）和开源的。

例如，你可以使用Harpoon在密钥服务器上搜索PGP密钥： 

1$ harpoon pgp search tek@randhome.io 2[+] 0xDCB55433A1EA7CAB  2016-05-30      Tek__ tek@randhome.io

运行Harpoon命令搜索PGP密钥

有一长串插件的清单，大家随时可以建议或开发更多插件或为新的有趣功能特性创建问题。

08

Python

通常，你会得到特定的数据收集和可视化任务，这些任务无法使用任何工具轻松完成。在这种情况下，你必须编写自己的代码。我使用Python，任何现代编程语言都可以正常工作，但我喜欢Python的灵活性和大量可用的函数库。

Justin Seitz（Hunchly的作者）是一位Python和OSINT开源情报收集方面的参考者，你一定要看看他的博客Automating OSINT和他的书Black Hat Python（《Python 黑帽子：黑客与渗透测试编程之道》）。

09

你可能还喜欢

当然OSINT开源情报收集还有许多其他工具，但我发现它们在我的日常工作中不是那么有用。以下是你可能想要核对的一些工具，它们很有趣并且做的很好，但是并不真正符合我的习惯：

  • SpiderFoot是通过许多不同模块收集信息的侦察工具。它有很好的Web界面，并生成显示不同类型数据之间链接的图表。我不喜欢它的是，它被认为是为你找到一切的神奇工具，但没有工具可以取代你、知道你在寻找什么并分析结果。是的，你必须自己进行研究并逐一阅读结果，SpiderFoot对此没有多大帮助。尽管有良好的工作表现和漂亮的界面。

2019情报收集指南

SpiderFoot截图（来源：spiderfoot.net）

  • recon-ng是很好的CLI（command-line interface，命令行界面）工具，用于查询不同的平台、社交媒体或威胁情报平台。它与Harpoon事实上非常接近。我不使用它，因为我已经使用符合我需要的Harpoon，我不太喜欢它提供的shell界面。

  • Buscador是嵌入了许多不同OSINT开源情报收集工具的Linux虚拟机。虽然我总是喜欢拥有自己的自定义系统，但这是一种尝试新工具的好方法，而无需逐个安装它们。

10

现在开始

现在让我们进入真正的主题：什么可以帮助你进行OSINT开源情报收集？

11

技术基础设施

对技术基础设施的分析处于威胁情报和开源情报收集之间的十字路口，但在某些情况下，它绝对是调查的重要部分。

这些是你应该需要找的：

  • IP与域名：有许多不同的工具，但我发现Passive Total（现在称为RiskIQ）是最好的信息来源之一。免费的访问通过Web界面每天提供15个查询，通过API提供15个查询。我主要依赖它，但Robtex， HackerTarget 和Security Trails 是其他不错的选择。

  • 证书：Censys是很棒的工具，但是鲜为人知且不那么花哨的crt.sh也是一个非常好的证书透明度数据库

  • 扫描：知道在IP上正在运行的是什么类型的服务通常很有用，你可以使用nmap自行扫描，但你也可以依靠平台为你定期扫描所有IPv4地址。这两个主要平台是Censys和Shodan，他们都关注不同方面（Shodan更多针对物联网，Censys更多针对的是TLS），因此了解和使用它们都是很好的。BinaryEdge是一种非常新的替代方案，但它正在迅速发展。最近，一个名为Fofa的类似的中国的平台已经启动。另一信息来源是Rapid7 Open Data，但你必须下载扫描文件并自行进行研究。最后我发现有关IP地址的历史信息是了解平台发展的金矿，Censys只通过付费计划（为学术研究人员免费提供）提供这些数据，但是Shodan直接通过IP提供这个，这很棒！检查命令harpoon shodan ip -H IP以查看它给出的内容（将需要支付Shodan的终身帐户）。

  • 威胁信息：即使它在OSINT开源情报收集中不是必需的，检查域、IP或URL的恶意活动总是很有趣。为此，我主要依靠Passive Total OSINT开源威胁情报收集计划和项目以及AlienVault OTX。

  • 子域名：有许多不同的方法可以查找域的子域列表，从Google搜索（站点：DOMAIN）到在证书中的备用域中搜索。PassiveTotal和BinaryEdge直接实现此功能，因此你可以查询它们以获得第一个列表。

  • Google分析和社交媒体：最后一个非常有趣的信息是检查是否在多个网站中使用了相同的Google Analytics（google分析服务） / Adsense ID（内容广告服务）。这项技术于2015年被发现，并由here by Bellingcat在此进行了详细描述。为了寻找这些连接，我主要使用 Passive Total、 SpyOnWeb和NerdyData（publicwww是另一种非自由软件平台选择）。

12

搜索引擎

根据不同的情况，你可能希望在调查期间使用不同的搜索引擎。我主要依靠Google和Bing（欧洲或北美），百度（亚洲）和Yandex（俄罗斯和东欧）。

当然第一个调查工具是检索算符。你会在这里找到这些谷歌搜索引擎的完整清单，这里有个最有趣的摘录：

  • 你可以使用以下布尔逻辑运算符来组合查询：AND，OR，+and-

  • filetype: 允许搜索特定的文件扩展名

  • site: 将在特定网站上过滤

  • intitle:与inurl:将在特定网站title或url上进行过滤

  • link:：发现网页其中包含指向特定网址的链接（2017年已弃用，但仍有部分能工作）

一些例子：

  • NAME + CV + filetype:pdf 可以帮助你找到某人的简历

  • DOMAIN - site:DOMAIN 可以帮助你找到网站的子域名

  • SENTENCE - site:ORIGINDOMAIN 可以帮助你找到剽窃或复制文章的网站

附加读物：

  • 通过67个简单步骤掌握Google搜索操作符（Mastering Google Search Operators in 67 Easy Steps）

  • 谷歌黑客数据库（Google Hacking Database）

13

图片

对于图像，你需要了解两件事：如何在图像上查找任何其他信息以及如何查找类似图像。

要查找其他信息，第一步是查看exif数据。Exif数据是在创建图像时嵌入图像的数据，它通常包含创建日期、使用的相机、有时候还有GPS数据等有趣信息。为了检查它，我喜欢使用命令行ExifTool，但Exif Viewer扩展（对于Chrome和Firefox）也非常方便。此外，你可以使用这个惊人的照片取证网站，它有许多有趣的功能。（其他替代方案是 exif.regex.info和Foto Forensics）。

要查找类似图像，你可以使用 Google Images、Bing Images、Yandex Images 或者TinyEye 。TinyEye有一个有用的API（请参见 此处如何使用它），Bing有一个非常有用的功能，可让你搜索图像的特定部分。为了获得更好的结果，删除图像的背景会很有帮助，remove.bg 是一个有趣的工具。

例如，没有简单的方法来分析图像的内容并找到它的位置。你必须在图像中查找特定项目，以便你猜测它可以在哪个国家/地区，然后进行在线研究并与卫星图像进行比较。我建议阅读Bellingcat的一些好的调查，以了解更多关于它的信息，比如这个 或者 这个 。

附加读物：

  • 元数据Metadata: MetaUseful & MetaCreepy by Bellingcat

  • 视觉验证指南The Visual Verification Guide by First Draft news

14

社交网络

对于社交网络，有许多工具可用，但它们强烈依赖于平台。以下是一个有趣工具和技巧的简短摘录：

  • Twitter: API为你提供用于发布推文的确切创建时间和工具。 x0rz'的tempets_analyzer是一个很好的方式来概述帐户的活动。有一些方法可以从电子邮件地址中找到Twitter ID，但它们有点棘手。

  • Facebook: Facebook调查的最佳资源是Michael Bazzell’s website，尤其是他的自定义FB工具页面 。

  • LinkedIn: the most useful trick I have found in LinkedIn is how to find a LinkedIn profile based on an email address.我在LinkedIn找到的最有用的技巧是如何根据电子邮件地址查找LinkedIn个人资料。

15

缓存平台

有几个平台缓存网站，这些网站在调查过程中可能是一个很好的信息来源，可能是因为网站关闭或分析网站的历史演变。这些平台要么自动缓存网站，要么根据需要缓存网站。

搜索引擎：大多数搜索引擎在抓取网站时都会缓存网站内容。这是非常有用的，许多网站都是可用的，但请记住，你无法控制它最后被缓存的时间（通常不到一周前），缓存很可能会很快被删除，所以如果你发现有什么有趣的，那就想想关于快速保存缓存页面。我在调查中使用了以下搜索引擎缓存：Google、Yandex和Bing。

Internet Archive:  Internet Archive 是一个伟大的项目，旨在保存在Internet上发布的所有内容，包括自动抓取网页并将其演变保存到庞大的数据库中。他们提供了名为Internet Archive Wayback Machine的门户网站，这是一个分析网站演变的神奇资源。要知道的一件重要事情是，Internet Archive正在按需删除内容（例如，他们为Stalkerware company Flexispy这样做），因此你必须保存需要在其他地方存档的内容。

其他手动缓存平台：我非常喜欢archive.today ，它允许保存网页快照并查找其他人完成的快照。我在调查中主要依赖它。perma.cc很不错，但每个月只提供10个免费帐户链接，该平台主要用于图书馆和大学。他们的代码是开源的，所以如果我必须托管我自己的缓存平台，我肯定会考虑使用这个软件。

有时手动查询所有这些平台以检查网页是否被缓存是很烦人的。我在Harpoon中实现了一个简单的命令来做到这一点： 

1$ harpoon cache https://citizenlab.ca/2016/11/parliament-keyboy/ 2Google: FOUND https://webcache.googleusercontent.com/search?q=cache%3Ahttps%3A%2F%2Fcitizenlab.ca%2F2016%2F11%2Fparliament-keyboy%2F&num=1&strip=0&vwsrc=1 3Yandex: NOT FOUND 4Archive.is: TIME OUT 5Archive.org: FOUND 6-2018-12-02 14:07:26: http://web.archive.org/web/20181202140726/https://citizenlab.ca/2016/11/parliament-keyboy/ 7Bing: NOT FOUND

请向左滑动查看命令完整内容

另外请记住，前面提到的Hunchly会自动保存你在启用录制时访问的任何页面的本地存档。

16

捕获证据

这将我们带到下一点：捕获证据。捕获证据是任何调查的关键部分，特别是如果它可能会很长。你肯定会迷失多次在找到的数据量中，网页会发生变化，Twitter帐户会消失等等。

2019情报收集指南

要记住的事情：

  • 你不能依赖Internet Archive，使用其他缓存平台，如果可能请使用本地副本；

  • 保存图像，文件等；

  • 截取屏幕截图；

  • 保存有关社交媒体帐户的数据，它们可能被随时删除。（对于Twitter帐户，Harpoon有命令将推文和用户信息保存在JSON文件中）

附加读物：

  • 如何存档开源材料（How to Archive Open Source Materials） by Aric Toler from Bellingcat

17

短网址服务

URL短地址在使用时可以提供非常有趣的信息，这里是关于如何查找不同提供者的统计信息的摘要：

  • bit.ly：在网址末尾添加个+ ，如 https://bitly.com/aa+

  • goo.gl：(很快就弃用了）在最后添加个+，将你重定向到一个网址https://goo.gl/#analytics/goo.gl/[ID HERE]/all_time

  • ow.ly是hootsuite的短网址服务方，但你看不到统计数据

  • tinyurl.com不显示统计数据，但你可以通过http://preview.tinyurl.com/[id]查看url网址

  • 使用tiny.cc，你可以通过添加~来查看统计信息，例如 https://tiny.cc/06gkny~

  • 使用bit.do，你可以在最后添加个-，如http://bit.do/dSytb-（统计数据可能是私有的）

  • adf.ly：提供通过在重定向到链接时显示广告来赚钱。他们使用许多其他子域，如 j.gs 或 q.gs 并且不显示公共统计数据 。

  • tickurl.com：使用+访问统计数据，例如https://tickurl.com/i9zkh+

一些短网址服务服务使用增量ID，在这种情况下，可以枚举它们以便找到在同一时间创建的类似网址。你可以查阅这个不错的报告，看看这个想法的一个例子。

18

公司信息

有几个数据库可用于搜索公司的信息。主要是Open Corporates和OCCRP泄密和公共记录数据库（OCCRP database of leaks and public records）。那么你将不得不依赖于每个国家的数据库，在法国societe.com是个很好的数据库，而在美国你应该查阅EDGAR和英国的Company House（ 这里有更多信息）。

19

资源

以下是些有趣的资源，可以让你了解有关OSINT开源情报收集的更多信息：

  • Bellingcat令人惊叹的资源：指南与社区建立的资源列表

  • Github存储库Awesome OSINT

  • OSINT开源情报收集框架OSINT framework

  • osint.link

本指南到处就结束了伙计们，感谢你花时间阅读这篇文章。请随时通过Twitter与我联系，帮助我完成填写该列表。

这篇博文主要是在听 Nils Frahm的时候写的。

更新 1：添加Yandex Images、remove Background与Photo Forensic。感谢Jean-Marc Manach和[REDACTED]的小窍门。

文章来源：国卫信安

情报收集(3),华盟网(590),网络安全(682),黑客(527)
本文原创，作者：congtou，其版权均为华盟网所有。如需转载，请注明出处：https://www.77169.net/html/229503.html
congtou官方
congtou

3.20K篇文章
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 20480 bytes) in /data/wwwroot/www.77169.net/wp-includes/meta.php on line 1085