在分析了100万个恶意软件样本后…..

Malware Hunter 推出一年后，Marco Ramili分享了其分析了100多万个恶意软件样本的项目结果。

Malware Hunter ——一年前，我决定通过建立一个完整的堆栈环境来从静态文件中获取样本来投资静态恶意软件分析自动化开源并使用Yara规则进行处理。我决定向网络安全社区提供一个预处理分析的公共数据集，并使其“可搜索”，从而提供PAPI和一个简单的可视化UI  。一年之后的今天，是时候检查一下这个项目的发展情况，看看它的运行平衡情况。

工作原理

Malware Hunter是一个由python驱动的项目，由三个主要组件驱动：收集器，处理器和公共API。收集器从公共可用源获取样本，并将它们放置在等待处理的本地队列中。处理器是在分布式环境中运行的多个单个python进程，它们从公共队列中提取样本，对其进行处理并将整个处理结果集保存回mongodb实例。遗憾的是，由于存储价格上涨很快，无法存储所有分析过的样本，所以我只能收集“报告”：也就是处理器分析过的内容。公共API用于查询mongodb和提交新样品。最后，我们提供了一个简单的用户界面来获取一些随时间变化的统计数据。定期任务会寻找特定的匹配Yara规则，该规则代表APT，并在此处填充可用的特定视图  。换言之，如果它在为捕获高级持久性威胁而构建的著名Yara规则上找到匹配项，它将收集计算出的散列，并通过专用API可视化找到的所有潜在APT的统计信息和匹配签名。一切都在无需人工干预的情况下运行，这也有好有坏。好的是它可以快速扩展（取决于VPS上获得的功率），但另一方面，由于没有人为干预，取决于Yara规则的实现，系统可能会有许多误报。但是，对我而言有趣的是从中开始有一组基本样本。如果没有这种工具，您将如何开始发现特定威胁 ？在这种情况下，我可以从一个匹配的特定签名开始，而不是随机开始。

调查结果

通过Yara规则进行了将近一年的全自动静态分析样品后，Malware Hunter分析了超过一百万个样品，并将其进行了如下分类。

恶意软件分析分布

与总体趋势相比，2019年4月，该引擎似乎提取并分析了一小部分样本，而在8月底/9月初，它分析了超过25万个样本。有趣的是，与同年年初进行的分析相比，“年底”的分析显著增加。虽然恶意软件收集器在过去一年中收集相同的源，但引擎仅分析特定的文件类型（例如PE和Office文件），并假设示例源没有工作中断，这可能意味着：

更多的非范围内示例在4月至6月展开，例如：HTML，Javascript，VBA等。

恶意软件流受周期性趋势的影响，取决于包括政治影响力和财政年度在内的多个主题。

观察最快速的Yara规则，检查分析最多的样本是可执行文件。其中许多（将近400k）将一个PE文件压缩和/或加密到自己的文件中。

最佳匹配规则

许多Yara比赛都突出显示了反调试技术的高度存在，例如：DebuggerTiming_Ticks, DebuggerPatterns_SEH_Inits, Debugger_Checks and isDebuggerPresent等等。如果与Create_Process, Embedded_PE 以及 Win_File_Operations一起考虑，分析人员会认为现代恶意软件被严重混淆，并被用于对付调试器。从诸如键盘记录和屏幕截图的签名可以清楚地看出，现在的大多数恶意软件都在记录我们的键盘活动，并希望通过获取定期屏幕截图来监视我们。HTTP和TCP规则的存在突显了新恶意软件保持在线状态的方式，这些恶意软件要么用于下载shellcode，要么要求从C2系统（例如服务器）进行控制。许多样本看起来像是打开了一个本地通信端口，该端口通常隐藏一个本地代理，用于加密恶意软件与其命令和控件之间的通信。Crafted Mutex对于恶意软件开发人员来说非常常见，它们被用来延迟或管理多重感染过程。

方程组签名匹配

另一个有趣的观察来自方程组工具集的匹配方式(来自维基百科)。

在最具有特征性的检测时间范围内（年初和年末），许多EquationGroup_toolset签名相匹配，这提醒我们那些著名的工具（2016年8月）仍在运行并在样本中大量使用。ShadowBrokers 在2016年8月发布了该代码，从那时起，许多恶意软件采用了该代码，如今在许多可执行示例中仍然存在。

从缓慢但有趣的页面“潜在的APT检测”中，我们获得了有关100万个分析样本中APT比赛的“实时”统计数据（每24小时更新一次）。Dragonfly（众所周知的能量熊）是最匹配的Malware Hunter。据MalPedia称，DragonFly是一个收集能源行业情报的俄罗斯组织，其次是Regin。卡巴斯基实验室的调查结果显示，Regin-APT运动的目标是电信运营商、政府机构、多国政治机构、金融和研究机构以及参与高等数学和密码学的个人。攻击者似乎主要对收集情报和促进其他类型的攻击感兴趣。

大多数APT签名蚀刻

在过去的一年中，发现了许多ursnf/Gozi。ursnf/Gozi是一种非常有名的银行特洛伊木马，主要针对英国/意大利，通过发现ursnf/Gozi和TA-505银行特洛伊木马（如Dridex和loader Emotet）之间的共同证据，将其归因于2018年底TrendMicro的网络犯罪组TA-505。有趣的是，在一些示例中，与推杆熊猫有关的相当古老的规则，例如：

（“推杆熊猫”是中国的威胁组织，隶属于中国人民解放军第三总参谋部第十二局61486部队。）

二手基础设施

当scraper和workers在远程和家用PC上运行时，PAPI服务器同时拥有：公共应用程序接口和搜索脚本（用于匹配和警告特定API匹配的脚本）。下图简要显示了VP的使用情况。

服务器使用情况

大多数时间以100％的速度使用4个CPU。CPU用于处理Yara规则以建立数据库视图，过滤出不需要的样本（例如HTML，Javascript等。），搜索感兴趣的样本并发出警报，以及通过随时间添加额外信息定期充实预计算的报告。磁盘主要用于在处理之前将临时文件存储在单独的队列中。MongoDB的使用实例不在同一台计算机上托管。网络图用于跟踪发送字节和接收字节之间的网络负载平衡。几乎2.0Mbps的入网速率是下限，300Kbps是平均的出网速率。这意味着收藏者每天从公共资源中获取大量新样本，并将新样本推送到中央队列中。另一方面，PAPI的使用似乎降低了出站率。这是有意义的，因为单个请求的PAPI Json结果比请求中表示的示例本身要轻得多。