未知攻击检测技术研究简述

2024-09-10 14:10       浏览：367

      摘要：在全球网络信息化程度高速发展的大背景下，网络安全威胁不断进化和变化，攻击手段也在日益复杂化。尤其是尚未被安全研究人员或防御措施所知晓的网络攻击（即未知攻击，或称零日攻击或新型攻击）给网络安全带来了难以预测的威胁。未知攻击检测一直以来都是网络安全中的一个重要的课题，为了应对未知攻击的挑战，学术界和工业界提出了许多基于统计知识以及基于机器学习、深度学习等人工智能技术的方法来检测未知攻击。本文主要回顾了现有的未知攻击检测方面的研究，并对现有的研究成果进行了分析和总结，探讨了其中的优势和局限性，并对未知攻击检测的未来进行了展望。

1引言

未知攻击可以被看作那些尚未被发现、识别或记录的攻击方法或技术[1]。与已知攻击不同，未知攻击没有已知的特征或模式，难以被传统的安全防御系统所检测或阻止。相对网络信息安全行业来说的未知威胁或未知攻击包括但不限于APT[2]、0/N Day攻击[3]、新型攻击等。这些攻击通常具有高度隐蔽性和复杂性，且不易被传统的安全工具和方法所发现，容易对目标系统造成重大破坏，对网络安全构成了严重威胁。因此，及早检测和识别未知攻击对于保护系统和数据的安全至关重要。持续的安全监控、漏洞管理、信息共享和合作都是应对未知攻击的关键策略。但未知攻击通常通过不依赖已知攻击特征的方式，从系统和网络的行为、异常模式或其他异常信号中寻找潜在的未知攻击迹象，因此传统的基于特征或规则的检测方法可能无法对其进行及时和准确的识别。近年来，人工智能和机器学习技术在未知攻击检测中的应用日益增多，当前已有不少专家对未知攻击的检测方法进行了研究，这些方法中包括监督学习[4-5][6-8]、半监督学习[9-10]、无监督学习[6][11-16]、元学习[17-21]、强化学习[16][22-23]以及基于结构[23-29]的方法等。监督学习利用已标记的数据训练模型识别攻击模式，半监督学习结合已标记和未标记的数据进行训练，无监督学习则依赖于未标记数据发现潜在的攻击模式。元学习使模型能够快速适应新的未知攻击，强化学习通过与环境交互来学习最优策略，而基于结构的方法则利用网络结构信息来识别异常行为。除此之外，还有一些结合蜜罐技术[32-34]、系统调用信息[28-30][35]、系统日志审计[36]等未知攻击检测方法。并且还有将多种技术进行结合来对未知攻击进行更加准确的检测，以提高对未知攻击的检测效果。然而，未知攻击检测也存在一些挑战。由于未知攻击的多样性和变异性，构建准确的模型和算法是一项复杂的任务。此外，未知攻击检测可能面临误报和漏报的问题。因此，未来的研究方向需集中在这些问题上。

2未知攻击检测方法

2.1  基于统计的方法

基于统计方法的未知攻击检测可以分为使用统计指标以及使用模型方法来检测未知攻击。基于统计指标的方法使用一般使用Z-score、Local Outlier Factor、KL散度等统计度量来对网络的异常情况进行量化，以发现零日攻击。基于统计模型的方法是通过对网络中的数据流进行建模，以检测出可能的异常流量。例如构建因果图来分析事件之间的关联关系，或者计算攻击在某个节点发生的概率来实现检测。相较于新兴的神经网络、强化学习等后起之秀，单独的统计方法在处理高维和混合类型数据显得有些力不从心。很少单独使用一种或者多种统计方法进行未知攻击的检测，大部分都将统计方法当作机器学习中的一部分[4]或是作为特征提取的方法[14][17]。

2.2  基于机器学习的方法

一般而言，使用机器学习的方法对未知攻击进行检测多是从异常检测的角度出发，即通过学习正常（非攻击）的实例来了解正常模式，通过找到一些与正常模式不符的异常来检测攻击事件。

2.2.1  基于有监督学习的方法

基于有监督学习的未知检测方法通常是训练一个分类器（如SVM、随机森林）来区分攻击和正常数据[18]，由于未知攻击通常相对会与已知攻击具有较高的相似度，如图1，因此当新的数据被输入时，分类器可以判断它是否为攻击。但是由于原始数据中攻击数据和正常数据的分布通常是非线性的，且不具有规律，这导致传统分类器在对未知攻击检测方面的精度不高，当发生未知攻击时，其检测性能显著下降[22]，也可以通过优化提高分类精度 [6]。此外，有监督学习也可以与其他方法互相结合从而用于未知攻击的检测，如将有监督学习和溯源图相结合[7]。然而，有监督学习需要大量的带标签数据，而攻击数据往往是非常稀有的，并且未知攻击数据更是难以获取，因此有监督的机器学习算法在直接用于对未知攻击进行检测方面时可以结合其它的技术和方法进行优化。

图1   正常数据、已知攻击和未知攻击

2.2.2  基于半监督学习的方法

半监督学习是一种利用少量标注数据和大量未标注数据进行机器学习的方法，类似图2。在未知攻击检测领域，半监督学习可以用来提高模型的鲁棒性以及进行数据增强，从而增强模型对未知攻击的识别能力。由于未知攻击的种类繁多，传统的数据增强方法很难覆盖所有攻击类型。因此，研究人员提出了利用半监督学习方法对未标记数据进行增强的方法。例如，Zhang等人[9]提出通过新的半监督学习（SSL）方法，最大限度地利用在现实世界中普遍可用且易于收集的未标记数据，每次学习迭代中重新评估先前自动标记的样本，以便通过校正错误标记的样本来更新训练集。Yang等人[10]则提出了一个利用图上的先验知识来增强GCN的模型，将图上半监督学习的目标函数分解为有监督项和无监督项，监督项捕获来自标记数据的信息，无监督项则捕获标记数据和未标记数据之间的关系。

图 2  利用有标签和无标签数据的零日恶意软件检测

2.2.3  基于无监督学习的方法

真实场景下大部分领域存在的数据是无标签或是少量带标签的数据，有监督分类算法依赖于样本量和样本的均衡性，基于无监督学习的未知攻击检测能够在一定程度上解决这个问题。Tang R等人[11]就提出了一种基于无监督学习的零日Web攻击检测方法ZeroWall，如图3。然而无监督学习算法仍然不能充分有效地利用已知攻击的数据来弥补无监督学习模型精度较低的问题，Wan Y 等人[12]则设计了IoTArgos，在第一阶段利用有监督分类算法检测已知攻击，而在第二阶段依赖于无监督异常检测算法来捕获分类阶段可能未检测到的新出现的零日攻击。同样，Yang J 等人[13]设计了一个层次框架来实现未知攻击识别和已知攻击的多类分类。由于分布式的检测框架能够降低假阳性并且一定程度上解决聚类困难，Blaise A 等人[14]提出了一个集中的CIDS框架，其中的Snort签名用于检测已知攻击，无监督学习算法检测未知攻击。

图 3  ZeroWall的工作流程

2.2.4 基于强化学习的方法

强化学习利用其交互性的学习可以学习到未知攻击。由于强化学习需要使用带标签的数据，因此强化学习也常常和其他方法相结合来对未知攻击进行检测。Heartfield R 等人[16]通过深度强化学习的方式完成家居互联网络的安全监测，其数据是通过无监督学习算法孤立森林来确定。Feng M等人[22]提出了一种新的网络状态动态方法，将深度强化学习技术与零和博弈相结合，开发了一种基于在线深度强化学习的最优防御策略。

2.2.5  基于元学习的方法

元学习通过学习不同任务的经验来改善模型的泛化能力和适应能力，使得模型能够快速适应新任务并在少量数据的情况下表现良好。Finn等人[17]提出了一种名为模型无关元学习（MAML）的元学习算法，Ravi和Larochelle[18]提出了一种利用优化算法进行元学习元学习方法，使模型能够在面临新任务时快速适应，在未知攻击检测领域均具有广泛的应用前景。Wang等人[19]则提出了一种学习策略ID-FSCIL，通过元学习从少数样本中挖掘新的入侵模式。Rong等人[20]提出了一种基于少样本学习的恶意软件变体检测框架，通过将网络流量数据转换为灰度图像，并利用基于原型的元学习模型进行分类，能够完成少量未知恶意软件变种的检测任务。

2.3  基于结构的方法

基于结构的方法主要考虑到未知攻击不可能通过简单的单步攻击实现，即攻击具有阶段性特征，因此可以通过攻击路径预测或攻击生命周期匹配来检测当前是否出现了未知攻击。其中基于结构的方法又可细分为基于机器学习、深度学习和其他人工智能技术以及其他方法的S-UAD方法。基于机器学习的S-UAD方法主要通过对网络流量数据或程序行为数据进行特征提取和分类，实现对未知攻击的检测[23]。基于深度学习的S-UAD方法能够自动提取高层次的抽象特征，从而在检测未知攻击时具有更高的准确性和鲁棒性[23-25]。除了机器学习和深度学习方法外，还有一些其他的人工智能技术在S-UAD领域得到了应用，如模糊逻辑、遗传算法、强化学习等。这些方法有助于在特定场景下提高未知攻击检测的性能[26-27]。

3方法优缺点分析

为了检测未知攻击检测，已经有很多方法被提出，但是各种方法都有其自身的优点和缺点，因此，通过对现有的未知攻击检测方法进行分析，对未知攻击检测中所使用的各种技术的优缺点进行了总结，如表1所示。

表 1 未知攻击检测技术优缺点对比

未来为了更好地检测未知攻击，需要在实践中综合考虑不同的算法和数据特点，并使用多种技术来提高检测性能。一方面可以将有监督与无监督学习结合起来，在保证已知攻击分类的准确率的同时具有检测未知攻击的能力。另一方面也可以尝试将不同类型的数据和特征进行融合，以提高未知攻击检测的准确性。

4总结

未知攻击代表了新型的威胁，这些攻击利用先前未被发现或记录的漏洞、技术或方法，绕过已知的安全防御措施，往往具有隐蔽性和复杂性，传统的安全防御方法可能无法及时识别、阻止或应对这些攻击。因此未知攻击检测对于保护系统和数据的安全至关重要。未知攻击检测将持续面临新的挑战和发展机遇。随着人工智能的不断进步，更加智能和自适应的未知攻击检测方法将会出现。深度学习、强化学习和元学习等技术的结合将为未知攻击检测提供更强大的技术支撑。同时，整合多种检测方法和引入多源数据、多维度特征的集成系统将提高检测的准确性。另外，通过不断引入新技术、加强数据分析和情报共享，以及建立综合的防御策略，未知攻击检测将更好地应对日益复杂和多变的安全威胁，保护系统和数据的安全。

参考文献

[1]Guo Y. A review of Machine Learning-based zero-day attack detection: Challenges and future directions[J]. Computer communications, 2023, 198: 175-185.

[2]Vukalović J, Delija D. Advanced persistent threats-detection and defense[C]//2015 38Th international convention on information and communication technology, electronics and microelectronics (MIPRO). IEEE, 2015: 1324-1330.

[3]  Libicki M C, Ablon L, Webb T. The defender’s dilemma: Charting a course toward cybersecurity[M]. Rand Corporation, 2015.

[4]Schüppen S, Teubert D, Herrmann P, et al. {FANCI}: Feature-based automated {NXDomain} classification and intelligence[C]//27th USENIX Security Symposium (USENIX Security 18). 2018: 1165-1181.  

[5]Fu C, Li Q, Shen M, et al. Realtime robust malicious traffic detection via frequency domain analysis[C]//Proceedings of the 2021 ACM SIGSAC Conference on Computer and Communications Security. 2021: 3431-3446.

[6]  Vu L, Nguyen Q U, Nguyen D N, et al. Learning latent representation for iot anomaly detection[J]. IEEE Transactions on Cybernetics, 2020, 52(5): 3769-3782.

[7]Ayoade G, Akbar K A, Sahoo P, et al. Evolving advanced persistent threat detection using provenance graph and metric learning[C]//2020 IEEE Conference on Communications and Network Security (CNS). IEEE, 2020: 1-9.

[8]Zhan M, Li Y, Yang X, et al. NSAPs: A novel scheme for network security state assessment and attack prediction[J]. Computers & Security, 2020, 99: 102031.

[9]ALKAYEM N F, CAO M, ZHANG Y, et al. Structural damage detection using finite element model updating with evolutionary algorithms: a survey[J]. Neural Computing and Applications, 2018, 30: 389-411.

[10]LU J, LIU A, DONG F, et al. Learning under concept drift: A review[J]. IEEE transactions on knowledge and data engineering, 2018, 31(12): 2346-2363.

[11]Tang R, Yang Z, Li Z, et al. Zerowall: Detecting zero-day web attacks through encoder-decoder recurrent neural networks[C]//IEEE INFOCOM 2020-IEEE Conference on Computer Communications. IEEE, 2020: 2479-2488.

[12]Wan Y, Xu K, Xue G, et al. Iotargos: A multi-layer security monitoring system for internet-of-things in smart homes[C]//IEEE INFOCOM 2020-IEEE Conference on Computer Communications. IEEE, 2020: 874-883.

[13]Yang J, Chen X, Chen S, et al. Conditional variational auto-encoder and extreme value theory aided two-stage learning approach for intelligent fine-grained known/unknown intrusion detection[J]. IEEE Transactions on Information Forensics and Security, 2021, 16: 3538-3553.

[14]Blaise A, Bouet M, Conan V, et al. Detection of zero-day attacks: An unsupervised port-based approach[J]. Computer Networks, 2020, 180: 107391.

[15]Liu A, Wang Y, Li T. SFE-GACN: A novel unknown attack detection under insufficient data via intra categories generation in embedding space[J]. Computers & Security, 2021, 105: 102262.

[16]Heartfield R, Loukas G, Bezemskij A, et al. Self-configurable cyber-physical intrusion detection for smart homes using reinforcement learning[J]. IEEE Transactions on Information Forensics and Security, 2020, 16: 1720-1735.

[17]Finn C, Abbeel P, Levine S. Model-agnostic meta-learning for fast adaptation of deep networks[C]//International conference on machine learning. PMLR, 2017: 1126-1135.

[18]Ravi S, Larochelle H. Optimization as a model for few-shot learning[C]//International conference on learning representations. 2016.

[19]Wang T, Lv Q, Hu B, et al. A few-shot class-incremental learning approach for intrusion detection[C]//2021 International Conference on Computer Communications and Networks (ICCCN). IEEE, 2021: 1-8.

[20]Rong C, Gou G, Hou C, et al. Umvd-fsl: Unseen malware variants detection using few-shot learning[C]//2021 international joint conference on neural networks (IJCNN). IEEE, 2021: 1-8.

[21]Chowdhury M M U, Hammond F, Konowicz G, et al. A few-shot deep learning approach for improved intrusion detection[C]//2017 IEEE 8th Annual Ubiquitous Computing, Electronics and Mobile Communication Conference (UEMCON). IEEE, 2017: 456-462.

[22]Feng M, Xu H. Deep reinforecement learning based optimal defense for cyber-physical system in presence of unknown cyber-attack[C]//2017 IE2EE Symposium Series on Computational Intelligence (SSCI). IEEE, 2017: 1-8.

[23]Zanero S, et al. Unsupervised anomaly detection for network intrusion detection: An empirical comparison of seven methods. Computers & Security, 2018, 78: 245-259.

[24]Kim H, et al. Long short-term memory based intrusion detection system with feature selection. Computers & Electrical Engineering, 2019, 77: 48-58.

[25]Tang X, et al. A software-defined network intrusion detection method based on convolutional neural network. IEEE Access, 2019, 7: 39955-39967.

[26]Sab M, et al. Anomaly detection using fuzzy logic and genetic algorithm in KDD intrusion detection dataset. Journal of Network and Computer Applications, 2016, 73: 1-12.

[27]Ghandi S H, et al. Anomaly detection using deep belief networks with multi-objective evolutionary algorithm. Soft Computing, 2020, 24: 8439-8459.

[28]Wu J, et al. A Novel Threat Prediction Framework for Network Security. IEEE Transactions on Information Forensics and Security, 2020, 15: 2331-2344.

[29]Du H, Liu D F, Holsopple J, et al. Toward ensemble characterization and projection of multistage cyber attacks[C]//2010 Proceedings of 19th International Conference on Computer Communications and Networks. IEEE, 2010: 1-8.

[30]Luo S, Wu J, Li J, et al. A multi-stage attack mitigation mechanism for software-defined home networks[J]. IEEE Transactions on Consumer Electronics, 2016, 62(2): 200-207.

[31]Saud Z, Islam M H. Towards proactive detection of advanced persistent threat (apt) attacks using honeypots[C]//Proceedings of the 8th International Conference on Security of Information and Networks. 2015: 154-157.

[32]Fan W, Du Z, Smith-Creasey M, et al. Honeydoc: an efficient honeypot architecture enabling all-round design[J]. IEEE journal on selected areas in communications, 2019, 37(3): 683-697.

[33]Hakim M A, Aksu H, Uluagac A S, et al. U-pot: A honeypot framework for upnp-based iot devices[C]//2018 IEEE 37th International Performance Computing and Communications Conference (IPCCC). IEEE, 2018: 1-8.

[34]Krueger T, Gascon H, Krämer N, et al. Learning stateful models for network honeypots[C]//Proceedings of the 5th ACM workshop on Security and artificial intelligence. 2012: 37-48.

[35]Han W, Xue J, Wang Y, et al. APTMalInsight: Identify and cognize APT malware based on system call information and ontology knowledge framework[J]. Information Sciences, 2021, 546: 633-664.

[36]Paccagnella R, Datta P, Hassan W U, et al. Custos: Practical tamper-evident auditing of operating systems using trusted execution[C]//Network and distributed system security symposium. 2020.

摘自“中国保密协会科学技术分会”公众号

作者：黄曦 中国科学院计算机网络信息中心 

责编：夏天