双洲科技首页

超融合架构在产品检测平台建设中的研究与应用

2024-08-21 13:17       浏览：194

【关键词】 超融合架构 分布式存储 资源池 虚拟化技术 产品检测

1 引言

产品是构成信息系统安全防护体系的最小单元，其功能、性能、稳定性和安全性等各项技术指标是否达标，直接关系着信息系统整体安全防护效能的强弱，这就对产品检测工作提出了更高的要求。而作为承载产品检测工作的基础设施，产品检测平台对测试环境和测试资源的管理与整合分发能力又直接决定了产品检测过程的规范性和检测效率。

传统的产品检测平台采用的是一种“烟囱”式垂直体系架构，即每类产品测试所需的操作系统、数据库和应用系统等测试资源均部署在独立的物理服务器上，测试人员通过交换机调用相关服务器上的测试资源，并需要根据每类产品的检测环境拓扑手动搭建测试环境，如图1所示。

图1 传统产品检测平台的“烟囱”式垂直体系架构

这类平台以物理设备为基础，按照检测对象搭建检测环境，能够在接近真实使用场景下开展产品检测。但随着产品检测数量的增加，这种方式越来越难以适应工作需要，其不足具体表现为以下3点。

（1）资源利用率低。在传统检测平台中，同一测试环境和资源只能为某个特定的测试对象服务，其他测试人员无法共享该测试环境和资源，导致无法对同类产品开展批量化测试，致使平台的整体测试效率偏低。

（2）检测环境复用性差。传统检测平台的检测环境或过于固化，容易产生资源浪费；或无法复用，每次测试都要重新搭建检测环境，耗时费力。

（3）管理调度水平低。传统检测平台的软、硬件资源过于分散，容易形成资源孤岛，缺少灵活统一的测试资源管理调度机制。

本文以超融合架构理念为基础，通过对典型产品的测试资源调度逻辑和检测环境部署需求进行分析和研究，设计了一种以超融合架构为底层驱动的产品检测平台，为产品检测工作提供基础支撑。

2 超融合架构及其优势

2.1 超融合架构的工作机制

超融合架构（Hyper-Converged Infra-structure，HCI）是一种以标准的X86或ARM物理服务器为基础，采用软件定义的方式将计算、网络和存储等信息系统运行所必需的基本要素虚拟化，并通过专用虚拟化管理系统将之与负载均衡、镜像同步、连续数据保护、快照管理、缓存加速、数据去重、数据压缩、存储管理和数据迁移等信息系统数据安全保护机制进行深度融合，形成一个独立的工作节点，该节点在形态上表现为一台超融合物理服务器（或称“超融合一体机”）。

超融合工作节点是构成主机控制接口（HCI）的最小单元。在实际应用中，超融合工作节点之间一般通过网络聚合成超融合工作节点集群，并采用分布式存储技术将各个节点的存储资源进行融合，形成一个具备统一存储、集中管理、模块化拓展和实时差错校验等特性的资源池系统，这就使得各工作节点之间无需相互依赖就可对外提供虚拟化的计算、网络和存储等服务，如图2所示。

图2 超融合工作节点集群

2.2 超融合架构的优势

与传统信息技术（IT）基础架构相比，HCI具备以下5点优势。

（1）系统部署更便捷。HCI将计算、网络和存储融合于同一物理服务器中，各服务器之间仅通过网络交换机聚合形成集群，整个系统的组成元素简单，部署过程方便快捷。

（2）硬件资源管理更高效。得益于流程化和自动化的硬件资源交付技术，HCI能够按需索取集群系统的硬件资源，并能够提供可视化的硬件资源分配情况，极大地简化了对系统资源调度过程的人工干预，显著提高了系统资源管理和调度的工作效率。

（3）信息系统建设成本更低，延展性更好。从理论上讲，最少仅需要2个超融合工作节点就可以聚合成一个业务集群。因此，在信息系统建设之初可以按需采购对应数量的工作节点，而不必考虑为后续业务扩展预留系统资源。当现有系统无法承载业务需求时，只需新增对应数量的工作节点而无需中断任何业务系统，就可以实现对信息系统的线性横向扩展。

（4）系统稳定性和数据安全性更有保障。超融合集群各节点之间采用分布式多副本存储技术对本地存储资源进行虚拟化，再经集群整合成资源池，为信息系统提供存储服务，并结合一系列即时同步等高可用技术，能够在很大程度上消除因单节点故障而导致系统整体崩溃的隐患。此外，集成的负载均衡技术和容灾备份机制能够为信息系统提供长期可持续的访问能力，保证了数据库等关键应用和服务的安全稳定运行。

（5）信息安全防护能力部署更灵活。HCI提供了强大的计算和网络虚拟化能力，这就为虚拟防火墙等信息安全防护组件的部署提供了良好的运行条件。配合专用管理系统，可在可视化界面对信息系统的任意位置部署信息安全防护组件，部署过程更加灵活。

3 基于超融合架构的产品检测平台设计

3.1 底层承载系统设计

图3是一个产品检测平台的超融合系统集群，该产品检测平台采用了3台超融合一体机作为整个平台的底层硬件系统承载主体，为上层软件系统提供其运行所必需的存储、计算和网络数据交互等基本条件，再通过交换机进行聚合，形成超融合系统集群。该集群是一个标准的最小超融合集群系统，能够满足基本产品检测工作的硬件资源需求。随着业务规模的不断扩展，后期可直接在集群系统中加入新的超融合工作节点，即可完成对集群系统的计算、网络和存储资源的线性横向扩增，且该过程不会对上层业务和应用系统的运行产生任何影响。

图3 底层承载系统

在网络数据交互方面，得益于超融合系统集群提供的原生网络虚拟化支持能力，集群系统内部的所有虚拟服务器和虚拟主机之间均通过虚拟交换机、虚拟路由器等虚拟网络组件建立虚拟以太网连接，此过程只需在检测平台的网络部署界面绘制网络拓扑图即可完成部署。集群系统与外部设备、网络的数据交互采用可拓展接入点方式实现。检测平台初期对外开放了2个接入点，分别对应2个不同的逻辑域，它是被测设备（Device Under Test，DUT）接入检测平台的连接通道。若DUT需要多个逻辑域支持，可在检测平台上动态增减接入点数量。此外，每个接入点还可通过下挂交换机实现物理端口的横向扩展，以满足批量化产品测试的要求。

3.2 测试资源池的构造

测试资源池是产品检测平台执行检测环境部署和产品检测过程中用到的一切工具、应用和数据资源的集合。现有性能和安全性测试仪表等硬件资源通过与超融合集群耦合，并在检测平台的资源池管理系统中添加对应的控制协议和指令集，即可完成该设备的虚拟化映射，成为构成测试资源池的一个独立元素。现有Web应用系统、漏洞靶机集群、测试套件等软件资源以虚拟机为载体，一个虚拟机作为一个独立元素，可承载了一个或多个资源。

所有元素由检测平台的资源管理系统统一管理，测试人员在搭建测试环境或执行测试任务时，可根据需要自由调用每个元素，且一个元素可被多个测试人员同时调用，彼此之间互不干扰。此外，为防止元素被非法修改或破环，测试资源池针对每个元素建立了快照动态恢复机制，每个元素被释放后，将自动恢复至初始状态。

3.3 操作界面的设计

检测平台的网络部署操作界面为测试人员执行测试资源调度和虚拟检测环境部署提供入口，其界面布局如图4所示。

图4 超融合检测平台的网络部署操作界面布局

界面左侧为测试资源池，里面的每个控件对应一个元素；中间区域为检测环境部署区，测试人员只需通过鼠标拖拽所需的控件，并绘制检测环境的网络拓扑即可完成虚拟检测环境的部署；界面右侧为元素的属性配置面板，检测环境部署区中每个元素的属性根据其类型不同而有所差异，但基本要素（如IP、协议和端口等）相同。测试人员通过对属性的配置，保证了检测环境中各元素间的网络连通性。

此外，虚拟检测环境可被保存为模板，在执行产品检测时，只需调用标准检测环境模板即可完成检测环境的自动化部署，从而减少了搭建检测环境的劳动投入，保证了检测环境和检测流程的标准化。

3.4 实验网3N+网络结构设计

产品检测平台采用了以功能属性为导向的网络结构设计理念，整体上将实验网自上而下划分为管理网（Management Network，MN）、资源网（Source Network，SN）和测试网（Testing Network，TN）3层，并对测试网赋予了多个子网域弹性扩展的能力，形成了以3层主网络域为主体，测试网多子网域弹性扩展的3N+网络结构布局，如图5所示。

图5 3N+网络结构

（1）管理网位于3N+网络结构的最上层，是超融合集群和测试资源实现远程管理、配置和调度的主干网。管理网配置了本地域名系统（DNS）和动态主机配置协议（DHCP）服务，并为每个管理站点分配了唯一域名。各管理站点由统一身份认证系统接管，测试人员通过身份认证后可直接接入对应的管理系统，执行系统和资源的管理调度。

（2）资源网是测试资源池对外提供数据、功能和服务的主干网，通常与DUT的业务接口连接，用于接收和访问检测平台提供的测试报文、攻击流量、办公自动化（OA）服务等测试资源。基于测试网可实现测试资源的多节点远程并行访问，充分提高了测试资源的利用率。

（3）测试网能够为DUT提供模拟实际应用场景中存在的不同逻辑域、快速构建多子网检测环境的基础网络条件，可根据实际需要，利用虚拟局域网（VLAN）和VLAN隔离等技术将其划分为多个逻辑子网域。DUT只需接入相应的子网域，并调用对应的虚拟检测环境拓扑，即可快速完成检测环境部署。

3.5 容灾备份架构设计

在容灾备份层面，检测平台基于HCI原生的备份机制，结合现有的备份手段，形成了三级容灾备份体系，如图6所示。

图6 超融合检测平台的三级容灾备份体系

第一级是利用HCI原生支持的本地快照备份机制实现集群内备份，可以根据业务重要性，配置定时自动快照备份策略，保证某一虚拟机在发生异常时能够快速恢复。

第二级是利用Veeam等一体化灾备系统进行本地集群外备份，此过程可实现对虚拟机的输入／输出（I/O）级实时备份，当超融合集群出现异常导致整个系统崩溃时，该机制能够保证集群中虚拟机个体的数据完整性，并能够基于集群外备份副本快速覆盖本地集群的故障点，保证本地超融合集群能够从异常状态中及时恢复。

第三级是远程集群级备份，即在独立的容灾机房中建立本地集群系统的实时远程镜像，当本地集群环境发生严重灾难（如集群系统突然断电等）导致集群系统完全失效时，能够立即切换至远程集群镜像，保证检测平台不间断运行。

上述三级容灾备份体系由集群内部拓展至集群外部，再延伸至其他地理空间，形成了由中心向周边扩散的放射状灾备架构，能够在最大程度上保证检测平台的稳定性和可靠性。

4 产品检测平台的应用实践

本节分别以串联部署、旁路部署和点对点部署3类典型部署方式的产品为例，阐述在超融合检测平台上进行检测环境快速部署和具体测试应用的过程。

4.1 串联部署类产品检测

防火墙、网络入侵防御、安全网关等是典型的串联部署类产品，这类产品的测试环境通常由管理端、内网和外网3个域组成。以防火墙检测为例，管理端与管理主机连接，对防火墙进行安全策略配置和管理，内网域部署受保护的服务器，外网域向内网服务器发起访问请求，防火墙串联部署于内网和外网之间，对数据报文进行安全策略应答。

根据防火墙产品的测试环境特征，在超融合产品检测平台上快速创建检测环境，具体过程是：首先，将防火墙的管理端物理接口接入MN网（记为M端），并配置通过DHCP方式从检测平台自动获取管理地址；然后，将防火墙的内网域物理接口接入SN网，并在该物理接口上配置路由，建立与测试资源池（记为S端）的网络连接；最后，将防火墙的外网域物理接口接入TN网，并在检测平台上生成一台虚拟终端（记为C端），作为向服务端发起访问请求的主体。通过以上步骤即可完成防火墙产品检测环境的部署，如图7所示。

图7 串联部署类产品在超融合检测平台上的测试过程

将完成部署的检测环境保存为模板，下次测试时直接引用该模板即可完成测试环境的快速部署，实现检测环境的即时复用。当需要执行批量测试时，只需将DUT批量接入检测平台，并将内网和外网域划入不同的VLAN即可。

4.2 旁路部署类产品检测

入侵检测系统（Intrusion Detection System，IDS）、网络审计等是网络旁路部署类产品。以IDS为例，这类产品的测试环境通常包括管理端和侦听端两部分。管理端与管理主机连接，对IDS进行安全策略配置和管理；侦听端通常以旁路方式连接至侦听目标网络链路一侧，对网络流量进行捕获和分析。

在超融合产品检测平台上开展测试时，首先获取管理地址（方法同4.1），然后将侦听端接入SN网内网络分流（Network Packets Broker，NPB）系统即可完成检测环境部署。攻击行为由网络攻击模拟仪表产生，并通过NPB系统进行多路复制后分发至一个或多个IDS，一方面可实现对旁路部署类产品的批量化测试；另一方面，由于所有IDS捕获的攻击流量完全一致，保证了检测环境和过程的一致性，如图8所示。

图8 旁路部署类产品在超融合产品检测平台上的测试过程

4.3 点对点部署类产品检测

点对点部署类产品一般为基于B/S或C/S架构的应用类产品，此类产品大多为软件形态，产品大多由安装在主机中执行产品防护功能的客户端和安装在服务器上、对客户端进行配置管理的服务端2部分。

在超融合产品检测平台上开展测试时，可根据产品适配的操作系统创建对应的客户端虚拟主机和服务端虚拟服务器，并直接在网络部署操作界面绘制虚拟网络连接线路即可完成检测环境部署。根据需要，还可以创建一对多、多对一和多对多的测试环境，尤其在多平台兼容性测试时，其优势更为明显，如图9所示。

图9 点对点部署类产品在超融合产品检测平台上的测试过程

完成测试后，关闭虚拟终端和虚拟服务器可自动回滚至初始状态，为下个产品的安装部署提供一个纯净的运行环境。

5 结语

产品检测平台是开展产品检测工作的基础设施，其对测试资源和环境的整合分发与管理调度能力直接决定了检测工作的执行效率和测试流程的标准化程度，同时也是产品检测过程信息化和自动化水平的直接体现。

本文以HCI为基础框架，提出了一种产品检测平台建设方案。该平台以HCI为底层驱动，结合存储虚拟化、网络虚拟化和计算虚拟化技术，实现了对测试资源的集中管理和按需分配，以及对测试环境的可视化编辑和自动化部署，能够为测试人员提供标准化测试流程和批量化测试能力支持，具有系统部署便捷、资源管理高效、建设成本低廉、系统延展灵活、系统稳定性和数据安全性高等特点。

此外，在实际应用中，受产业生态和自主硬件虚拟化运算性能等客观条件的制约，该平台尚存在一些不足，如对基于ARM、Mips等平台开发的应用系统的兼容性较差，对部分信创产品的测试支持不够全面等。

接下来，我们将紧跟产品和技术发展趋势，不断优化产品检测平台对各类产品检测工作的支持能力。一方面，通过自动化测试工具的研制和应用，进一步扩充测试资源池，提高检测平台的整体自动化测试水平；另一方面，通过融合私有云计算和云存储技术，进一步优化测试资源的调度逻辑，提升测试过程的执行效率。同时，还要重点改进对自主软硬件平台和信创产品的支持能力，为建设管理科学、支撑面广、自动化程度高的产品标准化测试体系提供基础支撑。

（原载于《保密科学技术》杂志2023年4月刊）