使用多个 Amazon Redshift Serverless 工作组和网络负载均衡器实现最佳性能和扩展性

文章重点

随著数据分析使用案例的增长，扩展性和并发性成为企业的关键需求。使用 Amazon Redshift Serverless 和网络负载均衡器的架构，可以在高并发的情况下支持海量数据处理。本文将介绍如何构建具备高可用性和低延迟的数据分析环境，并提供具体的操作步骤。

随著数据分析使用案例的不断增长，扩展性和并发性对企业显得尤为重要。您的分析解决方案架构应能够处理海量数据，并在高并发的情况下保持高效速度，从而提供可扩展的高性能分析环境。

Amazon Redshift Serverless 提供了一个完全管理的、支持 PB 级的自动扩展云数据仓库，以支持高并发分析。它为数据分析师、开发人员和数据科学家提供了一个快速、灵活的分析环境，以最优的性价比从数据中获取洞见。Redshift Serverless 在使用高峰期间自动扩展，帮助企业以成本效益高的方式应对不断变化的业务需求，并且不需要改变现有的分析及商业智能 (BI) 应用。

为了满足高并发、使用高峰和快速查询响应时间等性能需求，本文提出使用 Redshift Serverless 的解决方案。该解决方案旨在解决三个关键性能需求：

通过在多个 Redshift Serverless 端点后面使用网络负载均衡器，支持数千个高可用性的并发连接。通过可扩展且分布的工作组，满足数百个并发查询的低延迟服务水平协议。利用Amazon Redshift的快速查询处理能力，对大数据集进行次秒响应的短查询。

所建议的架构使用多个 Redshift Serverless 端点，通过单一的网络负载均衡器客户端端点进行访问。网络负载均衡器均匀地将进入的请求分配到工作组中，从而提高性能并通过扩展资源来降低延迟，以满足高吞吐量和低延迟需求。

解决方案概览

以下图示展示了使用多个 Amazon Redshift 管理的 VPC 端点和网络负载均衡器的 Redshift Serverless 架构。

该架构的主要组件包括：

Amazon Redshift 数据共享 使您能够在 Redshift 集群、工作组、AWS 帐户和 AWS 区域之间安全分享实时数据，而无需手动移动或复制数据。用户在数据更新后即可立即获得最新和一致的信息。经过Amazon Redshift 数据共享，数据可以在生产者或消费者端点进行摄取，使其他消费者端点能够读取和写入相同的数据，从而实现横向扩展。网络负载均衡器 作为客户端的单一接入点，负载均衡器将进入流量分配到多个目标，例如Redshift Serverless 管理的 VPC 端点。这样可以增强您的应用的可用性、扩展性和性能。您可以为负载均衡器添加一个或多个聆听器，聆听器检查来自客户端的连接请求，并使用您配置的协议和端口将请求转发到目标组中。目标组使用您指定的协议和端口号将请求路由到一个或多个注册的目标，例如 Redshift Serverless 管理的 VPC 端点。VPC Redshift Serverless 在 VPC 中进行配置。通过创建 Redshift 管理的 VPC 端点，您可以实现从其他 VPC 中的应用对 Redshift Serverless 的私有访问。这一设计允许您根据需要边扩展多个 VPC。VPC 端点为每个 Redshift Serverless 工作组提供一个专属的私有 IP，用作网络负载均衡器上的目标组。

创建 Amazon Redshift 管理的 VPC 端点

请按照以下步骤创建 Amazon Redshift 管理的 VPC 端点：

在 Redshift Serverless 控制台中，选择导航窗格中的 工作组配置。从列表中选择一个工作组。在 数据访问 标签下，在 Redshift 管理的 VPC 端点 区域中选择 创建端点。输入端点名称。这个名称应对您的组织有意义。AWS 帐号 ID 会自动填充。这是您的 12 位数帐号 ID。选择将创建端点的 VPC。选择子网 ID。在最常见的用例中，这是一个您希望连接到 Redshift Serverless 实例的客户端所在地的子网。选择要添加的 VPC 安全组。每个安全组作为虚拟防火墙，控制进出受其保护的资源的流量，例如特定的虚拟桌面实例。

下面的截图显示了此工作组的示例。请记下在创建目标组时使用的 IP 地址。

重复这些步骤以创建所有的 Redshift Serverless 工作组。

为网络负载均衡器的目标组添加 VPC 端点

使用 Amazon EC2 将这些 VPC 端点添加到网络负载均衡器的目标组，请完成以下步骤：

在 Amazon EC2 控制台中，选择导航窗格中的 目标组 下的 负载均衡。选择 创建目标组。在 选择目标类型 中，选择 实例按实例 ID 注册目标或选择 IP 地址按 IP 地址注册目标。在 目标组名称 中，为目标组输入一个名称。在 协议 中，选择 TCP 或 TCPUDP。在 端口 中，使用 5439Amazon Redshift 端口。在 IP 地址类型 中，选择 IPv4 或 IPv6。该选项仅在目标类型为 实例 或 IP 地址 且协议为 TCP 或 TLS 时可用。您必须将双栈负载均衡器与 IPv6 目标组关联。目标组中的所有目标必须具有相同的 IP 地址类型。您无法在创建后更改目标组的 IP 地址类型。在 VPC 中，选择要注册的目标所在的 VPC。在 健康检查、属性 和 标签 部分中，保留默认选择。

创建负载均衡器

创建目标组后，您可以创建您的负载均衡器。我们建议使用端口 5439Amazon Redshift 的默认端口。

网络负载均衡器作为单一接入端点，将用于与 Amazon Redshift 的连接。这使您可以透明地添加更多 Redshift Serverless 工作组，并增加并发数量。

测试解决方案

我们测试了这个架构，运行了三个 BI 报告，数据使用 TPCDS 数据集云基准数据集。Amazon Redshift 为您免费提供该数据集，当您选择加载示例数据时sampledatadev 数据库。安装时还提供了测试设置的查询。

在所有 TPCDS 基准查询中，我们选择了以下三个查询来作为报告查询。我们将前两个报告查询改为使用 CREATE TABLE AS SELECT (CTAS) 查询临时表，而不是使用 WITH 子句，以模拟您可以在典型的 BI 工具中看到的选项。在测试中，我们还禁用了结果缓存，以确保 Amazon Redshift 每次都会运行查询。

这组查询包含临时表的创建、这些表之间的联接以及清理步骤。清理步骤删除表。虽然这在会话结束时将自动被删除，但这旨在模拟 BI 工具的所有操作。

我们使用Apache JMETER来模拟客户端调用请求。要了解如何使用和配置 Apache JMETER 与 Amazon Redshift，请参考使用 Apache JMeter 为 Amazon Redshift 建立高质量基准测试。

在测试中，我们使用了以下配置：

测试 1 单个 96 RPU Redshift Serverless 对比三个工作组，每个 32 RPU 测试 2 单个 48 RPU Redshift Serverless 对比三个工作组，每个 16 RPU

我们通过启动每个报告 100 个会话进行了三次报告的测试总共 300 个。三个报告之间共计 14 条语句总共 4200 条。所有会话均同时触发。

以下表格总结了测试中使用的数据表。

表名行数Catalogpage93744Catalogsales23064768Customeraddress50000Customer100000Datedim73049Item144000Promotion2400Storereturns4600224Storesales46086464Store96Webreturns1148208Websales11510144Website240

一些表的数据量增长超过了 TPCDS 架构在 Amazon Redshift 所提供的数据。我们在表中重新插入数据以增大其大小。

测试结果

以下表格总结了我们的测试结果。

测试耗时查询数量成本最大扩展 RPU性能单个 96 RPUs0020621006279基准并行 3x 32 RPUs001062100120964803并行 1 (32 RPU)00103688040325010并行 2 (32 RPU)00103703040325013并行 3 (32 RPU)00106709040324803测试 2耗时查询数量成本最大扩展 RPU性能单个 48 RPUs001552100330168基准并行 3x 16 RPUs00147210019096677并行 1 (16 RPU)0014771207036677并行 2 (16 RPU)0014469605025913并行 3 (16 RPU)0014669207035779

从以上表格中可以看出，并行配置的速度比单个配置快，同时成本更低。此外，在我们的测试中，尽管测试 1 的并行配置拥有双倍于测试 2 的能力，但成本仍然低于 36，而速度则快了 39。基于这些结果，我们可以得出结论：对于需要高吞吐量I/O、低延迟和高并发的工作负载，这种架构具备成本效益和性能优势。请参阅 AWS 价格计算器 了解 网络负载均衡器 和 VPC 端点 的定价。

Redshift Serverless 可以自动扩展容量，在高峰工作负载期间提供最佳性能，特别是在工作负载的并发性突然增加的情况下。这一点在上表中的最大扩展 RPU 结果中得到了体现。

大象vnp加速器

最近发布的 Redshift Serverless 功能，比如 MaxRPU 和 AI 驱动的自动扩展，在这次测试中并未使用。这些新功能能进一步提高工作负载的性价比。

我们建议为网络负载均衡器启用 跨区域负载均衡，因为它能够将客户端的请求分配到注册的目标上。启用跨区域负载均衡可以帮助在不论其所配置的可用区域如何的情况下，均衡 Redshift Serverless 管理