让我们做架构师吧!在 AWS 上探索生成性 AI 架构博客
探索 AWS 中的生成式人工智能
关键要点:在本篇文章中,我们将深入了解生成式人工智能生成AI,它是一种用于生成内容的人工智能技术,包括对话、图像、视频和音乐。文章讨论了生成AI的基本概念、工作原理以及在生产环境中应用的选项,目标是帮助读者理解如何有效地将生成AI纳入其项目中。
由 Luca Mezzalira、Federica Ciuffo、Vittorio Denti 和 Zamira Jaupaj 于 2024 年 4 月 24 日发表在 Amazon Bedrock、Amazon Elastic Kubernetes Service、Amazon Machine Learning、Amazon SageMaker、人工智能、思想领导力。
生成式人工智能生成AI是一种用于生成内容的人工智能类型,包括对话、图像、视频和音乐。生成AI 可以直接用于构建面向客户的功能如聊天机器人或图像生成器,也可以作为更复杂系统中的基础组件。例如,它可以生成嵌入或压缩表示或任何其他必需的工件,以改善下游机器学习ML模型或后端服务。
大象加速器随着生成AI的不断发展,理解其基本概念、工作原理以及如何投入生产显得尤为重要。在某些情况下,靠近基础模型也可以帮助进行微调或推动特定领域的改进。在本期的《让我们架构!》中,我们将讨论这些主题,并分享一套初步的方法论,将生成AI投入生产。我们将从对该领域的广泛介绍开始,然后分享一系列视频、博客和动手研讨会。
导航未来人工智能
许多团队转向在 Kubernetes 上运行的开源工具,以帮助加速其机器学习和生成AI之旅。在本视频中,专家们讨论了为何 Kubernetes 适合机器学习,并解决了依赖管理和安全等挑战。您将了解到像 Ray、JupyterHub、Argo Workflows 和 Karpenter 这样的工具如何加速您在 Amazon Elastic Kubernetes ServiceAmazon EKS上构建和部署生成AI应用程序的路径。一个现实世界的案例展示了 Adobe 如何利用 Amazon EKS 实现更快的上市时间和降低成本。此外,您还将了解到 EKS 上的数据,这是AWS提供的新项目,为在Amazon EKS上部署各种数据工作负载提供最佳实践。
看这个视频!
图 1 容器是创建可重复的研究和生产环境以进行机器学习的强大工具。
生成 AI:深入架构与应用
本视频旨在对生成AI中新兴概念进行深入探索。通过深入实际应用和详细说明实施最佳实践,本节将提供具体理解,使企业能够充分发挥这些技术的潜力。您将获得关于导航生成AI复杂性的宝贵见解,为您提供必要的知识和策略,以便在不断变化的环境中保持领先。如果您希望深入了解,请查看这篇 生成AI最佳实践的文章。
看这个视频!
图 2 模型以指数级增长:更强大的能力伴随着更高的生产化成本。

SaaS结合 AI/ML 和生成AI:多租户模式与策略
在生产环境中处理 AI/ML 工作负载和生成AI时,需要适当的系统设计以及在 SaaS 上考虑租户分离。您需要考虑如何将不同租户映射到模型、如何扩展推理、如何将解决方案与其他上下游服务集成,以及如何微调大型语言模型LLMs以满足特定租户的需求。
本视频深入探讨了多租户AI/ML工作负载的概念,包括在实践中可能遇到的常见设计、性能、隔离和体验挑战。您还将熟悉诸如 RAG用于用上下文信息增强 LLM和通过实际示例进行微调的概念。
看这个视频!
图 3 支持不同租户可能需要通过 RAG 获取不同的上下文信息,或提供不同的微调选项。
通过 BMC AMI zAdviser Enterprise 和 Amazon Bedrock 实现 DevOps 成熟度
DevOps 研究与评估DORA指标用于衡量关键的 DevOps 性能指标,如交付时间,实际应用于工程实践中的重要。这篇博客展示了如何通过利用生成AI技术,zAdviser Enterprise 平台能够提供深入的见解和可操作的建议,以帮助组织优化 DevOps 实践并推动持续改进。生成AI不仅限于语言或图像生成,而是适用于更广泛的领域。
查看这篇博客!
图 4 生成AI用于根据 DORA 指标提供总结、分析和改进建议。
动手操作生成AI:AWS 研讨会
动手实践通常是理解如何在实际中运作以及将理论基础与实际应用相连接的最佳方式。
Amazon SageMaker 上的生成AI 将展示如何构建、训练和部署生成AI模型。您将了解微调的选项、如何使用现有的开箱即用模型,甚至根据需求定制现有的开源模型。
与 Amazon Bedrock 和 LangChain 共同构建 演示了使用 AWS 提供的现有全面管理服务用于基础模型的工作,涵盖多种用例。此外,如果您想要一个快速的提示工程指南,可以查看研讨会中的 PartyRock 实验室。
图 5 在研讨会中您可以找到的图像替换示例。
下次再见!
感谢您的阅读!我们希望您对生成AI的应用有了一些见解,并发现了使用它的新策略。在下一篇博客中,我们将深入探讨机器学习。
如需查看我们的上一篇文章或探索整个系列,请访问 让我们架构! 页面。
标签: 让我们架构、机器学习
作者简介
Luca MezzaliraLuca 是一名位于伦敦的首席解决方案架构师。他出版了几本书,并担任国际演讲者,专注于解决方案架构领域。在微前端方面,他因革命性地提高前端架构的可扩展性而获得赞誉,从提高工作流程效率到确保产品质量。
Federica CiuffoFederica 是亚马逊网络服务的解决方案架构师,专注于容器服务,热衷于用代码构建基础设施。在办公室外,她喜欢阅读、绘画以及和朋友们一起在餐厅品尝不同菜系的新菜品。
Vittorio DentiVittorio 是一名位于伦敦的亚马逊机器学习工程师。在在米兰理工大学Politecnico di Milano和瑞典皇家理工学院KTH Royal Institute of Technology完成计算机科学与工程硕士学位后加入 AWS。Vittorio 在分布式系统和机器学习方面拥有背景,尤其热衷于软件工程和最新的机器学习科学创新。
Zamira JaupajZamira 是一位驻荷兰的企业解决方案架构师,拥有超过十年的多国经验,专注于为小型和企业公司设计和实施容器、无服务器和数据分析的关键解决方案。
意外发现:自动推理常常使系统更加高效且易于维护 安全博客
意外的发现:自动推理常常使系统更高效且更易维护关键要点自动推理可以提高代码的性能和可维护性。通过形式验证过程中修复的错误,有助于优化运行时性能。大规模采用自动推理可以缩短开发周期、提升系统安全性和可靠性。在最近一次访问美国国防高级研究计划局(DARPA)时,我提到了一个引人关注的趋势:在过去的10年...