Amazon Bedrock的新功能简化了构建和扩展生成式AI应用程序的过程

关键要点

在过去的一年中，我们推出了 Amazon Bedrock，为构建生成式人工智能AI应用程序提供了全新的方式。凭借广泛的第一方和第三方基础模型FMs及用户友好的功能，Amazon Bedrock被视为构建和扩展安全生成式AI应用程序最快、最简单的方式。目前有数万名客户正在利用 Amazon Bedrock 构建和扩展出色的应用程序。他们以快速、简单和安全的方式推进他们的AI策略。我们通过增加更多模型选择和功能来支持他们的努力，使选择合适模型、根据特定用例定制模型以及保护和扩展生成式AI应用程序变得更加容易。

来自金融、旅游、医疗保健和消费技术等各个行业的客户正在取得显著进展。他们通过快速将生成式AI应用程序投入生产，实现了实质性的商业价值，以改善客户体验并提高运营效率。例如，全球最大的资本市场纽约证券交易所NYSE正在利用 Amazon Bedrock 的基础模型选择和前沿AI生成能力处理数以千计的法规文件，以提供易于理解的答案。

全球航空公司 联合航空 针对旅客服务系统进行了现代化改造，能够将传统的旅客预订代码翻译为简单易懂的语言，从而帮助客服人员提供快速有效的客户支持。法律与专业领域领先提供商 LexisNexis 已在Lexis AI上开发了一个个性化的法律生成式AI助手，结果是LexisNexis客户获得可信的结果，速度比竞争对手快两倍，并能每周节省多达五小时的法律研究和总结时间。同时，在线帮助台软件 HappyFox 选择了 Amazon Bedrock，其安全性和性能提高了其AI驱动的客户支持解决方案的工单效率40和代理生产力30。

在Amazon内部，我们也在不断创新生成式AI，以向客户提供更具沉浸感和参与感的体验。上周，Amazon Music推出了Maestro，这是一个由Amazon Bedrock驱动的AI播放列表生成器，让Amazon Music订阅用户以更简单、更有趣的方式根据提示创建播放列表。Maestro目前正在小范围内推出，面向所有层级的Amazon Music用户。

凭借Amazon Bedrock，我们专注于客户构建生产就绪的企业级生成式AI应用程序所需的关键领域，在成本和速度上都达到最佳效果。今天，我很高兴分享我们在模型选择、生成AI应用程序构建工具以及隐私和安全领域宣布的新功能。

1 Amazon Bedrock扩展模型选择，帮助您找到适合需求的最佳模型

在这些早期阶段，客户仍在学习和实验不同的模型，以确定哪些模型适用于各种目的。他们希望能够轻松尝试最新的模型，并测试哪些性能和功能能够为他们的用例提供最佳结果和成本特性。大多数 Amazon Bedrock 客户都使用多个模型，而 Amazon Bedrock 提供了最广泛的第一方和第三方大型语言模型LLMs及其他FMs的选择。包括来自 AI21实验室、Anthropic、Cohere、Meta、Mistral AI、Stability AI 的模型，以及我们自己的 Amazon Titan模型。实际上，Thomson Reuters的AI和实验室负责人 Joel Hron 最近表示：“能够利用快速推出的多种模型是我们的重要驱动力，特别是考虑到该领域不断演变的速度。” 特别是Mistral AI模型家族的尖端模型如 Mistral 7B、Mixtral 8x7B 和 Mistral Large 的发布，引起了客户对其在文本生成、总结、问答和代码生成方面出色性能的期待。自引入 Anthropic Claude 3 模型系列以来，成千上万的客户体验了Claude 3 Haiku、Sonnet和Opus在认知任务中建立的新基准，其智能、速度和成本效率无与伦比。经过初步评估，使用Claude 3 Haiku和Opus 的 BlueOceanai看到，其可以将四个单独API调用合并为一个更高效的调用，从而减少超过50的成本。

索尼集团公司DX平台的总经理 Masahiro Oba 分享了他的看法：

“虽然在将生成式AI应用于业务方面面临诸多挑战，但Amazon Bedrock多样化的能力帮助我们将生成式AI应用定制到索尼的业务。我们能够利用Claude 3的强大LLM能力，并同时采用帮助我们在企业级别保障应用的功能。我很自豪能与Bedrock团队合作，进一步普及生成式AI。”

我最近与 Bridgewater Associates 的首席技术官 Aaron Linsky 坐下来，讨论他们如何使用生成式AI来增强其“人工投资助理”，这对客户来说是一次重大飞跃。它基础于为投资决策提供基于规则的专家建议的经验。通过Amazon Bedrock，他们可以为不同的任务使用最佳的基础模型，如Claude 3，将基础市场理解与AI的灵活推理能力结合在一起。Amazon Bedrock可实现无缝的模型实验，使Bridgewater能够构建一个强大的自我改进的投资系统，将系统化建议与尖端能力结合起来，创造一个演变的以AI为中心的流程。

为进一步增加客户的模型选择，今天，我们将 Meta Llama 3模型 引入到Amazon Bedrock中。Llama 3的Llama 3 8B和Llama 3 70B模型旨在构建、实验和负责任地扩展生成式AI应用程序。这些模型在前一版本架构的基础上进行了显著改进，包括扩展预训练以及指令微调方法。Llama 3 8B在文本总结、分类、情感分析和翻译方面表现出色，适合有限资源和边缘设备。Llama 3 70B则在内容创建、对话AI、语言理解、研发、企业、准确总结、细微分类/情感分析、语言建模、对话系统、代码生成和执行指令方面表现优异。可查阅更多关于 Meta Llama 3 在Amazon Bedrock中的发布信息。

我们还宣布即将支持Cohere的Command R和Command R企业基础模型。这些模型具备高可扩展性，优化了长上下文任务，比如带引用的检索增强生成RAG，以减轻幻觉，多步工具使用以自动化复杂业务任务，并支持10种语言以满足全球运营需求。Command R是Cohere最强大的模型，优化了长上下文任务，而Command R针对大规模生产工作负载进行了优化。通过即将上线的Cohere模型，企业可以构建兼顾高准确性和高效率的企业级生成式AI应用程序，以支持日常AI操作。

2 Amazon Bedrock提供功能以量身定制生成式AI以满足您的业务需求

虽然模型极为重要，但构建对组织有用的应用程序还需要更多。因此，Amazon Bedrock提供了帮助用户轻松量身定制生成式AI解决方案的功能。客户可以使用自己的数据通过微调或利用知识基础实现完全托管的RAG体验，提供更相关、准确和定制化的响应。Amazon Bedrock代理功能允许开发人员定义特定任务、工作流程或决策过程，增强控制和自动化，同时确保一致性地与预期用例对齐。从今天开始，您现在可以使用与Anthropic Claude 3 Haiku和Sonnet模型结合的代理。我们还推出了更新后的AWS控制台体验，支持简化的模式和返回控制，使开发者更易上手。查阅更多关于 Amazon Bedrock代理的报道，现已更快更容易使用。

通过新推出的自定义模型导入，客户可以利用自己的模型发挥Amazon Bedrock的全部功能

所有这些功能都对于构建生成式AI应用程序至关重要，这就是我们希望向更多客户提供这些功能的原因，包括那些在不同服务上使用自己的数据微调LLMs或从头训练自定义模型方面已经投入了大量资源的客户。许多客户在Amazon SageMaker上拥有可用的定制模型，后者提供了超过250种预训练基础模型的广泛数组。这些FMs包括尖端模型如Mistral、Llama2、CodeLlama、Jurassic2、Jamba、pplx7B、70B和令人印象深刻的Falcon 180B。Amazon SageMaker帮助整理和微调数据，构建可扩展、高效的训练基础设施，然后以低延迟和高性价比的方式大规模部署模型。这大大改变了开发人员准备AI数据、管理实验的方式，训练模型的速度提升了40例如，Perplexity AI在 Amazon SageMaker 上训练模型的速度提升了40，降低了推理延迟例如，Workday通过 Amazon SageMaker 将推理延迟降低了80，并提高了开发人员的生产力例如，NatWest将其AI价值实现时间从1218个月缩短到7个月以内。但将这些定制模型安全运作化并将其集成到特定业务用例的应用程序中仍然面临挑战。

因此，我们今天引入了 Amazon Bedrock自定义模型导入，允许组织利用其现有的AI投资与Amazon Bedrock功能结合。利用自定义模型导入，客户现在可以将基于流行开源模型架构包括FlanT5、Llama和Mistral构建的自定义模型作为完全托管的应用编程接口API导入并访问于Amazon Bedrock。客户可以将他们在Amazon SageMaker或其他工具上定制的模型轻松添加到Amazon Bedrock中。经过自动验证后，他们可以像访问Amazon Bedrock中的其他模型一样无缝访问自定义模型，享受包括无缝扩展性和强大功能保护应用，遵循负责任的AI原则，还有通过RAG扩展模型知识库、轻松创建完成多步骤任务的代理，以及进行微调来不断教导和完善模型的能力，而无需管理底层基础设施。

凭借这一新能力，我们让组织能够选择Amazon Bedrock模型和自定义模型的组合，同时保持相同的流畅开发体验。今天，Amazon Bedrock自定义模型导入已经在预览中提供，并支持三种最流行的开源模型架构，并计划未来支持更多模型。查阅更多关于 Amazon Bedrock自定义模型导入的信息。

ASAPP是一家具有10年构建机器学习模型历史的生成式AI公司。

“我们的对话生成式AI语音及聊天代理依靠这些模型重新定义了客户服务体验。为了让客户实现端到端的自动化，我们需要 LLM 代理、知识库和模型选择灵活性。自定义模型导入将使我们能够在 Amazon Bedrock 中使用现有的自定义模型。Bedrock将使我们能够更快地为客户设定好界限，提升创新速度，并加速新产品功能的上市时间。”

Priya Vijayarajendran 技术总裁。

3 Amazon Bedrock提供安全和负责任的基础，轻松实施保障措施

随着生成式AI功能的持续进步和拓展，建立信任与解决伦理问题显得愈加重要。Amazon Bedrock通过利用亚马逊网络服务AWS的安全和可信基础设施，运用行业领先的安全措施、强有力的数据加密和严格的访问控制来处理这些问题。

Amazon Bedrock Guardrails，如今正式可用，帮助客户防止有害内容，同时管理应用程序中的敏感信息。

我们还提供了 Amazon Bedrock Guardrails，如今正式可用。Guardrails 提供业界领先的安全保护，让客户能够定义内容政策，设置应用行为边界，并实施安全措施以防范潜在风险。Amazon Bedrock Guardrails 是主要云服务提供商推出的唯一解决方案，使客户能够在单一解决方案中构建和定制生成式AI应用程序的安全和隐私保护。它帮助客户比基于 Amazon Bedrock 的FMs原生提供的保护多阻止85的有害内容。Guardrails 提供了有害内容过滤和强大个人可识别信息PII检测能力的全面支持。Guardrails支持Amazon Bedrock中的所有LLMs及微调模型，以便在模型对待不当和有害内容的响应中保持一致性。您可以配置阈值来过滤6个类别中的内容，包括仇恨、侮辱、性内容、暴力、不当行为包括犯罪活动和提示攻击越狱和提示注入。您还可以定义需要在生成式AI应用程序中阻止的主题或单词集合，包括有害词汇、脏话、竞争对手名称和产品。例如，银行应用程序可以配置一个防护措施，以检测和阻止与投资建议相关的话题；呼叫中心应用程序可利用PII编辑功能去除呼叫摘要中的PII，或对话聊天机器人可利用内容过滤器阻止有害内容。查阅更多关于 Amazon Bedrock Guardrails的信息。

诸如 Aha! 这样的公司，它们帮助超过100万人实现产品战略，也正在利用Amazon Bedrock来推动他们的许多生成式AI能力。

“通过 Amazon Bedrock 的数据保护和隐私政策，我们能够完全控制我们的信息，并通过 Amazon Bedrock Guardrails 阻止有害内容。我们刚刚在此基础上开发了一个产品，帮助产品经理通过分析客户提交的反馈发现洞察。这只是一个开始。我们将继续在AWS的先进技术上构建，帮助产品开发团队以信心优先考虑后续构建的内容。”

借助更多领先FMs的可选项，以及帮助您评估模型和保护应用程序的功能，同时利用您之前在AI上的投资与Amazon Bedrock的能力，今天发布的内容使客户更容易、更快速地构建和扩展生成式AI应用程序。这篇博文仅强调了一小部分新功能。您可以在本文的资源页面上了解我们发布的所有内容，包括在无需设置向量数据库的情况下从单一文档中获取问题与摘要，以及 多数据源的支持常规可用性知识。

率先应用Amazon Bedrock功能的客户正在获得关键的先发优势，推动生产力提升，促进跨领域的突破性发现，并提供增强客户体验，促进忠诚度和参与感。我期待看到我们的客户如何利用这些新能力。

正如我的导师 Werner Vogels 一直所说：“现在去构建”，我想加上“使用Amazon Bedrock！”

资源

查阅以下资源以了解更多关于本公告的信息：

关于作者

[](https//d2908q01vomqb2cloudfrontnet/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2022/