使用 SageMaker Canvas 模型排行榜构建与评估机器学习模型

关键要点

在这篇文章中，我们将介绍如何利用 SageMaker Canvas 的高级模型构建配置创建和评估机器学习模型。SageMaker Canvas 现在支持选择训练方法、算法、数据集划分比例以及设置自动化机器学习 (AutoML) 迭代限制，让用户无需编写代码即可自定义模型构建。同时，它还提供了模型排行榜，用户可以比较不同模型配置的性能指标，从而选择最佳模型。

概述

在本节中，我们将逐步指导您如何利用新的 SageMaker Canvas 高级模型构建配置开始集成与超参数优化 (HPO) 训练，以分析数据集、构建高质量的机器学习模型，并查看模型排行榜，以决定发布用于推理的最佳模型。SageMaker Canvas 可以根据数据集大小自动选择训练方法，或者您也可以手动选择。可供选择的方法有：

方法描述集成使用 AutoGluon 库训练多个基础模型并组合它们。超参数优化 (HPO)通过贝叶斯优化或多保真度优化来调整超参数，从而找到模型的最佳版本。

先决条件

在进行本操作之前，您需要完成以下要求：

拥有一个 AWS 账户。设置 SageMaker Canvas。请参考 设置 Amazon SageMaker Canvas 的先决条件。下载经典的 泰坦尼克号数据集。

创建模型

我们将使用泰坦尼克号数据集和 SageMaker Canvas 创建一个模型，预测哪些乘客在船难中幸存。这是一个二分类问题。我们将重点创建一个使用集成训练模式的 Canvas 实验，并与一个使用 HPO 训练模式100 次实验的 SageMaker Canvas 实验结果进行比较。

列名描述Passengerid身份识别号Survived生存与否Pclass舱位等级Name乘客姓名Sex性别Age年龄Sibsp在船的兄弟姐妹或配偶数量Parch在船的父母或子女数量Ticket票号Fare票价Cabin舱房号Emarked登船港口

配置和运行模型

在第一次实验中，配置 SageMaker Canvas 对数据集进行集成训练，以准确度作为目标指标。准确度分数越高，表示模型的预测越正确。在集成训练中，选择 XGBoost、随机森林、CatBoost 和线性模型作为算法。将数据划分留给默认的 80/20。最后，配置训练作业的最大运行时间为 1 小时。

选择 配置模型 开始设置。 在 配置模型 窗口中，选择 目标指标，本次实验中选择 准确度。 选择 训练方法和算法，选择 集成。 选择使用的多种算法 XGBoost、线性、CatBoost 和随机森林。 选择 数据划分，将训练和验证的比例设置为 80/20。 选择 最大候选者和运行时间，将 最大作业运行时间 设置为 1 小时，然后选择 保存。 选择 标准构建 开始构建。

此时，SageMaker Canvas 将根据您提供的配置调用模型训练。由于您指定了最大训练作业运行时间为 1 小时，因此 SageMaker Canvas 将在最多 1 小时内完成训练。

查看结果

训练作业完成后，SageMaker Canvas 会自动带您回到分析视图，并显示您为模型训练实验配置的目标指标结果。在这种情况下，您可以看到模型的准确度为 86034。

选择 模型排行榜，查看模型性能数据。 选择 评分 标签，深入了解模型准确度洞察。 选择 高级指标 标签，评估额外的模型性能数据，在 指标表 中审查如 F1、精确度、召回率 和 AUC 等指标的详细信息。 SageMaker Canvas 还帮助可视化训练模型的 混淆矩阵。 选择 模型排行榜，比较不同模型的关键性能指标如准确度、精确度、召回率和 F1 分数，以确定数据的最佳模型，并且默认模型的最佳性能在排行榜上以 default model 标签突出显示。

创建第二个模型

现在您已构建、运行并查看了一个模型，让我们构建第二个模型进行比较。

返回默认模型视图，选择 添加版本 创建模型的新版本。 选择您最初创建的泰坦尼克号数据集，然后选择 选择数据集。

SageMaker Canvas 会自动加载目标列。此次实验中，您切换到 HPO 训练，以查看是否能为数据集带来更好的结果。对于该模型，您将保持相同的目标指标准确度，并使用 XGBoost 作为 HPO 训练算法，数据划分改为 70/30，同时配置 HPO 作业的最大候选者和运行时间值为 20 个候选者和最大运行时间 1 小时。

配置和运行模型

开始第二个实验，选择 配置模型 以配置模型训练详细信息。 在 配置模型 窗口中，选择 目标指标。对于 目标指标，使用下拉菜单选择 准确度。 选择 训练方法和算法，为训练方法选择 超参数优化。 选择 XGBoost，设置训练和验证数据划分为 70/30。 选择 最大候选者和运行时间，将 HPO 作业的最大候选者设置为 20，最大作业运行时间设置为 1 小时，然后选择 保存。 选择 标准构建 启动训练。

SageMaker Canvas 会根据配置开始 HPO 作业。与第一次作业一样，这次训练作业最多将花费一个小时完成。

查看结果

HPO 训练作业完成后，SageMaker Canvas 显示训练作业的输出，展示默认模型的准确度分数。

选择 模型排行榜 查看所有 20 个候选模型的列表。 观察到默认模型的准确度为最佳，但 HPO 运行的另一个模型的 ROC 曲线下的面积AUC分数更高。 使用上下文菜单将更高 AUC 的模型设为默认模型。

比较模型

此时，您可以将两个版本的模型并排查看，在 SageMaker Canvas 中选择 我的模型。

选择 预测泰坦尼克号上的生存 查看可用模型版本。 显示版本及其性能的表格形式便于并排比较。 您可以看到版本 1 的模型使用集成算法训练具有更好的准确度。

推理

现在您已识别出最佳模型，可以使用上下文菜单将其 部署到实时推理的终端。

清理

为避免未来产生费用，请删除在本文章中创建的资源。SageMaker Canvas 将根据会话的持续时间收费，建议在不使用时退出 SageMaker Canvas。

结论

SageMaker Canvas 是一个强大的工具，旨在使机器学习民主化，满足非技术利益相关者和公民数据科学家的需求。新引入的高级模型构建配置和模型排行榜提高了平台的灵活性和透明度，让用户无需编写代码就能根据特定业务需求自定义机器学习模型。

飞鸟加速器官方版

要开始您的低代码/无代码机器学习之旅，请查看 Amazon SageMaker Canvas。

特别感谢所有参与此发布的人：

Esha Dutta Ed Cheung Max Kondrashov Allan Johnson Ridhim Rastogi Ranga Reddy Pallelra Ruochen Wen Ruinong Tian Sandipan Manna Renu Rozera Vikash Garg Ramesh Sekaran 和 Gunjan Garg

关于作者

Janisha Anand 是 SageMaker 低/无代码机器学习团队的高级产品经理，享受咖啡、锻炼和与家人共度时光。

Indy Sawhney 是亚马逊网络服务的高级客户解决方案领导者，专注于驱动企业客户的云转型之旅。