VPS参考测评推荐
专注分享VPS主机优惠信息
衡天云优惠活动
华纳云最新优惠促销活动
jtti最新优惠促销活动
最新

如何将文件从 AWS S3 批量复制到另一个 S3?

locvps
主机参考:VPS测评参考推荐/专注分享VPS服务器优惠信息!若您是商家可以在本站进行投稿,查看详情!此外我们还提供软文收录、PayPal代付、广告赞助等服务,查看详情!
我们发布的部分优惠活动文章可能存在时效性,购买时建议在本站搜索商家名称可查看相关文章充分了解该商家!若非中文页面可使用Edge浏览器同步翻译!PayPal代付/收录合作

.extra-menu {背景颜色:#f3f3f3; 填充:20px; .extra-menu .extra-menu-h {高度:36px; .extra-menu .extra-menu-h h3 { 显示:内联块 } 。 extra-menu ul a{ 文本装饰:无; .extra-menu .menu-child { 文本缩进: 4em; .extra-menu .menu-child:before { left: 4em } .extra -menu .extra- menu-h h3 {行高:36px; .collapse-toggle { float: right; } 光标:指针用户选择:无。 显示:内联弯曲;对齐:中心; .collapse-toggle img {宽度:30%; .collapse-content { margin-bottom:0px ! 20 像素!important; 溢出:隐藏;过渡:最大高度 0.3 秒 缓出; .collapse-content.expanded { 最大高度:1000px; /* 足够大以允许内容完全展开 */ }位置:相对;顶部:-90px; } jQuery(document).ready(function( $ ) { $('.collapse-toggle').on( 'click',function() { var content = document.querySelector(' .collapse-content'); 内容 classList.toggle('expanded'); if (content.classList.contains('expanded')) { $( this).find('div ').text('Collapse'); img').css('transform','rotate(180deg)'); } else { $(this).find('div' ). text('expand'); (0 度)');})

Amazon S3 是由 Amazon 云技术 (AWS) 提供的功能强大且低成本的对象存储服务。 除了将数据从源存储桶复制到不同区域的目标存储桶之外,该服务还可以用于帐户之间的数据迁移以及向数据湖添加新存储桶。 本文向您介绍如何将文件从一个 AWS S3 批量复制到另一个 AWS S3,以快速复制 AWS 区域内或跨 AWS 区域的现有数据。

文章内容折叠 1. 创建两个 AWS S3 存储桶 2. 在 AWS S3 存储桶上创建 S3 复制配置 3. 创建新复制配置时复制现有对象 4. 复制现有对象 使用复制设置复制现有对象5 从 AWS S3 复制设置页面创建批量复制作业

1. 创建两个 AWS S3 存储桶

1 。 使用您的账户信息登录 AWS 管理控制台。 在搜索栏中输入“S3”,然后从结果中选择“S3”。

2. 在 AWS S3 控制台的左侧导航窗格中,选择“存储桶”,然后选择“创建存储桶”。

3. 为源存储桶输入全局唯一的描述性名称。 选择您要在其中创建存储桶的 AWS 区域。 本例中选择中国(北京)cn-north-1 区域。

4. 在您​​的存储桶上启用版本控制。 AWS S3 复制需要对源 S3 存储桶和目标 S3 存储桶进行存储桶版本控制。

5. 您可以将其余选项保留为默认值。 转到页面底部并选择创建存储桶。

6. 重​​复上述步骤,创建另一个S3存储桶作为目标存储桶。 对于 S3 同区域复制 (S3SRR),此新存储桶可以与源存储桶位于同一 AWS 区域。 但是,通过 S3 跨区域复制 (S3CRR),它可以位于另一个 AWS 区域。 确保为您的目标 S3 存储桶启用存储桶版本控制,并为您的新存储桶指定一个唯一的名称。

创建 S3 复制配置。 2. 在您的 AWS S3 存储桶上创建 S3 复制配置。

1. 从 S3 存储桶列表中,选择源 S3 存储桶。 控制台显示您的 S3 存储桶的登录页面。

2. 在S3存储桶登录页面,查看所选S3存储桶的对象、属性、权限、指标、管理和访问点,然后单击“管理”选项卡。 在复制规则下,选择创建复制规则。

3. 输入复制规则名称并确保在“状态”部分中选择“已启用”。 禁用后,复制规则将不会运行。

注意:AWS S3 尝试根据所有复制规则复制对象。 但是,如果有两个或多个规则具有相同的目标存储桶,则根据优先级最高的规则复制对象。 数字越低,优先级越高。 如有必要,您可以在“复制设置”页面上编辑每个复制规则的优先级。

4.定义过滤器类型(前缀或标签)以缩小复制范围,或选择复制整个存储桶。 例如,如果您只想复制包含前缀 Finance 的对象,请指定该范围。

5. 选择“浏览 AWS S3”按钮,输入完整的存储桶名称,然后选择您创建的目标存储桶。

6. 如果您从同一源存储桶创建新的复制规则,则与此配置关联的 AWS Identity and Access Management (IAM) 角色将具有足够的资源。写入新对象的权限。 您可以选择创建新的 IAM 角色或选择具有适当权限集的现有 IAM 角色。

7. (可选)如果使用 AWS S3 托管加密密钥 (SSE-S3) 或 AWS KeyManagementService (AWSKMS) 加密对象,请指定加密选项。 AWS S3 Replication 支持 SSE-S3(默认加密)、AWS KMS 服务器端加密 (SSE-KMS) 和使用客户提供的密钥的服务器端加密 (SSE-C)。 如果您选择 AWSKMS 加密,请指定要与源存储桶一起使用的 AWSKMS 密钥。在目标存储桶解密并在目标存储桶重新加密。 为了节省 AWSKMS 成本,您可以启用 AWS S3 存储桶密钥。

8. (可选)为复制到目标存储桶的对象选择 S3 存储类别。 考虑根据您的工作负载选择成本较低的存储类别。 例如,您可以选择智能分层来优化具有不可预测或不断变化的访问模式的数据的存储成本。 当复制的对象很少被访问但必须在几毫秒内检索时,可以使用 GlacierInstant Retrieval,而 GlacierDeep Archive 则可以归档很少需要访问的数据。

9. 选择您需要的任何其他复制选项:

复制时间控制 (RTC):AWS S3 RTC 可以在 15 分钟内恢复对象 SLA。帮助满足合规性和业务要求。 S3 RTC 可以像 S3 CRR 和 S3 SRR 一样启用。 默认情况下启用复制指标和通知。 复制指标和通知:对于非 RTC 规则,您可以选择复制指标和通知。 这提供了详细的指标来跟踪待处理字节的每分钟进度、复制规则待处理操作、失败的操作和复制延迟。 删除标记的复制:选择删除标记的复制可将源存储桶中的删除内容复制到目标存储桶。 如果您希望源存储桶和目标存储桶保持同步,则应启用此功能,但如果您的目标是防止意外或恶意删除,则不应启用此功能。 同步副本更改:要在两个 AWS S3 存储桶之间建立双向复制,请创建在源 S3 存储桶和目标 S3 存储桶中进行复制的双向复制规则(A 到 B、B 到 A),并为该规则启用副本更改同步。 这允许对象元数据(例如标签、ACL 和对象锁定设置)在副本和源对象之间保持同步。

使用 AWS S3 批量复制功能复制现有对象时,不支持 S3 RTC、复制指标和通知。 副本更改已同步。 复制配置后,选择“保存”。

10. 当您在 AWS S3 存储桶的新复制配置中创建第一个规则时,或者当您将新的目标 AWS 区域添加到现有配置时,您可以为现有对象创建复制规则。您可以选择启用它。 我要回复要复制现有对象,请选择是,复制现有对象,然后选择提交。

3. 创建新的复制配置 复制时复制现有对象

创建批量操作作业页面提供 AWS S3 完成报告的作业执行选项 您可以查看 S3 批量操作。作业设置,例如,范围和权限。

1. 设置作业执行选项。 如果您想要立即运行 AWS S3 批量复制作业,您可以选择在作业准备就绪时自动运行该作业。 如果您想等到作业准备好后再运行它,您可以保存批量操作列表并查看将复制的对象列表。

2. 设置批量操作列表选项。 AWS S3 生成的清单文件列出了所有符合复制条件的对象版本,使用与复制配置相同的源存储桶、前缀和标签。 我们建议您始终选择保存批量操作列表,以便您可以在开始复制之前看到对象列表。 您可以将清单存储在同一 AWS 账户或不同的 AWS 账户中,但清单文件必须与源存储桶存储在同一 AWS 区域中。 清单文件与源存储桶位于同一 AWS 账户中。

3. 为了提高安全性,请使用 AWS S3 托管密钥 (SSE-S3) 或 AWS Key Management Service 密钥 (SS3-KMS) 加密您的清单文件。

4. 只要 AWS S3 批量操作成功处理至少一个对象,AWS S3 就会在批量复制作业完成、失败或取消后生成一份完成报告。 完成报告包括每个任务的附加信息,例如对象键名称和版本、状态、错误代码和错误描述。 我们建议您选择为所有任务生成完成报告,以便您可以查看使用此作业复制的所有对象的状态。

5. 请验证与此批量复制作业关联的 IAM 角色是否有足够的权限代表其执行 AWS S3 批量操作。 检查您的配置,选择保存,您将被重定向到批量操作主页。

6. 选择新作业的作业 ID 以查看作业配置。 您还可以跟踪批量复制作业的状态。

<p id='四4. 除了使用现有复制设置复制现有对象的作业外,您还可以为 S3 存储桶中的现有复制规则创建 S3 批量复制作业。 为此,请返回 AWS S3 控制台主页。

1. 在控制台首页左侧导航栏选择“批量操作”,然后选择“创建作业”。

2. 在创建作业页面上,选择您要在其中创建批量复制作业的 AWS 区域。 该作业必须在与源 AWS S3 存储桶相同的 AWS 区域中创建。

3. 指定要复制的对象列表。 您可以以 AWS S3 清单报告或 CSV 文件的形式添加用户生成的清单。 清单必须包含需要复制的所有对象的版本。 您还可以使用 AWS S3 使用源存储桶上的现有 S3 复制配置生成清单。

注意:在此示例中,我们选择使用 SAWS S3 复制设置创建清单,让 AWS S3 代表您生成清单,并选择源存储桶。 如果您选择让 AWS S3 生成清单,您还将看到其他筛选器(例如对象创建日期和复制状态),这些筛选器可让您缩小作业范围。

4. 选择“下一步”进入“选择操作”页面。

5. 如果您在上一页选择使用 AWS S3 复制设置创建清单,则唯一的操作选项是复制。 这是因为复制是使用 S3 生成的清单时唯一允许的操作。 选择复制,然后选择下一步。

6. 设置其他选项:

输入最能定义工作目的的描述。 选择优先级以指示此作业相对于您帐户中运行的作业。 其他工作的相对优先级。 数字越大,优先级越高。 例如,优先级为 2 的作业优先于优先级为 1 的作业。

7. 选择是否生成完成报告。

8. 选择有效的批量操作 IAM 角色以授予 AWS S3 代表执行该操作的权限。 批量复制 IAM 策略必须附加到批量操作 IAM 角色。

9. 将作业标签添加到批量复制作业,然后选择“下一步”查看作业配置。

10. 在审阅页面上,选择“编辑”进行更改,然后选择“下一步”保存更改并返回审阅页面。 当您的作业准备就绪时,选择“创建作业”。

11. 创建批量复制作业后,批量操作将处理该列表。 如果成功,作业状态将更改为“等待执行确认”。 在运行作业之前,您需要查看作业详细信息。 如果作业成功,批量操作页面顶部会显示横幅。

创建批量复制作业。 从 AWS S3 复制设置页面上的批量复制作业

1 创建批量复制作业。 从 AWS S3 存储桶列表中,选择要从中复制的 S3 存储桶。 控制台显示您的 S3 存储桶的登录页面。

2. 查看所选 AWS S3 存储桶的对象、属性、权限、指标、管理和访问点。

3. 在“管理”选项卡上的“复制规则”下,选择“查看复制配置”。

4. 在源存储桶的复制配置主页中,选择“创建复制作业”,进入AWS S3批量操作的“创建作业”页面。 重复上述步骤,使用现有的复制配置创建批量复制作业。

相关推荐:

《如何通过 Amazon S3 同步 Obsidian 笔记软件》

《如何通过 Amazon S3 同步 Obsidian 笔记软件》如何建造一张床“”

这几篇文章你可能也喜欢:

本文由主机参考刊发,转载请注明:如何将文件从 AWS S3 批量复制到另一个 S3? https://zhujicankao.com/122992.html

【腾讯云】领8888元采购礼包,抢爆款云服务器 每月 9元起,个人开发者加享折上折!
打赏
转载请注明原文链接:主机参考 » 如何将文件从 AWS S3 批量复制到另一个 S3?
主机参考仅做资料收集,不对商家任何信息及交易做信用担保,购买前请注意风险,有交易纠纷请自行解决!请查阅:特别声明

评论 抢沙发

评论前必须登录!