Amazon

1. 简介本文介绍了如何通过 Keycloak，并联合 Amazon API Gateway 内置的受权性能，实现对 Amazon 资源申请的鉴权过程。API Gateway 帮忙开发者平安的的创立、公布、保护并治理 API 的拜访。在中国区，因为Cognito 仍未上线，因而应用 Keycloak 作为 API 调用的鉴权服务，具备重要的实际意义。 亚马逊云科技开发者社区为开发者们提供寰球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、流动与比赛等。帮忙中国开发者对接世界最前沿技术，观点，和我的项目，并将中国优良开发者或技术举荐给寰球云社区。如果你还没有关注/珍藏，看到这里请肯定不要匆匆划过，点这里让它成为你的技术宝库！本文共分为四大模块： 简介：对 Keycloak、OAuth2.0以及 Amazon API Gateway Authorizer 进行了介绍； 配置阐明：对环境的设定进行了具体的阐明，包含 DynamoDB 的设定以及 Keycloak 环境的搭建和设置； 验证 JWT Authorizer：通过 Postman 对 API Gateway 的受权性能进行验证； 总结：对全文的总结。 1.1 对于 KeycloakKeycloak 是一个开源并广泛应用于用户身份治理与受权的解决方案。Keycloak 反对多种协定和规范，包含 OpenID Connect，OAuth2.0和SAML2.0。同时 Keycloak 能够集成与已有的 LDAP 或者 Active Directory 服务集成，用于单点登录。基于 OAuth2.0，Keycloak 还能够通过 JWT Token 实现对 API 的鉴权，本文基于此场景，联合 Keycloak 通过 Amazon Gateway 的 Authorizer 实现申请的鉴权。 1.2 对于OAuth2.0OAuth2.0全称为 Open Authorization 2.0，为用于鉴权的协定。通过 OAuth 协定，能够受权第三方利用申请用户的资源，而不须要资源的拥有者间接向第三方提供任何验证凭据信息。 OAuth2.0 鉴权流程 ...

古代企业经常会有利用数据分析和机器学习帮忙解决业务痛点的需要。如制造业中，利用设备采集上来的数据做预测性保护，品质管制；在零售业中，利用客户端端采集的数据做渠道转化率剖析，个性化举荐等。 亚马逊云科技开发者社区为开发者们提供寰球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、流动与比赛等。帮忙中国开发者对接世界最前沿技术，观点，和我的项目，并将中国优良开发者或技术举荐给寰球云社区。如果你还没有关注/珍藏，看到这里请肯定不要匆匆划过，点这里让它成为你的技术宝库！通常业务部门须要提需要给技术团队，技术团队将业务需要转换为技术需要，调动数据工程师，数据科学家，机器学习工程师等，做数据处理、剖析以及建模，整个流程较长，须要比拟高的跨团队沟通老本，且对企业人才储备技能有要求。 客户业务部门广泛冀望升高应用机器学习解决业务问题的门槛和学习老本，使得业务剖析人员能够较少借助数据科学家和数据工程师，疾速解决特定畛域的业务数据洞察。 本文以汽车行业的故障剖析为例，演示如何在亚马逊云科技上构建一套无代码数据分析平台，业务人员不须要有编程能力、 SQL 或任何机器学习的先验常识，即可自行依据业务场景和具体需要，自助式的上传导入数据做出剖析，从而帮忙业务人员以最短的工夫，最不便的应用数据。 场景和痛点车辆的异样故障率通常受多个因素影响，比方生产批次问题，应用年限，经销商维保等。 在过来，质保部门被动的承受零散客户的问题上报和培修申请，当某车型或某批次的问题积攒到肯定水平乃至暴发后，能力定位这部分车辆的问题对立进行召回。忽然的故障暴发使得相干部门没方法提前估算出培修经费，没法提前准备备件，没法提前做管控措施，也影响车主的体验。 因而，对车辆质保数据做数据分析，对故障产生状况做基于时序的剖析或者聚类分析，并依据现有数据对故障趋势进行预测，能够帮忙业务部门实现品质预警，品质改善的指标，有助于企业和部门提前做估算，提前采取相应措施升高整体培修费用。 技术指标基于实销车辆数据，以及车辆培修数据 ( 两个 Schema 如下表所示)，基于车型，绘制出能够形容故障产生状况的曲线， 对曲线进行分类，演绎出类似的故障曲线，筛选出异样的故障曲线，以达到对异样故障进行预测，提前预警的目标。 车型故障曲线 ：如依据工夫、行驶里程数、车龄等维度的车辆故障数增长曲线。 本文以车龄这个维度为示例，其余条件相似，只是聚合条件发生变化。演绎类似形态，筛选异样故障曲线依据现有数据预测趋势Sampling SchemaRepair data Sales data 架构抉择 Glue Databrew 作为次要数据处理的工具。 Amazon Glue Databrew 提供一个可视化的工具，能够帮忙数据分析师和数据科学家对数据做数据荡涤和转换，从而不便后续将数据利用到剖析和机器学习的场景。Glue Databrew 提供多达 250 种预构建转换中的操作，都可通过 UI 主动执行，不须要任何代码。比方，筛选异样数据、将数据转换为规范格局以及纠正有效值等等。利用 Glue 做数据格式（Schema）的爬取，通过 Athena 作为 connector，最终用 QuickSight 作为 BI 展现工具，做 dashboard 展现利用 Databrew 解决后的数据作为模型输出，利用 Sagemaker Canvas 生成预测模型。Amazon SageMaker Canvas 通过为业务分析师提供可视化、点击式的界面来扩大对机器学习 (ML) 的拜访，利用AutoML 技术，依据您的独特用例主动创立 ML 模型，而无需任何机器学习教训或编写任何代码。 同时SageMaker Canvas 与 Amazon SageMaker Studio 集成，使业务分析师能够更轻松地与数据科学家共享模型和数据集，以便他们验证和进一步优化 ML 模型。 ...

受疫情影响消费者习惯产生扭转，刺激了寰球电商行业的疾速倒退。除了依靠第三方电商平台将产品销售给消费者之外，企业通过品牌官网或者自有电商平台销售商品也是近几年电商畛域疾速倒退的商业模式。独立站电商模式能够进行多方面、全渠道的互联网市场拓展，推广所带来的流量、品牌印象、知名度等都齐全属于电商企业本人所有，从而逐渐建设品牌优势倒退私域流量。 亚马逊云科技开发者社区为开发者们提供寰球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、流动与比赛等。帮忙中国开发者对接世界最前沿技术，观点，和我的项目，并将中国优良开发者或技术举荐给寰球云社区。如果你还没有关注/珍藏，看到这里请肯定不要匆匆划过，点这里让它成为你的技术宝库！比照第三方平台卖家，本人搭建独立站须要实现建站、流量经营、订单履约、用户经营全链路的工作。如何疾速建站成为电商企业须要思考的第一个问题，目前建站次要有三种形式，每个企业不同的需要和技术现状决定各自适宜的建站形式。第一种是全自主开发的形式，尽管能够实现最大水平的自定义和差异化然而须要投入大量研发工夫和老本；第二种是抉择 SaaS 零碎疾速构建电商平台，建站服务商会为企业搭建信息化所须要的所有网络基础设施及软件、硬件运作平台，SaaS 建站的确是最便捷的形式，然而随着电商平台规模的壮大可能会发现一些弊病，比方性能可扩展性，数据信息安全以及佣金。第三种是基于开源软件开发电商平台，开源的电商框架会具备库存治理、商品列表、购物车、下单、欲望清单以及领取这些必须的根底性能。开源组件的劣势就在于灵活性强，企业能够依据理论使用需要自主二次开发性能板块构建自定义的电商平台，满足不同阶段的需要。这种建站形式升高了开发门槛，也进步了自由度和保障了数据安全，然而须要自行治理底层基础设施保障平台的稳定性。应用 Serverless 的架构来托管利用能够很大水平解决这个痛点，用户只须要治理利用代码而不须要运维底层的资源，另外 Serverless 的部署架构对于关注老本效益的用户来说是一个很好的终点。 本文次要会解说如何利用亚马逊云科技 Serverless 服务 Lambda 做计算资源来托管开源的 WooCommerce，Lambda 以及其余无服务器服务内置性能扩大和弹性能够省去运维的懊恼，同时按运行工夫计费的粒度进步了老本效率。为了帮忙客户疾速上手，咱们还提供预约义的 CloudFormation 模版可能一键部署所有资源，包含网络环境，计算资源，数据库等，在两个小时内就能搭建起一个电商平台。 WooCommerce 简介WooCommerce 是一个基于 WordPress.org 的开源的电商网站插件，它能够帮忙企业在 WordPress 的根底上疾速的构建一个在线电商平台，提供商品列表，购物车，下单和领取等电商相干性能。WooCommerce 在寰球有超过1000万的下载量，在拜访两超过百万的网站中 WooCommerce 占了27%，并且用户数量还在持续增长中。宏大的用户群也确保了 WooCommerce 领有十分沉闷的互动社区。这也意味着，你将退出互联网上增长最快的开源社区之一。此外，应用 WooCommerce 也就等于你能够应用超过50,000个 WordPress 插件，包含很多专门为 WooCommerce 设计的插件。 简洁明了的店铺格调也是电商平台给予消费者直观的体验之一，WooCommerce 具备丰盛主题模版。所有 WordPress 主题都实用于 WooCommerce 插件，卖家能够从大概1000个 WooDesign 主题中自由选择。这一点较 Magento 和 Shopify 更有劣势。此外，卖家还能够从 ThemeForest 等板块获取精美主题。 为了笼罩更多终端用户电商平台须要思考到挪动端的兼容，WooCommerce 在设计时就退出了挪动敌对个性，所以无论访客应用哪种设施浏览店铺，它都能够安稳地运行并完满地出现商品。同时 WooCommerce 提供了很多剖析工具和店铺治理性能。通过商品页能够看到单个商品的销售量，分类页则能以商品的类别进行数据统计。当然，你也能够依据日期和不同品牌来统计每日和每月的销售量。 WooCommerce 默认提供 PayPal 和 Stripe 付款。不过，因为 WooCommerce 是一个开源平台，因而许多区域性的或者不是特地公众的第三方领取服务也已为 WooCommerce 建设了集成（P.S.你也能够找到微信领取和支付宝的扩大插件)。同时，它也反对次要的信用卡、借记卡、网上银行等。 WooCommerce 的收费易用，轻量级和可扩展性成为大量独立站建站的第一抉择。因为 WooCommerce 是在 WordPress 根底上装置插件做电商平台，所以第一步就须要装置部署 WordPress，比方创立计算实例 Amazon EC2和数据库 RDS，还有网络 VPC 和平安等基础设施的布局，而后在域名托管处比方 Route53将本人的购买的域名解析到对应的资源上。如果须要进一步提高用户访问速度，边缘减速服务 Amazon CloudFront 也是必不可少的局部，另外架构的高可用和弹性也会影响到用户体验，能够通过负载均衡器 ELB 和弹性扩容组 AutoScaling 来实现。 上述参考架构阐明了在亚马逊云上部署 WordPress 和 WooCommerce 的残缺最佳实际。 ...

背景信息企业客户在云上部署的一系列数据利用的过程中，数据开发团队往往负责脚本内容，而其背地一系列云上资源的治理通常由一支云运维职能团队通过 IaC（Infrastructre as Code）实现。然而，当数据开发团队开发及部署相应脚本内容时，不可避免会波及到云上资源的变动，如 Glue、Lambda 的资源增改等。这就造成了两个团队在职能边界上的紧耦合：数据开发团队的迭代内容都须要提报需要至云运维团队进行相应 IaC 的运维，单方都减少了工作量。 亚马逊云科技开发者社区为开发者们提供寰球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、流动与比赛等。帮忙中国开发者对接世界最前沿技术，观点，和我的项目，并将中国优良开发者或技术举荐给寰球云社区。如果你还没有关注/珍藏，看到这里请肯定不要匆匆划过，点这里让它成为你的技术宝库！优化计划概述为了加重数据利用代码增改给单方带来的额定压力，本文通过一个案例动手，优化数据利用增改及部署过程中的要害流程：数据开发团队通过接口化的模式调用相应 Terraform module，配合 Amazon CodePipeline 或 EventBridge 驱动的事件模式来实现 CI/CD 流水线。 此案例中，云运维团队负责IaC模块的部署和运维，应用 Terraform Cloud Workspace 进行 IaC 代码公布与治理。数据开发团队负责针对具体的 ETL 工作场景开发 Glue 脚本，应用 CodeCommit 进行代码治理，应用 CodeBuild 实现 CI/CD 内容，最初通过 CodePipeline 或 EventBridge 实现 CI/CD 流水线的串联。两支团队配合实现以下场景： “某企业hr部门须要将某数据源摄取至 MySQL 中供上游数据利用应用。在数据工程师实现 Glue 脚本开发后，应用云运维团队开发的 Glue 模版批量新建 Glue 脚本（Python shell模版）资源。在后续数据工程师新建或批改Glue脚本时，这一套流水线能主动捕捉 CodeCommit 中的变更内容，并同步内容至 s3。s3 的变更将会间接反馈至 Terraform 中触发新建/更新资源的性能，不须要 IaC 开发/云运维团队的染指。” 下文的优化计划将会清晰定义云运维团队和数据开发团队在开发、保护云上数据利用时的责任边界。 施行步骤(1) 对立流程与标准数据开发团队与云运维团队间确认要害流程及步骤，包含 CI/CD 流水线如何实现，Glue 脚本的上传形式和存储地位，资源所需的配置信息（如实例类型，所需的 IAM 权限，网络）等。 (2) Terraform 脚本开发云运维团队负责 Glue 资源的 IaC 脚本开发，内容包含：配置参数，新增/变更资源的代码。开发好的内容会对立搁置在 glue-etl 目录下。此目录中内容示例如下： ...

文章作者：Kris Schultz3D Specialist Solutions Architect, Amazon Web Services文章译者：郑予彬亚马逊云科技资深开发者布道师代码校验：阙铭飞亚马逊云科技大中华区解决方案研发核心 解决方案架构师亚马逊云科技开发者社区为开发者们提供寰球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、流动与比赛等。帮忙中国开发者对接世界最前沿技术，观点，和我的项目，并将中国优良开发者或技术举荐给寰球云社区。如果你还没有关注/珍藏，看到这里请肯定不要匆匆划过，点这里让它成为你的技术宝库！Amazon CodeWhisperer 是一款很赞的生成式人工智能编程工具。自从在工作中应用了 CodeWhisperer，我发现不仅代码编译的效率有所提高，利用开发的工作也变得高兴起来。然而，任何生成式 AI 工具的无效学习都须要初学者要有承受新工作形式的的心态和志愿。 作为一名晚期的“探索者”，我发现了几个对我很有用的性能和能够进步生产效率的小技巧，将在这篇文章中和大家分享： 缩小输出函数生成类的生成算法的实现单元测试的编写创立示例数据简化正则表达式更快地学习第三方代码库代码的文档化CodeWhiperer 的装置部署应用 Codewhiperer，须要在你的集成式开发环境（IDE）中装置最新的 Amazon Toolkit。反对的 IDE 包含 Visual Studio（VS）Code 和 JetBrains IDE（IntelliJ、PyCharm、CLion、GoLand、WebStorm、Rider、PhpStorm、RubyMine 和 DataGrip）。另外，CodeWhisperer 被内置了 Amazon Cloud9 和 Amazon Lambda 控制台, 也能够在 JupyterLab、Amazon SageMaker Studio、以及 Amazon Glue Studio Code 中通过退出 CodeWhisperer extension 进行应用。无关设置阐明，请参阅：CodeWhisperer “入门” 资源。 CodeWhisperer 为输出需要主动提供倡议。如果没有收到倡议，能够随时应用 Option + C (Mac) 或 Alt + C (Windows) 快捷方式手动触发。 CodeWhisperer 有时还会向你提供多种倡议以供选择。你能够按 → 和 ← 键循环浏览所有可用的倡议。 CodeWhisperer 提供的倡议是非确定性的，这意味着开发者收到的倡议可能与本文中显示的倡议略有不同。如果收到的倡议不合乎需要，能够尝试应用箭头键循环浏览所有可用的倡议，或者尝试略微改写任何代码正文提醒。即便是标点符号的变动也可能产生新的倡议。 ...

在当今信息化高速倒退的时代，举荐零碎是一个热门的话题和技术畛域，一些云厂商也提供了举荐零碎的SaaS服务比方亚马逊云科技的 Amazon Personalize 来解决客户从无到有迅速构建举荐零碎的痛点和难点。在咱们的日常生活中，举荐零碎随处可见，比方咱们常常应用的亚马逊电商购物，爱奇艺视频，美团外卖，抖音短视频以及今日头条新闻，主播直播平台等等。我依据这几年参加的举荐零碎和计算广告我的项目总结了一些实践经验并以举荐零碎系列文章的模式分享给大家，心愿大家看后对举荐零碎有更全新更粗浅的了解。这个系列文章包含：举荐零碎概览，举荐零碎中的召回阶段深入探讨，排序工作的样本工程，排序模型调优实际。更多细节以及更具体的内容能够参考我的 github repo。 亚马逊云科技开发者社区为开发者们提供寰球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、流动与比赛等。帮忙中国开发者对接世界最前沿技术，观点，和我的项目，并将中国优良开发者或技术举荐给寰球云社区。如果你还没有关注/珍藏，看到这里请肯定不要匆匆划过，点这里让它成为你的技术宝库！咱们先介绍举荐零碎概览，大抵内容如下： 举荐零碎简介举荐零碎中常见概念举荐零碎中罕用的评估指标首页举荐场景的通用召回策略详情页举荐场景的召回策略排序阶段罕用的排序模型重排阶段举荐零碎的冷启动问题举荐零碎架构举荐零碎简介举荐零碎能够分为狭义举荐零碎和广义举荐零碎（咱们在今后的探讨只是关注广义的举荐零碎），参考下表： 举荐零碎就是依据用户的历史行为、社交关系、趣味点、所处上下文环境等信息去判断用户以后须要或感兴趣的物品/服务的一类利用。举荐零碎自身是一种信息过滤的办法，与搜寻和类目导航组成三大支流的信息过滤办法。咱们能够从不同的角度看举荐零碎的用途：对用户而言，举荐零碎能帮忙用户找到喜爱的物品/服务，帮忙进行决策；对服务提供方而言，举荐零碎能够给用户提供个性化的服务，进步用户信任度和粘性，减少营收。据说，Netflix有2/3 被观看的电影来自举荐零碎，Google 新闻有38%的点击量来自举荐零碎；Amazon 电商有35%的销量来自举荐零碎的举荐。 对于很多人（包含已经的我）常犯的一个观点谬误是，举荐零碎的工程实现与计算广告的工程实现是相似的，其实两者的实现差异很大，见下表： 举荐零碎中常见概念举荐零碎常见的场景：首页举荐（更强调以用户为核心）和详情页举荐（更强调以物品为核心）。 个性化举荐与非个性化举荐: 个性化举荐简直是以后支流的，是针对每个用户做不同的举荐即千人千面。首页举荐都会思考个性化，详情页举荐也越来越思考个性化了。非个性化举荐的常见办法有：整个大盘历史排行榜举荐（比方1年内的，1个月内的，1个星期内的）；每个类目历史排行榜举荐（比方1年内的，1个月内的，1个星期内的）；周期性与节日无关的举荐（比方国庆黄金周和圣诞假期的物品举荐）；突发事件相干的举荐（比方与突发传染疾病相关的物品举荐）；最新公布的物品的举荐（比方1周内）。 举荐零碎的产品状态：物品即 item 的曝光模式（比方高低翻页，左右翻页以及他们的混合办法）；曝光分区的编排（就一种举荐办法，比方个性化TOP-N举荐，能够思考把其余办法作为召回策略纳入个性化TOP-N举荐的召回阶段；多种举荐办法，Netflix的首页举荐每一行对应一个举荐办法（它的每一行都能够左右翻页来浏览电影item），这个也叫分区混合举荐。比方一行是独家播放举荐，一行是热门举荐，一行是新品举荐，一行是个性化TOP-N举荐）。为了行文不便，咱们对前面的探讨做个假如：只用个性化举荐办法，其余办法都作为个性化举荐的召回策略。 召回阶段，排序阶段和重排阶段：他们是个性化Top-N举荐整个流程的三个细分阶段。不同的场景下（比方是首页举荐还是详情页举荐），针对不同品种的用户（即是否是长尾和冷启动用户）并不是三个阶段都须要，具体探讨咱们会在这个系列文章的另一篇《举荐零碎中的召回阶段深入探讨》中波及。重排阶段有很多叫法，比方模型后处理阶段或者业务经营干涉阶段。 摸索与利用：摸索指的是想开掘用户的一些从行为上无奈反馈的一些喜好相干的物品；利用指的是举荐零碎依据用户历史行为学习到的常识并预测出概率高的用户可能感兴趣的物品。对于冷启动的物品和长尾的物品，在重排阶段做摸索是一种常见的办法。实际中，常常会有一些固定的曝光地位专门留给冷启动的物品和长尾的物品。 离线举荐与线上举荐：所谓的离线举荐，指的是举荐的后果列表是离线的时候就预计算好并存储在某个 memory-based 的 NoSQL（比方 Amazon ElastiCache for Redis）中，当用户申请来的时候间接从NoSQL中取出；所谓的线上举荐，指的是当用户申请来的时候零碎依据规定，策略或者模型的组合来长期生成举荐列表。 离线召回与线上实时召回：所谓的离线召回，指的是离线的时候提前把须要召回的item候选汇合预计算好并存储在某个 memory-based 的NoSQL中；所谓的线上实时召回，指的是当用户申请来的时候，召回服务长期依据某种逻辑（比方走模型失去一个实时的用户趣味向量，而后用这个用户趣味向量去向量检索库找到 topK 类似的 item 向量）来失去的召回候选集。 电商付费类举荐零碎与新闻/电影/视频等内容消费类举荐零碎的召回策略是有区别的。对于首页举荐的场景，他们的召回策略或者举荐办法可能区别不大。对于详情页举荐的场景，他们的召回策略有很大区别，新闻/电影/视频等内容消费类举荐零碎，可能把基于物品示意向量类似度的举荐办法失去的列表放在更无利的曝光地位或者给予基于物品示意向量类似度的召回策略最高优先级会更好（因为对于内容消费类的场景，用户更偏好的是物品内容自身的类似）；而对于电商付费类举荐零碎来说，可能须要比内容消费类举荐零碎更多的举荐办法或者召回策略，比方基于物品的关联举荐办法或者召回策略可能在电商详情页举荐中就是必须有的，然而在内容消费类举荐零碎中就是可选项，比方“常常一起购买的商品”的关联举荐，和/或者“浏览此物品的用户也同时浏览”的关联举荐（因为在这个场景下，以后用户除了关注详情页物品，接下来可能还感兴趣与该物品常常一起呈现的其余物品）。 电商付费类举荐零碎，可能还会有购物车页面举荐以及付费实现页面举荐这样的场景。对于这样的场景，可能把用关联举荐办法失去的列表放在更无利的曝光地位或者给予关联举荐召回策略最高优先级会更好，而基于物品 item 示意向量类似度的召回策略或者举荐办法可能在这个场景下就不太适合了，也就是说在以后购买用意很确定的状况下，用户更偏好的是物品之间的共现，因为用户很可能并不想马上再买一个物品内容很类似的物品。 举荐零碎中罕用的评估指标评估指标次要分两种: 线上业务评估指标和离线评估指标。一般来讲, 线上业务评估指标更重要（常常须要多个指标一起看），它包含转化类指标（比方转化率，点击率, GMV成交总额等等）和内容生产满意度指标（比方留存率，停留时长，观看时长等等） 离线评估指标中，最罕用的指标是 AUC 以及 GAUC ，尤其是 AUC。AUC 细分为 AUC-ROC 和 AUC-PR，AUC-ROC 可能更罕用。AUC-ROC 是指随机给定一个正样本和一个负样本，分类器输入该正样本为正的那个概率值比分类器输入该负样本为正的那个概率值要大的可能性。GAUC (Group AUC)是计算每个用户的 AUC，而后加权均匀，最初失去 Group AUC，理论解决时权重个别能够设为每个用户 view 或 click 的次数，而且须要过滤掉单个用户全是正样本或负样本的状况，具体公式参考如下： 离线的时候，AUC 和 GAUC 两个指标最好都关注。实际中，不要太刻意追求离线验证集的很高的 AUC，太高的验证集的 AUC 可能示意模型过拟合到这个验证集了，线上成果可能会很差。个别离线的 AUC 可能在0.7～0.85之间就能够上线。 ...

一、背景介绍本文次要探讨的问题是在应用 Amazon API Gateway，通过 Private Integration、Private API 来实现公有网络环境下的跨账号或跨网络的 API 集成。API 治理平台会被设计在独自的账号中(亚马逊云科技提供的是多租户的环境)，因为主观上不同业务零碎的存在，都须要和 API 治理平台集成，所以API治理平台很有可能会连贯不同网络环境，可能是亚马逊云科技提供的其余的区域、线下的环境、或是其余云的环境。 亚马逊云科技开发者社区为开发者们提供寰球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、流动与比赛等。帮忙中国开发者对接世界最前沿技术，观点，和我的项目，并将中国优良开发者或技术举荐给寰球云社区。如果你还没有关注/珍藏，看到这里请肯定不要匆匆划过，点这里让它成为你的技术宝库！在探讨正题之前,咱们先来议论下 API 治理平台。API 是古代利用开发的一个典型局部。它们使应用程序、零碎和服务可能无效沟通，突破了底层技术的孤岛。为了以无效和可扩大的形式最大限度地利用这些 API，API 治理是必须的。利用 API 治理平台能够使企业可能以平安、简便和高效的形式布局、设计、测试、公布、经营、平安和版本控制其 API，从而取得企业所能提供的数据和服务的最大后劲。 Amazon API Gateway 是一种齐全托管的服务，能够帮忙开发人员轻松创立、公布、保护、监控和爱护任意规模的 API。API 充当应用程序的前门，可从您的后端服务拜访数据、业务逻辑或性能。应用 API Gateway，您能够创立 RESTful API、Http API 和 WebSocket API，以便实现实时双向通信应用程序。API Gateway 反对容器化和无服务器工作负载，以及 Web 应用程序。 API Gateway 负责管理所有工作，波及承受和解决成千上万个并发 API 调用，包含流量治理、CORS 反对、受权和访问控制、限度、监控，以及 API 版本治理。API Gateway 没有最低费用或启动老本。您只需为您收到的 API 调用和传出的数据量付费。 咱们察看到不同的客户都在评估或是部署 API 治理平台，Amazon API Gateway 作为一个云原生无服务器架构的 API 治理平台，将能很好的满足您对 API 治理的需要。 另外，基于 OpenAPI 接口标准实现的应用程序能够主动生成办法、参数和模型的文档。这有助于放弃文档、客户端库和源代码的同步。并且 OpenAPI 标准是不分语言的。通过 OpenAPI 的申明性资源标准，客户能够了解和生产服务，而无需理解服务器的实现或拜访服务器代码。API Gateway 也反对 OpenAPI v2.0 和 OpenAPI v3.0 的标准。 ...

上周，Amazon 峰会（纽约）在贾维茨中心线下举办，有数千名与会者以及 100 多家赞助商和合作伙伴加入。在主题演讲中，Amazon 首席开发人员倡导者 Martin Beeby 谈到了云基础设施的翻新如何帮忙客户适应挑战并抓住新的时机。其中，Liz Fong-Jones 讲述了在 Honeycomb 中迁徙 Amazon Graviton 的精彩故事，Elliott Cordo 讲述了对于在 Capsule 中应用 Amazon 剖析和机器学习服务改善药房体验的故事。 亚马逊云科技开发者社区为开发者们提供寰球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、流动与比赛等。帮忙中国开发者对接世界最前沿技术，观点，和我的项目，并将中国优良开发者或技术举荐给寰球云社区。如果你还没有关注/珍藏，看到这里请肯定不要匆匆划过，点这里让它成为你的技术宝库！观看残缺的主题演讲视频！ Amazon 峰会（纽约）布告回顾 在主题演讲中，咱们发表正式推出一些新服务： Amazon Redshift 无服务器 — 此无服务器选项容许您剖析任何规模的数据，而无需治理数据仓库基础设施。当初，您能够应用命名空间和工作组为每个 Amazon 账户和区域创立多个无服务器端点，且无服务器计算成本相较于预览版有所升高。要理解更多信息，请查看 Danilio 的博客文章、此演示视频以及最新一集的 AWS 官网播客。咱们还引入了行级安全性（RLS）的新性能，对表中的行施行精密拜访，并引入了自动化实体化视图，以升高可反复工作负载的查问提早。 Amazon Cloud WAN — 这项新的网络服务能够轻松构建和经营连贯您的数据中心和分支机构以及多个 Amazon 区域中的多个 VPC 的广域网（WAN）。如需理解更多信息，请浏览 Seb 的博客文章。 Amazon DevOps Guru 的日志异样检测和倡议 — 此新性能可辨认应用程序内提早、错误率和资源限度减少等异常情况，而后发送警报并蕴含形容和可行的补救倡议。要理解更多信息，请参阅新的新闻博客作者 Donnie 的博客文章。 上周公布内容 以下是上周引起我留神的一些其余公布内容： Amazon AppConfig，Amazon Systems Manager 的一项性能，它使客户可能轻松疾速、平安地配置、验证和部署性能标记和应用程序配置。当初，咱们发表推出 Amazon AppConfig 扩大，这是一项新性能，容许客户加强和扩大性能标记和动静运行时配置数据的性能。 公布时可用的扩大包含 AppConfig 告诉扩大，这些扩大可将无关配置更新的音讯推送到 Amazon EventBridge、Amazon SNS、Amazon SQS 或 Jira 扩大，以跟踪 AppConfig 中作为 Atlassian 的 Jira 问题的性能标记更改。首先，请浏览发表推出 Amazon AppConfig 扩大和 AppConfig 扩大。 ...

概述国内 Amazon Cloudfront 目前不反对 Lambda@edge 性能，不能实现基于 CDN 的 A/B 测试、rewrite、redirect、token 认证和产生 response 等性能，本文介绍如何利用 API Gateway 和 Lambda 实现 Lambda@edge 的性能。上面试验介绍通过 request header 参数值，实现 redirect 和 rewrite 的测试场景，依据 header（test_version）参数值，回源到指定目录的文件，依据 header（redirect）参数值，返回 302 重定向地址。 亚马逊云科技开发者社区为开发者们提供寰球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、流动与比赛等。帮忙中国开发者对接世界最前沿技术，观点，和我的项目，并将中国优良开发者或技术举荐给寰球云社区。如果你还没有关注/珍藏，看到这里请肯定不要匆匆划过，点这里让它成为你的技术宝库！整体试验的架构图如下： 架构图阐明： Cloudfront 是 Amazon 的 CDN 服务，能够设置源站域名，回源 header，缓存策略等。API Gateway 有两种类型能够反对 rewrite 和 redirect 测试场景，试验中采纳 HTTP API，思考到老本更低，同时不须要 Rest API 的高级性能。Lambda 实现了 rewrite 和 redirect 的测试代码，反对验证 security header。反对多种支流语言，试验中采纳 Python3.9 语言实现。S3 保留测试的 html 和 png 文件。具体步骤阐明1.新建 S3 Bucket比方：bucket name：lambda-api-2022 上传文件列表： ...

引言：个别为了解决利用解耦，异步解决，流量削峰等问题，实现高性能，高可用，可伸缩和最终一致性的架构；咱们会引入音讯队列中间件来欠缺架构设计。 对于须要消息传递协定的应用程序，包含 JMS、NMS、AMQP、STOMP、MQTT 和 WebSocket，Amazon 提供了 Amazon MQ。这是一个针对 Apache ActiveMQ 和 RabbitMQ 的托管音讯代理服务，能够更轻松地在云中设置和操作音讯代理。 Amazon MQ 提供了两个托管代理部署连贯选项：公共代理和公有代理。公共代理接管互联网可拜访的 IP 地址，而私人代理仅从其专有网络子网中的相应 CIDR 范畴接管公有 IP 地址。在某些状况下，出于平安目标，客户可能更违心将代理搁置在公有子网中，但也容许通过长久公共端点（例如其公司域的子域，如 “mq”）拜访代理。 这里介绍了如何在公有 VPC 中，通过 Route53、NLB、ACM 相结合，通过 SSL 的形式拜访自定义域名指向的 RabbitMQ 代理。 亚马逊云科技开发者社区为开发者们提供寰球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、流动与比赛等。帮忙中国开发者对接世界最前沿技术，观点，和我的项目，并将中国优良开发者或技术举荐给寰球云社区。如果你还没有关注/珍藏，看到这里请肯定不要匆匆划过，点这里让它成为你的技术宝库！ 部署在 EC2/ECS/EKS 中的客户端服务尝试应用自定义域名连贯 RabbitMQ Broker.通过 Route53 将自定义域名解析到 NLB 的 DNS domain。客户端应用 Amazon 证书管理器（ACM）提供的安全套接字层（SSL）证书创立到 NLB 的传输层平安（HTTPS/AMQPS）连贯。NLB 从指标组中抉择一个衰弱的端点，并创立一个独自的 SSL 连贯。这在客户端和代理之间提供了平安的端到端 SSL 加密消息传递。一、前提要构建此架构，首先您须要一个 VPC，每个可用区域一个 Private Subnet，以及一个用于堡垒主机的 Public subnet（如果须要）。 本演示 VPC 应用 10.1.0.0/16 CIDR 范畴。此外，您必须为您的 MQ Broker 创立自定义平安组。您必须设置此平安组，以容许从网络负载平衡器到 RabbitMQ Broker 的流量。平安组须要凋谢 5671（AMQP端口）和443（web控制台端口）的流量。 ...

我从 4 或 5 岁起就始终是太空旅行和美国太空打算的粉丝。我记得读过对于水星和双子星座打算的文章，兴奋地看着鹰号登月舱起飞在月球上。 现在，随着每次发射达到近地轨道 (LEO) 的老本仿佛都在一直降落，因而有比以往任何时候都要更多的机会，来冲破咱们已知的界线，进行越来越大胆的试验并产生大量的原始数据。当今的试验能够应用更多类型的传感器，每种传感器都以更高的分辨率和更高的采样频率收集数据，使状况变得更加乏味。解决如此宏大的数据是一个微小的挑战。NASA 的跟踪和数据中继卫星 (TDRS) 系列的带宽无限，必须在越来越多的工作中偏心共享。尽管提早对近地轨道而言简直能够忽略不计，但在从月球、火星或太阳系以外的中央发送数据时，提早却成为要思考的因素。 当咱们开始思考将硬件送入太空时，又呈现了一系列挑战。硬件必须尽可能轻，以最大限度地升高发射的老本。然而，它还必须足够耐用，可能接受发射过程中的极其振动和重力，并能在进入轨道后，在微重力环境中发挥作用。进入轨道后，硬件必须可能平安地连贯到主航天器的电力、冷却和网络系统。 亚马逊云科技开发者社区为开发者们提供寰球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、流动与比赛等。帮忙中国开发者对接世界最前沿技术，观点，和我的项目，并将中国优良开发者或技术举荐给寰球云社区。如果你还没有关注/珍藏，看到这里请肯定不要匆匆划过，点这里让它成为你的技术宝库！ 国内空间站上的 Amazon Snowcone 正如您可能读到过的那样，咱们最近向国内空间站发送了一块 Amazon Snowcone 固态硬盘。因为 Amazon Prime 目前不向国内空间站发货，因而作为首个 Axiom 太空工作 (Ax-1) 的一部分，Snowcone 将搭载 Falcon 9 火箭运行。作为这项工作的一部分，由四名私人宇航员进行了为期 17 天的试验并进行了技术演示，盘绕地球进行了 240 次旅行。 Snowcone 专为运行边缘计算工作负载而设计，所有工作负载均受多层加密爱护。在本地收集和解决数据后，通常会将设施运回 Amazon，以便解决后的数据能够存储在云中并进一步解决。或者，也能够应用 Amazon DataSync 将数据从 Snowcone 设施复制回 Amazon。 在硬件方面，Snowcone 体积小、重量轻，而且十分坚硬。凭借 2 个CPU、4 GB 内存和 14 TB 的 SSD 存储，它能够进行大量的本地解决和存储，使其成为 Ax-1 工作的现实抉择。 为旅程做筹备 为了筹备太空之旅，来自 Amazon、NASA 和 Axiom Space 的团队单干了七个月，对 Snowcone 进行了为期七个月的测试和验证。验证过程包含严格的平安审查、具体的热剖析和测试，以帮忙确保该设施在发射和航行到国内空间站时都能禁受住振动。Snowcone 没有通过改装，但最终还是用 Kapton 胶带包裹起来，以提供更好的电气和热爱护。 ...

很多公司都在亚马逊云上围绕 Amazon S3 实现了本人的数据湖。数据湖的建设波及到数据摄入、荡涤、转换，以及出现等多个步骤，还须要对这些步骤进行编排，这对很多人手不足或者初识数据湖的团队造成了挑战。 在本篇文章中，我将介绍一个应用 Amazon Step Functions 和 Amazon Athena 的繁难大数据编排计划。如果你的团队当初曾经有相当局部沉睡数据，想要利用，然而又没有专人或者专门的力量的公司，那么能够参考这个计划，在数天工夫内搭建起一套可用的根底版大数据流水线，开始对数据进行一些摸索和开掘。 计划整体都采纳无服务器服务，用户无需放心基建费用，齐全只为用量付费，实现低成本疾速启动。 亚马逊云科技开发者社区为开发者们提供寰球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、流动与比赛等。帮忙中国开发者对接世界最前沿技术，观点，和我的项目，并将中国优良开发者或技术举荐给寰球云社区。如果你还没有关注/珍藏，看到这里请肯定不要匆匆划过，点这里让它成为你的技术宝库！服务介绍开始之前，咱们简略介绍下计划的两个外围服务。 Amazon Athena 是一个无服务器版的 SQL 大数据查问服务，底层基于 PrestoDB 引擎。用户能够提交 SQL 语句，而这个引擎则依据语句来分布式扫描数据湖中的文件，最初汇总成后果。除了查问之外，Athena 也能够用作简略的 ETL 工具。它依照扫描的文件的大小来免费。 Amazon Step Functions 是一个无服务器编排服务。它能够帮忙咱们设计一个蕴含多个步骤的流程（有向无环图，Directed Acyclic Graph，简称 DAG），让每个步骤的输入变成下一个步骤的输出，并且反对步骤并发、条件判断以及不同的重试机制等。它和亚马逊云科技的其余服务有着很好的集成，并且也是齐全依照步骤执行的次数来免费。 业务介绍简略介绍一下业务。 假如咱们是一家传统的白电公司。尽管咱们追寻潮流，在咱们的很多新电器上搭载了 IoT 性能，并且也收到了很多的 IoT 数据，但这些数据其实并没太好地利用起来。当初，咱们心愿能做一个数据湖，用最低的老本，疾速从这些数据外面开掘一些价值。 目前最困扰咱们的问题是电器品质和培修问题，以冰箱为例，如果商用冰箱出故障，可能会导致食品变质导致食品卫生问题，而如果保留的是药品，则更可能导致重大的问题；而家用冰箱如果出故障，也会重大影响客户体验和对品牌的信赖。所以，咱们心愿能对设施回报的数据进行开掘，看看冰箱在故障之前，通常呈现什么指标异样，不同地区的同款冰箱在指标上是否有区别，以及不同的应用形式是否对冰箱的寿命和培修产生影响。 在这些问题之上，咱们可能会造成一套预测性保护的机制，在冰箱出故障之前就做好预判，提前保护颐养，防止问题的产生。 整体架构 架构的整体数据流向图上曾经展现得很分明，咱们本次重点关注这些服务应用的细节，以及串接这些服务时的一些要点。 数据摄入本次的数据源格局是 GZip 压缩好的 JSON Lines 文件，每天可能是单个或者数个文件。文件曾经寄存在某个内网 HTTP 节点，咱们须要定期去拉取，并且上传到 S3 桶。 数据格式示范如下。 {"model": "model-1234", "city": "test-city-1", "reading_1": "15.6"}{"model": "model-4323", "city": "test-city-2", "reading_1": "4.5"}{"model": "model-3135", "city": "test-city-1", "reading_1": "7.4"}{"model": "model-4237", "city": "test-city-3", "reading_1": "8.1"}{"model": "model-9928", "city": "test-city-1", "reading_1": "6.3"}把文件上传到 S3 桶之后，咱们能够间接在 Athena 的查问编辑器中应用如下 SQL 语句创立内部表。 ...

无疑应用单点登录 (SSO)拜访组织中的多种应用程序可能晋升用户体验 。 如果您负责为 Amazon Redshift 启用 SSO，则能够应用 ADFS、PingIdentity、Okta、Azure AD 或其余基于 SAML 浏览器的身份提供程序设置 SSO 身份验证。 这篇文章向您展现了如何将 PingOne 设置为您的 IdP。蕴含以下步骤： 配置 IdP(PingOne) 用户组和用户 – PingOne 集成 Microsoft AD 获取用户组和用户配置 IdP(PingOne) 应用程序 – 创立 PingOne 应用程序，在应用程序中指定应用的 Amazon IAM Role，并指定应用该 Role 的用户组，用户应用该 Role 能够拜访 Redshift 群集配置 IAM SAML 联结认证 – 通过在 PingOne IdP 和 Amazon 之间建设信赖关系，设置容许 PingOne 拜访 Amazon Redshift 的角色创立 Amazon Redshift DBGroups 配置权限 – 在 Amazon Redshift 数据库中创立 DBGroups 并受权这些 DBGroups 拜访的 schemas 和 tables。测试单点登录 – 应用 Workbench 客户端工具进行 SSO 登录测试并进行权限验证亚马逊云科技开发者社区为开发者们提供寰球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、流动与比赛等。帮忙中国开发者对接世界最前沿技术，观点，和我的项目，并将中国优良开发者或技术举荐给寰球云社区。如果你还没有关注/珍藏，看到这里请肯定不要匆匆划过，点这里让它成为你的技术宝库！解决方案概览联结身份验证的流程以及步骤如下所示： ...

背景大型企业中代码仓库通常寄存在各部门开发账户中，而流水线则位于独立 DevOps 账户中。 本文咱们将介绍如何创立跨账号拜访 Codecommit 代码仓库的 Codepipeline 流水线，即 CodePipeline 调用另一个账号中的 Codecommit 代码仓库。 亚马逊云科技开发者社区 为开发者们提供寰球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、流动与比赛等。帮忙中国开发者对接世界最前沿技术，观点，和我的项目，并将中国优良开发者或技术举荐给寰球云社区。如果你还没有关注/珍藏，看到这里请肯定不要匆匆划过，点这里 让它成为你的技术宝库！部署架构图 权限配置CodePipeline 执行 role – CodePipelineServiceRole，要害 IAM Policy：容许 CodePipeline assume account B 中的角色 “AssumeAdminRole”。AssumeAdminRole – CodePipeline-SourceStage 理论执行 role， 增加 policy 以具备以下权限容许被 Account A 中 CodePipeline Assume容许拜访本账户中的 CodeCommit容许拜访 Account A 中的 S3桶（寄存 sourceArtifact）容许拜访 Account A 中的 KMS配置 KMS Policy， 容许 CodePipelineServiceRole 和 AssumeAdminRole 拜访 kms 中相应的key配置 S3 Bucket Policy，容许 AssumeAdminRole 拜访 S3中相应的bucketCodeBuild 执行 role，可配置为主动生成，不是本文重点流水线执行过程触发流水线SourceStage 中首先 assume AssumeAdminRole，取得拜访 CodeCommit 权限从 AccountB CodeCommit 代码仓库拉取代码将放 sourceArtifact 存入 S3桶S3服务端加密执行 Build Stage: CodeBuild账号筹备抉择您所在的 region，本文以北京 Region 为例。 ...

前言埋点数据个别取决于服务提供商想从用户身上获取什么信息。通常来讲，次要分为用户的根本属性信息和行为信息。用户的根本属性信息次要包含：年龄、性别、设施等。行为信息即用户的点击行为和浏览行为，在什么工夫，哪个用户点击了哪个按钮，浏览了哪个页面，浏览时长等等的数据。 根本属性信息和行为信息又能够称之为一个简略的报文。报文是网络中替换与传输的数据单元，即站点一次性要发送的数据块。报文蕴含了将要发送的残缺的数据信息，其长短很不统一，长度不限且可变。简略来说就是用户在 App 内有一个操作行为，就会上报一组带有数据的字段。 亚马逊云科技开发者社区为开发者们提供寰球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、流动与比赛等。帮忙中国开发者对接世界最前沿技术，观点，和我的项目，并将中国优良开发者或技术举荐给寰球云社区。如果你还没有关注/珍藏，看到这里请肯定不要匆匆划过，点这里让它成为你的技术宝库！本文会演示如何利用开源软件和 Amazon 服务来构建服务端埋点零碎，客户端局部不在本文的探讨范畴内。 软件架构Lua 是一种轻量级、可嵌入式的脚本语言，能够非常容易的嵌入到其余语言中应用。另外 Lua 提供了协程并发，即以同步调用的形式进行异步执行，从而实现并发，比起回调机制的并发来说代码更容易编写和了解，排查问题也会容易。Lua 还提供了闭包机制，函数能够作为 First Class Value 进行参数传递，另外其实现了标记革除垃圾收集。 OpenResty® 是一个基于 Nginx 与 Lua 的高性能 Web 平台，其外部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于不便地搭建可能解决超高并发、扩展性极高的动静 Web 利用、Web 服务和动静网关。OpenResty® 通过汇聚各种设计精良的 Nginx 模块，从而将 Nginx 无效地变成一个弱小的通用 Web 利用平台。这样，Web 开发人员和零碎工程师能够应用 Lua 脚本语言调动 Nginx 反对的各种 C 以及 Lua 模块，疾速结构出足以胜任 10K 乃至 1000K 以上单机并发连贯的高性能 Web 利用零碎。 通常会利用 Nginx&Lua 实现服务端日志的对立收集，笔者会利用这项技术实现埋点数据的收集，思路如下： 以 Http 申请的形式将埋点数据发送至 Nginx 端；通过 Lua 模块解析申请体，再将埋点数据以异步的形式发送至后端 Kafka。这个过程中数据不必落盘，大大节约了存储空间和进步了效率；最终后端会有一组消费者（例如 Spark）从 Kafka 中将数据落盘（例如 S3）；下图是本文软件层面的架构图。 整体架构 架构分为四大块： Amazon EKS，本文会将 Nginx 和 Lua 以容器的模式部署在 Amazon EKS 中，充分利用 EKS 的弹性；Amazon MSK，本文会应用托管的 Kafka，也就是 Amazon MSK，升高部署和前期运维的压力；Amazon EFS，思考到整体架构的可用性和持久性，如果在 MSK 端产生了故障，尽管概率极低，本文会应用 Amazon EFS 来存储 Nginx 的谬误日志，尽量保障音讯的完整性；Amazon NLB，本文会应用 NLB 来裸露服务；Amazon ECR，本文会应用 ECR 来存储容器镜像；步骤在开始之前，请先确保您具备登录 Amazon 寰球区控制台的账号，并具备管理员权限。 ...

背景介绍Amazon Lambda 可联合 Amazon API Gateway 或 Application Load Balancer，使您无需提前启动或治理服务器即可运行基于 restful API 的应用程序。此时，Lambda 将以 JSON 格局的字符串接管 http 事件，并将其转换为对象，它将事件对象以及上下文传递给 Lambda 函数。而对于曾经开发好的 Web 应用程序，您可能须要做肯定的革新适配能力部署到曾经存在的 Lambda。 亚马逊云科技开发者社区为开发者们提供寰球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、流动与比赛等。帮忙中国开发者对接世界最前沿技术，观点，和我的项目，并将中国优良开发者或技术举荐给寰球云社区。如果你还没有关注/珍藏，看到这里请肯定不要匆匆划过，点这里让它成为你的技术宝库！当初，咱们推出了 Lambda Web Adapter 计划，您能够在不革新已有 WEB 利用程序代码，应用相熟的框架（例如 Express.js、Flask、SpringBoot 和 Laravel，或任何应用 HTTP 1.1/1.0）构建 Web 应用程序并在 Amazon Lambda 上运行它。 文章目标本文以 nodejs express web 应用程序为例，介绍如何在不批改原有 nodejs 代码状况下，应用 Lambda Web Adapter 开发和部署一个 express web 利用部署到 Lambda。 如何工作Amazon Lambda Web Adapter 实际上是一个 Lambda Extensions，当 docker 镜像在 Amazon Lambda 中运行时，Lambda 会主动启动 Adapter 和运行时过程。在 Lambda Web Adapter 启动应用程序后，将每 10 毫秒对 http://localhost:8080/ 执行一次就绪查看。它将在收到应用程序的 200 响应后，启动 lambda 运行时客户端，并将 http 申请转发到 http://localhost:8080/。 这容许开发人员在不须要批改代码的状况下，将其 Web 应用程序打包为容器映像，并运行到 Amazon Lambda 。 ...

企业客户通常须要构建混合 Active Directory 解决方案，以反对在现有本地企业数据中心和 Amazon Cloud 中运行的应用程序。这样做的理由有很多，例如，放弃与本地旧版应用程序的集成、放弃对基础设施资源的管制以及满足特定的行业合规性要求。为了将本地 Active Directory 环境扩大到 Amazon，一些客户在为两个环境设置连贯后，抉择在自行治理的 Amazon Elastic Compute Cloud（EC2，Elastic Compute Cloud）实例上部署 Active Directory 服务。只管此设置很有用，但在 EC2 实例操作治理、Windows 操作系统以及 Active Directory 服务修补和备份方面，它也带来了治理和操作方面的挑战。这个时候 Amazon Directory Service for Microsoft Active Directory（Amazon Managed Microsoft AD）就能够发挥作用了。 亚马逊云科技开发者社区为开发者们提供寰球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、流动与比赛等。帮忙中国开发者对接世界最前沿技术，观点，和我的项目，并将中国优良开发者或技术举荐给寰球云社区。如果你还没有关注/珍藏，看到这里请肯定不要匆匆划过，点这里让它成为你的技术宝库！应用 Amazon Managed Microsoft AD 的益处借助 Amazon Managed Microsoft AD，您能够在云端启动 Amazon 托管目录，并利用企业目录服务的可扩展性和高可用性，同时增加与其余 Amazon 服务的无缝集成。 此外，您仍能够应用现有管理工具和办法拜访 Amazon Managed Microsoft AD，例如，将管理权限委派给企业中的选定组。Amazon Directory Service 治理指南中形容了可委派的权限的残缺列表。 应用单个 Amazon 账户设计 Active Directory 服务的注意事项单个区域单个 Amazon 账户是旅程的终点：一个简略的应用案例可能是您须要在云中从头开始部署新的解决方案的场景（图 1）。 图 1.单个 Amazon 账户和单区域模型 ...

7 月 13 日，Kyligence 发表云原生智能多维数据库 Kyligence Cloud 正式反对 Amazon EMR Serverless 。Kyligence Cloud 将基于 Amazon EMR 无服务器部署选项，进一步晋升云上数据构建性能，从而简化云上运维压力，升高云上老本，最终助力企业轻松且经济高效地实现海量数据分析。 Kyligence Cloud 反对 Amazon EMR Serverless ，赋能云上企业降本增效随着数字化转型的不断深入，疾速攀升的数据量级以及多样化的数据分析需要导致企业的数据架构日益简单。为更好地服务客户，解决企业在数据分析、治理及治理等方面的挑战，Kyligence Cloud 采纳当先的云原生架构，使各企业和组织能在数据湖上灵便地开发创新型的大数据分析利用，同时实现老本的最优化，助力用户疾速洞察数据外在价值，驱动商业决策。 作为亚马逊云科技设计的一项无服务器化 Spark 集群托管服务，Amazon EMR Serverless 可能主动预置和扩大应用程序所需的计算与内存资源，用户无需配置、治理、优化或保护集群，即可应用开源大数据分析框架构建的应用程序。Kyligence Cloud 基于该服务，能够帮忙企业构建疾速、弹性、老本最优的翻新数据分析利用。Kyligence Cloud 通过反对 Amazon EMR Serverless，为用户提供四大方面的价值： 简化云上部署：Kyligence Cloud 用户无需思考底层基础设施和资源的生命周期，大大降低应用程序的复杂度，简化离线构建集群的部署。晋升云上性能：Kyligence Cloud 可更疾速地拉起和回收资源，缩小构建工夫，晋升产品在云上的整体性能。优化云上老本：Kyligence Cloud 用户只需为应用程序应用的资源付费，进一步升高云上资源的老本。升高运维难度：运维人员无需理解底层剖析框架即可进行运维，使 Kyligence Cloud 用户以更轻松的形式解决数据，并合乎企业监控和安全策略。Kyligence Cloud 反对 Amazon EMR Serverless 的具体服务和应用流程Kyligence 引擎将数据模型预计算局部的 Spark 计算工作下发到 Amazon EMR Serverless，利用其即开即用，动静伸缩等能力，可能疾速帮忙 Kyligence 实现数据构建的工作。 Kyligence Cloud 反对 Amazon EMR Serverless服务流程图 ...

课程介绍亚马逊云科技老手指南-疾速创立亚马逊云科技国内/海内区域账号 申请亚马逊云科技账号,是开启应用亚马逊云科技云科技服务的第一步。通过讲师的逐渐具体操作，您能够理解开明账号时的注意事项，疾速创立并激活账号;同时，理解国内区域和海内区域账号注册时的差别，以便发展您相应区域的业务。

前言亚马逊云科技提供了100余种产品收费套餐。其中，计算资源 Amazon EC2 首年12个月收费，750小时/月；存储资源 Amazon S3 首年12个月收费，5GB规范存储容量。 https://aws.amazon.com/cn/fre...Amazon Nitro System 从 2013 年开始机密研发，2017 年正式公布，到 2021 年曾经迭代到了第五代。 作为近年来市场炽热的硬件虚拟化技术先驱者，Amazon Nitro System 的诞生目标也被各界人士从新赋予了各种解读和含意。但正如亚马逊云科技副总裁 Swami 所言：“在 Amazon Web Services，咱们 90% 到 95% 的新我的项目都是基于客户给咱们的反馈，剩下 5% 也是从客户角度登程所做得翻新尝试。” 作为亚马逊云科技的老用户，笔者认为 Amazon Nitro System 诞生的 “因” 到底还是为了可能满足客户对 EC2 计算实例类型的多样化需要这个 First principle thinking（第一性原理）。而当初咱们看到了 Amazon Nitro System 所带来的显着的性能晋升和老本降落，只是 “因” 所造就的 “果” 而已。 所以本篇内容，心愿可能从技术的角度回顾 Amazon Nitro System 的演进之路，回归当初的那个 “因”。 另外，亚马逊云科技面向宽广的云计算开发者们提供了100余种产品收费套餐。其中，计算资源Amazon EC2首年12个月收费，750小时/月；存储资源 Amazon S3 首年12个月收费，5GB规范存储容量。感兴趣的敌人能够点击链接收费获取。 https://aws.amazon.com/cn/fre...Amazon Nitro System OverviewNitro System 这一新的架构使得 EC2 实例类型自 2017 年以来开始爆发式增长，目前曾经达到 400 多种。从 2022 年开始，新的 M1、M2、M3、C1、C3、R3、I2 和 T1 等 EC2 实例类型都将基于 Nitro System 构建。例如： ...

作者：Piyush Singh , Mostafa Mokhtar , Shankar Sivadasan 2022 年 4 月 18 日 明天，咱们很快乐地发表 Databricks 对基于 AWS Graviton2 的亚马逊弹性计算云（Amazon EC2）实例的反对的公开预览。Graviton 处理器由 AWS 进行定制设计和优化，为运行在 Amazon EC2 上的云工作负载提供最佳性价比。当与高性能 DataRicks 查问引擎 Photon一起应用时，基于 Graviron2 的亚马逊 EC2 实例能够为您的 data lakehouse 工作负载提供比同类亚马逊 EC2 实例高 3-4 倍的性价比。在这篇博文中，咱们将介绍 Photon 与 Graviton2的性价比，并为您提供进一步升高 AWS 基础设施老本的其余倡议。 Photon 和 Graviton2 的性价比为了确定 Photon 和 Graviton2 的性价比，咱们在基于 Graviton2 的 R6gd EC2 实例和相似的 I3 EC2 实例上进行了一个简略测试，运行两种不同的工作负载（TPC-DS 和带有批量插入和合并语句的规范 ETL 工作负载）。咱们发现，对于 EC2 实例，仅 Photon 引擎就显著进步了性价比。但基于 Graviton2 的实例上的 Photon 更进一步，与 I3 实例上以前的 Databricks 运行时相比，ETL 工作负载的性价比进步了 3.3 倍，TPC-DS 工作负载的性价比进步了 3.7 倍。尝试基于 Graviton2 实例的客户报告了相似的后果，并分享了咱们的兴奋！上面是一位 Databricks 客户的一句话，他碰巧对基于实例的 Arm 一目了然。 ...

万物智联，正逐渐成为物联网倒退的新趋势和企业数字化转型过程中迈向智能化的高速公路。然而，平安问题、合规要求、设施本身的治理等客观存在的状况却对企业打造智能产品提出了更高要求，随着用户也越来越关怀本身的隐衷问题，如何轻松和平安地构建的满足合规要求的智能产品，实现常见业务需要？ 4月26日，20:00，亚马逊云科技将举办《应用 Amazon IoT Core 构建平安合规的智能产品》为主题的 Tech Talk，并邀请亚马逊云科技解决方案架构师郑辉作为嘉宾带来分享。 本期主题应用 Amazon IoT Core 构建平安合规的智能产品 课程内容智能产品存在的挑战IoT Core 如何解决平安合规问题IoT Core 如何实现智能设施常见业务需要Demo 演示（可选）听众受害理解如何应用 Amazon IoT Core 搭建云上设施治理平台理解如何利用 Amazon IoT Core 构建平安合规的智能产品，实现智能设施常见业务需要讲师简介郑辉 亚马逊云科技解决方案架构师 负责基于亚马逊云科技云计算计划架构的征询和设计，在国内推广亚马逊云科技云平台技术和各种解决方案。同时负责物联网行业解决方案的开发和推广，在物联网、挪动端开发等畛域有着宽泛的设计和实践经验。 报名形式点击下方链接或扫描海报上的二维码即可报名，开发者报名后会立即收到确认邮件，请留神查收~ https://aws.d1meeting.cn/webi... 支付取IoT材料大礼包： https://aws.amazon.com/cn/cam...

1. 获取access_token官网链接 1.1 申请门路 POST地区URLNAhttps://api.amazon.com/auth/o...EUhttps://api.amazon.co.uk/auth...FEhttps://api.amazon.co.jp/auth...1.2 申请事例curl \ -X POST \ -H "Content-Type:application/x-www-form-urlencoded;charset=UTF-8" \ --data "grant_type=refresh_token&client_id=YOUR_CLIENT_ID&refresh_token=YOUR_REFRESH_TOKEN&client_secret=YOUR_CLIENT_SECRET" \ https://api.amazon.com/auth/o2/token1.3 代码实操 //获取access_token的办法,以NA地区为例。HashMap<String, Object> map = new HashMap<>();map.put("grant_type","refresh_token"); map.put("refresh_token","your refresh_token");map.put("client_id","your client_id");map.put("client_secret","your client_secret");String getAccessUrl = "https://api.amazon.com/auth/o2/token";String result = HttpUtil.doPost(getAccessUrl,map,null);Map map1 = JSONObject.parseObject(result, Map.class);String access_token = (String) map1.get("access_token");System.out.println("access_token = " + access_token);运行后果如下： 2. 获取profileId官网连贯 2.1 申请门路 GEThttps://advertising-api.amazon.com/v2/profiles2.2 申请参数参数名称可能的值(string)apiProgrambilling, campaign, paymentMethod, store, report, account, postsaccessLeveledit, viewprofileTypeFilterseller, vendor, agencyvalidPaymentMethodFiltertrue, false申请头： keyvalueContent-Typeapplication/jsonAuthorizationaccess_tokenAmazon-Advertising-API-ClientIdyour client_id2.3 代码实操String url = "https://advertising-api.amazon.com/v2/profiles?apiProgram=billing&profileTypeFilter=seller&validPaymentMethodFilter=true";HashMap<String, String> headerMap = new HashMap<>();headerMap.put("Content-Type","application/json");headerMap.put("Authorization","Bearer "+access_token);headerMap.put("Amazon-Advertising-API-ClientId","your client_id");String result1 = HttpUtil.doGet1(url,headerMap);List<Map> profileIds = JSONObject.parseArray(result1, Map.class);System.out.println("profileIds = " + profileIds);运行后果如下： ...

1.获取Amazon官网SDK不会的同学请点击这里 官网文档 2.取得的成果如下@Testpublic void test01(){ //1.连贯到spApi //1.1配置本人的AWS凭证 AWSAuthenticationCredentials awsAuthenticationCredentials = AWSAuthenticationCredentials.builder() .accessKeyId("you accessKeyId") .secretKey("you secretKey") .region("us-east-1") .build(); //1.2配置您的AWS凭证提供商 AWSAuthenticationCredentialsProvider awsAuthenticationCredentialsProvider = AWSAuthenticationCredentialsProvider.builder() .roleArn("you roleArn")//IAM角色 .roleSessionName("you roleSessionName") .build(); //1.3配置LWA凭证 LWAAuthorizationCredentials lwaAuthorizationCredentials = LWAAuthorizationCredentials.builder() .clientId("you clientId") .clientSecret("you clientSecret") .refreshToken("you refreshToken") .endpoint("https://api.amazon.com/auth/o2/token")//LWA验证服务器URI .build(); OrdersV0Api ordersV0Api = new OrdersV0Api.Builder().awsAuthenticationCredentials(awsAuthenticationCredentials) .awsAuthenticationCredentialsProvider(awsAuthenticationCredentialsProvider) .lwaAuthorizationCredentials(lwaAuthorizationCredentials) //本次试验为测试环境 .endpoint("https://sandbox.sellingpartnerapi-na.amazon.com") .build();3.参考OrdersV0.json文件发送测试申请OrdersV0.json 请选中带有x-amazon-spds-sandbox-behaviors的内容为测试申请要求。 4.实操4.1 getOrders申请要求： 申请代码： List<String> marketplaceIds = Arrays.asList("ATVPDKIKX0DER");GetOrdersResponse orders = null;try { orders = ordersV0Api.getOrders(marketplaceIds, "TEST_CASE_200", null, null, null, null, null, null, null, null, null, null, null, null);} catch (ApiException e) { e.printStackTrace(); System.out.println("orders.getErrors().toString() = " + orders.getErrors().toString());}System.out.println("orders.getPayload().getOrders() = " + orders.getPayload().getOrders());申请后果： ...

场景最近要做货品部门的需要，波及到发货和入库相干的API，对此钻研了fulfillment-inbound-api 官网文档门路：fulfillment-inbound-api从货品部门理解到的具体步骤为： 创立一个发货打算(createInboundShipmentPlan)而后创立发货(createInboundShipment),最初获取贴箱单(getLabels)再理解到这些后我做了如下尝试 实操筹备工作亚马逊店铺账号开发者权限 如不会搭建开发者环境请点这里配置AWS认证 如不会配置AWS认证请点这里，实现6以前的操作就能够调用sp-api了第一、获取已经发货的相干信息1.先获取已经创立过的发货-getShipmentsString queryType="SHIPMENT";String marketplaceId = "ATVPDKIKX0DER";GetShipmentsResponse shipments = null;List<String> shipmentStatusList = Arrays.asList("WORKING","SHIPPED","RECEIVING","CANCELLED","DELETED","CLOSED","ERROR","IN_TRANSIT","DELIVERED","CHECKED_IN");ArrayList<String> shipmentIdList = new ArrayList<>();try { shipments = fbaInboundApi.getShipments(queryType,marketplaceId,shipmentStatusList,shipme ntIdList,start_time,end_time,null);} catch (ApiException e) { e.printStackTrace();}GetShipmentsResult payload = shipments.getPayload();System.out.println("payload.getShipmentData() = " + payload.getShipmentData());获取的后果如下： 2.获取已经创立过发货的贴箱单-getLabels留神：pageSize=5是当时向货品询问好某个shipmentId本次发货一共五个贴箱单。 GetLabelsResponse labels = null;try { labels = fbaInboundApi.getLabels("shipmentId", "PackageLabel_Letter_2", "BARCODE_2D", null, null, null, 5, null);} catch (ApiException e) { e.printStackTrace();}System.out.println("DownloadURL = " + labels.getPayload().getDownloadURL());获取的后果如下： 在有了第一步获取的信息之后，打算着手钻研整套流程。 第二、残缺流程createInboundShipmentPlan-->createInboundShipment-->getLabelsJava创立-createInboundShipmentPlanCreateInboundShipmentPlanRequest body = new CreateInboundShipmentPlanRequest();Address address = new Address();address.setName("your shop");address.setAddressLine1("your address");address.setDistrictOrCounty("your districtOrCounty");address.setCity("your city");address.setStateOrProvinceCode("your stateOrProvinceCode");address.setCountryCode("your countryCode");address.setPostalCode("your postalCode");body.setShipFromAddress(address);body.setLabelPrepPreference(LabelPrepPreference.SELLER_LABEL);body.setShipToCountryCode("US");body.setShipToCountrySubdivisionCode("US-CA");InboundShipmentPlanRequestItemList list = new InboundShipmentPlanRequestItemList();InboundShipmentPlanRequestItem inboundShipmentPlanRequestItem = new InboundShipmentPlanRequestItem();inboundShipmentPlanRequestItem.setASIN("your asin");inboundShipmentPlanRequestItem.setSellerSKU("your seller sku");inboundShipmentPlanRequestItem.setCondition(Condition.NEWITEM);inboundShipmentPlanRequestItem.setQuantity(1);inboundShipmentPlanRequestItem.setQuantityInCase(1);PrepDetailsList prepDetails = new PrepDetailsList();PrepDetails details = new PrepDetails();details.setPrepInstruction(PrepInstruction.LABELING);details.setPrepOwner(PrepOwner.SELLER);prepDetails.add(details);inboundShipmentPlanRequestItem.setPrepDetailsList(prepDetails);list.add(inboundShipmentPlanRequestItem);body.setInboundShipmentPlanRequestItems(list);CreateInboundShipmentPlanResponse shipmentPlan = null;System.out.println("body = " + body);try { shipmentPlan = fbaInboundApi.createInboundShipmentPlan(body);} catch (ApiException e) { e.printStackTrace();} finally { System.out.println("shipmentPlan.getErrors() = " + shipmentPlan.getErrors()); System.out.println("shipmentPlan.getPayload() = " + shipmentPlan.getPayload());}发动申请之后报错400，申请未通过。 ...

咱们做跨境电商搞亚马逊API开发的都懂，首先就是文档的事件，亚马逊写的中文文档很坑啊有木有！！（原本英文文档就挺坑的了，小声BB～） 好了，就是要吐槽它一波～当初咱们进入正题～ 咱们团队思考到很多做亚马逊API开发的敌人们，初期都要通过看文档这个干燥又乏味的过程，而后咱们寻思要不就写一篇API导航？我直呼好家伙，反应还挺大，毕竟这玩意写一次参考价值也是不菲的～ 好了好了！不扯来扯去的了！想必你们都嫌我烦了！接下来咱们正式进入正题！！ 咱们就先将 Amazon SP-API references ⬅️ 这里的API它的用处剖析一遍（因为API比拟多，咱们明天先说一部分哦，谅解一下） 前情提要以下所有API的申请门路全副以 Selling Partner API endpoints 结尾哦～ Selling Partner API endpoints ⬇️ Selling regionendpoint北美地区（加拿大、美国、墨西哥、巴西）市场https://sellingpartnerapi-na.amazon.com欧洲地区（西班牙、英国、法国、德国、意大利、瑞典、波兰、土耳其、阿联酋、印度）市场https://sellingpartnerapi-eu.amazon.com远东地区（新加坡、澳大利亚、日本）市场https://sellingpartnerapi-fe.amazon.comSelling Partner API for Catalog Items文档地位戳这里，能够比对着看更清晰 ➡️ catalogItems_2020-12-01.md 这个API它的最新版本是 2020-12-01 版本，原先是有一套老版本的 ➡️ catalogItemsV0.md。咱们就只说新版本了哦～～ API概览卖家能够通过此API获取Amazon店铺内所有ASIN的汇总的详细信息等。 API详情版本号：2020-12-01 申请速率：每秒 5 次 API列表 ⬇️ 申请办法门路参数形容GETcatalog/2020-12-01/items/{asin}asin(必须的)marketplaceIds(必须的)includedData(可选的)获取店铺内ASIN的汇总的详细信息各API申请参数： GET catalog/2020-12-01/items/{asin} 门路参数：asin ➡️ 参数放在门路中，只容许一个asin，会依据asin查找其详细信息参数：marketplaceIds ➡️ 逗号分隔的市场ID(反对传入多个市场ID)。例：英,加,美,德,法参数：includedData ➡️ 将你所须要返回的数据内容的名称以逗号分隔的形式传入(仅对品牌所有者无效)includedData ⬇️ 值形容identifiers与此ASIN相关联的标识符（UPC、EAN等）images此ASIN的商品图片链接productTypes与此ASIN有关联的产品品类salesRanks亚马逊商品的销售排名summaries此ASIN的详细信息variations此ASIN的父子ASIN关系，并返回其父ASINvendorDetails与此ASIN关联的供应商详细信息（只有供应商能够应用此参数）attributes此ASIN的属性相干信息（只有品牌所有者能够应用此参数）各API响应参数： Response catalog/2020-12-01/items/{asin} 名称形容概要asin亚马逊规范辨认号码（ASIN）是Amazon商品的惟一标识符惟一标识符attributes此ASIN的属性相干信息属性信息的JSONidentifiers与此ASIN相关联的标识符（UPC、EAN等）返回例如UPC, EAN或者ISBN的标识符images此ASIN的商品图片链接返回图片链接, 长宽低等数据productTypes与此ASIN有关联的产品品类返回关联的产品品类salesRanks亚马逊商品的销售排名返回销售排名相干信息summaries此ASIN的详细信息返回品牌, 色彩, 产品名称, 制造商等variations此ASIN的父子ASIN关系，并返回其父ASIN返回ASIN的关系类型等vendorDetails与此ASIN关联的供应商详细信息（只有供应商能够应用此参数）返回品牌, 类别, 产品组, 供应商代码等Selling Partner API for FBA Inbound Eligibilty文档地位戳这里，能够比对着看更清晰 ➡️ fbaInbound.md ...

应用Advertising-API须要注册并申请一个账号：Amazon Developer账号 一、申请成为亚马逊开发者PS：申请过开发者的敌人自行疏忽此局部操作 筹备一个Amazon Developer账号，点击此处跳转 点击右上角登录。 而后在登录页面中点击下方的“Create your Amazon Developer account”账户。 而后填写表单。点击按钮提交。 提交后会被重定向到开发者注册页面，填写表单信息。点击“提交”。 提交后会被重定向到“Amazon Developer”页面主页，咱们点击菜单栏的“Login with Amazon”。 在“Login with Amazon”页面中点击“Create a New Security Profile”。 而后咱们会进入“Security Profile Management”页面，咱们将带 * 号的必填项填入表单，点击“Save”按钮。 而后咱们页面会跳转回“Login with Amazon”，在该页面点击“Show Client ID and Client Secret”，并将两个信息保留下来以便后续调用Advertising-API应用。 二、申请Advertising-API在咱们领有了开发者账户之后，拜访广告API申请页面填写信息进行申请。点击此处跳转 点击 “Request API Access”。 而后依据本人的业务需要抉择一项。跳转进页面之后填写表单后点击按钮提交期待亚马逊审批就好啦！ 亚马逊审批实现后会给你发送邮件哦～～后续请见：手把手教你从零开始搭建Amazon Advertising-API开发环境（二）

DynamoDB 是 Amazon 基于《 Dynamo: Amazon’s Highly Available Key-value Store 》实现的 NoSQL 数据库服务。它可以满足数据库无缝的扩展，可以保证数据的持久性以及高可用性。开发人员不必费心关注 DynamoDB 的维护、扩展、性能等一系列问题，它由 Amazon 完全托管，开发人员可以将更多的精力放到架构和业务层面上。 本文主要介绍作者所在团队在具体业务中所遇到的挑战，基于这些挑战为何最终选型使用 Amazon DynamoDB，在实践中遇到了哪些问题以及又是如何解决的。文中不会详细讨论 Amazon DynamoDB 的技术细节，也不会涵盖 Amazon DynamoDB 的全部特性。 背景与挑战TalkingData 移动广告效果监测产品（TalkingData Ad Tracking）作为广告主与媒体之间的一个广告投放监测平台，每天需要接收大量的推广样本信息和实际效果信息，并最终将实际的效果归因到推广样本上。 举个例子，我们通过手机某新闻类 APP 浏览信息，会在信息流中看到穿插的广告，广告可能是文字形式、图片形式、视频形式的，而不管是哪种形式的广告它们都是可以和用户交互的。 如果广告推送比较精准，刚好是用户感兴趣的内容，用户可能会去点击这个广告来了解更多的信息。一旦点击了广告，监测平台会收到这一次用户触发的点击事件，我们将这个点击事件携带的所有信息称为样本信息，其中可能包含点击的广告来源、点击广告的时间等等。通常，点击了广告后会引导用户进行相关操作，比如下载广告推荐的 APP，当用户下载并打开 APP 后，移动广告监测平台会收到这个 APP 发来的效果信息。到此为止，对于广告投放来说就算做一次成功转化。 DynamoDB实践：当数据量巨大而不可预知，如何保证高可用与实时性？ 移动广告监测平台需要接收源源不断的样本信息和效果信息，并反复、不停的实时处理一次又一次转化。对于监测平台来讲，它的责任重大，不能多记录，也不能少记录，如果转化数据记多了广告主需要多付广告费给媒体，记少了媒体会有亏损。这样就为平台带来了几大挑战： 数据量大：有的媒体为了利益最大化可能会采取非正常手段制造假的样本，产生“虚假流量”，所以广告监测平台除了会收到真实用户样本外，也会收到大量造假的样本，影响正常的监测和归因。在最“疯狂”的时候，我们的平台会在一天内收到 40 亿 + 的点击样本事件请求。要知道，这些点击样本事件是要保留下来作为后续效果归因用的，而且样本有效期大不相同，从最短 12 小时到最长 90 天不等。数据量不可预知：对于广告主的大推、应用商店竞价排名等一系列的推广，会导致突发大量样本数据流入。面对这些流量不可预知的情况，我们仍要保证系统的正确、稳定、实时。实时处理：广告主依赖广告监测平台实时处理的结果来调整广告推广策略。因此广告监测平台需要支持数据实时处理，才能为广告主更快的优化推广策略提供有力支撑。与此同时，广告监测平台的处理结果也要实时回传给媒体方以及广告主。可以看到，准确性和实时性是系统必须要满足的基本条件。样本存储：我们的业务最核心的功能就是归因，我们要明确例如用户下载打开 APP 的这个转化效果是由哪一个推广活动样本带来的——也就是上图中的第 7 步，当用户安装 APP 后，监测平台要对应找到第 1 步中样本所在推广活动，这个是一个查询匹配的过程。对于庞大的归因样本数据，有效期又各不相同，我们应该怎样存储样本才能让系统快速归因，不影响实时结果，这也是一个很大的挑战。最初形态在 2017 年 6 月前我们的业务处理服务部署在机房，使用 Redis Version 2.8 存储所有样本数据。Redis 使用多节点分区，每个分区以主从方式部署。在最开始我们 Redis 部署了多个节点，分成多个分区，每个分区一主一从。刚开始这种方式还没有出现什么问题，但随着用户设置的样本有效期加长、监测样本增多，当时的节点数量逐渐已经不够支撑业务存储量级了。如果用户监测推广量一旦暴增，我们系统存储将面临崩溃，业务也会瘫痪。于是我们进行了第一次扩容。 ...