关于腾讯云:如何快速搭建一个高可用的数据处理流水线

39次阅读

共计 1371 个字符,预计需要花费 4 分钟才能阅读完成。

ASW 利用与服务编排工作流是腾讯云服务的编排工具,用户能够将多个云服务编排到业务场景相干的应用程序中,能够通过 ASW 工作流编排分布式工作,治理执行工作的程序、错误处理、重试逻辑和状态,从而显著加重团队的研发累赘。

通过 ASW Map 并发能力编排调用云函数,实现批量数据的解决,并将后果写回存储,提供开箱即用、灵便便捷、高弹性高可用的数据处理系统模型。尤其适宜证券交易数据统计,电商零碎商品订单数据分析,微博热点剖析等大数据分析场景。本文为您介绍如何应用 ASW 编排云函数,疾速搭建一个高可用的数据处理流水线。

01. ASW 工作流劣势

  • 弹性高并发 :工作流并发调用云函数能够疾速调动大量计算资源减速数据处理。
  • 自定义流程 :ASW 工作流能够实现高度自定义的工作流流程,例如数据处理流程、数据分析算法、数据存储形式。
  • 降低成本 :数据处理是 CPU 密集型,在 ASW 工作流及云函数的资源利用率高的状况下,实现了老本的升高。
  • 晋升效率 :升高学习和应用老本,极大水平上缩短了我的项目周期,放慢开发部署。

02. 零碎架构

应用 ASW 创立编排云函数,先实现业务鉴权等预处理操作,而后通过 Map 并发函数读取数据,进行数据处理,将解决后的数据存储到云端数据库。同时,批量解决的数据能够间接给发送到图表与模型剖析中。

03. ASW 数据分析解决计划示例

在《ASW 工作流最佳实际(二):应用 ASW 并发调用函数》文章中,应用 ASW 的 Map 节点能力进行并发的数据求和计算。本期将为您演示如何通过 ASW 工作流解决「一个并发获取多个微博用户信息」的残缺数据分析流程。

利用部署后,将为您创立以下资源:

  • 云函数

    • dataProcess-getuserinfo-xxx 用于获取用户信息。
    • dataProcess-processUserInfo-xxx 用于解决用户信息,并把解决后的信息写到 cfs 文件下。
    • dataProcess-writeUserInfo-xxx 用于将 cfs 文件上传到 cos 中
  • VPC 公有网络 :用于创立 CFS 文件系统。
  • CFS 文件系统 :用于将屡次并发的函数解决数据写到同一个文件下。
  • COS 对象存储 :用于存储最初的数据处理后果。
  • ASW 工作流: 数据分析的工作流,其中每个节点将编排对应性能的云函数。
  • 运行角色: 用于运行数据分析工作流。

1. 创立工作流

1.1 登录 利用与编排服务流控制台。在工作流页面,单击「新建」,进入创立工作流页面,单击「示例我的项目」,抉择「数据分析解决」模板。

1.2 单击「下一步」,在「配置根本信息」页面,您将会看到示例我的项目须要创立的资源,单击「开始部署」,期待资源创立胜利,实现示例我的项目的部署。

2. 运行工作流

2.1 在工作流列表,单击「名称」链接进入工作流,您能够在界面中看到工作流的根本信息,单击「执行」下的「开始执行」。

2.2 在弹出的「开始执行」窗口中,会有默认的输出参数,间接单击「确定」,运行工作流。

2.3 执行实现后,能够在详情页查看执行后果。滑动至页面最下方,在「执行历史记录」下,您能够查看子节点的运行状况。

2.4 单击「资源」中的云函数链接,能够间接跳到云函数控制台,查看函数执行详情。

辨认下方 👇 二维码,即可退出腾讯云 ASW 交换群。

One More Thing

立刻体验腾讯云 Serverless Demo,支付 Serverless 新用户礼包 👉 腾讯云 Serverless 老手体验。

正文完
 0