Download: 极客工夫云原生训练营|最新高清

云原生介绍

随同云计算的滚滚浪潮,云原生(Cloud Native)的概念应运而生,云原生很火,火得一塌糊涂,都9102年了,如果你还不懂云原生,那真的Out了。

什么是云原生?
云原生是一种构建和运行应用程序的办法,是一套技术体系和方法论。云原生(CloudNative)是一个组合词,Cloud+Native。

Cloud示意应用程序位于云中,而不是传统的数据中心;Native示意应用程序从设计之初即思考到云的环境,原生为云而设计,在云上以最佳姿态运行,充分利用和施展云平台的弹性+分布式劣势。

云原生为什么越来越重要?
将来的天下,肯定是云原生的
将来的软件,从诞生起,就是生在云上,长在云上的。这个说法相对不是没有依据的,看看当初的互联网大厂在做的事件,你就晓得了:

Kubernetes 作为云原生的外围平台,吸引了越来越多的程序员去理解、学习、把握它。我晓得的很多人,因为会应用 Kubernetes,跳槽薪资十分不错。

云原生Kubernetes实战开发

Flink on TKE 半托管服务,极致的Flink云原生应用体验

Flink on TKE 半托管服务提供了Flink集群部署、日志、监控、存储等一站式的服务,用户能够将其余在线业务与Flink运行在同一个集群中,从而最大水平进步资源资源使用率,达到对立资源、对立技术栈、对立运维等能力。

咱们基于 TKE 容器平台构建 Flink Kubernetes 计算集群。依据已有的 Flink 作业运行状况,咱们发现绝大多数 Flink 作业次要是消耗内存,而CPU利用率广泛较低,在机型抉择上咱们举荐抉择内存型机器。

apiVersion: flinkoperator.Kubernetes.io/v1beta1kind: FlinkClustermetadata:  name: flink-hello-worldspec:  image:    name: flink:1.11.3  jobManager:    resources:      limits:        memory: "1024Mi"        cpu: "200m"  taskManager:    replicas: 2    resources:      limits:        memory: "2024Mi"        cpu: "200m"  job:    jarFile: /opt/flink/examples/streaming/helloword.jar    className: org.apache.flink.streaming.examples.wordcount.WordCount    args: ["--input", "/opt/flink/README.txt"]    parallelism: 2  flinkProperties:    taskmanager.numberOfTaskSlots: "2"

通过上述的申明式 API 形式提交部署,咱们能够看到用户 jar 包须要当时打到 image 里,作为平台提供方,当然不可能让每个用户本人去打 docker image,有些用户甚至都不晓得怎么用 docker,所以咱们应该对用户屏蔽 docker image,用户只须要上传 jar 包等资源即可。Flink Operator 提供了 initContainer 选项,借助它咱们能够实现主动下载用户上传资源,然而为了简略,咱们间接批改 docker entrypoint 启动脚本,先下载用户上传的资源,再启动 Flink 相干过程,用户上传的资源通过环境变量申明。例如:

apiVersion: flinkoperator.Kubernetes.io/v1beta1kind: FlinkClustermetadata:  name: flink-hello-worldspec:  image:    name: flink:1.11.3  envVars:    - name: FLINK_USER_JAR      value: hdfs://xxx/path/to/helloword.jar    - name: FLINK_USER_DEPENDENCIES      value: hdfs://xxx/path/to/config.json,hdfs://xxx/path/to/vocab.txt  ...

极客工夫云原生训练营 - Kubernetes 架构

Kubernetes 最后源于谷歌外部的 Borg,提供了面向利用的容器集群部署和管理系统。Kubernetes 的指标旨在打消编排物理 / 虚构计算,网络和存储基础设施的累赘,并使应用程序运营商和开发人员齐全将重点放在以容器为核心的原语上进行自助经营。Kubernetes 也提供稳固、兼容的根底(平台),用于构建定制化的 workflows 和更高级的自动化工作。 Kubernetes 具备欠缺的集群治理能力,包含多层次的平安防护和准入机制、多租户利用撑持能力、通明的服务注册和服务发现机制、内建负载均衡器、故障发现和自我修复能力、服务滚动降级和在线扩容、可扩大的资源主动调度机制、多粒度的资源配额治理能力。Kubernetes 还提供欠缺的管理工具,涵盖开发、部署测试、运维监控等各个环节。

// ImageService defines the public APIs for managing images.
service ImageService {

// ListImages lists existing images.rpc ListImages(ListImagesRequest) returns (ListImagesResponse) {}// ImageStatus returns the status of the image. If the image is not// present, returns a response with ImageStatusResponse.Image set to// nil.rpc ImageStatus(ImageStatusRequest) returns (ImageStatusResponse) {}// PullImage pulls an image with authentication config.rpc PullImage(PullImageRequest) returns (PullImageResponse) {}// RemoveImage removes the image.// This call is idempotent, and must not return an error if the image has// already been removed.rpc RemoveImage(RemoveImageRequest) returns (RemoveImageResponse) {}// ImageFSInfo returns information of the filesystem that is used to store images.rpc ImageFsInfo(ImageFsInfoRequest) returns (ImageFsInfoResponse) {}

}

极客工夫云原生训练营 - Kubernetes集群扩大

应用自定义资源扩大 API
自定义资源是对 Kubernetes API 的扩大,kubernetes 中的每个资源都是一个 API 对象的汇合,例如咱们在 YAML 文件里定义的那些 spec 都是对 kubernetes 中的资源对象的定义,所有的自定义资源能够跟 kubernetes 中内建的资源一样应用 kubectl 操作。

TPR
如果咱们要创立一个名为 cron-tab.stable.example.com 的 TPR,yaml 文件定义如下:

apiVersion: extensions/v1beta1kind: ThirdPartyResourcemetadata:  name: cron-tab.stable.example.comdescription: "A specification of a Pod to run on a cron style schedule"versions:- name: v1kind: ThirdPartyResourceapiVersion: extensions/v1beta1metadata:  name: d-tab.l5d.iodescription: stores dtabs used by namerdversions:- name: v1alpha1

CRD

apiVersion: apiextensions.k8s.io/v1beta1kind: CustomResourceDefinitionmetadata:  # 名称必须合乎上面的格局:<plural>.<group>  name: crontabs.stable.example.comspec:  # REST API 应用的组名称:/apis/<group>/<version>  group: stable.example.com  # REST API 应用的版本号:/apis/<group>/<version>  version: v1  # Namespaced 或 Cluster  scope: Namespaced  names:    # URL 中应用的复数名称: /apis/<group>/<version>/<plural>    plural: crontabs    # CLI 中应用的复数名称    singular: crontab    # CamelCased 格局的复数类型。在清单文件中应用    kind: CronTab