关于druid:Druid-集群方式部署-选择硬件

42次阅读

共计 1451 个字符,预计需要花费 4 分钟才能阅读完成。

Apache Druid 被设计部署为可扩大和容错的集群部署形式。

在本文档中,咱们将会设置一个示例集群,并且进行一些探讨,你能够进行那些批改来满足你的需要。

这个简略的集群包含有上面的个性:

主服务器(Master Server)将会运行 Coordinator 和 Overlord 过程
2 个可扩大和容错的数据服务器将会运行 Historical 和 MiddleManager 过程
一个查问服务器(Query Server)将会运行 Broker 和 Router 过程

在生产环境中,咱们倡议你部署多个 Master 服务器和多个 Query 服务器,服务器的高可用性(fault-tolerant)配置与你的数据个性和容错性要求非亲非故。
然而你能够应用一个主服务器(Master Server)和 一个查问服务器(Query Server)来启动服务,随着需要的减少你能够随时减少更多的服务器节点。

抉择硬件
全新部署

如果你没有曾经存在的 Druid 集群,然而你心愿开始在你的环境中应用集群形式部署 Druid,本文档将会应用预配置(pre-made configurations)内容来帮忙你开始部署 Druid 的集群。

主服务器(Master Server)

Coordinator 和 Overlord 过程将会负责解决 metadata 数据和在你集群中进行协调。这 2 个过程能够合并在同一个服务器上。

在本示例中,咱们将会在 AWS m5.2xlarge 部署一个评估的服务器和实例。

AWS 下面硬件的配置为:

8 vCPUs
31 GB RAM

无关本服务器的配置信息和无关硬件大小的倡议,能够在文件 conf/druid/cluster/master 中找到。

数据服务器(Data server)

Historicals 和 MiddleManagers 能够合并到同一个服务器上,这个 2 个过程在你的集群中用于解决理论的数据。通常来说越大 CPU, RAM, SSDs 硬盘越好。

在本示例中,咱们将会在 i3.4xlarge 部署一个评估的服务器和实例。

AWS 下面硬件的配置为:

16 vCPUs
122 GB RAM
2 * 1.9TB SSD storage

无关本服务器的配置信息和无关硬件大小的倡议,能够在文件 conf/druid/cluster/data 中找到。

查问服务器(Query server)

Druid Brokers 能够承受查问,并且将承受的查问发送到集群中解决。同时他们也负责保护内存中的查问缓存,常来说越大的 CPU, RAM 越好。

在本示例中,咱们将会在 m5.2xlarge 部署一个评估的服务器和实例。

AWS 下面硬件的配置为:

8 vCPUs
31 GB RAM

你也能够思考在运行 Broker 过程的查问服务器上部署任何开源的 UI 或者查问库。

无关本服务器的配置信息和无关硬件大小的倡议,能够在文件,能够在文件 conf/druid/cluster/query 中找到。

其余硬件大小

下面的示例集群配置是从多种确定 Druid 集群可能的配置形式中抉择的一个示例。

您能够依据本人的特定需要和要求来抉择 较小 / 较大的硬件配置或 较少 / 更多的服务器数量。如果你的应用实例有比较复杂的可扩展性要求,你也能够抉择不将过程合并到服务器上的配置计划,而针对每一个过程配置一台服务器(例如,你能够配置一个独立的 Historical 服务器)。

无关更多的配置信息,请参考页面 basic cluster tuning guide 中的内容,可能帮忙你如何对你的配置进行配置和扩大。

https://www.ossez.com/t/druid…

正文完
 0