关于druid:Druid-集群方式部署-配置调整

38次阅读

共计 2040 个字符,预计需要花费 6 分钟才能阅读完成。

从一个独自部署服务器上进行合并到集群的时候,须要对上面的一些配置进行调整。

Master 服务

如果你曾经有一个曾经存在并且独立运行的独立服务器部署的话,例如在页面 single-server deployment examples 中部署的服务器,
上面的这个示例将会帮忙你将 Coordinator 和 Overlord 合并到一个过程下面

conf/druid/cluster/master/coordinator-overlord 上面的示例,显示例如如何同时合并 Coordinator 和 Overlord 过程。

你能够从曾经部署的独立服务器上拷贝曾经存在 coordinator-overlord 配置文件,并部署到 conf/druid/cluster/master/coordinator-overlord。

Data 服务

假如咱们将要从一个 32 CPU 和 256GB 内存的独立服务器上进行合并。
在老的部署中,上面的配置是针对 Historicals 和 MiddleManagers 过程的:

Historical(独立服务器部署)

druid.processing.buffer.sizeBytes=500000000
druid.processing.numMergeBuffers=8
druid.processing.numThreads=31

MiddleManager(独立服务器部署)

druid.worker.capacity=8
druid.indexer.fork.property.druid.processing.numMergeBuffers=2
druid.indexer.fork.property.druid.processing.buffer.sizeBytes=100000000
druid.indexer.fork.property.druid.processing.numThreads=1

在集群部署环境中,咱们能够抉择应用 2 个服务器来运行下面的 2 个服务,这 2 个服务器的配置为 16CPU 和 128GB RAM。
咱们将会依照上面的配置形式进行配置:

Historical

druid.processing.numThreads: 基于配置的新硬件环境,设置为 (num_cores – 1)
druid.processing.numMergeBuffers: 针对独立服务器应用的数量应用决裂因子相除
druid.processing.buffer.sizeBytes: 放弃不变

MiddleManager:

druid.worker.capacity: 针对独立服务器应用的数量应用决裂因子相除
druid.indexer.fork.property.druid.processing.numMergeBuffers: 放弃不变
druid.indexer.fork.property.druid.processing.buffer.sizeBytes: 放弃不变
druid.indexer.fork.property.druid.processing.numThreads: 放弃不变

在实现下面配置后的后果如下:

集群 Historical (应用 2 个数据服务器)

druid.processing.buffer.sizeBytes=500000000
druid.processing.numMergeBuffers=8
druid.processing.numThreads=31

集群 MiddleManager (应用 2 个数据服务器)

druid.worker.capacity=4
druid.indexer.fork.property.druid.processing.numMergeBuffers=2
druid.indexer.fork.property.druid.processing.buffer.sizeBytes=100000000
druid.indexer.fork.property.druid.processing.numThreads=1

Query 服务

你能够将曾经在独立服务器部署中存在的配置文件拷贝到 conf/druid/cluster/query 目录中实现部署。
如果新的服务器的硬件配置和独立服务器的配置是绝对的话,新的部署不须要做批改。

刷新部署 deployment

如果你应用上面的服务器配置环境为示例的话:

1 Master server (m5.2xlarge)
2 Data servers (i3.4xlarge)
1 Query server (m5.2xlarge)

在 conf/druid/cluster 文件夹中的配置文件曾经针对下面的硬件环境进行了优化,针对根本状况的应用来说,你不须要针对下面的配置进行批改。

如果你抉择应用不同的硬件的话,页面 basic cluster tuning guide 中的内容可能帮忙你对你的硬件配置做一些抉择。

https://www.ossez.com/t/druid…

正文完
 0