ES运维

日志

ES日志: 默认缺省日志为/var/log/elasticsearch/elasticsearch.log ,如果开启了集群(设置了集群名字,如上面的aminglinux-es),那么日志名字为”/var/log/elasticsearch/aminglinux-es.log” gc日志:/var/log/elasticsearch/gc.log Kibana日志: /var/log/kibana/kibana.log ,也可以用journalctl来查看 journalctl -u kibana –no-p

服务

systemctl stop/start/restart/enable elasticsearch

监测集群

1.查看集群健康

curl -u elastic:"$ES_P" -X GET  'http://aminglinux01:9200/_cluster/health?pretty'

../../_images/101.png

说明:

cluster_name:表示集群名称
status:用来标识集群健康状况,green-健康,yellow-亚健康,red-病态
    green:所有的主分片和副本分片都已分配。你的集群是 100% 可用的。
    yellow:所有的主分片已经分片了,但至少还有一个副本是缺失的。不会有数据丢失,所以搜索结果依然是完整的。
    red:至少一个主分片(以及它的全部副本)都在缺失中。这意味着你在缺少数据:搜索只能返回部分数据,而分配到这个分片上的写入请求会返回一个异常。

number_of_nodes:节点数量,包括master、data、client节点
number_of_data_nodes:data节点数量
active_primary_shards:活跃的主分片数目
active_shards:活跃的分片数,包括主、从索引的分片

2.监测节点资源占用 查看集群成员列表以及所占用资源情况

curl -u elastic:"$ES_P" -X GET  'http://aminglinux01:9200/_cat/nodes?v'

../../_images/111.png

3.监测搜索效率

curl -u elastic:"$ES_P" -X GET  'http://localhost:9200/kibana_sample_data_logs/_stats?pretty'

找到search那一段

../../_images/121.png

说明:

query_current:集群当前正在处理的查询计数。
fetch_current:集群中正在进⾏的fetch计数。
query_total:集群处理的所有查询的聚合数。
query_time_in_millis:所有查询消耗的总时间(以毫秒为单位)。
fetch_total:集群处理的所有fetch的聚合数。
fetch_time_in_millis:所有fetch消耗的总时间(以毫秒为单位)。

4.监测节点性能指标 监视⽂档的索引速率(indexing rate)和合并时间(merge time)有助于在开始影响集群性能之前提前识别异常和相关问题。将这些指标与每个节点的运⾏状况并⾏考虑,这些指标为系统内的潜在问题提供重要线索,为性能优化提供重要参考。

可以通过GET /_nodes/stats获取索引性能指标,并可以在节点,索引或分⽚级别进⾏汇总。

curl -u elastic:"$ES_P" -X GET  'http://localhost:9200/_nodes/stats?pretty'

../../_images/131.png

说明:

refresh.total:刷新总数的计数。
refresh.total_time_in_millis:刷新总时间,汇总所有花在刷新的时间(以毫秒为单位进⾏测量)。
merges.current_docs:合并⽬前正在处理中的文档数。
merges.total_docs:合并总文档数的计数。
merges.total_time_in_millis:合并花费的总时间。

5.监测节点JVM运行状况 JVM在其堆分配中管理其内存,并通过GC(garbage collection)进⾏垃圾回收处理。

JVM内存分配给不同的内存池(young old survivor)。需要密切注意这些池中的每个池,以确保它们得到充分利⽤并且没有被超限利⽤的⻛险。 垃圾收集器(GC)很像物理垃圾收集服务。我们希望让它定期运⾏,并确保系统不会让它过载。

可以通过GET /_nodes/stats 命令检索JVM度量标准。

curl -u elastic:"$ES_P" -X GET  'http://localhost:9200/_nodes/stats?pretty'

../../_images/141.png