ElasticSearch學習之Es集群Api操作示例

Posted on by

前言

該系列默認開啟Nacos 服務,還不會搭建的小夥伴可以參考往期文章~

上文，我們帶大傢利用docker來快速搭建Es集群，如果還不會搭建的小夥伴，可以閱讀上文，參考我的部署方式。

本期我們重點圍繞es本身來給大傢作一些講解以及實戰。雖然市面上已經有一些成熟的ORM框架可以很好的根springboot整合，我們隻要調調方法就好瞭,但是對於我們初學來講，不是很友好，首先我們得弄清楚它到底是怎麼進行操作的。

舉個例子，哪天領導跟你講，現在幫我拉一批數據，半小時之後給我，你難不成回復等我開發完，上完線才能查到?而且這種可能隻是一次性的需求，顯然是不大行的。這時，如果你可以脫離框架，知道它的一些查詢語法，問題不就很快就解決瞭，也不用你開發再調試。

這裡主要想告訴大傢，學習新知識的時候，首先要弄清楚知識的本身，學習需要循序漸進，本節主要帶大傢學習Es集群Api操作，好瞭, 廢話不多說直接開整吧~

Es集群Api操作

在這之前，我們需要做一些準備工作，就是上一節最後的部分，我們運行好es集群服務後,打開kibana的控制臺,打開之後，我會帶著大傢一一操作。

_cat

它的作用是幫助開發者快速查詢Elasticsearch的相關信息,比如我現在想要直掛的瞭解es集群的狀態。

我們在控制臺輸入GET _cat，點擊運行按鈕,它會輸出它的全部路由,可以簡單的理解為它的所有調用方式

=^.^=
/_cat/allocation
/_cat/shards
/_cat/shards/{index}
/_cat/master
/_cat/nodes
/_cat/tasks
/_cat/indices
/_cat/indices/{index}
/_cat/segments
/_cat/segments/{index}
/_cat/count
/_cat/count/{index}
/_cat/recovery
/_cat/recovery/{index}
/_cat/health
/_cat/pending_tasks
/_cat/aliases
/_cat/aliases/{alias}
/_cat/thread_pool
/_cat/thread_pool/{thread_pools}
/_cat/plugins
/_cat/fielddata
/_cat/fielddata/{fields}
/_cat/nodeattrs
/_cat/repositories
/_cat/snapshots/{repository}
/_cat/templates

獲取當前集群主節點信息

語法:

GET /_cat/master

輸出:

_1g6ImOFQNqC1OBObqqnvw 172.19.0.3 172.19.0.3 es02

我們可以看到當前的一個主節點是es02,雖然信息是輸出瞭，但是看的好像不大清楚，因為沒有標題。下面給大傢介紹一個標題小技巧,後邊加上?v就可以看到標題瞭

GET /_cat/master?v

輸出:

id                     host       ip         node
_1g6ImOFQNqC1OBObqqnvw 172.19.0.3 172.19.0.3 es02

但是有的情況下，會有大量的標題，而我們隻想看到部分信息，怎麼辦?比如我指向看到ip,這麼做就可以瞭

GET /_cat/master?h=ip

輸出:

172.19.0.3

當然，我們也可以連帶標題

GET /_cat/master?h=ip&v

輸出：

ip
172.19.0.3

當然，我們在不清楚字段意思的時候，也可以尋求幫助

GET /_cat/master?help

id   |   | node id    
host | h | host name  
ip   |   | ip address 
node | n | node name

這種方法也適用其它的_cat查詢語句

獲取集群當中節點信息

語法:

GET /_cat/nodes?v

輸出：

ip         heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
172.19.0.3           20          73   0    0.02    0.05     0.15 dilm      *      es02
172.19.0.4           30          73   0    0.02    0.05     0.15 dilm      -      es03
172.19.0.2           27          73   0    0.02    0.05     0.15 dilm      -      es01

獲取集群健康信息

語法:

GET /_cat/health?v

輸出：

epoch      timestamp cluster    status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1669950213 03:03:33  es-cluster green           3         3      6   3    0    0        0             0                  -                100.0%

重點看一下status，輸出瞭一個green，說明它是健康狀態

獲取集群索引信息

GET _cat/indices?v

health status index                    uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   .kibana_task_manager_1   Kgl57A8fSDygmcJrnFm1pA   1   1          2            0     61.4kb         41.4kb
green  open   .apm-agent-configuration ozJ-wxmtSaSXhRjBkpYbrQ   1   1          0            0       566b           283b
green  open   .kibana_1                1CywDD-zSxGotJuIfPc_4w   1   1         15            6    146.1kb         66.8kb

可以看到一些默認的索引，以及它們的健康狀態，占用的磁盤大小等信息

獲取集群別名信息

GET _cat/aliases?v

alias                index                  filter routing.index routing.search is_write_index
.kibana              .kibana_1              -      -             -              -
.kibana_task_manager .kibana_task_manager_1 -      -             -              -

_cluster

用於通過restful的api形式進行集群信息的獲取和操作，與_cat類似，但是_cluster是基於json形式進行數據返回

查詢集群健康狀態

GET /_cluster/health

{
  "cluster_name" : "es-cluster",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 3,
  "number_of_data_nodes" : 3,
  "active_primary_shards" : 3,
  "active_shards" : 6,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

查詢集群統計信息

GET /_cluster/stats

會詳細列出當前集群總分片樹，總主分片數，副分片數，安裝的插件等集群所有統計信息,如果不明白分片是啥也沒關系，先學會使用，後邊會給大傢總結它的原理，因為這部分需要一些前置知識,我們先上手操作。

{
  "_nodes" : {
    "total" : 3,
    "successful" : 3,
    "failed" : 0
  },
  "cluster_name" : "es-cluster",
  "cluster_uuid" : "ardUAhdGQvKKJJxei8Hs8A",
  "timestamp" : 1669951414177,
  "status" : "green",
  "indices" : {
    "count" : 3,
    "shards" : {
      "total" : 6,
      "primaries" : 3,
      "replication" : 1.0,
      "index" : {
        "shards" : {
          "min" : 2,
          "max" : 2,
          "avg" : 2.0
        },
        "primaries" : {
          "min" : 1,
          "max" : 1,
          "avg" : 1.0
        },
        "replication" : {
          "min" : 1.0,
          "max" : 1.0,
          "avg" : 1.0
        }
      }
    },
    "docs" : {
      "count" : 22,
      "deleted" : 6
    },
    "store" : {
      "size_in_bytes" : 118135
    },
    "fielddata" : {
      "memory_size_in_bytes" : 1216,
      "evictions" : 0
    },
    "query_cache" : {
      "memory_size_in_bytes" : 0,
      "total_count" : 0,
      "hit_count" : 0,
      "miss_count" : 0,
      "cache_size" : 0,
      "cache_count" : 0,
      "evictions" : 0
    },
    "completion" : {
      "size_in_bytes" : 0
    },
    "segments" : {
      "count" : 11,
      "memory_in_bytes" : 23623,
      "terms_memory_in_bytes" : 16467,
      "stored_fields_memory_in_bytes" : 3432,
      "term_vectors_memory_in_bytes" : 0,
      "norms_memory_in_bytes" : 1152,
      "points_memory_in_bytes" : 0,
      "doc_values_memory_in_bytes" : 2572,
      "index_writer_memory_in_bytes" : 0,
      "version_map_memory_in_bytes" : 0,
      "fixed_bit_set_memory_in_bytes" : 528,
      "max_unsafe_auto_id_timestamp" : -1,
      "file_sizes" : { }
    }
  },
  "nodes" : {
    "count" : {
      "total" : 3,
      "coordinating_only" : 0,
      "data" : 3,
      "ingest" : 3,
      "master" : 3,
      "ml" : 3,
      "voting_only" : 0
    },
    "versions" : [
      "7.6.2"
    ],
    "os" : {
      "available_processors" : 48,
      "allocated_processors" : 48,
      "names" : [
        {
          "name" : "Linux",
          "count" : 3
        }
      ],
      "pretty_names" : [
        {
          "pretty_name" : "CentOS Linux 7 (Core)",
          "count" : 3
        }
      ],
      "mem" : {
        "total_in_bytes" : 24514228224,
        "free_in_bytes" : 6337855488,
        "used_in_bytes" : 18176372736,
        "free_percent" : 26,
        "used_percent" : 74
      }
    },
    "process" : {
      "cpu" : {
        "percent" : 0
      },
      "open_file_descriptors" : {
        "min" : 444,
        "max" : 458,
        "avg" : 449
      }
    },
    "jvm" : {
      "max_uptime_in_millis" : 2533693,
      "versions" : [
        {
          "version" : "13.0.2",
          "vm_name" : "OpenJDK 64-Bit Server VM",
          "vm_version" : "13.0.2+8",
          "vm_vendor" : "AdoptOpenJDK",
          "bundled_jdk" : true,
          "using_bundled_jdk" : true,
          "count" : 3
        }
      ],
      "mem" : {
        "heap_used_in_bytes" : 470693600,
        "heap_max_in_bytes" : 1556938752
      },
      "threads" : 396
    },
    "fs" : {
      "total_in_bytes" : 723860312064,
      "free_in_bytes" : 508481421312,
      "available_in_bytes" : 508481421312
    },
    "plugins" : [ ],
    "network_types" : {
      "transport_types" : {
        "security4" : 3
      },
      "http_types" : {
        "security4" : 3
      }
    },
    "discovery_types" : {
      "zen" : 3
    },
    "packaging_types" : [
      {
        "flavor" : "default",
        "type" : "docker",
        "count" : 3
      }
    ],
    "ingest" : {
      "number_of_pipelines" : 2,
      "processor_stats" : {
        "gsub" : {
          "count" : 0,
          "failed" : 0,
          "current" : 0,
          "time_in_millis" : 0
        },
        "script" : {
          "count" : 0,
          "failed" : 0,
          "current" : 0,
          "time_in_millis" : 0
        }
      }
    }
  }
}

查詢集群狀態

GET /_cluster/state

會列出當前集群所有節點信息，以及所有索引的setting和mapping。同樣的，json很大，數據也都很詳細

結束語

本節主要帶大傢體驗瞭一下它的api操作,重點帶大傢學習瞭集群相關的api，下一節帶大傢學習索引相關的api,這個部分大傢要仔細閱讀，因為都是重點，更多關於ElasticSearch Es集群Api操作的資料請關註WalkonNet其它相關文章！

推薦閱讀：