基於多網卡環境下Eureka服務註冊IP的選擇問題

Posted on by

多網卡環境下Eureka服務註冊IP選擇

問題場景

服務器上分別配置瞭eth0和eth1兩塊網卡，隻有eth1的地址可供其它機器訪問，在這種情況下，服務註冊時Eureka Client會自動選擇eth0作為服務ip, 導致其它服務無法調用。

問題原因

由於官方並沒有寫明Eureka Client探測本機IP的邏輯，所以隻能翻閱源代碼。Eureka Client的源碼在eureka-client模塊下，com.netflix.appinfo包下的InstanceInfo類封裝瞭本機信息，其中就包括瞭IP地址。在

Spring Cloud 環境下，Eureka Client並沒有自己實現探測本機IP的邏輯，而是交給Spring的InetUtils工具類的findFirstNonLoopbackAddress()方法完成的：

public InetAddress findFirstNonLoopbackAddress() {
        InetAddress result = null;
        try {
            // 記錄網卡最小索引
            int lowest = Integer.MAX_VALUE;
            // 獲取所有網卡
            for (Enumeration<NetworkInterface> nics = NetworkInterface
                    .getNetworkInterfaces(); nics.hasMoreElements();) {
                NetworkInterface ifc = nics.nextElement();
                if (ifc.isUp()) {
                    log.trace("Testing interface: " + ifc.getDisplayName());
                    if (ifc.getIndex() < lowest || result == null) {
                        lowest = ifc.getIndex(); // 記錄索引
                    }
                    else if (result != null) {
                        continue;
                    }
 
                    // @formatter:off
                    if (!ignoreInterface(ifc.getDisplayName())) { // 是否是被忽略的網卡
                        for (Enumeration<InetAddress> addrs = ifc
                                .getInetAddresses(); addrs.hasMoreElements();) {
                            InetAddress address = addrs.nextElement();
                            if (address instanceof Inet4Address
                                    && !address.isLoopbackAddress()
                                    && !ignoreAddress(address)) {
                                log.trace("Found non-loopback interface: "
                                        + ifc.getDisplayName());
                                result = address;
                            }
                        }
                    }
                    // @formatter:on
                }
            }
        }
        catch (IOException ex) {
            log.error("Cannot get first non-loopback address", ex);
        }
 
        if (result != null) {
            return result;
        }
 
        try {
            return InetAddress.getLocalHost(); // 如果以上邏輯都沒有找到合適的網卡，則使用JDK的InetAddress.getLocalhost()
        }
        catch (UnknownHostException e) {
            log.warn("Unable to retrieve localhost");
        } 
        return null;
    }

通過源碼可以看出，該工具類會獲取所有網卡，依次進行遍歷，取ip地址合理、索引值最小、已經啟動且不在忽略列表的網卡的ip地址作為結果。如果仍然沒有找到合適的IP, 那麼就將InetAddress.getLocalHost()做為最後的fallback方案。

解決方案

A.忽略指定網卡

spring.cloud.inetutils.gnored-interfaces[0]=eth0 # 忽略eth0, 支持正則表達式

因通過配置application.properties讓應用忽略無效的網卡。

B.配置host

當網查遍歷邏輯都沒有找到合適ip時會走JDK的InetAddress.getLocalHost()。該方法會返回當前主機的hostname, 然後會根據hostname解析出對應的ip。因此第二種方案就是配置本機的hostname和/etc/hosts文件，直接將本機的主機名映射到有效IP地址。

C.手工指定IP

# 指定此實例的ip
eureka.instance.ip-address=
# 註冊時使用ip而不是主機名
eureka.instance.prefer-ip-address=true

D.啟動時指定IP

java -jar -Dspring.cloud.inetutils.preferred-networks=192.168.20.123

E.禁用eth0

查看網卡的連接信息

[root@localhost ~]# nmcli con sh
NAME         UUID                                  TYPE            DEVICE 
System eth0  5fb06bd0-0bb0-7ffb-45f1-d6edd65f3e03  802-3-ethernet  eth0   

禁用eth0

[root@localhost ~]# ifdown eth0
Device 'eth0' successfully disconnected.

啟用eth0

[root@localhost ~]# ifup eth0

Eureka中使用IP註冊服務

在將微服務放入docker部署在多個雲服務器上的時候，發現eureka裡顯示的是機器名，然後弄瞭個spring boot admin監控平臺，發現它就找不到各個微服務對應的主機瞭。

在網上查得eureka.instance.prefer-ip-address=true，使用這條配置eureka裡顯示的就是ip地址瞭，但是依然不夠的，在監控平臺裡面還是連接不上。

還需要配置instance-和hostname才能使客戶端訪問到實例

效果應該是這樣，點擊ip後能訪問到相應內容

eureka服務端配置

server.port=8666
spring.application.name=eureka-server
#服務註冊中心實例的主機名
eureka.instance.hostname=xxx.xxx.xxx.67
#留存的服務示例低於多少比例進入保護模式
eureka.server.renewal-percent-threshold=0.5
#是否開啟保護模式
eureka.server.enable-self-preservation=true
#是否向服務註冊中心註冊自己
eureka.client.register-with-eureka=false
#是否啟用獲取服務註冊信息,因為這是一個單點的Eureka Server，不需要同步其他的Eureka Server節點的數據，故而設為false
eureka.client.fetch-registry=false
#註冊和查詢都需要依賴該地址，多個以逗號分隔
eureka.client.serviceUrl.defaultZone=http://admin:[email protected]:8666/eureka/
#使用ip替代實例名
eureka.instance.prefer-ip-address=true
#設置實例的ID為ip:port
eureka.instance.instance-id=xxx.xxx.xxx.67:${server.port}
#這裡使用spring security對註冊中心做一個基礎的用戶名密碼登錄
security.basic.enabled=true
security.user.name=admin
security.user.password=password

註意到：

eureka.instance.hostname=xxx.xxx.xxx.67
eureka.instance.instance-id=xxx.xxx.xxx.67:${server.port}

這裡我直接手工指定瞭ip，而不是通過${spring.cloud.client.ipAddress}來獲取本機的ip，因為使用docker後，發現獲取的ip是docker0這張網卡上分配的ip，以172.16.xxx.xxx開頭的ip，要使docker綁定外網ip網上也有很多資料，這裡先簡化操作，就直接手工指定ip瞭哈。。

客戶端配置

eureka.client.service-url.defaultZone=http://admin:[email protected]:8666/eureka/
eureka.instance.lease-renewal-interval-in-seconds=5
eureka.instance.lease-expiration-duration-in-seconds=10
eureka.client.healthcheck.enable=true
eureka.instance.hostname=xxx.xxx.xxx.67
#設置實例的ID為ip:port
eureka.instance.instance-id=xxx.xxx.xxx.67:${server.port}

註意客戶端也要寫上eureka.instance.instance-id和eureka.instance.hostname

這樣在eureka上就顯示的是ip地址瞭

要使spring boot admin正常工作，還需在spring boot admin上配置

admin服務端配置

spring.application.name=admin-monitor
server.port=7001
#為瞭安全，以後可以把管理端口設置一下
#management.port=7002
#現在測試環境就關閉瞭身份認證，真實環境還是需要它的
management.security.enabled=false

客戶端配置

#關閉身份認證，以免發生401錯誤
management.security.enabled=false
#admin監控配置，連接到服務端
spring.boot.admin.url=http://xxx.xxx.xxx.96:7001
#在spring boot admin裡以ip的形式註冊顯示
spring.boot.admin.client.prefer-ip=true

這裡比較關鍵的一步就是在客戶端裡配置spring.boot.admin.client.prefer-ip=true，這樣spring boot admin就能通過ip來訪問各個微服務端點，然後收集它們的信息，從而來監控各個微服務瞭

以上為個人經驗，希望能給大傢一個參考，也希望大傢多多支持WalkonNet。

推薦閱讀：