OpenStack2012.11.15 18:08

이번 글에서는 아직 해결하지 못한 삽질 중인 문제에 대해 적어보려고 합니다. OpenStack Folsom 이 Release 된지 이제 한달정도가 지났습니다. 그래서, 저도 Folsom에 이번에는 Quantum까지 함께를 설치를 하기로 결정했습니다. 그런데, Host Server에서 Ping이 되질 않더군요~!!! 그래서, Floating IP를 할당해 보자. 하고 시도했더니 그것마저 아니 되네요~!! 


그래서 그 문제를 에러로그만 보여줄 것이 아니라, 전반적인 상황을 그림과 함께 보여주면 어떨까 하는 생각을 했습니다. 그리고, 테스트를 하거나, 설치를 하려고 시도하시는 분들~ 왜 나만 안되지가 아니라 재도 안되네... 하고 공유할 수 있는 계기가 되지 않을까 하는 마음으로 지금부터 글을 적어보고자 합니다. 함께 고민해 주세요~!!!!


우선, 설치과정은 제외를 했습니다. 그리고, 네트워크와 인스턴스를 생성했다는 전제조건으로 그 다음과정부터 적어보도록 하겠습니다. 




우선, 나는 아래 그림처럼 Instance를 하나 생성하였다.


이번에는 VNC 접속을 해 보았다. 잘 된다.


 

여기까지는 정말 아무 문제없이 잘 진행이 되었다. 그래서 계속 잘 될 줄 알았다. 그런데, 문제는 지금부터가 문제이다

지금 내가 생성한 Instance ssh로 접속을 해 볼 것이다. 호스트 서버에 접속을 해서 ping을 먼저 날려본다. Operation not permitted란다. 그럼 ssh도 안 된다. Ping이 안 나가므로

# ping 192.168.0.3

PING 192.168.0.3 (192.168.0.3) 56(84) bytes of data.

ping: sendmsg: Operation not permitted

ping: sendmsg: Operation not permitted

ping: sendmsg: Operation not permitted

ping: sendmsg: Operation not permitted

ping: sendmsg: Operation not permitted

^C

--- 192.168.0.3 ping statistics ---

5 packets transmitted, 0 received, 100% packet loss, time 3999ms

 


그럼 인스턴스 생성은 잘 되었을까? Ifconfig  확인해 보자. 현재 이 PC에는 qbr 로 시작하는 가상 라우터가 2개가 생성이 되어 있으며, qvb로 시작되는 가상 브릿지가 2, 가상 인스턴스와 연결되는 qvo로 시작하는 가상 네트워크가 2개가 있다. 그리고, vnet이라고 하는 가상 인스턴스도 생성이 되어 있다.

# ifconfig

br-ex     Link encap:Ethernet  HWaddr 76:fe:a6:96:6a:48 

          inet addr:172.24.4.225  Bcast:0.0.0.0  Mask:255.255.255.240

          inet6 addr: fe80::74fe:a6ff:fe96:6a48/64 Scope:Link

          UP BROADCAST RUNNING PROMISC MULTICAST  MTU:1500  Metric:1

          RX packets:58 errors:0 dropped:0 overruns:0 frame:0

          TX packets:61 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0

          RX bytes:4873 (4.8 KB)  TX bytes:5367 (5.3 KB)

 

eth0      Link encap:Ethernet  HWaddr fa:16:3e:10:08:4f 

          inet addr:10.4.128.15  Bcast:10.4.143.255  Mask:255.255.240.0

          inet6 addr: fe80::f816:3eff:fe10:84f/64 Scope:Link

          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1

          RX packets:1224007 errors:0 dropped:3601 overruns:0 frame:0

          TX packets:719060 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000

          RX bytes:545013699 (545.0 MB)  TX bytes:56369645 (56.3 MB)

          Interrupt:11 Base address:0xa000

 

lo        Link encap:Local Loopback 

          inet addr:127.0.0.1  Mask:255.0.0.0

          inet6 addr: ::1/128 Scope:Host

          UP LOOPBACK RUNNING  MTU:16436  Metric:1

          RX packets:1772357 errors:0 dropped:0 overruns:0 frame:0

          TX packets:1772357 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0

          RX bytes:1336393813 (1.3 GB)  TX bytes:1336393813 (1.3 GB)

 

qbr8f514403-0c Link encap:Ethernet  HWaddr de:a2:4b:f2:25:56 

          inet6 addr: fe80::dc94:ebff:fe68:ea07/64 Scope:Link

          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1

          RX packets:132 errors:0 dropped:0 overruns:0 frame:0

          TX packets:12 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0

          RX bytes:7612 (7.6 KB)  TX bytes:984 (984.0 B)

 

qbre932b629-3d Link encap:Ethernet  HWaddr b2:74:92:a7:e8:97 

          inet6 addr: fe80::d814:1dff:fe46:78c8/64 Scope:Link

          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1

          RX packets:1326 errors:0 dropped:0 overruns:0 frame:0

          TX packets:640 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0

          RX bytes:406164 (406.1 KB)  TX bytes:54992 (54.9 KB)

 

qvb8f514403-0c Link encap:Ethernet  HWaddr de:a2:4b:f2:25:56 

          inet6 addr: fe80::dca2:4bff:fef2:2556/64 Scope:Link

          UP BROADCAST RUNNING PROMISC MULTICAST  MTU:1500  Metric:1

          RX packets:43 errors:0 dropped:0 overruns:0 frame:0

          TX packets:180 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000

          RX bytes:6739 (6.7 KB)  TX bytes:16139 (16.1 KB)

 

qvbe932b629-3d Link encap:Ethernet  HWaddr b2:74:92:a7:e8:97 

          inet6 addr: fe80::b074:92ff:fea7:e897/64 Scope:Link

          UP BROADCAST RUNNING PROMISC MULTICAST  MTU:1500  Metric:1

          RX packets:3981 errors:0 dropped:0 overruns:0 frame:0

          TX packets:5305 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000

          RX bytes:644013 (644.0 KB)  TX bytes:1079173 (1.0 MB)

 

qvo8f514403-0c Link encap:Ethernet  HWaddr 16:bb:6d:b6:28:b1 

          inet6 addr: fe80::14bb:6dff:feb6:28b1/64 Scope:Link

          UP BROADCAST RUNNING PROMISC MULTICAST  MTU:1500  Metric:1

          RX packets:180 errors:0 dropped:0 overruns:0 frame:0

          TX packets:43 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000

          RX bytes:16139 (16.1 KB)  TX bytes:6739 (6.7 KB)

 

qvoe932b629-3d Link encap:Ethernet  HWaddr 8e:6f:45:a2:c7:b0 

          inet6 addr: fe80::8c6f:45ff:fea2:c7b0/64 Scope:Link

          UP BROADCAST RUNNING PROMISC MULTICAST  MTU:1500  Metric:1

          RX packets:5305 errors:0 dropped:0 overruns:0 frame:0

          TX packets:3981 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000

          RX bytes:1079173 (1.0 MB)  TX bytes:644013 (644.0 KB)

 

virbr0    Link encap:Ethernet  HWaddr 32:de:0e:64:d7:39 

          inet addr:192.168.122.1  Bcast:192.168.122.255  Mask:255.255.255.0

          UP BROADCAST MULTICAST  MTU:1500  Metric:1

          RX packets:0 errors:0 dropped:0 overruns:0 frame:0

          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0

          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)

 

vnet0     Link encap:Ethernet  HWaddr fe:16:3e:cd:b9:90 

          inet6 addr: fe80::fc16:3eff:fecd:b990/64 Scope:Link

          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1

          RX packets:4659 errors:0 dropped:0 overruns:0 frame:0

          TX packets:5308 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:500

          RX bytes:1049117 (1.0 MB)  TX bytes:1043423 (1.0 MB)

 

vnet1     Link encap:Ethernet  HWaddr fe:16:3e:f8:b3:48 

          inet6 addr: fe80::fc16:3eff:fef8:b348/64 Scope:Link

          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1

          RX packets:162 errors:0 dropped:0 overruns:0 frame:0

          TX packets:184 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:500

          RX bytes:14971 (14.9 KB)  TX bytes:16677 (16.6 KB)

 


과연 어떤 문제 때문에 ping이 안 나가는 걸까? 궁금증을 뒤로 하고 또 다른 문제 발견~!!

그럼 해당 IP Floating IP를 줘 보자. 라는 생각이 문득 들어 Access & Security 메뉴로 이동~!! Floating IP를 하나 할당 받는다.



이번에는 할당받은 Floating IP를 인스턴스에 associate 해보자.


방금 생성한 인스턴스를 선택하고 Associate 버튼 클릭~!! ~ 아래와 같은 문구를 보여주고서는 할당 실패~!!


그래서 안되는가 보다하고 할당 받은 IP를 다시 Release하기로 결정~!! IP 선택하고 Release Floating IPs 클릭~!!


오 마이 갓~!! 아래와 같은 에러 메시지를 출력하고 죽어 버렸다.



더 이상한거 방금 할당 받은 Floating IP로는 ping이 아주 잘 나간다는 사실.. Instance에 할당이 되질 않는걸까?

# ping 174.24.4.228

PING 174.24.4.228 (174.24.4.228) 56(84) bytes of data.

64 bytes from 174.24.4.228: icmp_req=1 ttl=238 time=204 ms

64 bytes from 174.24.4.228: icmp_req=2 ttl=238 time=203 ms

64 bytes from 174.24.4.228: icmp_req=3 ttl=238 time=204 ms

64 bytes from 174.24.4.228: icmp_req=4 ttl=238 time=204 ms

^C

--- 174.24.4.228 ping statistics ---

4 packets transmitted, 4 received, 0% packet loss, time 3003ms

rtt min/avg/max/mdev = 203.758/204.273/204.779/0.492 ms

 


아직까지는 Dashboard가 불안정하니, 그래서 이번에는 CLI 명령어로 직접 할당해 보기로 함.

우선 Quantum 명령어를 이용하여 port-list floatingip-list 확인

# quantum port-list

+--------------------------------------+------+-------------------+------------------------------------------------------------------------------------+

| id                                   | name | mac_address       | fixed_ips                                                                          |

+--------------------------------------+------+-------------------+------------------------------------------------------------------------------------+

| 152ee4eb-0bd6-4c58-ae82-868f91029ee8 |      | fa:16:3e:59:85:22 | {"subnet_id": "10f0d4ee-5077-45e3-9156-f97529120bbf", "ip_address": "192.168.0.2"} |

| 8f514403-0cdd-4391-bff2-7ce408b26655 |      | fa:16:3e:f8:b3:48 | {"subnet_id": "10f0d4ee-5077-45e3-9156-f97529120bbf", "ip_address": "192.168.0.3"} |

+--------------------------------------+------+-------------------+------------------------------------------------------------------------------------+

# quantum floatingip-list

+--------------------------------------+------------------+---------------------+---------+

| id                                   | fixed_ip_address | floating_ip_address | port_id |

+--------------------------------------+------------------+---------------------+---------+

| 7dafbf72-20ba-4a0a-90f8-d35d1a428adb |                  | 172.24.4.228        |         |

+--------------------------------------+------------------+---------------------+---------+

 


잘 할당이 되어 있다. 그럼, 인스턴스와 연결을 해보자. 공식은 다음과 같다.

floatingip-associate [floatingip ID] [port ID]

# quantum floatingip-associate 7dafbf72-20ba-4a0a-90f8-d35d1a428adb 8f514403-0cdd-4391-bff2-7ce408b26655

Could not find an external network gateway reachable from subnet 10f0d4ee-5077-45e3-9156-f97529120bbf.  Therefore, cannot associate Port 8f514403-0cdd-4391-bff2-7ce408b26655 with a Floating IP.

역시 위와 같은 에러 메시지를 보여주고서는 할당이 안 된다. 멘붕상태돌입..

 


이와 같은 문제를 접하고서 계속 인터넷과 커뮤니티의 소소 몇몇 회원들을 괴롭혔다. 그런데 특정 에러 메시지로는 이런 현상을 설명하기에는 역 부족 이였다. 그래서 문서로 작성하기로 했다. 그림과 함께 작성하면 좀 더 이해하기 쉽지 않을까?

분명히 다른 사람들도 이런 경험을 했으리라 생각한다. 네트워크에 대해 아주 잘 아는 사람들이 있다면 누가 좀 도와주기를 간절히 희망해 본다.


Posted by 나리 짱!!! naleejang