OpenStack Folsom에서의 Quantum 문제

이번 글에서는 아직 해결하지 못한 삽질 중인 문제에 대해 적어보려고 합니다. OpenStack Folsom 이 Release 된지 이제 한달정도가 지났습니다. 그래서, 저도 Folsom에 이번에는 Quantum까지 함께를 설치를 하기로 결정했습니다. 그런데, Host Server에서 Ping이 되질 않더군요~!!! 그래서, Floating IP를 할당해 보자. 하고 시도했더니 그것마저 아니 되네요~!! 

그래서 그 문제를 에러로그만 보여줄 것이 아니라, 전반적인 상황을 그림과 함께 보여주면 어떨까 하는 생각을 했습니다. 그리고, 테스트를 하거나, 설치를 하려고 시도하시는 분들~ 왜 나만 안되지가 아니라 재도 안되네... 하고 공유할 수 있는 계기가 되지 않을까 하는 마음으로 지금부터 글을 적어보고자 합니다. 함께 고민해 주세요~!!!!

우선, 설치과정은 제외를 했습니다. 그리고, 네트워크와 인스턴스를 생성했다는 전제조건으로 그 다음과정부터 적어보도록 하겠습니다. 

---

우선, 나는 아래 그림처럼 Instance를 하나 생성하였다.

이번에는 VNC 접속을 해 보았다. 잘 된다.

 

여기까지는 정말 아무 문제없이 잘 진행이 되었다. 그래서 계속 잘 될 줄 알았다. 그런데, 문제는 지금부터가 문제이다

지금 내가 생성한 Instance에 ssh로 접속을 해 볼 것이다. 호스트 서버에 접속을 해서 ping을 먼저 날려본다. Operation not permitted란다. 그럼 ssh도 안 된다. Ping이 안 나가므로…

# ping 192.168.0.3 PING 192.168.0.3 (192.168.0.3) 56(84) bytes of data. ping: sendmsg: Operation not permitted ping: sendmsg: Operation not permitted ping: sendmsg: Operation not permitted ping: sendmsg: Operation not permitted ping: sendmsg: Operation not permitted ^C --- 192.168.0.3 ping statistics --- 5 packets transmitted, 0 received, 100% packet loss, time 3999ms

 

그럼 인스턴스 생성은 잘 되었을까? Ifconfig로  확인해 보자. 현재 이 PC에는 qbr 로 시작하는 가상 라우터가 2개가 생성이 되어 있으며, qvb로 시작되는 가상 브릿지가 2개, 가상 인스턴스와 연결되는 qvo로 시작하는 가상 네트워크가 2개가 있다. 그리고, vnet이라고 하는 가상 인스턴스도 생성이 되어 있다.

# ifconfig br-ex     Link encap:Ethernet  HWaddr 76:fe:a6:96:6a:48            inet addr:172.24.4.225  Bcast:0.0.0.0  Mask:255.255.255.240           inet6 addr: fe80::74fe:a6ff:fe96:6a48/64 Scope:Link           UP BROADCAST RUNNING PROMISC MULTICAST  MTU:1500  Metric:1           RX packets:58 errors:0 dropped:0 overruns:0 frame:0           TX packets:61 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:0           RX bytes:4873 (4.8 KB)  TX bytes:5367 (5.3 KB)   eth0      Link encap:Ethernet  HWaddr fa:16:3e:10:08:4f            inet addr:10.4.128.15  Bcast:10.4.143.255  Mask:255.255.240.0           inet6 addr: fe80::f816:3eff:fe10:84f/64 Scope:Link           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1           RX packets:1224007 errors:0 dropped:3601 overruns:0 frame:0           TX packets:719060 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:1000           RX bytes:545013699 (545.0 MB)  TX bytes:56369645 (56.3 MB)           Interrupt:11 Base address:0xa000   lo        Link encap:Local Loopback            inet addr:127.0.0.1  Mask:255.0.0.0           inet6 addr: ::1/128 Scope:Host           UP LOOPBACK RUNNING  MTU:16436  Metric:1           RX packets:1772357 errors:0 dropped:0 overruns:0 frame:0           TX packets:1772357 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:0           RX bytes:1336393813 (1.3 GB)  TX bytes:1336393813 (1.3 GB)   qbr8f514403-0c Link encap:Ethernet  HWaddr de:a2:4b:f2:25:56            inet6 addr: fe80::dc94:ebff:fe68:ea07/64 Scope:Link           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1           RX packets:132 errors:0 dropped:0 overruns:0 frame:0           TX packets:12 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:0           RX bytes:7612 (7.6 KB)  TX bytes:984 (984.0 B)   qbre932b629-3d Link encap:Ethernet  HWaddr b2:74:92:a7:e8:97            inet6 addr: fe80::d814:1dff:fe46:78c8/64 Scope:Link           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1           RX packets:1326 errors:0 dropped:0 overruns:0 frame:0           TX packets:640 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:0           RX bytes:406164 (406.1 KB)  TX bytes:54992 (54.9 KB)   qvb8f514403-0c Link encap:Ethernet  HWaddr de:a2:4b:f2:25:56            inet6 addr: fe80::dca2:4bff:fef2:2556/64 Scope:Link           UP BROADCAST RUNNING PROMISC MULTICAST  MTU:1500  Metric:1           RX packets:43 errors:0 dropped:0 overruns:0 frame:0           TX packets:180 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:1000           RX bytes:6739 (6.7 KB)  TX bytes:16139 (16.1 KB)   qvbe932b629-3d Link encap:Ethernet  HWaddr b2:74:92:a7:e8:97            inet6 addr: fe80::b074:92ff:fea7:e897/64 Scope:Link           UP BROADCAST RUNNING PROMISC MULTICAST  MTU:1500  Metric:1           RX packets:3981 errors:0 dropped:0 overruns:0 frame:0           TX packets:5305 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:1000           RX bytes:644013 (644.0 KB)  TX bytes:1079173 (1.0 MB)   qvo8f514403-0c Link encap:Ethernet  HWaddr 16:bb:6d:b6:28:b1            inet6 addr: fe80::14bb:6dff:feb6:28b1/64 Scope:Link           UP BROADCAST RUNNING PROMISC MULTICAST  MTU:1500  Metric:1           RX packets:180 errors:0 dropped:0 overruns:0 frame:0           TX packets:43 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:1000           RX bytes:16139 (16.1 KB)  TX bytes:6739 (6.7 KB)   qvoe932b629-3d Link encap:Ethernet  HWaddr 8e:6f:45:a2:c7:b0            inet6 addr: fe80::8c6f:45ff:fea2:c7b0/64 Scope:Link           UP BROADCAST RUNNING PROMISC MULTICAST  MTU:1500  Metric:1           RX packets:5305 errors:0 dropped:0 overruns:0 frame:0           TX packets:3981 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:1000           RX bytes:1079173 (1.0 MB)  TX bytes:644013 (644.0 KB)   virbr0    Link encap:Ethernet  HWaddr 32:de:0e:64:d7:39            inet addr:192.168.122.1  Bcast:192.168.122.255  Mask:255.255.255.0           UP BROADCAST MULTICAST  MTU:1500  Metric:1           RX packets:0 errors:0 dropped:0 overruns:0 frame:0           TX packets:0 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:0           RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)   vnet0     Link encap:Ethernet  HWaddr fe:16:3e:cd:b9:90            inet6 addr: fe80::fc16:3eff:fecd:b990/64 Scope:Link           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1           RX packets:4659 errors:0 dropped:0 overruns:0 frame:0           TX packets:5308 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:500           RX bytes:1049117 (1.0 MB)  TX bytes:1043423 (1.0 MB)   vnet1     Link encap:Ethernet  HWaddr fe:16:3e:f8:b3:48            inet6 addr: fe80::fc16:3eff:fef8:b348/64 Scope:Link           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1           RX packets:162 errors:0 dropped:0 overruns:0 frame:0           TX packets:184 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:500           RX bytes:14971 (14.9 KB)  TX bytes:16677 (16.6 KB)

 

과연 어떤 문제 때문에 ping이 안 나가는 걸까? 궁금증을 뒤로 하고 또 다른 문제 발견~!!

그럼 해당 IP에 Floating IP를 줘 보자. 라는 생각이 문득 들어 Access & Security 메뉴로 이동~!! Floating IP를 하나 할당 받는다.

이번에는 할당받은 Floating IP를 인스턴스에 associate 해보자.

방금 생성한 인스턴스를 선택하고 Associate 버튼 클릭~!! 헉~ 아래와 같은 문구를 보여주고서는 할당 실패~!!

그래서 안되는가 보다하고 할당 받은 IP를 다시 Release하기로 결정~!! IP 선택하고 Release Floating IPs 클릭~!!

오 마이 갓~!! 아래와 같은 에러 메시지를 출력하고 죽어 버렸다.

더 이상한거 방금 할당 받은 Floating IP로는 ping이 아주 잘 나간다는 사실.. 왜 Instance에 할당이 되질 않는걸까?

# ping 174.24.4.228 PING 174.24.4.228 (174.24.4.228) 56(84) bytes of data. 64 bytes from 174.24.4.228: icmp_req=1 ttl=238 time=204 ms 64 bytes from 174.24.4.228: icmp_req=2 ttl=238 time=203 ms 64 bytes from 174.24.4.228: icmp_req=3 ttl=238 time=204 ms 64 bytes from 174.24.4.228: icmp_req=4 ttl=238 time=204 ms ^C --- 174.24.4.228 ping statistics --- 4 packets transmitted, 4 received, 0% packet loss, time 3003ms rtt min/avg/max/mdev = 203.758/204.273/204.779/0.492 ms

 

아직까지는 Dashboard가 불안정하니, 그래서 이번에는 CLI 명령어로 직접 할당해 보기로 함.

우선 Quantum 명령어를 이용하여 port-list와 floatingip-list 확인

# quantum port-list +--------------------------------------+------+-------------------+------------------------------------------------------------------------------------+ | id                                   | name | mac_address       | fixed_ips                                                                          | +--------------------------------------+------+-------------------+------------------------------------------------------------------------------------+ | 152ee4eb-0bd6-4c58-ae82-868f91029ee8 |      | fa:16:3e:59:85:22 | {"subnet_id": "10f0d4ee-5077-45e3-9156-f97529120bbf", "ip_address": "192.168.0.2"} | | 8f514403-0cdd-4391-bff2-7ce408b26655 |      | fa:16:3e:f8:b3:48 | {"subnet_id": "10f0d4ee-5077-45e3-9156-f97529120bbf", "ip_address": "192.168.0.3"} | +--------------------------------------+------+-------------------+------------------------------------------------------------------------------------+ # quantum floatingip-list +--------------------------------------+------------------+---------------------+---------+ | id                                   | fixed_ip_address | floating_ip_address | port_id | +--------------------------------------+------------------+---------------------+---------+ | 7dafbf72-20ba-4a0a-90f8-d35d1a428adb |                  | 172.24.4.228        |         | +--------------------------------------+------------------+---------------------+---------+

 

잘 할당이 되어 있다. 그럼, 인스턴스와 연결을 해보자. 공식은 다음과 같다.

floatingip-associate [floatingip ID] [port ID]

# quantum floatingip-associate 7dafbf72-20ba-4a0a-90f8-d35d1a428adb 8f514403-0cdd-4391-bff2-7ce408b26655 Could not find an external network gateway reachable from subnet 10f0d4ee-5077-45e3-9156-f97529120bbf.  Therefore, cannot associate Port 8f514403-0cdd-4391-bff2-7ce408b26655 with a Floating IP.

역시 위와 같은 에러 메시지를 보여주고서는 할당이 안 된다. 멘붕상태…돌입..

 

이와 같은 문제를 접하고서 계속 인터넷과 커뮤니티의 소소 몇몇 회원들을 괴롭혔다. 그런데 특정 에러 메시지로는 이런 현상을 설명하기에는 역 부족 이였다. 그래서 문서로 작성하기로 했다. 그림과 함께 작성하면 좀 더 이해하기 쉽지 않을까?

분명히 다른 사람들도 이런 경험을 했으리라 생각한다. 네트워크에 대해 아주 잘 아는 사람들이 있다면 누가 좀 도와주기를 간절히 희망해 본다.