OpenVZ Forum: Russian » Openvz и Маршруты

Home » International » Russian » Openvz и Маршруты (Еще один топик про них..)

Show: Today's Messages :: Show Polls :: Message Navigator
E-mail to friend

Openvz и Маршруты [message #42499]

Fri, 22 April 2011 23:51

falcon92
Messages: 4
Registered: April 2011

Junior Member

Доброго времени суток.
Не выходит зафорвардить порт..

Столкнулся с проблемой.
Стоит Ubuntu Lucid (10.04.2 LTS)
Стоит 2.6.32.28-openvz
Стоит Openvz.
Имею Хардварную Ноду с внешним ip адресом (допустим $ExtIp).
Имею виртуальную машину, висящую по адресу 192.168.0.1
Имею 1 Хардварный интерфейс eth0 с $ExtIp
Имею интерфес venet0 (как понимаю интерфейс для openvz)

Виртульную машину выпускаю в интернет через на HardwNode
# iptables -t nat -A POSTROUTING -o eth1 -j MASQUERADE
Пинги на виртуалке проходят.

На виртуалке стоит apache на 80 порту. С Хардварной Ноды по адресу 192.168.0.101:80 заходит в апач нормально.
Не могу пробросить порт так, чтобы заходя по $ExtIp:80, заходило на 192.168.0.101:80
То есть нужно поднять несколько виртуалок, и пробросить им порты, допустим 3 виртуалки, 3 вебсервера, порты 80, 81, 82.
Заходим по $ExtIP:80 - попадаем на http 1ой виртуалки, Заходим по $ExtIP:81 - попадаем на http 2ой виртуалки, ...
Хоть убейте.. часа 3 прыгаю с бубном.

Пробовал так -
# iptables -t nat -A PREROUTING -p tcp -d $ExtIp --dport 80 -i eth0 -j DNAT --to-destination 192.168.0.1:80
# iptables -t nat -A POSTROUTING -s 192.168.0.1 -o eth0 -j SNAT --to $ExtIp

Сейчас заюзал скрипт wiki.openvz.org/Setting_up_an_iptables_firewall
Запускаю.
# service firewall start
Quote:

root@sysadmin:~# service firewall start
Starting firewall...
Firewall: Purging and allowing all traffic...success
Firewall: Setting default policies to DROP...success
Firewall: Allowing access to HN
port 53...success
port 80...success
port 443...success
port 8080...success
DMZ 12.34.56.78...success
DMZ $ExtIp...success
DMZ 127.0.0.1...success
DMZ localhost...success

Делаю вывод
# service firewall status
Выводит
Quote:

root@sysadmin:~# service firewall status
Chain INPUT (policy DROP)
target prot opt source destination
ACCEPT all -- 127.0.0.1 0.0.0.0/0
ACCEPT all -- 127.0.0.1 0.0.0.0/0
ACCEPT all -- $ExtIp 0.0.0.0/0
ACCEPT all -- 12.34.56.78 0.0.0.0/0
ACCEPT udp -- 192.168.0.0/24 $ExtIp udp dpt:8080
ACCEPT tcp -- 192.168.0.0/24 $ExtIp tcp dpt:8080
ACCEPT udp -- 192.168.0.0/24 $ExtIp udp dpt:443
ACCEPT tcp -- 192.168.0.0/24 $ExtIp tcp dpt:443
ACCEPT udp -- 192.168.0.0/24 $ExtIp udp dpt:80
ACCEPT tcp -- 192.168.0.0/24 $ExtIp tcp dpt:80
ACCEPT udp -- 192.168.0.0/24 $ExtIp udp dpt:53
ACCEPT tcp -- 192.168.0.0/24 $ExtIp tcp dpt:53
ACCEPT all -- 0.0.0.0/0 0.0.0.0/0
ACCEPT all -- 0.0.0.0/0 0.0.0.0/0 state RELATED,ESTABLISHED

Chain FORWARD (policy DROP)
target prot opt source destination
ACCEPT all -- 127.0.0.1 0.0.0.0/0
ACCEPT all -- 127.0.0.1 0.0.0.0/0
ACCEPT all -- $ExtIp 0.0.0.0/0
ACCEPT all -- 12.34.56.78 0.0.0.0/0
ACCEPT all -- 192.168.0.0/24 0.0.0.0/0
ACCEPT all -- 0.0.0.0/0 0.0.0.0/0 state RELATED,ESTABLISHED

Chain OUTPUT (policy ACCEPT)
target prot opt source destination

Ifconfig Ноды
Quote:

root@sysadmin:~# ifconfig
eth0 Link encap:Ethernet HWaddr 00:06:1b:cf:73:de
inet addr:84.*.*.226 Bcast:84.*.*.255 Mask:255.255.255.0
inet6 addr: fe80::206:1bff:fecf:73de/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:41397 errors:0 dropped:0 overruns:0 frame:0
TX packets:9918 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:11144167 (11.1 MB) TX bytes:1721965 (1.7 MB)

eth1 Link encap:Ethernet HWaddr 00:0c:f1:4b:0b:bf
UP BROADCAST MULTICAST MTU:1500 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
Interrupt:11 Base address:0x8000 Память:c0204000-c0204fff

lo Link encap:Локальная петля (Loopback)
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:3800 errors:0 dropped:0 overruns:0 frame:0
TX packets:3800 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:501298 (501.2 KB) TX bytes:501298 (501.2 KB)

venet0 Link encap:UNSPEC HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
UP BROADCAST POINTOPOINT RUNNING NOARP MTU:1500 Metric:1
RX packets:758 errors:0 dropped:0 overruns:0 frame:0
TX packets:1114 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:130952 (130.9 KB) TX bytes:130405 (130.4 KB)

Ifconfig виртуалки
Quote:

lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:6 errors:0 dropped:0 overruns:0 frame:0
TX packets:6 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:300 (300.0 B) TX bytes:300 (300.0 B)

venet0 Link encap:UNSPEC HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
UP BROADCAST POINTOPOINT RUNNING NOARP MTU:1500 Metric:1
RX packets:1114 errors:0 dropped:0 overruns:0 frame:0
TX packets:758 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:130405 (130.4 KB) TX bytes:130952 (130.9 KB)

venet0:0 Link encap:UNSPEC HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
inet addr:192.168.0.101 P-t-P:192.168.0.101 Bcast:0.0.0.0 Mask:255.255.255.255
UP BROADCAST POINTOPOINT RUNNING NOARP MTU:1500 Metric:1

Фейсы виртуалки.
Quote:

root@test:/# cat /etc/network/interfaces
# This configuration file is auto-generated.
# WARNING: Do not edit this file, your changes will be lost.
# Please create/edit /etc/network/interfaces.head and /etc/network/interfaces.tail instead,
# their contents will be inserted at the beginning and at the end
# of this file, respectively.
#
# NOTE: it is NOT guaranteed that the contents of /etc/network/interfaces.tail
# will be at the very end of this file.

# Auto generated lo interface
auto lo
iface lo inet loopback

# Auto generated venet0 interface
auto venet0
iface venet0 inet manual
up ifconfig venet0 up
up ifconfig venet0 0
up route add default dev venet0
down route del default dev venet0
down ifconfig venet0 down

auto venet0:0
iface venet0:0 inet static
address 192.168.0.101
netmask 255.255.255.255

Но по 127.0.0.1:80; $ExtIp:80 - Ошибка ;/
Всё пахать по идее должно ..
localhost - вводил для теста. Без него тоже не валит..
Запарился.
Кто Шаманит?
В чем проблема? Я туго шарю в айпитэйблах.. Но уже столько вариантов пропробовал.. Курсовик встал :/
Надеюсь более-менее понятно изложил свою мысль.

Report message to a moderator

Re: Openvz и Маршруты [message #42515 is a reply to message #42499]

Tue, 26 April 2011 05:12

sHaggY_caT
Messages: 144
Registered: August 2008
Location: Moscow, Russian Federatio...

Senior Member

Правила для используемого в production сервера:

iptables-save | grep pri.vate.ip.add
-A PREROUTING -d ext.ip.add.r -i eth0 -p tcp -m tcp --dport 143 -j DNAT --to-destination pri.vate.ip.add:143 
-A PREROUTING -d ext.ip.add.r -i eth0 -p tcp -m tcp --dport 25 -j DNAT --to-destination pri.vate.ip.add:25 
-A PREROUTING -d ext.ip.add.r -i eth0 -p tcp -m tcp --dport 220 -j DNAT --to-destination pri.vate.ip.add:220 
-A PREROUTING -d ext.ip.add.r -i eth0 -p tcp -m tcp --dport 993 -j DNAT --to-destination pri.vate.ip.add:993 
-A PREROUTING -d ext.ip.add.r -i eth0 -p tcp -m tcp --dport 585 -j DNAT --to-destination pri.vate.ip.add:585 
-A PREROUTING -d ext.ip.add.r -i eth0 -p tcp -m tcp --dport 110 -j DNAT --to-destination pri.vate.ip.add:110 
-A PREROUTING -d ext.ip.add.r -i eth0 -p tcp -m tcp --dport 995 -j DNAT --to-destination pri.vate.ip.add:995 
-A FORWARD -s pri.vate.ip.add -o eth0 -p tcp -m tcp --dport 25 -j ACCEPT 
-A FORWARD -s pri.vate.ip.add -o eth0 -p tcp -m tcp --dport 25 -j DROP 
-A FORWARD -s pri.vate.ip.add -d pri.vate2.ip.add -j ACCEPT 
-A FORWARD -s pri.vate2.ip.add -d pri.vate.ip.add -j ACCEPT 
-A FORWARD -d pri.vate.ip.add -p tcp -m tcp --dport 143 -j ACCEPT 
-A FORWARD -d pri.vate.ip.add -p tcp -m tcp --dport 25 -j ACCEPT 
-A FORWARD -d pri.vate.ip.add -p tcp -m tcp --dport 220 -j ACCEPT 
-A FORWARD -d pri.vate.ip.add -p tcp -m tcp --dport 993 -j ACCEPT 
-A FORWARD -d pri.vate.ip.add -p tcp -m tcp --dport 585 -j ACCEPT 
-A FORWARD -d pri.vate.ip.add -p tcp -m tcp --dport 110 -j ACCEPT 
-A FORWARD -d pri.vate.ip.add -p tcp -m tcp --dport 995 -j ACCEPT 
-A FORWARD -s 10.0.5.75 -d pri.vate.ip.add -j ACCEPT 
-A FORWARD -s pri.vate.ip.add -d 10.0.5.75 -j ACCEPT 
-A FORWARD -s pri.vate2.ip.add -d pri.vate.ip.add -j ACCEPT 
-A FORWARD -s pri.vate.ip.add -d pri.vate2.ip.add -j ACCEPT 
-A FORWARD -s pri.vate3.ip.add -d pri.vate.ip.add -j ACCEPT 
-A FORWARD -s pri.vate.ip.add -d pri.vate3.ip.add -j ACCEPT 
-A FORWARD -s pri.vate4.ip.add -d pri.vate.ip.add -j ACCEPT 
-A FORWARD -s pri.vate.ip.add -d pri.vate4.ip.add -j ACCEPT 
-A FORWARD -s pri.vate.ip.add -o eth0 -j ACCEPT 
-A FORWARD -s pri.vate.ip.add -j DROP 
-A FORWARD -d pri.vate.ip.add -j DROP

P.S. для web можно использовать HTTP-реверс прокси Nginx, через DNAT выставлять наружу порт 80, DNAT-имый на контейнер с Nginx, а он дальше будет проксить на нужные Вам контейнеры.

IT-outsource for UNIX servers,
http://ha-systems.ru

Report message to a moderator

Re: Openvz и Маршруты [message #42522 is a reply to message #42515]

Tue, 26 April 2011 08:00

falcon92
Messages: 4
Registered: April 2011

Junior Member

ExtIp - IP HN?
Private - IP контейнера?
Окей. Попробую. Если что то не получится - отпишусь.

Report message to a moderator

Re: Openvz и Маршруты [message #42530 is a reply to message #42522]

Tue, 26 April 2011 09:20

sHaggY_caT
Messages: 144
Registered: August 2008
Location: Moscow, Russian Federatio...

Senior Member

falcon92 wrote on Tue, 26 April 2011 04:00

ExtIp - IP HN?
Private - IP контейнера?

Да. Кстати, наш скрипт основан на том же самом скрипте из вики (хотя он у нас и сложнее)

IT-outsource for UNIX servers,
http://ha-systems.ru

Report message to a moderator

Re: Openvz и Маршруты [message #42573 is a reply to message #42530]

Sun, 01 May 2011 10:11

falcon92
Messages: 4
Registered: April 2011

Junior Member

Гхм.. Нихрена не выходит.. Может у Вас какой-то особый бубен? Размеры разные? Very Happy

Мне кажется у меня что-то с модулями.. Ошибки не пишет.. Но нихрена не бросается. Я уже заманался шаманить. И так.. И сяк пробовал.. Confused

Я, конечно, не отрицаю, что я мог сделать что-то криво-попно.. Но все же.. Confused

Позже сброшу lsmod и списки всех модулей..

Report message to a moderator

Re: Openvz и Маршруты [message #42574 is a reply to message #42573]

Sun, 01 May 2011 10:31

sHaggY_caT
Messages: 144
Registered: August 2008
Location: Moscow, Russian Federatio...

Senior Member

А в iptables-save правила есть?

Список модулей на одной из наших машин:

Module                  Size  Used by                                                                        
tun                    23296  6                                                                              
vzethdev               16524  0                                                                              
vznetdev               22280  48                                                                             
simfs                  10092  24                                                                             
exportfs                9728  1 simfs                                                                        
sunrpc                153656  24                                                                             
vzdquota               44444  25 simfs,[permanent]                                                           
vzmon                  50060  25 vznetdev                                                                    
vzdev                   7556  6 vzethdev,vznetdev,vzdquota,vzmon                                             
xt_length               6016  0                                                                              
ipt_ttl                 5888  0                                                                              
xt_tcpmss               6272  0                                                                              
ipt_TCPMSS              8064  0                                                                              
iptable_mangle          8576  24                                                                             
xt_multiport            7168  0                                                                              
xt_limit                6656  0                                                                              
ipt_tos                 5760  0 
ipt_REJECT             10244  0 
ipv6                  295580  170 
xfrm_nalgo             13316  1 ipv6
crypto_api             12544  1 xfrm_nalgo
autofs4                30980  7 
f71882fg               13960  0 
xt_state                6144  13 
xt_tcpudp               7040  138 
iptable_nat            13452  4 
ip_nat                 22160  1 iptable_nat
ip_conntrack           60740  4 xt_state,iptable_nat,ip_nat
nfnetlink              10648  2 ip_nat,ip_conntrack
iptable_filter          8576  28 
ip_tables              18760  3 iptable_mangle,iptable_nat,iptable_filter
x_tables               19204  12 xt_length,ipt_ttl,xt_tcpmss,ipt_TCPMSS,xt_multiport,xt_limit,ipt_tos,ipt_REJECT,xt_state,xt_tcpudp,iptable_nat,ip_tables
dm_multipath           25356  0 
scsi_dh                12032  1 dm_multipath
video                  21640  0 
backlight               9984  1 video
sbs                    18468  0 
power_meter            16396  0 
hwmon                   7300  2 f71882fg,power_meter
i2c_ec                  8960  1 sbs
dell_wmi                8336  0 
wmi                    12072  1 dell_wmi
container               8320  0 
button                 10512  0 
battery                13700  0 
asus_acpi              19480  0 
ac                      9092  0 
parport_pc             29092  0 
lp                     16168  0 
parport                37960  2 parport_pc,lp
sg                     36396  0 
snd_hda_intel         518764  0 
snd_seq_dummy           7812  0 
snd_seq_oss            33024  0 
snd_seq_midi_event     10880  1 snd_seq_oss
snd_seq                52080  5 snd_seq_dummy,snd_seq_oss,snd_seq_midi_event
snd_seq_device         11660  3 snd_seq_dummy,snd_seq_oss,snd_seq
snd_pcm_oss            43264  0 
snd_mixer_oss          19072  1 snd_pcm_oss
r8169                  43012  0 
mii                     9216  1 r8169
snd_pcm                73476  2 snd_hda_intel,snd_pcm_oss
i2c_i801               11788  0 
pcspkr                  7040  0 
snd_timer              25220  2 snd_seq,snd_pcm
snd_page_alloc         14344  2 snd_hda_intel,snd_pcm
i2c_core               24704  2 i2c_ec,i2c_i801
snd_hwdep              13060  1 snd_hda_intel
snd                    56964  9 snd_hda_intel,snd_seq_oss,snd_seq,snd_seq_device,snd_pcm_oss,snd_mixer_oss,snd_pcm,snd_timer,snd_hwdep
soundcore              11488  1 snd
serio_raw              10628  0 
tpm_tis                16648  0 
tpm                    19232  1 tpm_tis
tpm_bios               10496  1 tpm
dm_raid45              67208  0 
dm_message              6912  1 dm_raid45
dm_region_hash         15616  1 dm_raid45
dm_mem_cache            9472  1 dm_raid45
dm_snapshot            23588  0 
dm_zero                 6144  0 
dm_mirror              24328  0 
dm_log                 14592  3 dm_raid45,dm_region_hash,dm_mirror
dm_mod                 63416  15 dm_multipath,dm_raid45,dm_snapshot,dm_zero,dm_mirror,dm_log
ahci                   38412  4 
libata                157636  1 ahci
sd_mod                 25344  6 
scsi_mod              144724  4 scsi_dh,sg,libata,sd_mod
raid1                  25472  2 
ext3                  126216  4 
jbd                    62760  1 ext3
uhci_hcd               25356  0 
ohci_hcd               24872  0 
ehci_hcd               33932  0

IT-outsource for UNIX servers,
http://ha-systems.ru

Report message to a moderator

Re: Openvz и Маршруты [message #42575 is a reply to message #42499]

Sun, 01 May 2011 13:37

falcon92
Messages: 4
Registered: April 2011

Junior Member

Вот мой.

Module                  Size  Used by
vzethdev                6349  0 
vznetdev               12414  6 
simfs                   2561  3 
vzrst                 111550  0 
vzcpt                  96205  0 
vzdquota               32047  3 [permanent]
vzmon                  14649  7 vzethdev,vznetdev,vzrst,vzcpt
vzdev                   1703  4 vzethdev,vznetdev,vzdquota,vzmon
ipt_REDIRECT            1366  0 
nf_nat_irc              1316  0 
nf_nat_ftp              2452  0 
iptable_nat             4703  0 
nf_nat                 15980  4 ipt_REDIRECT,nf_nat_irc,nf_nat_ftp,iptable_nat
xt_helper                995  0 
nf_conntrack_irc        3949  1 nf_nat_irc
nf_conntrack_ftp        9435  1 nf_nat_ftp
xt_length                904  0 
ipt_LOG                 4359  0 
xt_hl                   1037  0 
xt_tcpmss               1101  0 
xt_TCPMSS               2499  0 
xt_DSCP                 1991  0 
xt_dscp                 1403  0 
xt_multiport            1930  0 
xt_limit                1250  0 
iptable_mangle          2643  0 
ipv6                  225012  46 vzrst,vzcpt
cpufreq_powersave        786  0 
fuse                   48927  16 
snd_intel8x0           22599  0 
snd_ac97_codec         88758  1 snd_intel8x0
ac97_bus                 902  1 snd_ac97_codec
snd_pcm_oss            29209  0 
snd_mixer_oss          11046  1 snd_pcm_oss
snd_pcm                54938  3 snd_intel8x0,snd_ac97_codec,snd_pcm_oss
radeon                421483  2 
ttm                    29769  1 radeon
snd_seq_dummy           1266  0 
drm_kms_helper         20877  1 radeon
nsc_ircc               11360  0 
ipw2100                56456  0 
parport_pc             15311  0 
drm                   128411  4 radeon,ttm,drm_kms_helper
snd_seq_oss            22376  0 
video                  16352  0 
parport                17993  1 parport_pc
libipw                 20664  1 ipw2100
i2c_algo_bit            4073  1 radeon
snd_seq_midi_event      4958  1 snd_seq_oss
thinkpad_acpi          51631  0 
i2c_core               21748  3 radeon,drm,i2c_algo_bit
snd_seq                39378  5 snd_seq_dummy,snd_seq_oss,snd_seq_midi_event
snd_timer              14658  2 snd_pcm,snd_seq
snd_seq_device          4679  3 snd_seq_dummy,snd_seq_oss,snd_seq
snd                    41965  9 snd_intel8x0,snd_ac97_codec,snd_pcm_oss,snd_mixer_oss,snd_pcm,snd_seq_oss,snd_seq,snd_timer,snd_seq_device
output                  1605  1 video
soundcore               4835  1 snd
snd_page_alloc          5973  2 snd_intel8x0,snd_pcm
yenta_socket           19341  1 
irda                   90822  1 nsc_ircc
rfkill                 13017  2 thinkpad_acpi
rsrc_nonstatic          7902  1 yenta_socket
crc_ccitt               1225  1 irda
lib80211                4062  1 libipw
reiserfs              189622  1 
usb_storage            34260  3

твой скрипт пихнуть в /etc/network/iptables
Заменить IP-ишники.
И применить через iptables-apply?
А то я его ручками построчке вписывал. Rolling Eyes

falcon@sysadmin:~$ ls /lib/modules/`uname -r`/kernel/net/ -R | grep xt_
xt_CLASSIFY.ko
xt_cluster.ko
xt_comment.ko
xt_connbytes.ko
xt_connlimit.ko
xt_connmark.ko
xt_CONNMARK.ko
xt_dccp.ko
xt_dscp.ko
xt_DSCP.ko
xt_esp.ko
xt_hashlimit.ko
xt_helper.ko
xt_hl.ko
xt_HL.ko
xt_iprange.ko
xt_LED.ko
xt_length.ko
xt_limit.ko
xt_mac.ko
xt_mark.ko
xt_MARK.ko
xt_multiport.ko
xt_NFLOG.ko
xt_NFQUEUE.ko
xt_NOTRACK.ko
xt_osf.ko
xt_owner.ko
xt_physdev.ko
xt_pkttype.ko
xt_policy.ko
xt_quota.ko
xt_rateest.ko
xt_RATEEST.ko
xt_realm.ko
xt_recent.ko
xt_sctp.ko
xt_socket.ko
xt_statistic.ko
xt_string.ko
xt_tcpmss.ko
xt_TCPMSS.ko
xt_TCPOPTSTRIP.ko
xt_time.ko
xt_TPROXY.ko
xt_TRACE.ko
xt_u32.ko

wiki.openvz.org/Using_NAT_for_container_with_private_IPs#Ext ernal_Links

Quote:

Note: If you get any errors relating to:

iptables: No chain/target/match by that name double check to see if you have all the iptables/netfilter modules loaded properly. I had to modprobe xt_tcpudp before getting it to work.

Может все в нем дело? У меня его, как видно выше, нету.
Как я люблю Никсы. Тут без бубна не обойтись, как всегда Laughing

[Updated on: Sun, 01 May 2011 13:47]

Report message to a moderator

Previous Topic:	BF2 в контейнере OpenVZ
Next Topic:	Настройка 3 сетевки, 2 локалки, интернет

Goto Forum:

-=] Back to Top [=-

[ Syndicate this forum (XML) ] [

] [

]

Current Time: Mon Nov 04 20:35:41 GMT 2024

Total time taken to generate the page: 0.03627 seconds