NetFlow/IPFIX iptables module / Bugs/Requests/Patches / #74 Bug 73 not resolved (ipt_NETFLOW freeze network (NETDEV WATCHDOG: eth3 (igb): transmit queue 8 timed out))

ABC - 2013-10-31

This become interesting. Thanks for modinfo and full oops text. I will think about it.

If you would like to refer to this comment somewhere else in this project, copy and paste the following link:

ABC - 2013-10-31

status: open --> open-accepted

Priority: 5 --> 9
If you would like to refer to this comment somewhere else in this project, copy and paste the following link:

ABC - 2013-10-31

Btw, can you attach your ipt_NETFLOW.ko binary?

If you would like to refer to this comment somewhere else in this project, copy and paste the following link:

Alexander - 2013-10-31

Attached

ipt_NETFLOW.ko

If you would like to refer to this comment somewhere else in this project, copy and paste the following link:

Alexander - 2013-10-31

Не знаю репрезентативно и полезно ли - но по наблюдениям с модулем роутер едет около 1 часа. Первые случаи были рандомные по несколько часов, но вот сегодня - утром на сервер, который более 12 часов ехал без модуля загрузил модуль и если судить по графикам нагрузки - примерно плюс минус через час заглох. Вечером аналогично - час.

Last edit: Alexander 2013-10-31

If you would like to refer to this comment somewhere else in this project, copy and paste the following link:

ABC - 2013-10-31

Спс. Потестируйте с дебаг ядром, если не лень.

If you would like to refer to this comment somewhere else in this project, copy and paste the following link:

Alexander - 2013-10-31

Ядро с дебагом соберу. (в прошлый раз пока собирал - как раз был закрыт баг :) )
Только придумать бы как синтетически потестировать и воспроизвести ситуацию, чтобы руководство меня не сожгло на ритуальном костре.

If you would like to refer to this comment somewhere else in this project, copy and paste the following link:

ABC - 2013-10-31

Я сделал еще небольшой фикс потенциального бага в обработке tcp options у фрагментированных пакетов. Но по идее он не должен давать такой эффект как у вас. Тем не менее, если будете продолжать тестировать возьмите версию из git. Если git pull не сработает (так как я делал amend) сделайте clone заново.

По бинарнику и дампу лога я понял что вылетает где-то в районе обработки tcp options.

А после того как случается BUG система продолжает работать?

Last edit: ABC 2013-10-31

If you would like to refer to this comment somewhere else in this project, copy and paste the following link:

ABC - 2013-11-01

I decided to try pktgen stress testing: https://github.com/aabc/ipt-netflow/wiki/Testing-with-pktgen

If you would like to refer to this comment somewhere else in this project, copy and paste the following link:

Alexander - 2013-11-01

Вобщем-то засада. Искусственно проблему не могу воспроизвести пока. Собрал ядро с дебагом. Вдул сначала извне трафик по pktgen, завернул его в NETFLOW, сделал чуть более 2к адресов источника, параллельно дую торренты сквозь него и нагружено делаю всякие tc class change по интерфейсам для htb. В pktgen даже 500кппс накручивал - и ничего. Летит себе тихо мирно и не падает.

По бинарнику и дампу лога я понял что вылетает где-то в районе обработки tcp options.

Судя по всему так и есть, трабла в районе tcp - так как вагон udp у меня едет отлично. Сейчас буду думать на тему iperf по tcp продуть.

А после того как случается BUG система продолжает работать?

Тут все сложно. В консоли сыпет между другими много ерроров самого нетфлоу (о том, что не может отправить свои данные). В самом начале еще немного действий в системе предпринять можно - я так один раз успел слить лог. Но позже глохнет совсем - по консоли падает всякие Soft lockup, а на клавиатуру можно сказать не реагирует. Хотя стоит заметить - для фейловера сделал серверу две BGP сессии - одну внутрь, другую наружу - внутренняя порвалась во время последнего креша, в внешняя осталась активной - при том, что пинг не ходил.

Last edit: Alexander 2013-11-01

If you would like to refer to this comment somewhere else in this project, copy and paste the following link:

ABC - 2013-11-01

tcp я тестил nmap x.x.x.x/24 на местную сетку. Попробую ещё. Не уверен что iperf справится с задачей так как там будут однотипные пакеты, а тут похоже что-то в реально мтрафике. Надо бы както прогнать зеркало реального трафика, но у меня нет такой возможности.

В консоли сыпет между другими много ерроров самого нетфлоу (о том, что не может отправить свои данные).

Пришлите побольше лога. Можно на почту.

If you would like to refer to this comment somewhere else in this project, copy and paste the following link:

Уже набегали терабайты трафика тестов, а все еще летит. Есть идеи, что еще в него затолкать?

# cat /proc/net/stat/ipt_netflow 
ipt_NETFLOW version v1.8-70-g057b110
Flows: active 6699 (peak 27683 reached 0d1h28m ago), mem 1099K, worker delay 17/250.
Hash: size 2097152 (mem 16384K), metric 1.00 [1.00, 1.00, 1.00]. MemTraf: 53497062 pkt, 248776952736 K (pdu 52, 8271).
Protocol version 5 (netflow). Timeouts: active 300, inactive 15. Maxflows 2000000
Rate: 143472197780 bits/sec, 370778 packets/sec; Avg 1 min: 144699418817 bps, 374633 pps; 5 min: 145702709546 bps, 376621 pps
cpu#  stat: <search found new [metric], trunc frag alloc maxflows>, sock: <ok fail cberr, bytes>, traffic: <pkt, bytes>, drop: <pkt, bytes>
Total stat: 14964747 7360406548 4880186 [2.40],    0    0    0    0, sock: 162482 0 0, 232251 K, traffic: 7365286734, 244055894 MB, drop: 0, 0 K
cpu0  stat: 2898632 899216653 590721 [1.00],    0    0    0    0, sock:      0 0 0, 0 K, traffic: 899807374, 29061737 MB, drop: 0, 0 K
cpu1  stat: 2649485 873124676 603947 [1.00],    0    0    0    0, sock:      0 0 0, 0 K, traffic: 873728623, 28884798 MB, drop: 0, 0 K
cpu2  stat: 524697 877708048 605345 [1.00],    0    0    0    0, sock:      0 0 0, 0 K, traffic: 878313393, 29320032 MB, drop: 0, 0 K
cpu3  stat: 455007 920484239 541158 [1.00],    0    0    0    0, sock:      0 0 0, 0 K, traffic: 921025397, 30339442 MB, drop: 0, 0 K
cpu4  stat: 3531489 972027621 613334 [1.00],    0    0    0    0, sock:      0 0 0, 0 K, traffic: 972640955, 32109746 MB, drop: 0, 0 K
cpu5  stat: 964232 967083168 643466 [1.00],    0    0    0    0, sock:      0 0 0, 0 K, traffic: 967726634, 32570661 MB, drop: 0, 0 K
cpu6  stat: 813236 941887057 652321 [1.00],    0    0    0    0, sock: 162482 0 0, 232251 K, traffic: 942539378, 31906575 MB, drop: 0, 0 K
cpu7  stat: 3127969 908875091 629894 [1.00],    0    0    0    0, sock:      0 0 0, 0 K, traffic: 909504985, 29862901 MB, drop: 0, 0 K
Natevents disabled, count start 0, stop 0.
sock0: x.x.x.x:20001, sndbuf 229376, filled 1, peak 26049; err: sndbuf reached 0, connect 0, other 0

Alexander - 2013-11-01

Отправил весь kern.log, который успел вытянуть вчера.

If you would like to refer to this comment somewhere else in this project, copy and paste the following link:

Может еще пойти от противного? :) 20 марта я качал архив ipt_NETFLOW. В имени архива 1.8, в modinfo:

# modinfo ipt_NETFLOW
filename:       /lib/modules/3.2.0-40-generic/extra/ipt_NETFLOW.ko
version:        1.7.2
description:    iptables NETFLOW target module
author:         <abc@telekom.ru>
license:        GPL
srcversion:     43F3959209576499C33AB98
depends:        x_tables
vermagic:       3.2.0-40-generic SMP mod_unload modversions 
parm:           destination:export destination ipaddress:port (charp)
parm:           inactive_timeout:inactive flows timeout in seconds (int)
parm:           active_timeout:active flows timeout in seconds (int)
parm:           debug:debug verbosity level (int)
parm:           sndbuf:udp socket SNDBUF size (int)
parm:           hashsize:hash table size (int)
parm:           maxflows:maximum number of flows (int)
parm:           aggregation:aggregation ruleset (charp)

Он едет с тех пор по реальным трафиком.

ABC - 2013-11-01

Спасибо за лог. В смысле от противного? 1.8 это предыдущий релиз его тестить не надо.

If you would like to refer to this comment somewhere else in this project, copy and paste the following link:

Alexander - 2013-11-01

В смысле от противного? 1.8 это предыдущий релиз его тестить не надо.

Я так понимаю в архиве я мог скачать только как раз релиз и есть основания полагать, что он едет. Основные ченджи, судя по логу, происходили уже осенью 2013. Возможно есть к чему присмотреться?

If you would like to refer to this comment somewhere else in this project, copy and paste the following link:

ABC - 2013-11-01

Конечно есть, очень много измененйи было с 1.8. Если вы не хотите тестировать - пользуйтесь версией 1.8, это стабильная версия.

If you would like to refer to this comment somewhere else in this project, copy and paste the following link:

Alexander - 2013-11-01

Я не в том контексте имел ввиду. Тестировать надо, просто предложил как вариант оценить изменения в разрезе какие из них могли привести к подобному эффекту.

If you would like to refer to this comment somewhere else in this project, copy and paste the following link:

ABC - 2013-11-01

Следующую версию (которую мы тестируем) надо будет назвать 2.0, там появилось ipv6 support, nat evens, netflow v9, ipfix, ip/tcp options, nexthop, не считая прочих мелких.

If you would like to refer to this comment somewhere else in this project, copy and paste the following link:

Alexander - 2013-11-01

Отзеркалировал трафик на сервер, по ридми затолкал его в netflow. Причем как в raw/PREROUTING, так и в filter/FORWARD. По стате модуль пропускает через себя 70-90кппс. Будем ждать.

If you would like to refer to this comment somewhere else in this project, copy and paste the following link:

Alexander - 2013-11-02

Креш состоялся, однако к моменту когда я добрался до консоли - меня спас только резет. А kern.log остался без интересных сообщений. Скрин консоли в аттаче.

Снимок-4.png

If you would like to refer to this comment somewhere else in this project, copy and paste the following link:

ABC - 2013-11-02

Не, это не информативно. А можете консоль подключить к другой машине? А при буте этой указать что-то вроде console=ttyS0,115200, а на другой, например, minicom -C и в лог.

If you would like to refer to this comment somewhere else in this project, copy and paste the following link:

Alexander - 2013-11-02

Все проще. Оставил mate-terminal с бесконечной прокруткой и tail -f на kern.log. Результат выслал на почту. Или все же нужно еще что-то с консоли?

If you would like to refer to this comment somewhere else in this project, copy and paste the following link:

ABC - 2013-11-02

Спасибо огромное за логи - буду анализировать. С консоли нужен был только полный лог сообщений ядра (скажем с момента загрузки модуля). Видимо вы это и прислали, только я не вижу верхушки - надеюсь там ничего небыло - а то то, что вам может показаться незначимым (скажем трейс где не упоминается netflow) может оказаться полезным.

If you would like to refer to this comment somewhere else in this project, copy and paste the following link:

ABC - 2013-11-02

Да и еще не помешает бинарник модуля ipt_NETFLOW.ko для анализа строчек типа "Code: 00 83 88 3c e0 ff ff 04 5d c3 8a 47 08 55 48 89 e5 3c 01 75 07 e8 88 41 c4 ff eb 17 3c 02 75 07 e8 ab ff ff ff eb 0c 8b 57 04 ec <48> 8b 15 44 ee 35 01 ed 5d c3 66 66 66 66 90 55 48 63 c2 48 8d" и содержимого регистров. А то первый раз я ошибся, так как у меня компилятор создает немного другой код и я решил что ошибка связана с ip_options, а по вашему бинарнику выяснилось, что с tcp_options.

If you would like to refer to this comment somewhere else in this project, copy and paste the following link:

Bug 73 not resolved (ipt_NETFLOW freeze network (NETDEV WATCHDOG: eth3...

NetFlow iptables module for Linux kernel

Group

Searches

Help

#74 Bug 73 not resolved (ipt_NETFLOW freeze network (NETDEV WATCHDOG: eth3 (igb): transmit queue 8 timed out))

Discussion