Зависает при обращении к таблице

Manticore 6.2.12 под Debian.

Конфиг:

searchd {
listen = 192.168.0.5:9306:mysql
listen = 127.0.0.1:9306:mysql
log = /var/log/manticore/searchd.log
query_log = /var/log/manticore/query.log
pid_file = /var/run/manticore/searchd.pid
data_dir = /var/lib/manticore
watchdog = 1
auto_optimize=1
binlog_flush=1
binlog_max_log_size = 32M
rt_flush_period = 3600
network_timeout=1m
server_id=1

Таблица даже без текста:

CREATE TABLE stats (
id bigint,
stype bigint,
sourceid bigint,
tgmedia bigint,
dt bigint,
dtd bigint,
dth bigint,
views bigint,
likes bigint,
comments bigint,
reposts bigint,
orbits multi,
words multi,
vte integer,
lang integer,
updated timestamp,
msgid integer
)

Число записей 30M+ с постоянным обновлением данных через replace…

В какой-то момент таблица “зависает”, то есть любое обращение к ней приводит к зависанию запроса без каких либо ошибок, в логах тоже тишина и покой. При этом даже sudu service manticore restart виснет, так как сервер упирается в эту таблицу и зависает без возможности пройти нормально shutdown, помогает только убийство процессов searchd через kill -9.

После такого варварского убийства запускаю, и всё живет, но живет не долго, иногда час, иногда 6 часов и в итоге упирается в ту же проблему.

В какую сторону копать? Какие логи можно включить? Ощущение что происходит какая-то жесткая блокировка, причем две другие таблицы (индекса) при этом нормально работают даже когда зависла упомянутая.

Поставил Nightly версию, проблема ровно та же, лог чистый, индекс (таблицу) как будто-то что-то наглухо блокирует.

вы можете выполнить эти SphinxQL statement и привести их вывод после того как зависнет?

show threads option format=all
select * from @@system.threads
show status

show threads option format=all;

+------+------------+-------+-------+-----------------+--------+--------------------+-----------+---------------+---------+-----------------------------------------------+
| TID  | Name       | Proto | State | Connection from | ConnID | This/prev job time | Jobs done | Thread status | Chain   | Info                                          |
+------+------------+-------+-------+-----------------+--------+--------------------+-----------+---------------+---------+-----------------------------------------------+
| 5563 | work_0     |       | -     |                 |     -1 | 19us (prev)        |    453346 | idling        |         |                                               |
| 5564 | work_1     |       | -     |                 |     -1 | 20us (prev)        |    479410 | idling        |         |                                               |
| 5565 | work_2     | mysql | query | 127.0.0.1:40302 |   2911 | 146us              |    458083 | working       | Conn    | show threads option format=all                |
| 5566 | work_3     |       | -     |                 |     -1 | 79us (prev)        |    459353 | idling        |         |                                               |
| 5567 | work_4     |       | -     |                 |     -1 | 20us (prev)        |    462074 | idling        |         |                                               |
| 5568 | work_5     |       | -     |                 |     -1 | 17us (prev)        |    451033 | idling        |         |                                               |
| 5569 | work_6     |       | -     |                 |     -1 | 22us (prev)        |    448532 | idling        |         |                                               |
| 5570 | work_7     |       | -     |                 |     -1 | 20us (prev)        |    471920 | idling        |         |                                               |
| 5571 | work_8     |       | -     |                 |     -1 | 19us (prev)        |    461089 | idling        |         |                                               |
| 5572 | work_9     |       | -     |                 |     -1 | 20us (prev)        |    453657 | idling        |         |                                               |
| 5573 | work_10    |       | -     |                 |     -1 | 19us (prev)        |    472865 | idling        |         |                                               |
| 5574 | work_11    |       | -     |                 |     -1 | 22us (prev)        |    469729 | idling        |         |                                               |
| 5676 | TickPool_0 |       | -     |                 |     -1 | 14us (prev)        |         0 | idling        | Listen  | tick:  3921875  works:  0  state:  in polling |
| 5575 | Timer      |       | -     |                 |     -1 | -                  |         0 | idling        |         |                                               |
+------+------------+-------+-------+-----------------+--------+--------------------+-----------+---------------+---------+-----------------------------------------------+

select * from @@system.threads;

+------+------+------------+-------+-------+-----------------+--------+--------------------+-----------+---------------+-------------+-----------------------------------------------+
| id   | tid  | name       | proto | state | connection from | connid | this/prev job time | jobs done | thread status | chain       | info                                          |
+------+------+------------+-------+-------+-----------------+--------+--------------------+-----------+---------------+-------------+-----------------------------------------------+
|    2 | 5564 | work_1     |       | -     |                 |     -1 | 19us (prev)        |    480411 | idling        |             |                                               |
|    3 | 5565 | work_2     |       | -     |                 |     -1 | 22us (prev)        |    459080 | idling        |             |                                               |
|    4 | 5566 | work_3     |       | -     |                 |     -1 | 20us (prev)        |    460350 | idling        |             |                                               |
|    5 | 5567 | work_4     |       | -     |                 |     -1 | 15us (prev)        |    463081 | idling        |             |                                               |
|    6 | 5568 | work_5     |       | -     |                 |     -1 | 17us (prev)        |    452052 | idling        |             |                                               |
|    7 | 5569 | work_6     | mysql | query | 127.0.0.1:47054 |   3351 | 299us              |    449501 | working       | Query Conn  | select * from @@system.threads                |
|    8 | 5570 | work_7     |       | -     |                 |     -1 | 20us (prev)        |    472920 | idling        |             |                                               |
|    9 | 5571 | work_8     |       | -     |                 |     -1 | 19us (prev)        |    462090 | idling        |             |                                               |
|   10 | 5572 | work_9     |       | -     |                 |     -1 | 21us (prev)        |    454650 | idling        |             |                                               |
|   11 | 5573 | work_10    |       | -     |                 |     -1 | 22us (prev)        |    473875 | idling        |             |                                               |
|   12 | 5574 | work_11    |       | -     |                 |     -1 | 22us (prev)        |    470741 | idling        |             |                                               |
|   13 | 5676 | TickPool_0 |       | -     |                 |     -1 | 17us (prev)        |         0 | idling        | Listen      | tick:  3925179  works:  0  state:  in polling |
|   14 | 5575 | Timer      |       | -     |                 |     -1 | -                  |         0 | idling        |             |                                               |
|    1 | 5563 | work_0     |       | -     |                 |     -1 | 20us (prev)        |    454360 | idling        |             |                                               |
+------+------+------------+-------+-------+-----------------+--------+--------------------+-----------+---------------+-------------+-----------------------------------------------+

show status

+-----------------------+------------------------------------------------------------------------------------------------------------------------------------------+
| Counter               | Value                                                                                                                                    |
+-----------------------+------------------------------------------------------------------------------------------------------------------------------------------+
| uptime                | 1494                                                                                                                                     |
| connections           | 3426                                                                                                                                     |
| maxed_out             | 0                                                                                                                                        |
| version               | 6.2.13 6f5cf1343@24050706 dev (columnar 2.2.5 0c18998@240424) (secondary 2.2.5 0c18998@240424) (knn 2.2.5 0c18998@240424) (buddy v2.3.7) |
| mysql_version         | 6.2.13 6f5cf1343@24050706 dev (columnar 2.2.5 0c18998@240424) (secondary 2.2.5 0c18998@240424) (knn 2.2.5 0c18998@240424)                |
| command_search        | 115696                                                                                                                                   |
| command_excerpt       | 0                                                                                                                                        |
| command_update        | 934872                                                                                                                                   |
| command_keywords      | 0                                                                                                                                        |
| command_persist       | 0                                                                                                                                        |
| command_status        | 24                                                                                                                                       |
| command_flushattrs    | 0                                                                                                                                        |
| command_sphinxql      | 0                                                                                                                                        |
| command_ping          | 0                                                                                                                                        |
| command_delete        | 232                                                                                                                                      |
| command_set           | 0                                                                                                                                        |
| command_insert        | 8538                                                                                                                                     |
| command_replace       | 8448                                                                                                                                     |
| command_commit        | 0                                                                                                                                        |
| command_suggest       | 0                                                                                                                                        |
| command_json          | 0                                                                                                                                        |
| command_callpq        | 0                                                                                                                                        |
| command_cluster       | 0                                                                                                                                        |
| command_getfield      | 0                                                                                                                                        |
| agent_connect         | 0                                                                                                                                        |
| agent_tfo             | 0                                                                                                                                        |
| agent_retry           | 0                                                                                                                                        |
| queries               | 1034403                                                                                                                                  |
| dist_queries          | 0                                                                                                                                        |
| workers_total         | 12                                                                                                                                       |
| workers_active        | 72                                                                                                                                       |
| workers_clients       | 71                                                                                                                                       |
| workers_clients_vip   | 0                                                                                                                                        |
| work_queue_length     | 77                                                                                                                                       |
| load                  | 0.22 1.08 2.79                                                                                                                           |
| load_primary          | 0.00 0.02 0.08                                                                                                                           |
| load_secondary        | 0.00 0.03 0.12                                                                                                                           |
| query_wall            | 3432.869                                                                                                                                 |
| query_cpu             | OFF                                                                                                                                      |
| dist_wall             | 0.000                                                                                                                                    |
| dist_local            | 0.000                                                                                                                                    |
| dist_wait             | 0.000                                                                                                                                    |
| query_reads           | OFF                                                                                                                                      |
| query_readkb          | OFF                                                                                                                                      |
| query_readtime        | OFF                                                                                                                                      |
| avg_query_wall        | 0.003                                                                                                                                    |
| avg_query_cpu         | OFF                                                                                                                                      |
| avg_dist_wall         | 0.000                                                                                                                                    |
| avg_dist_local        | 0.000                                                                                                                                    |
| avg_dist_wait         | 0.000                                                                                                                                    |
| avg_query_reads       | OFF                                                                                                                                      |
| avg_query_readkb      | OFF                                                                                                                                      |
| avg_query_readtime    | OFF                                                                                                                                      |
| qcache_max_bytes      | 16777216                                                                                                                                 |
| qcache_thresh_msec    | 3000                                                                                                                                     |
| qcache_ttl_sec        | 60                                                                                                                                       |
| qcache_cached_queries | 0                                                                                                                                        |
| qcache_used_bytes     | 0                                                                                                                                        |
| qcache_hits           | 0                                                                                                                                        |
+-----------------------+------------------------------------------------------------------------------------------------------------------------------------------+

из того что вы привели не видно ни одного запроса кроме запросов на статистику

Как подвиснет, сделаю запрос который не отвечает и повторю статистику.

 show threads option format=all;
+------+------------+-------+-------+-----------------+--------+--------------------+-----------+---------------+---------+------------------------------------------------+
| TID  | Name       | Proto | State | Connection from | ConnID | This/prev job time | Jobs done | Thread status | Chain   | Info                                           |
+------+------------+-------+-------+-----------------+--------+--------------------+-----------+---------------+---------+------------------------------------------------+
| 6237 | work_0     |       | -     |                 |     -1 | 20us (prev)        |   2003571 | idling        |         |                                                |
| 6238 | work_1     |       | -     |                 |     -1 | 19us (prev)        |   2000436 | idling        |         |                                                |
| 6239 | work_2     |       | -     |                 |     -1 | 22us (prev)        |   2012027 | idling        |         |                                                |
| 6240 | work_3     |       | -     |                 |     -1 | 20us (prev)        |   2004022 | idling        |         |                                                |
| 6241 | work_4     | mysql | query | 127.0.0.1:36352 |  12645 | 157us              |   1982045 | working       | Conn    | show threads option format=all                 |
| 6242 | work_5     |       | -     |                 |     -1 | 19us (prev)        |   2013962 | idling        |         |                                                |
| 6243 | work_6     |       | -     |                 |     -1 | 22us (prev)        |   2010254 | idling        |         |                                                |
| 6244 | work_7     |       | -     |                 |     -1 | 19us (prev)        |   2026845 | idling        |         |                                                |
| 6245 | work_8     |       | -     |                 |     -1 | 19us (prev)        |   1999422 | idling        |         |                                                |
| 6246 | work_9     |       | -     |                 |     -1 | 20us (prev)        |   2009376 | idling        |         |                                                |
| 6247 | work_10    |       | -     |                 |     -1 | 16us (prev)        |   2030243 | idling        |         |                                                |
| 6248 | work_11    |       | -     |                 |     -1 | 20us (prev)        |   1967303 | idling        |         |                                                |
| 6251 | TickPool_0 |       | -     |                 |     -1 | 22us (prev)        |         0 | idling        | Listen  | tick:  20549378  works:  0  state:  in polling |
| 6249 | Timer      |       | -     |                 |     -1 | -                  |         0 | idling        |         |                                                |
+------+------------+-------+-------+-----------------+--------+--------------------+-----------+---------------+---------+------------------------------------------------+

select * from @@system.threads;
+------+------+------------+-------+-------+-----------------+--------+--------------------+-----------+---------------+-------------+------------------------------------------------+
| id   | tid  | name       | proto | state | connection from | connid | this/prev job time | jobs done | thread status | chain       | info                                           |
+------+------+------------+-------+-------+-----------------+--------+--------------------+-----------+---------------+-------------+------------------------------------------------+
|    2 | 6238 | work_1     |       | -     |                 |     -1 | 22us (prev)        |   2001185 | idling        |             |                                                |
|    3 | 6239 | work_2     |       | -     |                 |     -1 | 19us (prev)        |   2012776 | idling        |             |                                                |
|    4 | 6240 | work_3     |       | -     |                 |     -1 | 19us (prev)        |   2004817 | idling        |             |                                                |
|    5 | 6241 | work_4     |       | -     |                 |     -1 | 22us (prev)        |   1982799 | idling        |             |                                                |
|    6 | 6242 | work_5     |       | -     |                 |     -1 | 16us (prev)        |   2014694 | idling        |             |                                                |
|    7 | 6243 | work_6     |       | -     |                 |     -1 | 17us (prev)        |   2011022 | idling        |             |                                                |
|    8 | 6244 | work_7     |       | -     |                 |     -1 | 19us (prev)        |   2027569 | idling        |             |                                                |
|    9 | 6245 | work_8     |       | -     |                 |     -1 | 19us (prev)        |   2000210 | idling        |             |                                                |
|   10 | 6246 | work_9     |       | -     |                 |     -1 | 20us (prev)        |   2010107 | idling        |             |                                                |
|   11 | 6247 | work_10    |       | -     |                 |     -1 | 19us (prev)        |   2031012 | idling        |             |                                                |
|   12 | 6248 | work_11    | mysql | query | 127.0.0.1:49674 |  12783 | 329us              |   1968051 | working       | Query Conn  | select * from @@system.threads                 |
|   13 | 6251 | TickPool_0 |       | -     |                 |     -1 | 22us (prev)        |         0 | idling        | Listen      | tick:  20551404  works:  0  state:  in polling |
|   14 | 6249 | Timer      |       | -     |                 |     -1 | -                  |         0 | idling        |             |                                                |
|    1 | 6237 | work_0     |       | -     |                 |     -1 | 19us (prev)        |   2004169 | idling        |             |                                                |
+------+------+------------+-------+-------+-----------------+--------+--------------------+-----------+---------------+-------------+------------------------------------------------+

show status;
+-----------------------+------------------------------------------------------------------------------------------------------------------------------------------+
| Counter               | Value                                                                                                                                    |
+-----------------------+------------------------------------------------------------------------------------------------------------------------------------------+
| uptime                | 5693                                                                                                                                     |
| connections           | 12895                                                                                                                                    |
| maxed_out             | 0                                                                                                                                        |
| version               | 6.2.13 6f5cf1343@24050706 dev (columnar 2.2.5 0c18998@240424) (secondary 2.2.5 0c18998@240424) (knn 2.2.5 0c18998@240424) (buddy v2.3.7) |
| mysql_version         | 6.2.13 6f5cf1343@24050706 dev (columnar 2.2.5 0c18998@240424) (secondary 2.2.5 0c18998@240424) (knn 2.2.5 0c18998@240424)                |
| command_search        | 565459                                                                                                                                   |
| command_excerpt       | 0                                                                                                                                        |
| command_update        | 4954730                                                                                                                                  |
| command_keywords      | 0                                                                                                                                        |
| command_persist       | 0                                                                                                                                        |
| command_status        | 56                                                                                                                                       |
| command_flushattrs    | 0                                                                                                                                        |
| command_sphinxql      | 0                                                                                                                                        |
| command_ping          | 0                                                                                                                                        |
| command_delete        | 805                                                                                                                                      |
| command_set           | 0                                                                                                                                        |
| command_insert        | 31196                                                                                                                                    |
| command_replace       | 192362                                                                                                                                   |
| command_commit        | 0                                                                                                                                        |
| command_suggest       | 0                                                                                                                                        |
| command_json          | 0                                                                                                                                        |
| command_callpq        | 0                                                                                                                                        |
| command_cluster       | 0                                                                                                                                        |
| command_getfield      | 0                                                                                                                                        |
| agent_connect         | 0                                                                                                                                        |
| agent_tfo             | 0                                                                                                                                        |
| agent_retry           | 0                                                                                                                                        |
| queries               | 3893309                                                                                                                                  |
| dist_queries          | 0                                                                                                                                        |
| workers_total         | 12                                                                                                                                       |
| workers_active        | 222                                                                                                                                      |
| workers_clients       | 221                                                                                                                                      |
| workers_clients_vip   | 0                                                                                                                                        |
| work_queue_length     | 227                                                                                                                                      |
| load                  | 0.29 0.57 3.34                                                                                                                           |
| load_primary          | 0.00 0.02 0.38                                                                                                                           |
| load_secondary        | 0.00 0.04 0.79                                                                                                                           |
| query_wall            | 26486.210                                                                                                                                |
| query_cpu             | OFF                                                                                                                                      |
| dist_wall             | 0.000                                                                                                                                    |
| dist_local            | 0.000                                                                                                                                    |
| dist_wait             | 0.000                                                                                                                                    |
| query_reads           | OFF                                                                                                                                      |
| query_readkb          | OFF                                                                                                                                      |
| query_readtime        | OFF                                                                                                                                      |
| avg_query_wall        | 0.006                                                                                                                                    |
| avg_query_cpu         | OFF                                                                                                                                      |
| avg_dist_wall         | 0.000                                                                                                                                    |
| avg_dist_local        | 0.000                                                                                                                                    |
| avg_dist_wait         | 0.000                                                                                                                                    |
| avg_query_reads       | OFF                                                                                                                                      |
| avg_query_readkb      | OFF                                                                                                                                      |
| avg_query_readtime    | OFF                                                                                                                                      |
| qcache_max_bytes      | 16777216                                                                                                                                 |
| qcache_thresh_msec    | 3000                                                                                                                                     |
| qcache_ttl_sec        | 60                                                                                                                                       |
| qcache_cached_queries | 0                                                                                                                                        |
| qcache_used_bytes     | 0                                                                                                                                        |
| qcache_hits           | 0                                                                                                                                        |
+-----------------------+------------------------------------------------------------------------------------------------------------------------------------------+

Тоже самое при зависшем запросе select count(*) from stats;

очень странно, тк не видно ни подвисшего запроса и даже от предыдущего вывода нет разницы

А searchd log можно увидеть?

Попробуйте с buddy_path = # в секции searchd в конфиге.

Кажется помогло, хотя оставались тормоза, и пришлось в кроне добавить FLUSH RAMCHUNK для всех индексов, тогда дело пошло.

Проблема вернулась, в прошлый раз кроме buddy_path делался бакап и восстановление, и продержалось это дело 5 дней, сейчас ровно тот же симптом, ничего в логах теперь нет, и ничего в threads не отображается, просто зависает.

У меня уже теория есть, что дело в большом количестве обновлений данных, порядка 50 потоков регулярно выполняют update - быть может где-то на апдейте не хватает чего-то?

Проверка таблицы выплевывает лишь варнинг один.

WARNING: wordlist size mismatch (size=18, checkpoints=0)

Отключение блока который регулярно осуществляет update помогло, и падения прекратились, при этом с replace никаких проблем нет.

WARNING: wordlist size mismatch (size=18, checkpoints=0)

Пофикшено тут fix dictionary size and warning · manticoresoftware/manticoresearch@2ca304d · GitHub

Можете проверить, есть ли проблема в свежей dev версии? Если там есть, то хочется воспроизводимый кейс.