Manticore 27.1.5 - увеличение workers и queue length

serhio · July 21, 2026, 9:54am

Доброго дня!
В рамках тестирования одной из новых версий, а именно 27.1.5, по метрикам заметно значительное увеличение workers и queue length:

По графикам до ~18:00 работа прошлой версии 13.6.7.
Затем сервис Manticore был остановлен, удалены пакеты и установлен единый пакет версии 27.1.5.

После установки запуск был не успешный, в логах было:

[Mon Jul 20 13:24:00.116 2026] [2000948] FATAL: failed to open file for meta serialization: failed to create /var/lib/manticore/literature_works/literature_works.meta.new: Too many open files

и множество:

[Mon Jul 20 13:20:23.150 2026] [1999671] WARNING: table 'customer_bookmarks_5': prealloc: disk chunk /var/lib/manticore/customer_bookmarks_5/customer_bookmarks_5.64815: prealloc failed: failed to open file '/var/lib/manticore/customer_bookmarks_5/customer_bookmarks_5.64815.spb': 'Too many open files' - NOT SERVING [Mon Jul 20 13:20:23.162 2026] [1999666] WARNING: table 'customer_bookmarks_6': disabled at the JSON config
...

Это удалось решить путем установки параметров в:

/etc/sysctl.conf - fs.inotify.max_user_instances = 100000

/etc/security/limits.conf:

manticore soft nofile 100000
manticore hard nofile 100000

добавлением параметра max_open_files = max в /etc/manticoresearch/manticore.conf

После этого сервис Manticore был успешно запущен, ошибок нет.

Но остается рост workers и queue length, ниже график за 6 часов:

Наглядно видно как идет рост, затем упирается в практически ровный график и далее резкое падение и после снова рост.
При этим утилизация по CPU и диску в норме.

Текущая конфигурация /etc/manticoresearch/manticore.conf:

# ansible_managment
common {
    plugin_dir = /usr/local/lib/manticore
}
searchd {
    listen = ****:9312
    listen = ****:9306:mysql
    listen = ****:9308:http
    listen = ****:9322-9325:replication
    log = /var/log/manticore/searchd.log
    query_log = /var/log/manticore/query.log
    pid_file = /var/run/manticore/searchd.pid
    data_dir = /var/lib/manticore
    query_log_format = sphinxql
    query_log_min_msec = 500
    query_log_mode = 644
    node_address = ****
    max_batch_queries = 0
    max_packet_size = 128M
    max_open_files = max
    thread_stack = 16M
    binlog_flush = 0
    binlog_max_log_size = 16M
    binlog_path =  # disable logging
    threads = 11
    optimize_cutoff = 16
    collation_server = utf8_ci
    network_timeout = 300s
    sphinxql_timeout = 30m
    client_timeout = 1h

    secondary_indexes = 1

    telemetry = 0
}

С чем может быть связано такое поведение на новой версии?
Manticore стал больше задействовать потоки и упирается в лимит threads?

serhio · July 21, 2026, 11:22am

По логам ничего подозрительного.
А вывод SHOW THREADS пуст:

mysql> SHOW THREADS OPTION format=al; 
+---------+--------+-------+-------+-----------------+--------+--------------------+-----------+---------------+-------------------------------+ 
| TID     | Name   | Proto | State | Connection from | ConnID | This/prev job time | Jobs done | Thread status | Info                          | 
+---------+--------+-------+-------+-----------------+--------+--------------------+-----------+---------------+-------------------------------+ 
| 2033854 | work_2 | mysql | query | 10.9.2.99:47060 | 509510 | 739us              |   7981232 | working       | SHOW THREADS OPTION format=al | 
+---------+--------+-------+-------+-----------------+--------+--------------------+-----------+---------------+-------------------------------+ 
1 row in set (0,00 sec)

И еще стоит отметить, что в новой версии (включая 28.4.4) не работает команда status и ее короткая версия

mysql> status;
ERROR 1064 (42000): P01: syntax error, unexpected '(' near '() limit 1'
mysql> \s
ERROR 1064 (42000): P01: syntax error, unexpected '(' near '() limit 1'
mysql>

Sergey · July 21, 2026, 11:30am

Попробуйте последний релиз. Вроде бы фиксили.

Sergey · July 21, 2026, 11:32am

Фиксили мемлик файловых дескрипторов и соответственно workers и queue length. По status лучше завести issue.

serhio · July 21, 2026, 12:27pm

Не видел в Changelog по версии. Но попробую на последней и напишу.

serhio · July 21, 2026, 12:33pm

Закинул issue: Syntax error for command "status" · Issue #4741 · manticoresoftware/manticoresearch · GitHub

serhio · July 21, 2026, 12:56pm

Установил версию 28.4.4:

Пока по метрикам все в порядке, понаблюдаю еще.

serhio · July 21, 2026, 1:34pm

@Sergey верно ли понимаю, что из-за не проблем файловых дескрипторов были ошибки:

[Mon Jul 20 13:24:00.116 2026] [2000948] FATAL: failed to open file for meta serialization: failed to create /var/lib/manticore/literature_works/literature_works.meta.new: Too many open files

и им сопутствующие?
И не требуется но новой версии 28.4.4 задавать лимиты?

После upgrade не наблюдается проблем с workers и queue length.

Sergey · July 21, 2026, 2:49pm

serhio:

@Sergey верно ли понимаю, что из-за не проблем файловых дескрипторов были ошибки:
[Mon Jul 20 13:24:00.116 2026] [2000948] FATAL: failed to open file for meta serialization: failed to create /var/lib/manticore/literature_works/literature_works.meta.new: Too many open files

С большой вероятностью да.

serhio · July 22, 2026, 7:40am

Понял, проверим потом без параметров.

Итого, на версии 28.4.4 сейчас корректно работает по workers и queue length - роста нет.

serhio · July 29, 2026, 3:09pm

@Sergey проверил на другом сервере при upgrade. Без заданных параметров по лимитам, ошибки есть. Актуально для больших индексов, но в этом случае Manticore запускается, но исключает такие индексы.

Лог:

[Wed Jul 29 11:48:54.212 2026] [1434372] WARNING: table 'retail_products': disabled at the JSON config
[Wed Jul 29 11:48:54.212 2026] [1434372] WARNING: table 'retail_products': prealloc: disk chunk /var/lib/manticore/retail_products/retail_products.581384: prealloc failed: failed to open file '/var/lib/manticore/retail_products/retail_products.581384.spa': 'Too many open files' - NOT SERVING
[Wed Jul 29 11:48:54.493 2026] [1434378] prereading 1 tables
[Wed Jul 29 11:48:54.506 2026] [1434371] accepting connections

Индекс retail_products не был загружен.

Если добавить параметры в конфигурации и перезапустить Manticore, то выполняет подготовку индексов без ошибок.

serhio · August 6, 2026, 9:35am

При выполнении upgrade уже на production столкнулся с проблемами:

Даже при установленных лимитов в конфигурации по файлам, часть индексов не могла быть загружена и Manticore их выкидывал
При запуске сервиса Manticore, мог поработать буквально 1-2 минуты и зависал. В логах ничего, а при попытке подключиться с клиента mysql:

ERROR 2026 (HY000): SSL connection error: error:0A000410:SSL routines::sslv3 alert handshake failure

SSL не используется при этом.
Но мог подключиться с опцией mysql --ssl-mode=DISABLED, но не всегда и после зависал.

Опытным путем выявлена связь с большим использованием файлов, хоть по мониторингу ничего не было.
Удалось решить только путем жесткого ограничения в конфигурации, установив значение для параметра max_open_files вместо max (для использования лимитов на уровне конфигурации ОС) на значение. На одном сервере на 50000, на другом пришлось ограничить в 20000.
Только после этого сервис был успешно запущен.

Выглядит как проблема, т.к. до версии 13.6.7, которая была - такого поведения не было и никаких лимитов не приходилось задавать.
Сервера при этом производительные, диск под datadir - NVME.

serhio · August 7, 2026, 4:23pm

Ночью был сбой на одном из серверов:

Приблизительно в 04:35 сервис Manticore завис, а нагрузка по CPU до 100%:

В логах ничего, никаких ошибок или предупреждений. Т.к. сервис завис.

Примерно в 07:35 остановил сервис Manticore, дождался завершения.
Затем скорректировал (на всякий случай) в конфигурации Manticore параметр max_open_files до 10000 и запустил сервис Manticore.

Сервис был успешно запущен.
Пока работает, но не исключено, что вновь может повториться.

Проблема актуальна и требуется помощь.