Ошибка при индексации нескольких индексов из csv


#1

Ошибка при индексации 2 индексов

./indexer --config configs/config.conf --verbose --rotate disk_delta_leads_srv8_index disk_delta_leads_srv8_0_index
using config file ‘configs/config.conf’…
indexing index ‘disk_delta_leads_srv8_index’…
collected 64 docs, 0.0 MB
creating lookup: 0.1 Kdocs, 100.0% done
creating histograms: 0.1 Kdocs, 100.0% done
sorted 0.0 Mhits, 100.0% done
total 64 docs, 5073 bytes
total 1.024 sec, 4953 bytes/sec, 62.49 docs/sec
indexing index ‘disk_delta_leads_srv8_0_index’…
ERROR: index ‘disk_delta_leads_srv8_0_index’: source ‘disk_delta_leads_srv8_0’: read error ‘No such file or directory’.
total 0 docs, 0 bytes
total 0.000 sec, 0 bytes/sec, 0.00 docs/sec
total 81 reads, 0.001 sec, 119.1 kb/call avg, 0.0 msec/call avg
total 16 writes, 0.000 sec, 2.8 kb/call avg, 0.0 msec/call avg

Первый индекс собрался, второй нет, с непонятной ошибкой.
Если поменять индексы местами, та же ситуация, первый собирается, второй падает

./indexer --config configs/config.conf --verbose --rotate disk_delta_leads_srv8_0_index disk_delta_leads_srv8_index
using config file ‘configs/config.conf’…
indexing index ‘disk_delta_leads_srv8_0_index’…
collected 18 docs, 0.0 MB
creating lookup: 0.0 Kdocs, 100.0% done
creating histograms: 0.0 Kdocs, 100.0% done
sorted 0.0 Mhits, 100.0% done
total 18 docs, 1858 bytes
total 1.036 sec, 1792 bytes/sec, 17.36 docs/sec
indexing index ‘disk_delta_leads_srv8_index’…
ERROR: index ‘disk_delta_leads_srv8_index’: source ‘disk_delta_leads_srv8’: read error ‘No such file or directory’.
total 0 docs, 0 bytes
total 0.000 sec, 0 bytes/sec, 0.00 docs/sec
total 81 reads, 0.001 sec, 119.0 kb/call avg, 0.0 msec/call avg
total 16 writes, 0.000 sec, 2.2 kb/call avg, 0.0 msec/call avg

Пример соурсов из конфига

source disk_delta_leads_srv8_0
{
type = csvpipe
csvpipe_command = php /app/console sphinx:export -s8 -g0
csvpipe_attr_uint = content_id
csvpipe_attr_uint = account_id
csvpipe_attr_uint = is_deleted
csvpipe_attr_json = filters
csvpipe_field = base
csvpipe_field = additional
csvpipe_field = content
csvpipe_field = tags
csvpipe_field = account_id_key
}
source disk_delta_leads_srv8
{
type = csvpipe
csvpipe_command = php /app/console sphinx:export -s8
csvpipe_attr_uint = content_id
csvpipe_attr_uint = account_id
csvpipe_attr_uint = is_deleted
csvpipe_attr_json = filters
csvpipe_field = base
csvpipe_field = additional
csvpipe_field = content
csvpipe_field = tags
csvpipe_field = account_id_key
}

Как понять, что ему не нравится? какого файла нет?

еще интересно если запускать без ключа rotate,
то ошибка выглядит как
ERROR: index ‘disk_delta_leads_srv8_index’: source ‘disk_delta_leads_srv8’: read error ‘Undefined error: 0’.


#2

если можно воспроизвести такое поведение на уменьшеном датасете \ с например

csvpipe_command = cat s1.txt
...
csvpipe_command = cat s2.txt

то лучше создать тикет на Github


#3

понял, сейчас попробую


#4