Вырезать HTML теги при создании индекса

General Discussions - Russian
1

Создаю plain index из данных в mysql. Индекс по сути простой, doc_id (int), content (text indexed).
После перезапускаю сервис в RT режиме и создаю из plain индекса RT индекс.
Данные замечательно переносятся, но в поле остаются HTML теги.
В обоих конфигах (plain и RT):
html_strip = 1
html_remove_elements = style, script
Может кто подсказать что я делаю не так?
Версия manticore 6.0.2, пробовал под Win11, Ubuntu, Docker.

2

но в поле остаются HTML теги

Вы имеете в виду, что когда делаете select content, то видите html тэги?

3

Да, причем в некоторых документах есть вставки JS (пережитки легаси), но теги не вырезаются. А там местами такая каша из тегов, что если в той же Yii2 GridView вывести это как raw формат, то разметка едет, а если safe, то сплошные теги, а не контент.

4

Так оно и не должно в сохранённом значении вырезаться. Оно вырезается в токенах, которые влияют на полнотекстовый поиск. Также highlight() понимает вырезан html или нет и можно через него получить текст без html.

Вот примеры, проанализируйте:

mysql> drop table if exists t; drop table if exists t2; create table t(f text) html_strip='1'; create table t2(f text); insert into t(f) values('<a href="http://google.com">test</a>'); insert into t2(f) values('<a href="http://google.com">test</a>'); select *, highlight() from t where match('test'); select *, highlight() from t2 where match('test');
--------------
drop table if exists t
--------------

Query OK, 0 rows affected (0.01 sec)

--------------
drop table if exists t2
--------------

Query OK, 0 rows affected (0.01 sec)

--------------
create table t(f text) html_strip='1'
--------------

Query OK, 0 rows affected (0.00 sec)

--------------
create table t2(f text)
--------------

Query OK, 0 rows affected (0.01 sec)

--------------
insert into t(f) values('<a href="http://google.com">test</a>')
--------------

Query OK, 1 row affected (0.00 sec)

--------------
insert into t2(f) values('<a href="http://google.com">test</a>')
--------------

Query OK, 1 row affected (0.00 sec)

--------------
select *, highlight() from t where match('test')
--------------

+---------------------+--------------------------------------+-------------+
| id                  | f                                    | highlight() |
+---------------------+--------------------------------------+-------------+
| 1515225192910311178 | <a href="http://google.com">test</a> | <b>test</b> |
+---------------------+--------------------------------------+-------------+
1 row in set (0.00 sec)

--------------
select *, highlight() from t2 where match('test')
--------------

+---------------------+--------------------------------------+---------------------------------------------+
| id                  | f                                    | highlight()                                 |
+---------------------+--------------------------------------+---------------------------------------------+
| 1515225192910311179 | <a href="http://google.com">test</a> | <a href="http://google.com"><b>test</b></a> |
+---------------------+--------------------------------------+---------------------------------------------+
1 row in set (0.00 sec)
5

Спасибо, помогло! Хотя вроде делал всё то же самое.