Тестирование стоп слов.

[audetv]

Добавил стоп слова, работает с версией концептуального словаря. На данный момент список стоп слов из стандартного набора ru, en. Необходимо потестировать, определиться оставляем ли стоп слова? Добавляем ли стоп слова на обычный поиск? Будем ли пополнять список стоп слов?

Со стоп словами заметил одну особенность, которая ломает поиск по синонимам словоформам (wordforms), если встречается словосочетание в левой части, то сочетание не работает и не ищется вместе с указанным значением. И пока мне не удалось в wordforms это победить, если стоп слова включены. Есть идея потестировать с исключениями, но исключения:

Header	Header	Header
Case sensitive	Can use special characters that are not in charset_table	Underperform on huge dictionaries

Чувствительный к регистру и к ним не применяется steming - словоформы, окончания, падежи. В exceptions при необходимости надо описывать все необходимые сочетания слов и где-то видел в доках, что медленнее, чем словоформы, но это ладно, я думаю там речь шла о миллионах строк.

Правую часть надо бы тоже проверить, я просто уже не ставил справа сочетания слов по причине указанной в этом сообщении https://github.com/audetv/fct-search/issues/128#issuecomment-1523274596

Сейчас считаю, что так делать не надо, что вообще никакие фразы не надо ставить справа. Справа лучше всего на мой взгляд - сокращение, аббревиатура или одно слово. Я это понял позже, когда добавил еще с десяток слов, когда гонял разные сочетания, обучая свой естественный интеллект. Пока я еще новые данные по словарю не выгружал.

Но поставлю и посмотрю, что будет например с «мастер и маргарита».

[audetv]

2023-04-26 17:23:34 WARNING: table 'questions_ext': wordform contains stopwords (wordform='Мастер и Маргарита => дтсп'). Fix your wordforms file '/var/lib/manticore/questions_ext/wordforms.txt'.
2023-04-26 17:23:34 WARNING: table 'questions_ext': wordform contains stopwords (wordform='бирка на дверях кабинета => власть'). Fix your wordforms file '/var/lib/manticore/questions_ext/wordforms.txt'.
2023-04-26 17:23:34 WARNING: table 'questions_ext': wordform contains stopwords (wordform='общение с Богом => ЯЖО'). Fix your wordforms file '/var/lib/manticore/questions_ext/wordforms.txt'.
2023-04-26 17:23:34 WARNING: table 'questions_ext': wordform contains stopwords (wordform='в русле Промысла => ЯЖО'). Fix your wordforms file '/var/lib/manticore/questions_ext/wordforms.txt'

На данный момент в версии словаря v0.2.0 не работают следующие фразы:

• Мастер и Маргарита => дтсп
• бирка на дверях кабинета => власть
• общение с Богом => ЯЖО
• в русле Промысла => ЯЖО

[iprst]

То есть стандартный стоп-лист убирает все предлоги и союзы из запроса.

Будет ли работать с wordforms и стоп-листом конструкция следующего вида?

Мастер Маргарита => дтсп
бирка дверях кабинета => власть
общение Богом => ЯЖО
русле Промысла => ЯЖО

[audetv]

общение Богом
русле Промысла

Хм, эти фразы дают сочетания, но результатов много меньше, чем бог, инвоу, к которым они прикреплены.
Я не понимаю почему какие-то сочетания работают, а какие-то совсем нет:
Мастер Маргарита
бирка дверях кабинета - всего 3 значения в обычном поиске и 2 в концептуально, пусть,
Но мастер с маргаритой... Соображения, наблюдения?

Будет ли работать с wordforms и стоп-листом конструкция следующего вида?

Да буду проверять, пока не знаю.
UPD
Проверять буду с исключениями, а с этим:
Я проверял, вчера, но результат был неудовлетворительный. Результат в выдаче был только строго при вводе в строку поиска «мастер маргарита», тогда работало, но при вводе в строку «Мастер и Маргарита» синонимы не прицепляло.

[iprst]

общение Богом
русле Промысла

Хм, эти фразы дают сочетания, но результатов много меньше, чем бог, инвоу, к которым они прикреплены.

Полагаю, их нужно прописать в wordforms в таком виде и посмотреть, подтягиваются ли синонимы после стоп-слов?

[iprst]

Я проверял, вчера, но результат был неудовлетворительный. Результат в выдаче был только строго при вводе в строку поиска «мастер маргарита», тогда работало, но при вводе в строку «Мастер и Маргарита» синонимы не прицепляло.

Какова же тогда иерархия зависимостей между стоп-словами и wordforms?

[audetv]

UPD

Я проверял вчера Мастер и маргариту, но результат был неудовлетворительный. Результат в выдаче был только строго при вводе в строку поиска «мастер маргарита», тогда работало, но при вводе в строку «Мастер и Маргарита» синонимы не прицепляло.
Проверю еще раз:
общение Богом
русле Промысла
мастер маргарита

[audetv]

Я прочитал эти разделы раз 10, видимо надо еще раз 10-15 прочитать, возможно что-то замечу. Так реально бывает, особенно после того как несколько дней тестируешь, «тыкаешься», а потом понимаешь, так вот же написано было.

Или в каком-нибудь случайно попавшемся по другому вопросу стак оверфлоу, замечаешь, что кто то пишет, да надо было поставить «! знак» перед предлогом... это я сейчас сам придумал. Кстати, надо проверить )))

Ignoring stop words
Word forms
Exceptions
Morphology

[iprst]

кто то пишет, да надо было поставить «! знак» перед предлогом

«это же всем очевидно, даже моим собаке и котику»

[iprst]

Ignoring stop words

Стоп-слова не индексируются, но они влияют на позиции ключевых слов. Например, если "the" является стоп-словом, и документ 1 содержит фразу "in office", в то время как документ 2 содержит фразу "in the office", поиск "in office" в качестве точной фразы вернет только первый документ, даже если "the" пропущено как стоп-слово во втором документе. Это поведение может быть изменено с помощью директивы stopword_step.

stopword_step
stopword_step={0/1}
Параметр position_increment для стоп-слов необязателен, допустимыми значениями являются 0 и 1, при этом значение по умолчанию равно 1.

Если вам нужно использовать стоп-слова для нескольких языков, вы должны перечислить все их псевдонимы, разделенные запятыми (режим RT) или пробелами (обычный режим):

CREATE TABLE products(title text, price float) stopwords = 'en, it, ru'

[audetv]

Стоп-слова не индексируются, но они влияют на позиции ключевых слов. Например, если "the" является стоп-словом, и документ 1 содержит фразу "in office", в то время как документ 2 содержит фразу "in the office", поиск "in office" в качестве точной фразы вернет только первый документ, даже если "the" пропущено как стоп-слово во втором документе. Это поведение может быть изменено с помощью директивы stopword_step.

Да. Спасибо, попробую. Я же смотрел только сегодня опять на эту секцию, но дочитал до 3 его предложения и ушел по ссылкам... про in office точно не читал. А в пункте stopword_step ничего нет про то, как работает. Вот так я и читаю документацию по 10 раз.

Если вам нужно использовать стоп-слова для нескольких языков, вы должны перечислить все их псевдонимы, разделенные запятыми (режим RT) или пробелами (обычный режим):

Это так и сделано сейчас.

[iprst]

про in office точно не читал. А в пункте stopword_step ничего нет про то, как работает. Вот так я и читаю документацию по 10 раз.

Формирование текста это очень хитрая задача, с которой разработчики мантикоры пока не справились. Руководство это что-то с чем-то, в каждой строчке ссылки на два других параграфа. Почему не ПРОДУБЛИРОВАТЬ цитату из соседнего раздела, пусть даже с той же страницы? В чём проблема то? Экономия эффективных менеджеров. Сразу видно профессионалов.

[iprst]

Но, как известно, 3:54

[audetv]

UPD и все тестирование такого вида настроек осложняется тем, что после каждой пробы надо сделать рестарт сервиса, 10-20 сек, потом удалить текущую таблицу, добавить ее снова с новыми с настройками, закинуть туда индекс (4-5 мин). И так по 10, 20, 30 раз.... Есть типа волшебная опция alter table, но она не работает стабильно, настройки не применяются всегда снова на существующий индекс, только в некоторых исключительных случаях. Т.о. любой эксперимент с alter table (без удаления таблицы и сбора заново, может дать ложный результат) А это снова время.. даже по 5 мин на прогон, 10 прогонов это уже час, тяжело идет.