{ "componentChunkName": "component---src-templates-doc-page-js", "path": "/docs/ru/NLU_core/advanced_classifer_settings/", "result": {"data":{"site":{"siteMetadata":{"title":"Gatsby-doc-engine"}},"markdownRemark":{"id":"2886a339-4985-5d7b-8b02-3dd6113d1091","excerpt":"Расширенные настройки NLU?> При создании и редактировании проекта вы можете задать новые параметры для настройки NLU. Параметры передаются в виде JSON-объекта в…","html":"

Расширенные настройки NLU

\n
\n

При создании и редактировании проекта вы можете задать новые параметры для настройки NLU. Параметры передаются в виде JSON-объекта в текстовом представлении.

\n

Важно указывать параметры, которые соответствуют алгоритму классификатора в проекте.

\n
\n

Общие настройки

\n

К общим настройкам относятся параметры, не зависящие от алгоритма классификатора в проекте:

\n
{\r\n    \"patternsEnabled\": true,\r\n    \"tokenizerEngine\": \"udpipe\",\r\n    \"dictionaryAutogeneration\": true\r\n}
\n

Параметры:

\n\n
\n

tokenizerEngine

\n

В зависимости от языка NLU необходимо использовать разные типы токенизаторов.

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
Язык NLUtokenizerEngineДополнительная информация
Русскийudpipe

mystem

morphsrus		По умолчанию используется udpipe.

Токенизаторы mystem и morphsrus используются для миграции проектов с паттернов на CAILA.
Английскийspacy

udpipe
Китайскийpinyin
Португальскийudpipe
\n
\n

STS

\n

Параметры для STS классификатора:

\n
{\r\n    \"patternsEnabled\": true,\r\n    \"namedEntitiesRequired\": true,\r\n    \"tokenizerEngine\": \"udpipe\",\r\n\r\n    \"stsSettings\": {\r\n        \"exactMatch\": 1.0,\r\n        \"lemmaMatch\": 0.95,\r\n        \"jaccardMatch\": 0.5,\r\n        \"jaccardMatchThreshold\": 0.82,\r\n        \"acronymMatch\": 1.0,\r\n        \"synonymMatch\": 0,\r\n        \"synonymContextWeight\": 0.0,\r\n        \"patternMatch\": 1,\r\n        \"throughPatternMatch\": 0,\r\n        \"wordSequence1\": 0.8,\r\n        \"wordSequence2\": 0.9,\r\n        \"wordSequence3\": 1.0,\r\n        \"intermediateAlternativesLimit\": 5,\r\n        \"finalAlternativesLimit\": 5,\r\n        \"idfShift\": 0.0,\r\n        \"idfMultiplier\": 1.0,\r\n        \"namedEntitiesRequired\": true,\r\n    }\r\n}
\n
\n

Параметры

\n\n
\n

namedEntitiesRequired

\n

Подробнее рассмотрим параметр \"namedEntitiesRequired\": true. Если в интент была добавлена фраза с системной сущностью, например:

\n
Мне нужно @duckling.number яблок
\n

То при запросе клиента Мне нужно яблок — фраза не попадет в интент, так как системная сущность не была найдена.

\n

Переопределите параметр namedEntitiesRequired в расширенных настройках NLU, чтобы фразы без системных сущностей активировали интент.

\n
\n

Deep Learning

\n

Параметры для Deep Learning классификатора:

\n
{\r\n    \"patternsEnabled\": true,\r\n    \"tokenizerEngine\": \"udpipe\",\r\n\r\n    \"cnnSettings\": {\r\n        \"lang\": \"ru\",\r\n        \"kernel_sizes\": [\r\n            1,\r\n            2\r\n        ],\r\n        \"n_filters\": 1024,\r\n        \"emb_drp\": 0.25,\r\n        \"cnn_drp\": 0.25,\r\n        \"bs\": 64,\r\n        \"n_epochs\": 15,\r\n        \"lr\": 0.001,\r\n        \"pooling_name\": \"max\"\r\n    },\r\n}
\n
\n

Параметры

\n\n
\n

Общие рекомендации

\n

Параметры для Deep Learning классификатора при размере датасета:

\n\n
        \"kernel_sizes\": [\r\n            2,\r\n            3,\r\n            4\r\n        ],\r\n        \"n_filters\": 1024-2048,\r\n        \"emb_drp\": 0.3-0.4,\r\n        \"cnn_drp\": 0.3-0.4,\r\n        \"bs\": 64-128,\r\n        \"n_epochs\": 3,\r\n        \"lr\": 0.001,\r\n        \"pooling_name\": \"max, concat\"
\n\n
        \"kernel_sizes\": [\r\n            2,\r\n            3,\r\n            4\r\n        ],\r\n        \"n_filters\": 1024-2048,\r\n        \"emb_drp\": 0.3-0.4,\r\n        \"cnn_drp\": 0.3-0.4,\r\n        \"bs\": 32-128,\r\n        \"n_epochs\": 3,\r\n        \"lr\": 0.001,\r\n        \"pooling_name\": \"max, concat\"
\n\n
        \"kernel_sizes\": [\r\n            2,\r\n            3,\r\n            4                      // или [2,3]\r\n        ],\r\n        \"n_filters\": 1024,\r\n        \"emb_drp\": 0.3-0.5,\r\n        \"cnn_drp\": 0.3-0.5,\r\n        \"bs\": 32-64,\r\n        \"n_epochs\": 3-5,\r\n        \"lr\": 0.001,\r\n        \"pooling_name\": \"max\"
\n\n
        \"kernel_sizes\": [\r\n            2,\r\n            3,\r\n            4                      // или [2,3]\r\n        ],\r\n        \"n_filters\": 1024,\r\n        \"emb_drp\": 0.4-0.5,\r\n        \"cnn_drp\": 0.4-0.5,\r\n        \"bs\": 32,\r\n        \"n_epochs\": 4-7,\r\n        \"lr\": 0.001,\r\n        \"pooling_name\": \"max\"
\n\n
        \"kernel_sizes\": [\r\n            2,\r\n            3\r\n        ],\r\n        \"n_filters\": 512,\r\n        \"emb_drp\": 0.5,\r\n        \"cnn_drp\": 0.5,\r\n        \"bs\": 16-32,\r\n        \"n_epochs\": 7-15,\r\n        \"lr\": 0.001,\r\n        \"pooling_name\": \"max\"
\n
\n

Classic ML

\n
{\r\n    \"patternsEnabled\": true,\r\n    \"tokenizerEngine\": \"udpipe\",\r\n\r\n    \"classicMLSettings\": {\r\n        \"C\": 1,\r\n        \"lang\": \"ru\",\r\n        \"word_ngrams\": [\r\n            1,\r\n            2\r\n        ],\r\n        \"lemma_ngrams\": [\r\n            0\r\n        ],\r\n        \"stemma_ngrams\": [\r\n            1,\r\n            2\r\n        ],\r\n        \"char_ngrams\": [\r\n            3,\r\n            4\r\n        ],\r\n        \"lower\": true\r\n    }\r\n}
\n
\n

Параметры

\n\n

Например для фразы я люблю зеленые яблоки будут составлены словосочетания:

\n
 [\r\n  \"я люблю\",\r\n  \"люблю зеленые\",\r\n  \"зеленые яблоки\",\r\n  \"я люблю зеленые\",\r\n  \"люблю зеленые яблоки\"\r\n]
\n

Не рекомендуется использовать значение параметра больше 3.

\n\n

Например для фразы я люблю зеленые яблоки будут составлены словосочетания:

\n
 [\r\n  \"я любить\",\r\n  \"любить зеленый\",\r\n  \"зеленый яблоко\"\r\n]
\n

Не рекомендуется использовать значение параметра больше 3.

\n\n

Например для фразы я люблю зеленые яблоки будут составлены словосочетания:

\n
 [\r\n  \"я любл\",\r\n  \"любл зелен\",\r\n  \"зелен яблок\"\r\n]
\n

Не рекомендуется использовать вместе параметры lemma_n_grams и stemma_ngrams из-за возможности переобучения модели. Также рекомендуется использовать значение для stemma_ngrams больше 3

\n\n

Например, при значении \"char_n_grams\": [5] фраза зеленые яблоки преобразуется в набор:

\n
 [\r\n  \"зелен\",\r\n  \"елены\",\r\n  \"леные\",\r\n   ...\r\n]
\n\n
\n

Внешний NLU-сервис

\n

Платформа JAICP поддерживает возможность подключения внешнего NLU-сервиса, который соответствует спецификации Model API. Вам также будут доступны создание и настройка интентов, сущностей, паттернов.

\n

Model API позволяет использовать сторонние токенизаторы, а также NLU-сервисы распознавания именованных сущностей и интентов в проектах JAICP.

\n

Для того чтобы использовать внешний NLU-сервис в проекте, в расширенных настройках используйте externalNluSettings:

\n
...\r\n\"externalNluSettings\": {\r\n    \"nluProviderSettings\": {\r\n        \"markup\": {\r\n            \"nluType\": \"external\",\r\n            \"url\": \"http://example.com\"\r\n        },\r\n        \"ner\": {\r\n            \"nluType\": \"external\",\r\n            \"url\": \"http://example.com\"\r\n        },\r\n        \"classification\": {\r\n            \"nluType\": \"external\",\r\n            \"url\": \"http://example.com\"\r\n        }\r\n    },\r\n    \"language\": \"ja\",\r\n    \"nluActionAdditionalProperties\": {\r\n        \"markup\": null,\r\n        \"ner\": null,\r\n        \"classification\": {\r\n            \"modelId\": \"123\",\r\n            \"classifierName\": \"example\",\r\n            \"properties\": null\r\n        }\r\n    }\r\n}\r\n...
\n
\n

Параметры

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
ПараметрОписание
classifierNameИмя классификатора.
classificationПараметры для запросов классификации интентов.
languageЯзык внешнего NLU. Если не установлен, будет использован язык из настроек проекта.
markupПараметры для запросов разметки.
modelIDID модели классификатора.
nerNamed entity recognition.

Параметры для запросов распознавания именованных сущностей.
nluActionAdditionalPropertiesДополнительные настройки для внешнего NLU-сервиса.
nluProviderSettingsОбъект, определяющий, где будет выполняться действие NLU.
nluTypeТип NLU.

Может быть установлен внешний external или внутренний caila NLU.
\n
\n

Использование

\n

Обратите внимание, что в проекте нельзя одновременно использовать интенты или сущности от внешнего NLU-сервиса и от CAILA .

\n

В проекте JAICP вы можете:

\n
    \n
  1. \n

    Использовать сущности и интенты внешнего NLU-сервиса.

    \n\n
    2. \n
  2. \n

    Использовать сущности внешнего NLU-сервиса и интенты CAILA.

    \n\n
    3. \n
  3. \n

    Использовать интенты внешнего NLU-сервиса и сущности CAILA.

    \n\n
    4. \n
  4. \n

    Использовать разметку внешнего NLU-сервиса с сущностями и интентами CAILA.

    \n\n
    5. \n
\n
\n

Вы можете ознакомиться с примером внешнего NLU-сервиса в репозитории на GitHub.

","frontmatter":{"title":"","description":null},"headings":[{"value":"Расширенные настройки NLU"}]}},"pageContext":{"slug":"/docs/ru/NLU_core/advanced_classifer_settings/","previous":{"fields":{"slug":"/docs/ru/NLU_core/data/"},"frontmatter":{"title":"","description":null}},"next":{"fields":{"slug":"/docs/ru/JS_API/session_lifetime_control/"},"frontmatter":{"title":"","description":null}}}}, "staticQueryHashes": ["1209419333"]}