Автоматизированное распознавание информационных сущностей (АРИС): как повысить эффективность работы с данными.
- Rostov-on-Don
- Сообщения: 41
- Зарегистрирован: Чт авг 22, 2024 2:57 pm
- Откуда: Ростов-на-Дону
Распознавание объектов
Как распознать объекты в тексте?
После того, как ваш текст попадет в "сквозное поле", нажимаем кнопку "Анализ текста".
Если в тексте есть информационные объекты, то они будут найдены. Текстовое поле уменьшится на треть, уступив место списку (таблице) распознанных объектов. Объекты и их свойства выделяются в тексте цветом. Таким же цветом они обозначены в таблице.
Объекты не созданы в банке данных, пока они просто предъявлены оператору для принятия решения.
Видеопрезентация
После того, как ваш текст попадет в "сквозное поле", нажимаем кнопку "Анализ текста".
Если в тексте есть информационные объекты, то они будут найдены. Текстовое поле уменьшится на треть, уступив место списку (таблице) распознанных объектов. Объекты и их свойства выделяются в тексте цветом. Таким же цветом они обозначены в таблице.
Объекты не созданы в банке данных, пока они просто предъявлены оператору для принятия решения.
Видеопрезентация
- Rostov-on-Don
- Сообщения: 41
- Зарегистрирован: Чт авг 22, 2024 2:57 pm
- Откуда: Ростов-на-Дону
Анализируем данные (часть #2)
Быстрый поиск в базах данных распознанных объектов.
После того как вы получили таблицу информационных объектов, вы можете начать Поиск на вводе.
Вам нужно просто нажать кнопку «Экспресс поиск» (1*).
Результат поиска представлен в списке (см рис.).
С найденными объектами оператор может создать связь, для этого нужно отметить объект (2*) и нажать кнопку "(3*)"
Но до этого момента оператор имеет возможность просмотреть результат поиска, нажав на кнопку (i)
Видеопрезентация
После того как вы получили таблицу информационных объектов, вы можете начать Поиск на вводе.
Вам нужно просто нажать кнопку «Экспресс поиск» (1*).
Результат поиска представлен в списке (см рис.).
С найденными объектами оператор может создать связь, для этого нужно отметить объект (2*) и нажать кнопку "(3*)"
Но до этого момента оператор имеет возможность просмотреть результат поиска, нажав на кнопку (i)
Видеопрезентация
- Rostov-on-Don
- Сообщения: 41
- Зарегистрирован: Чт авг 22, 2024 2:57 pm
- Откуда: Ростов-на-Дону
Анализируем данные (часть #3)
Работаем со свойствами распознанных объектов.
Кликаем по строке с распознанным объектом и "проваливаемся" в его свойства
В тексте документа объект будет выделен желтым маркером (это не Photoshop).
Информация из текста разнесена по нужным полям виртуального объекта.
Дальнейшие действия предсказуемы: Поиск на вводе, Глобальный поиск и Создание в банке.
В вашем распоряжении три кнопки:
1. Поиск на вводе (с вариантами Равно и Похоже) (равно)
2. Глобальный поиск (Семантический поиск по соседним банкам) (похожесть)
3. Создать запись
Ваши отметки (галочки) учитываются при поиске и создании объекта в базе.
Значения полей можно изменять до их сохранения в базе данных.
Внимание! Объект, созданный по команде пользователя, отображается в Списке связанных объектов.
В списке Виртуальных объектов он выглядит с зачеркиванием.
Видеопрезентация
Кликаем по строке с распознанным объектом и "проваливаемся" в его свойства
В тексте документа объект будет выделен желтым маркером (это не Photoshop).
Информация из текста разнесена по нужным полям виртуального объекта.
Дальнейшие действия предсказуемы: Поиск на вводе, Глобальный поиск и Создание в банке.
В вашем распоряжении три кнопки:
1. Поиск на вводе (с вариантами Равно и Похоже) (равно)
2. Глобальный поиск (Семантический поиск по соседним банкам) (похожесть)
3. Создать запись
Ваши отметки (галочки) учитываются при поиске и создании объекта в базе.
Значения полей можно изменять до их сохранения в базе данных.
Внимание! Объект, созданный по команде пользователя, отображается в Списке связанных объектов.
В списке Виртуальных объектов он выглядит с зачеркиванием.
Видеопрезентация
- Rostov-on-Don
- Сообщения: 41
- Зарегистрирован: Чт авг 22, 2024 2:57 pm
- Откуда: Ростов-на-Дону
Настройка распознавания (МАД)
Настройка модуля анализа документа
В настройке важно дать понять АРИС, как называются объекты и как называются поля ВАШЕГО банка данных.
У меня база называется Контакты, а для АРИС это Телефон и так далее, выбираем из списка, обращая внимание на заголовки таблицы.
Видеопрезентация
В настройке важно дать понять АРИС, как называются объекты и как называются поля ВАШЕГО банка данных.
У меня база называется Контакты, а для АРИС это Телефон и так далее, выбираем из списка, обращая внимание на заголовки таблицы.
Видеопрезентация
- Rostov-on-Don
- Сообщения: 41
- Зарегистрирован: Чт авг 22, 2024 2:57 pm
- Откуда: Ростов-на-Дону
Выбирай свой цвет (статья #14)
Как настроить цвета объектов?
Распознанные объекты выделены каждый своим цветом. Как это сделать на свой вкус?
Для этого в настройках АРИС нужно выполнить действия, показанные на скриншоте.
Каждый объект следует выделить своим цветом (вы будете делать выбор ваших баз данных, а на скрине мои).
Видеопрезентация
Распознанные объекты выделены каждый своим цветом. Как это сделать на свой вкус?
Для этого в настройках АРИС нужно выполнить действия, показанные на скриншоте.
Каждый объект следует выделить своим цветом (вы будете делать выбор ваших баз данных, а на скрине мои).
Видеопрезентация
- Rostov-on-Don
- Сообщения: 41
- Зарегистрирован: Чт авг 22, 2024 2:57 pm
- Откуда: Ростов-на-Дону
Ручная разметка.
Как поступить, если система не смогла распознать объект при анализе документа?
Подобные ситуации могут возникать, например, когда в тексте упоминается только фамилия человека без дополнительной информации о нём.
В таком случае выделяем объект, кликаем кнопку "Ручная разметка", в изменившейся панели жмем на кнопку с пиктограммой нужной вам (вашей) базы. Дальше работаем с объектом как с распознанным АРИС (поиск, редактирование, создание...).
Чтобы система работала корректно, необходимо также указать в настройках программы, какое поле и в каком объекте вы хотите заполнить.
Видеопрезентация
Подобные ситуации могут возникать, например, когда в тексте упоминается только фамилия человека без дополнительной информации о нём.
В таком случае выделяем объект, кликаем кнопку "Ручная разметка", в изменившейся панели жмем на кнопку с пиктограммой нужной вам (вашей) базы. Дальше работаем с объектом как с распознанным АРИС (поиск, редактирование, создание...).
Чтобы система работала корректно, необходимо также указать в настройках программы, какое поле и в каком объекте вы хотите заполнить.
Видеопрезентация
- Rostov-on-Don
- Сообщения: 41
- Зарегистрирован: Чт авг 22, 2024 2:57 pm
- Откуда: Ростов-на-Дону
Схема один к многим.
Как реализовать схему: от Карточки документа - N * ДК (много публикаций)
В Сквозном тексте помечаем абзац и Ручной разметкой определяем его как Документ (Публикация).
Делаем это с нужными абзацами несколько раз.
Как видно на скрине, абзацы формируют список.
Нажимаем на кнопку Создать объект.
Получили: "КД" -> "ДК1" + "ДК2" + "ДК3"
Получаем созданные объекты ДК(ПС) в банке данных, связанных с текущей карточкой документа
Для реализации этого процесса необходимо сделать подобное, надо выставить такие настройки для вашего банка
Графическая схема позволяет точнее понять описанное выше
Видеопрезентация
В Сквозном тексте помечаем абзац и Ручной разметкой определяем его как Документ (Публикация).
Делаем это с нужными абзацами несколько раз.
Как видно на скрине, абзацы формируют список.
Нажимаем на кнопку Создать объект.
Получили: "КД" -> "ДК1" + "ДК2" + "ДК3"
Получаем созданные объекты ДК(ПС) в банке данных, связанных с текущей карточкой документа
Для реализации этого процесса необходимо сделать подобное, надо выставить такие настройки для вашего банка
Графическая схема позволяет точнее понять описанное выше
Видеопрезентация
- Rostov-on-Don
- Сообщения: 41
- Зарегистрирован: Чт авг 22, 2024 2:57 pm
- Откуда: Ростов-на-Дону
Поиск объекта, просмотр, связать
В процессе работы пользователь проходит этап поиска объекта в банке и создании с ним связи.
Как это делается в АРИС.
Вошли в просмотр свойств распознанного объекта.
Отмечаем поисковые характеристики (Фамилия, или другое).
Нажатие кнопки (=) 1* - это поиск по условию Равно
Нажатие кнопки (~) - это поиск по Похожести
Результат поиска (если он есть) отобразится левее.
Чтобы открыть нужно дважды по нему кликнуть или нажать кнопку (2).
В открывшейся форме можно просмотреть свойства объекта.
После того, как оператор убедился в правильности найденного объекта, он может установить связь.
Отмечает чекбокс (шаг -1) и нажимает кнопку (+) (шаг - 2)
Видеопрезентация
Как это делается в АРИС.
Вошли в просмотр свойств распознанного объекта.
Отмечаем поисковые характеристики (Фамилия, или другое).
Нажатие кнопки (=) 1* - это поиск по условию Равно
Нажатие кнопки (~) - это поиск по Похожести
Результат поиска (если он есть) отобразится левее.
Чтобы открыть нужно дважды по нему кликнуть или нажать кнопку (2).
В открывшейся форме можно просмотреть свойства объекта.
После того, как оператор убедился в правильности найденного объекта, он может установить связь.
Отмечает чекбокс (шаг -1) и нажимает кнопку (+) (шаг - 2)
Видеопрезентация
- Rostov-on-Don
- Сообщения: 41
- Зарегистрирован: Чт авг 22, 2024 2:57 pm
- Откуда: Ростов-на-Дону
Как настроить проверку сообщения
Проверка корректности формализации данных (часть 1)
Точность и полнота заполнения базы данных являются ключевыми факторами, влияющими на эффективность работы системы. В связи с этим был разработан настраиваемый механизм проверки данных, который может быть адаптирован в соответствии с корпоративными стандартами и регламентами.
Для настройки параметров проверки необходимо перейти в раздел "Настройки" и выбрать подраздел "Тонкие настройки проверки".
Процесс настройки:
1. Выбор баз данных для проверки: В первой зоне настройки необходимо активировать базы данных, которые подлежат проверке.
2. Выбор полей для проверки: Во второй зоне настройки следует активировать поля, которые будут подвергнуты проверке.
Особенности настройки правил проверки в АРИС:
Правила проверки в АРИС основаны на знании типов полей, используемых в системе CronosMultiPro. Основные типы полей включают:
* Числовое поле
* Текстовое поле
* Словарное поле
* Поле даты
* Поле связи
Для каждого типа поля предусмотрены стандартные правила проверки, которые могут быть дополнены специфическими условиями в зависимости от требований организации.
На скриншоте показана настройка проверки для объекта Документ - Текст публикации
Синим отмечены поля с изменяемыми параметрами для вашего случая.
Примеры проверок для текстовых полей:
Текстовые поля могут быть проверены по следующим критериям:
1. Оценка наличия данных: определение, заполнено ли поле или оставлено пустым.
2. Соответствие маске: проверка содержимого поля на соответствие заданной маске или на соответствие запрещённой маске.
3. Проверка на недопустимые символы: выявление наличия в поле символов, не соответствующих установленным стандартам.
4. Контроль объёма текста: проверка количества символов или слов в поле на соответствие установленным лимитам.
5. Поиск заданного текста: определение наличия в поле определённого текста, указанного пользователем.
6. Проверка на дублирование в масштабе всего банка: выявление дублирования (по степени похожести) информации в текстовом поле.
7. Проверка множественных значений: анализ дублирования значений в множественном текстовом поле.
8. Контроль количества множественных значений: проверка на соответствие количества значений в множественном поле установленным лимитам.
9. Валидация данных с использованием контрольных сумм (для полей, содержащих ИНН или СНИЛС): проверка корректности данных на основе контрольных сумм.
Все перечисленные проверки являются опциональными и могут быть активированы по мере необходимости. Важно отметить, что для эффективной настройки проверки необходимо уметь составлять маски для различных типов полей. Подробное описание процесса составления масок будет представлено в дальнейшем.
Если срабатывают эти правила, то оператор получает уведомление о предполагаемой ошибке
Видеопрезентация
Точность и полнота заполнения базы данных являются ключевыми факторами, влияющими на эффективность работы системы. В связи с этим был разработан настраиваемый механизм проверки данных, который может быть адаптирован в соответствии с корпоративными стандартами и регламентами.
Для настройки параметров проверки необходимо перейти в раздел "Настройки" и выбрать подраздел "Тонкие настройки проверки".
Процесс настройки:
1. Выбор баз данных для проверки: В первой зоне настройки необходимо активировать базы данных, которые подлежат проверке.
2. Выбор полей для проверки: Во второй зоне настройки следует активировать поля, которые будут подвергнуты проверке.
Особенности настройки правил проверки в АРИС:
Правила проверки в АРИС основаны на знании типов полей, используемых в системе CronosMultiPro. Основные типы полей включают:
* Числовое поле
* Текстовое поле
* Словарное поле
* Поле даты
* Поле связи
Для каждого типа поля предусмотрены стандартные правила проверки, которые могут быть дополнены специфическими условиями в зависимости от требований организации.
На скриншоте показана настройка проверки для объекта Документ - Текст публикации
Синим отмечены поля с изменяемыми параметрами для вашего случая.
Примеры проверок для текстовых полей:
Текстовые поля могут быть проверены по следующим критериям:
1. Оценка наличия данных: определение, заполнено ли поле или оставлено пустым.
2. Соответствие маске: проверка содержимого поля на соответствие заданной маске или на соответствие запрещённой маске.
3. Проверка на недопустимые символы: выявление наличия в поле символов, не соответствующих установленным стандартам.
4. Контроль объёма текста: проверка количества символов или слов в поле на соответствие установленным лимитам.
5. Поиск заданного текста: определение наличия в поле определённого текста, указанного пользователем.
6. Проверка на дублирование в масштабе всего банка: выявление дублирования (по степени похожести) информации в текстовом поле.
7. Проверка множественных значений: анализ дублирования значений в множественном текстовом поле.
8. Контроль количества множественных значений: проверка на соответствие количества значений в множественном поле установленным лимитам.
9. Валидация данных с использованием контрольных сумм (для полей, содержащих ИНН или СНИЛС): проверка корректности данных на основе контрольных сумм.
Все перечисленные проверки являются опциональными и могут быть активированы по мере необходимости. Важно отметить, что для эффективной настройки проверки необходимо уметь составлять маски для различных типов полей. Подробное описание процесса составления масок будет представлено в дальнейшем.
Если срабатывают эти правила, то оператор получает уведомление о предполагаемой ошибке
Видеопрезентация
- Rostov-on-Don
- Сообщения: 41
- Зарегистрирован: Чт авг 22, 2024 2:57 pm
- Откуда: Ростов-на-Дону
Проверка "Оптом" или Как освободить время для себя!
Если ты работаешь с кучей Запросов по образцу и ищешь косяки в базе данных, это сообщение для тебя.
Каждый год запросов становится всё больше, и проверять их вручную — это просто жесть.
Лет десять назад я придумал такую (подобную) штуку, чтобы упростить жизнь. Это позволяло мне пойти качнуться или почитать книгу!
Думаю, что большинству из вас это тоже зайдет!
Эта форма позволяет запустить проверочные запросы из конкретной группы. Лучше их упорядочить, как на картинке, но это не строго.
Если твои запросы берут данные за определённый период, используй переменные @@d1 и @@d2, как на картинке.
Нажимаешь кнопку "Старт" — и все запросы из выбранной группы запускаются.
В результатах будут только те ответы, которые что-то нашли.
Двойной клик по строке открывает найденные результаты для редактирования.
Видео того как это работает в динамике.
Каждый год запросов становится всё больше, и проверять их вручную — это просто жесть.
Лет десять назад я придумал такую (подобную) штуку, чтобы упростить жизнь. Это позволяло мне пойти качнуться или почитать книгу!
Думаю, что большинству из вас это тоже зайдет!
Эта форма позволяет запустить проверочные запросы из конкретной группы. Лучше их упорядочить, как на картинке, но это не строго.
Если твои запросы берут данные за определённый период, используй переменные @@d1 и @@d2, как на картинке.
Нажимаешь кнопку "Старт" — и все запросы из выбранной группы запускаются.
В результатах будут только те ответы, которые что-то нашли.
Двойной клик по строке открывает найденные результаты для редактирования.
Видео того как это работает в динамике.