Московская компания создала программу очистки данных на основе алгоритмов нечеткой логики

Также компания планирует предложить на рынке Универсальную систему анализа и принятия решений (СППР)

Московский технологический стартап ООО «Кнодль» (Knowledge Definition Language) запустил 7 августа на сайте разработчика бесплатную (демо) программу по дедупликации данных для компаний, работающих с несколькими базами данных. Пробные загрузки ограничены количеством записей, но для малого и среднего бизнеса этого достаточно, чтобы вычистить замусоренные базы. 

*Дедупликация — это процесс удаления дублирующихся данных в информационных системах. Проще говоря, это способ очистки базы данных от повторяющихся записей, чтобы сохранить только уникальные и полезные данные. 

Например, если в телефонной книге одно и то же имя и номер телефона записаны несколько раз, то дедупликация оставит только одну запись. Это помогает сократить объем хранимой информации и повысить точность работы систем, которые используют эти данные.

Рынок

Проблема дублирующихся и повторяемых данных актуальна не только для бизнеса, но и для государственных структур и некоммерческих организаций.

Совокупный рынок услуг по дедупликации данных оценивается в Россия  20-30 млрд рублей или $200 - $300 млн. 

США  $4,5 - $5 млрд.

Европа (вся)  $2,5 - $3 млрд.

Китай  $1,5 - $2 млрд.

Саудовская Аравия  $0,15 - $0,2 млрд.

ОАЭ  $0,1 - $0,15 млрд.

Индия  $0,8 - $1 млрд.

Применение

В разных странах рынок таких услуг имеет разный вес в зависимости от общего объема цифровой экономики и государственного управления. Основные пользователи такого решения - сборочные предприятия, маркетплейсы, розничные компании, библиотеки и государственные ведомства, которые имеют колоссальную и разнообразную  номенклатуру товаров, контрагентов и клиентов и вынуждены работать с различными базами данных. 

В силу человеческого фактора и разности в системах хранения данных, сопряжение и бесшовный переход от одной базы к другой становится непростой задачей, которую ИТ специалисты решают долго и с удовольствием, обеспечивая себе занятость. 

Предлагаемое решение, основано на алгоритмах нечёткой (fuzzy) логики, что на порядок проще нейросетей, даст бизнесу и госструктурам значительную экономию в вычислительных мощностях и времени.

«Использование решений на базе технологии KnoDL значительно удешевляет интеграцию различных информационных систем за счет решения очень трудоемкой задачи по сопоставлению (маппированию) справочных данных (нормативно-справочной информации и других справочников).  Это мощное решение, как большой стационарный лазер...», - полагает начальник отдела разработки информационных систем АО «НТТ» Андрей Шапринский.

«Использование в программно-аппаратных комплексах решений на базе технологии Кнодль значительно удешевляет интеграцию — различных информационных систем за счет решения очень трудоемкой задачи по сопоставлению (маппированнию) справочных данных (нормативно- справочной — информации). Данный — инструмент является мощным информационным решением при работе с большими данными…», - говорит доцент кафедры И4 «Радиоэлектронные системы управления» БГТУ «ВОЕНМЕХ» им. Д.Ф. Устинова Вадим Лукичёв. 

Аналоги

За рубежом и в России существуют компании, предлагающие услуги по дедупликации данных, такие как WinPure, MLtek Limited, Match2Lists, (Великобритания); Druva, Narrative, Senzing (США); ZaapIT (Израиль). В России: «Форсайт. Аналитическая платформа», Data Science Workspace от «Техносерв», ГК «Иннотех».

Разработчики программного обеспечения утверждают, что продукт не требует предварительной подготовки данных или исправления орфографических ошибок. Для всех существующих аналогичных решений в области дедупликации требуется нормализация данных. 

Нормализация данных — это процесс приведения разных масштабов и единиц измерения к единому виду. Это делается для того, чтобы упростить сравнение, анализ и обработку данных.

Особенности

Программа «Кнодль» обеспечивает интеграцию данных из разных источников, быструю первичную оценку данных без предварительной подготовки и сложной настройки, гибкость и адаптивность к изменениям.

По сути, алгоритмы, составляющие ядро программы, дают возможность уже сейчас внедрять и использовать Системы Поддержки Принятия Решений (СППР) напрямую конкурирующие с нейросетями. Но такие алгоритмические решения требуют гораздо меньших ресурсов и времени на обработку запросов.

За рубежом

Специалисты, разработавшие технологию Кнодль, постоянно отслеживали подобные разработки в США и других странах и уверенно могут сказать, что ничего подобного в арсенале разработок DARPA (Управление перспективных исследовательских проектов Министерства обороны США) и других технологических институтов нет.

«Они, американцы, пошли другим путем. Гораздо более сложным и затратным.» -  говорит ведущий разработчик компании «Кнодль» Дмитрий Поспелов

Создание продукта на основе алгоритмов, разработанных российскими учеными, даёт дополнительный импульс в продвижении отечественных оригинальных и прорывных продуктов в области высоких цифровых технологий.

СПРАВКА

• Ядро продукта зарегистрировано в Реестре интеллектуальной собственности. 
• Компания зарегистрирована и работает с Московским инновационным кластером.
• Продукты компании проходят тестирование в БГТУ «Военмех» и Национальной платформе.

Сергей Задирко