Anxious Albatross
Проверенный
Ученые разработали метод машинного обучения для восстановления пропущенных или скрытых данных в сложных динамических системах, описывающих климатические изменения и биологические процессы. Новый подход превзошел по точности все современные аналоги, сократив ошибки в предсказании «упущенных» данных в десятки раз. Благодаря этому технология будет полезна при обработке медицинских сигналов, прогнозировании погоды и экономических процессов. Результаты исследования, поддержанного грантом Российского научного фонда (РНФ), опубликованы в журнале IEEE Transactions on Neural Networks and Learning Systems.
Во многих отраслях науки ученым приходится анализировать большие объемы сложных данных. Например, климатологи выявляют закономерности в многолетних погодных записях и по ним прогнозируют возможность экстремальных погодных явлений в будущем. Врачи по записям ЭЭГ (электроэнцефалограммы) находят нарушения в работе мозга. Однако часто в подобных наборах данных есть пропуски и искажения, связанные со сбоем в показаниях метеостанций, «шумами» при записи мозговой активности или вовсе потерей значений. Чтобы такую неполную информацию можно было использовать для прогнозирования, нужны алгоритмы, способные корректно восстанавливать утраченные данные.
Существующие инструменты, в том числе новейшие нейросети, пока недостаточно хорошо справляются с этой задачей из-за того, что процессы, которые нужно описать (изменения в погоде, активность нервных клеток и другие), очень изменчивы, причем часто на разных временных масштабах, поэтому их сложно анализировать.
Ученые из Саратовского национального исследовательского государственного университета имени Н.Г. Чернышевского (Саратов) и Российского экономического университета имени Г.В. Плеханова (Москва) в рамках междисциплинарного проекта РНФ, выполняемого в Национальном исследовательском университете «Высшая школа экономики» (Москва), разработали метод машинного обучения NGRC-MDS, способный справиться с этой проблемой.
За основу авторы взяли алгоритм резервуарных вычислений нового поколения (NG-RC) — очень быструю и экономичную с точки зрения вычислений нейросеть, которую уже используют для прогнозирования. Однако существующая версия NG-RC плохо справляется с анализом неполных данных. Дело в том, что этот алгоритм ищет закономерности в существующей информации на строго определенных временных интервалах.
«Представим, что для предсказания погоды он рассматривает данные с интервалом в 10 минут. Но в реальности погода меняется не так постоянно: есть быстрые процессы (резкие порывы ветра) и очень медленные (плавные изменения атмосферного давления). Поэтому одинаковый шаг в 10 минут позволит отлично уловить быстрые изменения, но совершенно бесполезен для понимания длительных», — рассказывает участник проекта, поддержанного грантом РНФ, Артем Бадарин, кандидат физико-математических наук, ведущий научный сотрудник Научно-исследовательского института прикладного искусственного интеллекта и цифровых решений РЭУ имени Г.В. Плеханова, ведущий научный сотрудник Саратовского государственного университета имени Н.Г. Чернышевского.
С помощью математических инструментов авторы усовершенствовали работу модели так, чтобы она не просто «считывала» равномерные шаги во времени, а анализировала структуру всех данных и выделяла в них ключевые периоды изменений — от самых быстрых до самых медленных. В результате алгоритм смог, меняя масштаб наблюдений, подбирать индивидуальные отрезки времени в прошлом, которые лучше всего помогают предсказать будущее состояние системы.
Ученые проверили эффективность разработки на трех классических моделях, описывающих поведение сложных систем — работающих групп нейронов, атмосферы и популяций живых организмов. Новый метод превзошел по точности все современные алгоритмы-аналоги, используемые для восстановления неполных данных, и позволил сократить ошибку при прогнозировании в десятки раз.
«Предложенная технология открывает путь к надежному прогнозированию экстремальных погодных явлений в климатологии, раннему предупреждению эпилептических приступов по ЭЭГ в медицине и предсказанию рыночных кризисов в экономике — там, где данные обычно многомасштабны и зашумлены, и при этом критически важна каждая секунда предсказания. В дальнейшем мы планируем развивать этот метод для анализа макроэкономических процессов совместно с коллегами из ВЭБ.РФ, а также исследовать применимость данного алгоритма для медицинской диагностики с нашими клиническими партнерами — Национальным медико-хирургическим центром имени Н.И Пирогова, Национальным медицинским исследовательским центром терапии и профилактической медицины Минздрава России, Пловдивским медицинским университетом и другими», — подводит итог участник проекта, поддержанного грантом РНФ, Александр Храмов, доктор физико-математических наук, член-корреспондент РАН, директор Научно-исследовательского института прикладного искусственного интеллекта и цифровых решений РЭУ имени Г.В. Плеханова, главный научный сотрудник Саратовского государственного университета имени Н.Г. Чернышевского.
Продолжить чтение...
Во многих отраслях науки ученым приходится анализировать большие объемы сложных данных. Например, климатологи выявляют закономерности в многолетних погодных записях и по ним прогнозируют возможность экстремальных погодных явлений в будущем. Врачи по записям ЭЭГ (электроэнцефалограммы) находят нарушения в работе мозга. Однако часто в подобных наборах данных есть пропуски и искажения, связанные со сбоем в показаниях метеостанций, «шумами» при записи мозговой активности или вовсе потерей значений. Чтобы такую неполную информацию можно было использовать для прогнозирования, нужны алгоритмы, способные корректно восстанавливать утраченные данные.
Существующие инструменты, в том числе новейшие нейросети, пока недостаточно хорошо справляются с этой задачей из-за того, что процессы, которые нужно описать (изменения в погоде, активность нервных клеток и другие), очень изменчивы, причем часто на разных временных масштабах, поэтому их сложно анализировать.
Ученые из Саратовского национального исследовательского государственного университета имени Н.Г. Чернышевского (Саратов) и Российского экономического университета имени Г.В. Плеханова (Москва) в рамках междисциплинарного проекта РНФ, выполняемого в Национальном исследовательском университете «Высшая школа экономики» (Москва), разработали метод машинного обучения NGRC-MDS, способный справиться с этой проблемой.
За основу авторы взяли алгоритм резервуарных вычислений нового поколения (NG-RC) — очень быструю и экономичную с точки зрения вычислений нейросеть, которую уже используют для прогнозирования. Однако существующая версия NG-RC плохо справляется с анализом неполных данных. Дело в том, что этот алгоритм ищет закономерности в существующей информации на строго определенных временных интервалах.
«Представим, что для предсказания погоды он рассматривает данные с интервалом в 10 минут. Но в реальности погода меняется не так постоянно: есть быстрые процессы (резкие порывы ветра) и очень медленные (плавные изменения атмосферного давления). Поэтому одинаковый шаг в 10 минут позволит отлично уловить быстрые изменения, но совершенно бесполезен для понимания длительных», — рассказывает участник проекта, поддержанного грантом РНФ, Артем Бадарин, кандидат физико-математических наук, ведущий научный сотрудник Научно-исследовательского института прикладного искусственного интеллекта и цифровых решений РЭУ имени Г.В. Плеханова, ведущий научный сотрудник Саратовского государственного университета имени Н.Г. Чернышевского.
С помощью математических инструментов авторы усовершенствовали работу модели так, чтобы она не просто «считывала» равномерные шаги во времени, а анализировала структуру всех данных и выделяла в них ключевые периоды изменений — от самых быстрых до самых медленных. В результате алгоритм смог, меняя масштаб наблюдений, подбирать индивидуальные отрезки времени в прошлом, которые лучше всего помогают предсказать будущее состояние системы.
Ученые проверили эффективность разработки на трех классических моделях, описывающих поведение сложных систем — работающих групп нейронов, атмосферы и популяций живых организмов. Новый метод превзошел по точности все современные алгоритмы-аналоги, используемые для восстановления неполных данных, и позволил сократить ошибку при прогнозировании в десятки раз.
«Предложенная технология открывает путь к надежному прогнозированию экстремальных погодных явлений в климатологии, раннему предупреждению эпилептических приступов по ЭЭГ в медицине и предсказанию рыночных кризисов в экономике — там, где данные обычно многомасштабны и зашумлены, и при этом критически важна каждая секунда предсказания. В дальнейшем мы планируем развивать этот метод для анализа макроэкономических процессов совместно с коллегами из ВЭБ.РФ, а также исследовать применимость данного алгоритма для медицинской диагностики с нашими клиническими партнерами — Национальным медико-хирургическим центром имени Н.И Пирогова, Национальным медицинским исследовательским центром терапии и профилактической медицины Минздрава России, Пловдивским медицинским университетом и другими», — подводит итог участник проекта, поддержанного грантом РНФ, Александр Храмов, доктор физико-математических наук, член-корреспондент РАН, директор Научно-исследовательского института прикладного искусственного интеллекта и цифровых решений РЭУ имени Г.В. Плеханова, главный научный сотрудник Саратовского государственного университета имени Н.Г. Чернышевского.
Продолжить чтение...