Немецкие исследователи научили беспилотник искать людей по крикам для поисково-спасательных операций

Машинное обучение Производство и разработка электроники Научно-популярное Искусственный интеллект Звук
Исследователи из Института интегральных схем общества Фраунгофера в Германии создали прототип беспилотника для поиска людей по крикам во время спасательных операций. Нужные функции добавили в обычный мультикоптер. Один из инженеров института интегральных схем общества Фраунгофера на полевых испытаниях беспилотника. Источник: washingtonpost.com Поисково-спасательные отряды и экстренные службы активно пользуются беспилотниками во время проведения операций. Дроны проводят разведку, собирают данные о местности, доставляют лекарства и средства первой необходимости в пострадавшие районы. Также спасатели оснащают дроны тепловизорами и приборами ночного видения для поиска людей.  Использование дронов значительно повышает шансы на успех операции, поэтому исследователи продолжают экспериментировать с их конструкцией и назначением. Например, в 2016 году швейцарские учёные научили беспилотник с машинным зрением искать людей в лесу по тропам, которые они оставляют. В 2020 году американские исследователи создали дрон, ищущий людей по запаху.  В новом исследовании инженеры из немецкого института интегральных схем общества Фраунгофера установили в беспилотник нейросеть и обучили её ориентироваться по крикам людей и звукам, которые они издают находясь в беде. Учёные поставили целью обучить устройство отличать крики от других звуков и подготовить его для проведения поисковых операций на местности.  Для тренировки беспилотника исследователи записали крики, стуки и другие звуки, издаваемые попавшими в беду людьми. Авторы проанализировали звуковые частоты на записях, выделили общие маркеры и обучили нейросеть беспилотника распознавать их. Кроме того, инженеры проработали систему фильтрации фоновых шумов, создаваемых дроном и окружающей средой.  Прототип беспилотника. Источник: washingtonpost.com В прототип дрона авторы установили нейросеть, работающую на NVIDIA Jetson TX2. Работу устройства обеспечила плата PYNQ-Z1. Для записи звука авторы установили на беспилотник массив микрофонов «воронье гнездо» (Crow’s Nest Array), состоящий из 32 МЭМС-микрофонов ICS-52000 (по 1—2 евро каждый). Кроме того, они установили один конденсаторный микрофон для охвата более широких частотных спектров и повышения точности сигнала.  Особенности использованного массива «воронье гнездо»:  микрофоны расположены случайным образом; азимут 360° и элевация 180°; конденсаторный микрофон ¼“; диапазон частот от 5 Гц до 100 кГц; всенаправленная (круговая) направленность микрофонов; стационарная работа и работа в динамике; интегрированная навигационная система; беспроводная связь, например через через WLAN или LTE; модульная сенсорная система; компактная конструкция.  Авторы опубликовали презентацию с подробными характеристиками разработанной ими акустической системы на сайте Morressier.  В ходе исследования авторы сравнили три акустических системы, среди которых только «воронье гнездо» подходила по всем параметрам. Источник: morressier.com Схема обработки звука. Источник: morressier.com Массив МЭМС-микрофонов для дрона. Источник: morressier.com

Авторы отмечают, что пространственное распределение и количество микрофонов в массиве имеют решающее значение при определении местоположения человека. Во время поисков беспилотник учитывает, какие из установленных микрофонов поймали звуковые волны и под каким углом. В дальнейшем авторы планируют добавить к дрону высокочастотный микрофон, чтобы фиксировать больше звуков. Инженеры хотят научить дрон распознавать звуки на расстоянии в сотнях метров от источника. На данный момент исследователи патентуют беспилотник, но коммерциализация не является основной целью их исследовательского института. Они в первую очередь экспериментируют и создают прототипы. После публикации разработки к инженерам обращались различные организации с предложением о партнёрстве, но пока дальнейшая судьба проекта не ясна.)
Теги:
Хабы: