Google представила исследование в рамках разработки объяснимого ИИ для своей облачной платформы. Оно касается изучения функций, которые позволяют AI сделать тот или иной прогноз .
Отмечается, что искусственные нейронные сети, которые используются многими современными системами машинного обучения и искусственного интеллекта, в некоторой степени моделируются биологическим мозгом. Одна из их проблем заключается в том, что по мере разрастания системы становится все труднее увидеть точные причины конкретных прогнозов. В Google расценили это явление как «потерю отладки и прозрачности».
Проблема может приводить к серьезным последствиям, так как она помогает скрывать ложные корреляции, когда система выбирает неактуальную или непреднамеренную функцию в данных обучения. Это также затрудняет исправление предвзятости ИИ, когда прогнозы делаются на основе этически неприемлемых особенностей.
Одной из задач разработки объяснимого ИИ Google видит в том, чтобы представить работу этой системы в форме, которая будет понятна.
Компания разработала набор из трех инструментов под названием «Объяснение ИИ». Первый предлагает объяснения ИИ, в которых перечислены функции, обнаруженные им, а также показатель атрибуции, демонстрирующий, насколько каждая функция влияла на прогноз. Так, в одном из примеров нейронная сеть предсказывает продолжительность поездки на велосипеде на основе данных о погоде и информации о предыдущей поездке. Инструмент уже показывает такие факторы, как температура, день недели и время начала пути и рассчитывает их влияние на прогноз. На рисунке показано, какие элементы стали основными факторами при прогнозе.
Второй инструмент «Что, если» позволяет тестировать производительность модели, если происходит манипуляция с отдельными атрибутами. Третий инструмент непрерывной оценки передает результаты выборки рецензентам по расписанию, чтобы помочь контролировать результаты.
Главный исследователь Google по искусственному интеллекту и машинному обучению доктор Эндрю Мур заявил на мероприятии в Лондоне , что «около пяти или шести лет назад академическое сообщество начало беспокоиться о непредвиденных последствиях работы ИИ».
Мур подчеркнул, что компания проявляет осторожность в отношении систем распознавания лиц: «Мы приняли взвешенное решение, поскольку у нас есть мощная технология распознавания лиц, чтобы не запускать общее распознавание лиц в качестве API, а вместо этого упаковывать его в продукты, где мы можем быть уверены, что оно будет использовано по назначению».
По мнению Мура, успешный ИИ должен быть объяснимым: «Если у вас есть система безопасности или важная для общества вещь, которая может иметь непредвиденные последствия, если вы считаете, что ваша модель допустила ошибку, вы должны быть в состоянии ее диагностировать».
Специалист привел в пример работу по классификации рентгеновских снимков грудной клетки. Когда модель ИИ, диагностирующую рак легких, спросили, почему именно этот прогноз верный, выяснилось, что в обучающем наборе на положительных примерах врач оставил на слайде пометку, означающую, по его мнению, опухоль. В итоге алгоритм использовал эту отметку в качестве основной функции прогнозирования. В итоге запуск данной системы решили откатить.
По мнению Мура, инструменты, помогающие обеспечить ответственный ИИ — это еще более сложная задача, чем применение ответственного ИИ.
В конце ноября на мероприятии в Лондоне подразделение облачных вычислений Google представило «объяснимый» ИИ (Explainable AI).
Алгоритм ИИ от Google расширили для улучшения его объяснимости для пользователей. Это реализовано с помощью специальных модулей-пояснений. Пояснения количественно определяют вклад каждого элемента данных в выходные данные модели машинного обучения. Используя эти модули, можно понять, почему модель приняла определенные решения.
См. также: « Новый подход к пониманию мышления машин »
Однако модули-пояснения раскрывают принцип работы моделей машинного обучения, полученных на основе исходных данных, но с их помощью нельзя понять о существовании каких-либо фундаментальных связей в конечной выборке данных.)
Отмечается, что искусственные нейронные сети, которые используются многими современными системами машинного обучения и искусственного интеллекта, в некоторой степени моделируются биологическим мозгом. Одна из их проблем заключается в том, что по мере разрастания системы становится все труднее увидеть точные причины конкретных прогнозов. В Google расценили это явление как «потерю отладки и прозрачности».
Проблема может приводить к серьезным последствиям, так как она помогает скрывать ложные корреляции, когда система выбирает неактуальную или непреднамеренную функцию в данных обучения. Это также затрудняет исправление предвзятости ИИ, когда прогнозы делаются на основе этически неприемлемых особенностей.
Одной из задач разработки объяснимого ИИ Google видит в том, чтобы представить работу этой системы в форме, которая будет понятна.
Компания разработала набор из трех инструментов под названием «Объяснение ИИ». Первый предлагает объяснения ИИ, в которых перечислены функции, обнаруженные им, а также показатель атрибуции, демонстрирующий, насколько каждая функция влияла на прогноз. Так, в одном из примеров нейронная сеть предсказывает продолжительность поездки на велосипеде на основе данных о погоде и информации о предыдущей поездке. Инструмент уже показывает такие факторы, как температура, день недели и время начала пути и рассчитывает их влияние на прогноз. На рисунке показано, какие элементы стали основными факторами при прогнозе.
Второй инструмент «Что, если» позволяет тестировать производительность модели, если происходит манипуляция с отдельными атрибутами. Третий инструмент непрерывной оценки передает результаты выборки рецензентам по расписанию, чтобы помочь контролировать результаты.
Главный исследователь Google по искусственному интеллекту и машинному обучению доктор Эндрю Мур заявил на мероприятии в Лондоне , что «около пяти или шести лет назад академическое сообщество начало беспокоиться о непредвиденных последствиях работы ИИ».
Мур подчеркнул, что компания проявляет осторожность в отношении систем распознавания лиц: «Мы приняли взвешенное решение, поскольку у нас есть мощная технология распознавания лиц, чтобы не запускать общее распознавание лиц в качестве API, а вместо этого упаковывать его в продукты, где мы можем быть уверены, что оно будет использовано по назначению».
По мнению Мура, успешный ИИ должен быть объяснимым: «Если у вас есть система безопасности или важная для общества вещь, которая может иметь непредвиденные последствия, если вы считаете, что ваша модель допустила ошибку, вы должны быть в состоянии ее диагностировать».
Специалист привел в пример работу по классификации рентгеновских снимков грудной клетки. Когда модель ИИ, диагностирующую рак легких, спросили, почему именно этот прогноз верный, выяснилось, что в обучающем наборе на положительных примерах врач оставил на слайде пометку, означающую, по его мнению, опухоль. В итоге алгоритм использовал эту отметку в качестве основной функции прогнозирования. В итоге запуск данной системы решили откатить.
По мнению Мура, инструменты, помогающие обеспечить ответственный ИИ — это еще более сложная задача, чем применение ответственного ИИ.
В конце ноября на мероприятии в Лондоне подразделение облачных вычислений Google представило «объяснимый» ИИ (Explainable AI).
Алгоритм ИИ от Google расширили для улучшения его объяснимости для пользователей. Это реализовано с помощью специальных модулей-пояснений. Пояснения количественно определяют вклад каждого элемента данных в выходные данные модели машинного обучения. Используя эти модули, можно понять, почему модель приняла определенные решения.
См. также: « Новый подход к пониманию мышления машин »
Однако модули-пояснения раскрывают принцип работы моделей машинного обучения, полученных на основе исходных данных, но с их помощью нельзя понять о существовании каких-либо фундаментальных связей в конечной выборке данных.)