Битва искусственных интеллектов

При слове «искусственный интеллект» многие представляют разумных человекоподобных роботов, которые стремятся завоевать мир. Однако он не предназначен на замену людям. Его целью является расширение человеческих возможностей, это процесс, умение анализировать данные. Если упростить, искусственный интеллект (ИИ) – это система или машина, которая может имитировать человеческое поведение, чтобы выполнять задачи, и постепенно обучаться, используя собираемую информацию.

ИИ имеет множество воплощений, например:

чат-боты используют ИИ, чтобы быстрее анализировать обращения заказчиков и давать соответствующие ответы;
«умные помощники» используют ИИ, чтобы извлекать информацию из больших наборов данных в произвольной форме и оптимизировать планирование;
системы рекомендаций автоматически подбирают похожие программы для телезрителей на основе ранее просмотренных.

bitva-ii-1 Тема искусственного интеллекта окружена маркетинговым шумом и изобилует туманными терминами: нейросети, машинное обучение, глубокое обучение...

Искусственный интеллект (Artificial Intelligence, AI) – это технология, с помощью которой компьютерная система может имитировать действия человека в аналогичной ситуации. Датой появления ИИ считается 1956 год, когда на Дартмутском семинаре это направление анонсировал Марвин Мински, Клод Шеннон, Джон Мак-Карти и Натаниэль Рочестер. Обычно к сфере ИИ относят системы, которые выполняют функции человека – распознавание речи и образов, поиск решений и взаимосвязей, обучение.

Главное отличие ИИ от других компьютерных систем – отсутствие предопределенности: ИИ может выдавать разные реакции на одни и те же входные данные. Практически невозможно понять, каким образом ИИ пришел к выводу.

Существует много способов реализации ИИ, например, на базе множества правил или экспертных систем. Наибольшее распространение с 1980-х годов получила технология машинного обучения (Machine Learning, ML). Машинным обучением называют любые методы, которые позволяют системам «учиться» без явного программирования этого поведения.

Смысл машинного обучения состоит в том, что компьютерная система получает на вход большой набор данных и информацию о том, какие из них содержат нужные характеристики. Такими данными могут быть, например, сведения о финансовых транзакциях, а также о том, какие из них являются мошенническими.

Система обрабатывает данные по специальному алгоритму, накапливая их. Потом все решения принимаются уже в соответствии с накопленными «знаниями» – ML-системы подобно человеческому мозгу в процессе своего обучения создают множество взаимосвязей.

Необычный способ работы ИИ не только делает их уязвимыми для атак, но и означает, что они могут подвести самым неожиданным образом.

Для повышения эффективности машинного обучения массивы накопленных данных и их обработку стали проводить на нескольких уровнях, формируя целые сети условных «нейронов» – слоев, имитирующих человеческий мозг. Такая технология получила название глубокого обучения – Deep Learning, DL. Конкретные реализации систем глубокого обучения обычно называют нейронными сетями.

Возможности искусственного интеллекта растут, и легко забыть, что его защита несовершенна. Однако ученые выяснили, что уязвимостью ИИ могут воспользоваться другие алгоритмы. В результате злоумышленник может повлиять на работу автономной системы вождения, программы интеллектуального анализа текста или компьютерного зрения.

В сентябре 2019 года Национальный институт стандартов и технологий США опубликовал свое первое в истории предупреждение об атаке искусственного интеллекта на коммерческий алгоритм. Аналитики в сфере информационной безопасности определили, что целью стала программа Proofpoint, которая использует машинное обучение для определения спам-рассылок.

Пока любители технологий обсуждают автопилот Tesla и смотрят, как Siri общается с «Алисой», со стороны злоумышленников идет активная работа по внедрению ИИ в мошеннические схемы. Рассмотрим некоторые из них:

Дипфейки (Deepfakes) – использование нейросетей для создания фальшивого аудио- и видеоконтента, который практически невозможно отличить от подлинного. Эта технология становится мощным оружием в современных информационных войнах, в результате которых человек больше не может полагаться на то, что он видит или слышит.
Взлом капчи (CAPTCHA, Completely Automated Public Turing test to tell Computers and Humans Apart, публичный тест Тьюринга) – небольшой компьютерный тест, введение в специальное поле букв и цифр, которые вы видите на искаженной картинке, – пройти который легко для человека, но сложно или невозможно для компьютера.
Обход спам-фильтров и антивирусного ПО. Новым этапом противостояния киберпреступников и разработчиков защитных решений стало внедрение ИИ. Ориентируясь на успешный опыт внедрения нейросетей для распознавания вредоносного ПО, киберпреступники стали использовать глубокое обучение для разработки способов скрыться от обнаружения. Еще в 2015 году был продемонстрирован обход спам-фильтров с помощью нейросети, которая использовала генеративную грамматику для создания сообщений электронной почты, практически неотличимых от написанных живыми людьми.
Угадывание паролей. Принцип работы инструментов для угадывания паролей, подобных HashCat и John the Ripper, состоит в том, что они генерируют очередной пароль по заданным правилам, вычисляют его хэш, а затем сравнивают его с хэшем реального пароля. В большом числе случаев для генерации паролей используется словарь часто используемых паролей, на базе которого формируются различные варианты. Повысить эффективность этого процесса позволяет использование генеративно-состязательных нейросетей (Generative adversarial network, GAN), обученных на большом наборе данных из утечек паролей. Такая сеть будет генерировать вариации, соответствующие статистическому распределению, что может значительно ускорить процесс.
Проникновение в системы. Использование ИИ позволяет злоумышленникам улучшить традиционные методы взлома путем создания непредсказуемых способов проведения кибератак. Одним из инструментов, реализующих эту стратегию, стал представленный на DEFCON 2017 инструмент DeepHack, реализованный на базе нейросети. DeepHack позволяет проводить тестирование сети на проникновение (pentest) без необходимости сбора предварительной информации о системе. Инструмент использует нейронную сеть, которая самостоятельно создает команды и позволяет полностью автоматизировать процесс взлома баз данных на сайтах.

Прогнозы и рекомендации

Высокая результативность использования ИИ для совершения преступлений вызвала рост популярности соответствующих инструментов в киберпреступной среде. По прогнозу Gartner, к 2022 году 30% кибератак на ИИ будут использовать алгоритмы искусственного интеллекта.

Попытки ограничить распространение нейросетей или регулировать их использование на государственном уровне представляются малоэффективными и могут привести скорее к обратному эффекту.
Более перспективным выглядит как можно более широкое информирование и публичное обсуждение проблемы, которое создаст более критичное восприятие и снизит уровень влияния фальшивок.
Чрезвычайно важным является развитие технологий детектирования подделок и совершенствование методов выявления использования искусственного интеллекта для автоматической блокировки мошеннических ресурсов, поддельных фото-, аудио- и видеоматериалов.

Как технологии помогают бизнесу обезопасить программы искусственного интеллекта.

По мере распространения ИИ появляются и новые возможности для использования его уязвимостей. Это привело к появлению компаний, которые ищут слабые места в алгоритмах, чтобы заметить вредоносные действия до того, как они нанесут ущерб.

Ярон Сингер – профессор Гарварда, сооснователь и CEO Robust Intelligence: «Если вы разрабатываете модели машинного обучения, то у вас нет возможности имитировать реальную кибератаку или провести тест на проникновение». Сингер рассказывает: «Во многих приложениях даже небольшие изменения могут привести к совершенно разным результатам. Но проблема еще глубже: суть в том, как выполняется машинное обучение».

Задача исследования Сингера – изменить входные данные системы машинного обучения таким образом, чтобы она вела себя некорректно, и разрабатывать системы, которые будут безопасны. Обман ИИ основан на том, что они учатся на примерах и улавливают тонкие изменения, на что не способны люди.

Кроме системы проверки, Сингер демонстрирует способ перехитрить систему обнаружения мошенничества в интернете в рамках поиска слабых мест. Эта система ищет признаки того, что кто-то, совершающий транзакцию, на самом деле является ботом. Для этого используется широкий спектр характеристик, включая браузер, операционную систему, IP-адрес и время.

Зико Колтер – главный научный сотрудник Центра искусственного интеллекта Bosch, говорит, что исследования по защите ИИ все еще находятся на ранней стадии, большинство усилий по защите коммерческих систем направлены на предотвращение атак, а не на обеспечение их надежности.

Некоторые крупные компании, использующие ИИ, начинают разрабатывать свои собственные алгоритмы защиты. Например, у Facebook есть собственная команда для кибератак, которая пытается взломать внутренние системы и выявить слабые места.

В октябре 2020 года Bosch и еще 11 компаний, среди которых Microsoft, Nvidia, IBM и MITRE, выпустили программы для поиска уязвимостей в системах ИИ.

По материалам сайтов: rb.ru, oracle.com, deepai.org