В новом исследовании ученые показали, как глубокое обучение с подкреплением можно использовать для разработки более эффективных ядерных реакторов. На это их вдохновили успехи ИИ в настольных играх.
Сейчас ядерная энергия дает больше безуглеродной электроэнергии в США, чем солнечная и ветровая вместе взятые. Это делает ее ключевым игроком в борьбе с изменением климата. Однако методы ее добычи несовершенны и устаревают. Необходимо оптимизировать процесс, чтобы ядерная энергетика могла конкурировать с угольными и газовыми электростанциями на рынке.
Сократить расходы на добычу можно, оптимизировав топливные стержни на глубине ядерного реактора. Они запускают реакции и, когда расположены идеально, сжигают меньше топлива и требуют меньше обслуживания. Спустя десятилетия проб и ошибок инженеры-ядерщики научились разрабатывать более совершенные схемы расположения дорогостоящих топливных стержней, чтобы продлить их срок службы. Теперь им поможет искусственный интеллект (ИИ).
Исследователи из Массачусетского технологического института (MIT) и Exelon уверены — превратив процесс проектирования в игру, систему ИИ можно обучить генерировать десятки оптимальных конфигураций стержней, которые могут продлить срок службы каждого из них примерно на 5%. Это позволяет сэкономить на типичной электростанции около $3 млн в год. Система искусственного интеллекта может находить оптимальные решения быстрее, чем человек, и быстро изменять конструкции в безопасной смоделированной среде.
«Эта технология может быть применена к любому ядерному реактору в мире, — объясняет старший автор исследования Кориш Ширван, доцент кафедры ядерной науки и техники Массачусетского технологического института. — Улучшив экономику ядерной энергетики, которая обеспечивает 20% электроэнергии, производимой в США, мы можем помочь ограничить рост глобальных выбросов углерода и привлечь лучшие молодые таланты в этот важный сектор экологически чистой энергии».
В типичном реакторе топливные стержни выстроены в сетку или сборку по уровням урана и оксида гадолиния внутри, как шахматные фигуры на доске, с реакциями, запускающими радиоактивный уран, и редкоземельным гадолинием, замедляющим их. В идеальной компоновке эти конкурирующие импульсы уравновешиваются, чтобы стимулировать эффективные реакции. Инженеры пытались использовать традиционные алгоритмы для улучшения макетов, разработанных человеком, но в стандартной сборке из 100 стержней может быть астрономическое количество вариантов для оценки.
Исследователи задались вопросом, может ли глубокое обучение с подкреплением — техника искусственного интеллекта, позволившая достичь сверхчеловеческого мастерства в таких играх, как шахматы и го, — ускорить процесс проверки. Глубокое обучение с подкреплением сочетает в себе глубокие нейронные сети, которые превосходно выделяют закономерности в массивах данных, с обучением с подкреплением, которое связывает обучение с сигналом вознаграждения, таким как победа в игре.
В новом эксперименте исследователи обучили своего агента размещать топливные стержни в соответствии с набором ограничений, зарабатывая больше очков за каждый удачный ход. Каждое ограничение или правило, выбранное исследователями, отражает десятилетия экспертных знаний, основанных на законах физики. Агент может набирать очки, например, размещая стержни с низким содержанием урана на краях сборки, чтобы замедлить там реакции.
«После того, как вы запрограммируете правила, нейронные сети начинают очень хорошо действовать, — говорит ведущий автор исследования Маджди Радаидех, постдок из лаборатории Ширвана. — Они не тратят время на случайные процессы. Было весело наблюдать, как они учатся играть в игры, как это делает человек».
Благодаря обучению с подкреплением ИИ научился играть во все более сложные игры не хуже людей или даже лучше. Но его возможности остаются бесполезными в реальном мире. Теперь исследователи доказали, что у обучения с подкреплением есть потенциал.
«Это исследование является захватывающим примером использования технологии искусственного интеллекта для настольных и видеоигр, помогающей нам решать практические проблемы в мире», — заключает соавтор исследования Джошуа Джозеф, научный сотрудник MIT Quest for Intelligence.
Exelon сейчас тестирует бета-версию системы искусственного интеллекта в виртуальной среде. По словам представителя компании, система может быть готова к внедрению через год или два.
