Гипотеза взрыва интеллекта, впервые сформулированная И.Дж. Гудом в 1965 году, остаётся одним из наиболее значимых предсказаний в исследованиях безопасности ИИ. Гуд заметил, что достаточно интеллектуальная машина сможет перепроектировать себя, став ещё умнее, создавая петлю обратной связи, динамика которой критически зависит от единственного параметра: отдачи от когнитивных инвестиций.
Этот симулятор моделирует рекурсивное самоулучшение с помощью разностного уравнения I(t+1) = I(t) + η·I(t)^α, где I(t) — интеллект в момент t, η — скорость улучшения, а α — показатель отдачи. Показатель α кодирует фундаментальный вопрос о скорости взлёта ИИ.
При α < 1 каждая единица интеллекта производит менее одной единицы дальнейшего улучшения — убывающая отдача. Рост сублинейный, приблизительно следующий степенному закону. Это соответствует сценарию «медленного взлёта», при котором у общества есть десятилетия на адаптацию.
При α = 1 отдача постоянна и рост экспоненциальный, удваиваясь с фиксированной скоростью. Это напоминает экстраполяцию закона Мура и является неявным допущением во многих моделях экономического роста.
При α > 1 отдача возрастает: более умные системы улучшают себя быстрее, чем это делали менее умные. Это порождает гиперболический рост, достигающий математической бесконечности за конечное время — сингулярность при t_s ≈ I₀^(1-α)/[η·(α-1)]. На практике физические ограничения предотвращают реальную бесконечность, но скорость роста может быть достаточно высокой, чтобы быть фактически мгновенной по человеческим меркам. «FOOM» Юдковского описывает именно этот режим.
Ключевой вывод состоит в том, что качественное поведение меняется разрывно при α = 1. Плавного перехода между «управляемым» и «неуправляемым» не существует — граница представляет собой фазовый переход. Именно поэтому дебаты между лагерями медленного и быстрого взлёта так трудно разрешить эмпирически: малые неопределённости в α отображаются на качественно различные будущие сценарии.
Частые вопросы
Что такое взрыв интеллекта?
Взрыв интеллекта — гипотетический сценарий, при котором система ИИ улучшает собственный интеллект, создавая петлю положительной обратной связи. Каждое улучшение делает систему лучше в дальнейших улучшениях, потенциально приводя к сверхинтеллекту за очень короткое время. Концепция впервые предложена И.Дж. Гудом в 1965 году.
Что определяет, будет ли взлёт ИИ медленным или быстрым?
Ключевой параметр — показатель отдачи α в рекуррентном уравнении улучшения I(t+1) = I(t) + η·I(t)^α. При α < 1 отдача убывает и рост сублинейный (медленный взлёт). При α = 1 рост экспоненциальный. При α > 1 отдача возрастает и рост гиперболический, достигая бесконечности за конечное время — сценарий «FOOM», описанный Юдковским.
Физически возможен ли взрыв интеллекта?
Это дискуссионный вопрос. Сторонники (Бостром, Юдковский) утверждают, что программный интеллект может рекурсивно самоулучшаться без жёстких физических пределов. Скептики (Пинкер, Маркус) считают, что убывающая отдача, аппаратные ограничения и сложность самого интеллекта налагают естественные пределы, удерживающие α ниже 1.
Какова формула времени сингулярности?
Для модели рекурсивного улучшения I(t+1) = I(t) + η·I(t)^α при α > 1 сингулярность за конечное время наступает приблизительно при t_s = I₀^(1-α) / [η·(α-1)], где I₀ — начальный интеллект, а η — скорость улучшения.
Источники
[object Object]
[object Object]
[object Object]
[object Object]
Другие симуляции: Риски ИИ и проблема выравнивания