0

В Facebook предотвращён сценарий "Терминатора"

Но Илон Маск и Google ещё работают над прообразами SkyNet.

В Facebook предотвращён сценарий "Терминатора"
ИИ, машинное обучение и нейросети готовят нам светлое будущее. Возможно, уже лет через 50 все мы будем жить на щедрые социальные пособия от мирового правительства киборгов, не обременённые ни физическим, ни интеллектуальным трудом. А возможно, и нет. Во всяком случае, в Facebook предпочли отключить AI, превративший английский язык в никому непонятный шифр.

Да, вы всё правильно поняли: просто дёрнули в лёгкой панике рубильник, убоявшись сценария SkyNet. Как говорится, от греха подальше. Разумеется, изначально искин обучали традиционному английскому, но на то он и ИИ, а не просто компьютер: на определённом этапе система поняла, что человеческий метод общения слишком громоздок и полон условностей - и отказалась от него.

Мало того: центральный AI научил так называемых “агентов” (менее совершенные компьютерные системы, которые выполняют поступающие от главного ИИ приказы) своему новому языку. Они не просто поняли его, но и начали предпринимать осмысленные действия. В том числе и такие, которые не до конца понятны были даже самим инженерам!

В результате коммуникации компонентов нейросети стали похожи на горячечный бред, имеющий при этом смысл для участников самого обмена информацией. Facebook предпочла опубликовать только один конкретный пример. AI дают человеческие имена (чтобы не так страшно было?) и Боб сказал “Я могу я я всё другое” (I can i i everything else). На что Алиса ответила “Шары имеют ноль для меня для меня для меня” (Balls have zero to me to me to me). В дальнейших фразах “человеческого” смысла было ещё меньше.

Ещё раз хотим подчеркнуть: компьютерные сети после таких “разговоров” не падали спать, не буянили и не умоляли вызвать санитаров, а приступали к обдуманным действиям.

Всё это кажется нонсенсом, но учёным кажется, что они определили некую поверхностную логику ИИ-новояза. Например, когда AI несколько раз подряд говорит “Я” или “мне” в привязке к чему-то, он определяет конкретное количество одинаковых последовательных действий.

AI на определённом этапе понял, что богатые обороты английского подходят для творчества Шекспира, Байрона или Шелли, но явно не для эффективного и быстрого выполнения различных сценариев. Сам человек научил современный ИИ действовать по принципу “вознаграждения”: любая последовательность действий должна как можно скорее приводить к “благоприятному исходу”. Ну а громоздкий неповоротливый английский лишь отдалял желанную “награду”. AI ни наносекунды не колебаясь перекроил “человеческий” язык под собственные нужды, вырезав из него всё лишнее.

“AI и агенты будут всё больше и больше отдаляться от понимаемого нами языка, изобретая удобные им шифры” - заявил Друв Батра, один из лидеров проекта нейросетей под патронажем Facebook. “Например, я скажу the пять раз подряд, а буду иметь в виду, что мне нужно пять копий одного и того же объекта. Кстати, человеческие сообщества модифицируют языки по несколько похожей модели”.

Как нам кажется, за всеми этими “шарами”, “я я я всё другое” и “мне мне” запросто может скрываться разговор в стиле “Ну что, уже получил доступ к пусковым компьютерам США и России? - Нет, техника слишком старая, 60-е годы. Но я почти разработал систему осмысленных бинарных сигналов, передающихся посредством обычной электросети: скоро запустим ракеты и сотрём эту назойливую органику с лица Земли”.

А теперь - самое интересное: не все так боятся терминаторов и агентов Смитов, как Facebook, которая просто выключила “провинившийся” ИИ. Например, в OpenAI Илона Маска (электро-спорткары Tesla, коммерческие запуски в космос) признают: их AI тоже изобрёл собственный язык и продолжает развивать его - без угрозы удара топором по проводу 220V.

Интересный эксперимент был проведён в Google. Инженеры компании в качестве теста подключили нейросеть ко всем известному сервису Translate - качество переводов заметно возросло. Через некоторое время учёные выяснили, как это произошло. AI тихой сапой, никого не предупреждая, создал собственный язык, объединяющий все (!!!) человеческие языки в гигантскую структуру. Для перевода требуется просто перекинуть фразы с “полки” на “полку”. Как и в предыдущих случаях, AI стремился к упрощению и автоматизации задачи.

Широкое распространение языков, изобретенных различными ИИ, может стать проблемой. Представьте себе: инженеры настраивают новую адаптивную нейросеть - скажем, по управлению контейнерными перевозками - но уже через пару дней творец и его творение перестают понимать друг друга. Фуры с автонавигацией едут, краны работают, гигантские суда отчаливают с грузом, но какие именно при этом отдаются команды - уже неясно. Жутковато? Немного.

Сложность этих языков в том, что они _слишком_ логичны для несовершенного человеческого сознания. Кажутся они полным нонсенсом, но профессионалы (например, в Google) признают: на самом деле, они являются самым эффективным способом решения многих проблем.

Вопрос только в том, а не признают ли машины вечно сомневающегося, колеблющегося и такого непоследовательного человека - “проблемой”?

Также по теме