Страшнее ядерной бомбы: почему нейросети необходимо запретить немедленно

Личным и весьма поучительным опытом знакомства с творчеством нейросети поделилась в своем блоге писатель Наталья Несбитт, живущая в Англии:

Идет-грядет конец времен

А теперь даже я занервничала. Я тут познакомилась с образчиком творчества новомодного ChatGPT.

О том, что это будет эксперимент я, как образцово-показательная морская свинка, не догадывалась. Коллега попросил помочь ему с неким документом. У него уже была первая редакция, и ему нужно было проверить, что в тексте не было никакой хрени.

Я прочитала – там было ровно 5 абзацев, меньше страницы – и офигела. Текст был таким чистеньким и прилизанным, что первая мысль была о том, что коллега позаимствовал драфт из итоговой версии презентации, адресованной не меньше, чем ежегодному собранию акционеров, ибо на все прочее двух редакторов, изучавших английский в Оксбридж не берут.

Потом я прочитала текст, благо недолго, во второй раз. И от офигения даже в третий. И чем дальше я его читала, тем меньше я понимала, что же это такое.

В первом абзаце смысла вообще не было. Это был современный вариант классического «учение Маркса всесильно, потому что оно верно». Декарбонизация экономики очень важна, потому что очень важна декарбонизация экономики.

Из второго абзаца следовало, что мы собираемся, ну, скажем декарбонизировать экономику, раз уж это в голову запало, на 176% - ну, если все цифры, которые там были, в столбик сложить, то получалось как раз 176.  Как? Мы должны вернуться не к прединдустриальным временам, но к динозаврам?

Третий абзац не проливал свет на происходящее, потому что цитировал несуществующий документ.

Четвертый обсуждал содержание несуществующего документа, причем из него выходило, что правительство собирается делать ровно то, что оно клятвенно обещало не делать.

Понимая, что мое офигение ничто в сравнении с офигением правительственных чиновников, которые и были аудиторией итогового послания, я как-то уже смирилась с тем, что последний абзац был перефразом первого, то есть мы опять узнали, что важность декарбонизации в том, что декарбонизация важна.

Тут надо понимать, что топик был актуальным, все цифры и факты, которые надо было обсудить, гуглятся за 3 минуты, и любой человек, хоть немного знакомый с темой, может заключить, что текст – полная и законченная фигня и оспорить в нем все, кроме бессмысленного перефраза, как только выйдет из ступора. 

Но да, английский был хорошим. В том смысле хорошим, что если бы это было эссе для IELTS, то оно получило бы максимальный балл (в том, что не то, что Джойс, но даже Фрай, сдал бы IELTS на 9, я уверена сильно меньше – язык все-таки живой, и так, все-таки, не говорят и даже не пишут, кроме как иностранцы на экзамене).

Поправив текст, благо, что не сложно, я отправила его назад с едва вежливой и явно менее профессионально выглядящей и грамотной припиской, что я бы очень хотела увидеть человека, который все это сочинил, потому что a) нам всегда нужен хороший редактор и b) ни к чему другому мы этого человека допускать не можем.

Следующим днем коллега раскололся. У него то ли не было времени, то ли было лень, и текст сочинил ChatGPT.  Поскольку сам коллега в теме не понимает, то грамотный и аккуратный текст показался ему … ну, может пройдет. Ближе к концу дня уже было.

Если бы коллега не был приятным малым, и мы не обратили это все быстро в неудачную шутку, был бы большой скандал, между прочим.

Большинство тружеников капитализма – узкие специалисты. Мы можем очень хорошо знать свою тему, но с большим трудом ориентироваться в том, что выходит за пределы компетенции. В силу этого мы склонны – или, скорее, вынуждены – друг другу доверять. В ситуации, когда доверие является главной валютой, все придерживаются базовых правил вежливости и аккуратности. Если я знаю, что моя информация для вас важна, то я, как человек относительно ответственный, способна сопроводить ее примечаниями в духе «доподлинно известно вот отсюда», «примерно так, если это с этим совместить», «точно не знаю, но могу предположить что» или «ничего об этом не знаю, ищите того, кто знает». Ценность подобных примечаний часто выше, чем информации как таковой, потому что именно из примечаний и строится аккуратная карта местности, позволяющая сказать, где разведенная территория, а где темные, неизвестной глубины воды, через которые еще и надо пройти. Понятно, что бывают человеческие ошибки, но в мирной среде те, кто их делают, обычно сами их и замечают, и поправляют.

Машина со своими идеями – последнее, вот прямо последнее, что нам нужно. 

AI лишен креативности? Ну и бог с ним, не всем быть писателями. Он словоблудлив? Наверное, можно поиграть настройками или просто научиться это игнорировать.

А вот то, что AI брехлив, безапелляционен, лишен сомнений, не способен к критическому анализу собственных измышлений, и действительно на письме хорошо имитирует человека - беда и громадная. То, что AI еще и не субъект трудового законодательства и может работать 24 часа в сутки, причем с громадной продуктивностью – беда в степени 10.

Если вы знаете предмет, что бред, который AI сочиняет, вы легко заметите и проигнорируете. Если вы не предмета не знаете, то и понять, что перед вами не объективная информация, а предмет фантазии машины, вы не сможете, как если вы, к примеру, не синтоист, то вы тоже не способны будете сказать, что иероглиф «голова» в реальности означаете «жопу».

Возможность проверять информацию… Ну, пока она, скажем, есть, но с учетом работоспособности этой фигни можно себе представить, как через год-другой AI наводнит информационное пространство собой же настолько, что любая информация может оказаться ложной.

Запретить. Простите, но вот просто запретить. Без исключений. Уничтожить все имеющиеся разработки, и ввести серьезное тюремное заключение за будущие.

Это не путь в будущее, но обнуление последних десятилетий в части прогресса. Люди, живой опыт, бумажные книги и иные, не подвластные AI носители, конечно, останутся, но все, что касается цифровых коммуникаций, будет настолько заражено, что им просто опасно будет пользоваться. Нет, это не убьет рынок труда, потому что во многих сферах работников понадобится как раз больше. Честно, вы будете просить совета адвоката, который сам сочинил закон, или станете лечиться у врача, который придумал и вашу болезнь, и способы борьбы с ней? А по мосту, спроектированному машиной, которая придумала новые законы физики, поездить хотите? Тож. Но без автоматизации мы вернется примерно в 70-е годы прошлого века, если не глубже упадем.

Просто уничтожить или как минимум поставить на паузу, пока кто-то не придумает, как это сделать безопасным. Или не придумает, и это будет очередное ядреное оружие. Нам что, одного мало?