В недавнем посте я в основном сосредоточился на том, как развитие нейросетей и прочих элементов ИИ повлияет на рабочие процессы. И я действительно не вижу поводов для паники в этом отношении. Но это совершенно не значит, что приход новых технологий не несет с собой неприятностей другого плана. Как это собственно бывает с, наверное, любыми новыми технологиями.
О некоторых я там кратко упомянул, но не особо вдаваясь в детали, разве что про поисковый спам чуть развернул мысль, но это потому, что замусоренность информационного пространства сильно влияет и на профессиональную деятельность.
Сейчас мне бы хотелось поговорить о темной стороне использования новых технологий. Именно в способах использования, злоумышленных, или наоборот — малоосмысленных, я предполагаю некоторые потенциальные проблемы. И сразу замечу, что я далек от киберпанка и всяческого турбоапокалипсиса. Я вообще технооптимист.
- Поисковый спам и зашумление интернета
-
Проблема не новая, но как я уже говорил, замена копирайтеров электроникой сделает ситуацию совсем грустной. Что с этим будут делать поисковики — не знаю… Дело в том, что оригинальность контента, которую они так любят оценивать, не имеет никакого отношения к полезности и даже осмысленности. А определить искусственность теперь невозможно (и тоже не имеет отношения к осмысленности и полезности — кожаные мешки еще более горазды пургу нести).
-
То есть, поясню, проблема тут не в искусственности как таковой, а в том, что генерирование хорошего, качественного поискового спама стало крайне дешевым делом. Буквально на любую тему один целеустремленный «редактор» может нафигачить «серьезный» «контентный» сайт буквально за неделю-другую, а если не заморачиваться на живых читателей, то и за день.
-
И пока поисковики ничего дельного не придумают, парадоксальным образом мы возвращаемся в «догугловую» эпоху, когда поиск информации идет через проверенные сайты в закладках, вручную собранные (вручную, хе-хе) каталоги и так далее и тому подобное. Ну а дальше, возможно, появятся соглашения и протоколы, чтобы отображать и учитывать в поиске «цепочки источников», но поначалу это будет что-то типа цепочек сертификатов — за деньги и с бюрократией… Но как технооптимист, я надеюсь, что сообщество выработает какие-то открытые решения.
- Дипфейки и прочая
-
Всякая заведомо злонамеренно ложная информация, о-очень хорошо замаскированная… Это опять же не новая проблема, но изготовление фейков опять же стало проще, дешевле и качественнее.
-
Для «бытовых», личных нужд решение примерно то же, что и в предыдущем пункте, то есть придется выяснять цепочки источников, что, как я думаю, будет рано или поздно сильно облегчено технически.
-
Для нужд юридических… Ну, тут я не специалист, но полагаю, что постепенно уровень доказательности всех цифровых материалов скатится ниже плинтуса (кроме подписанных электронной подписью, доверие к которым может быть равно доверию к владельцу оной). Возможно, кстати, средства цифровой подписи начнут появляться во всякой технике (в том числе непрофессиональной) для записи фото/видео/аудио.
Это было о злонамеренности, теперь перейдем к глупости (а также лени и безответственности). Тут проблемы будут посерьезнее и, честно говоря, в полной мере не прогнозируемы.
- Безответственность программистов
-
То есть выпуск кода без его анализа и понимания — тесты проходит и хорошо. Я очень надеюсь, что в софте для ядерных станций и в автопилотах самолетов такого происходить не будет, но в менее критичных (и даже не сильно-то и менее критичных, типа автопилотов автомобилей) обязательно будет. Учитывая тем более, сколько специалистов и руководителей считают TDD серебряной пулей.
-
Последствия могут быть самыми разнообразными. И единственное, что тут может сделать пользователь — это максимально ориентироваться на полностью открытое ПО, и более того — интересоваться тем, как устроен в нем процесс code review. Это не гарантия того, что автор и ревьювер оба не пропустят туманное место с потенциальной ошибкой, но приближает вероятность этого к вероятности того, что они пропустят обычную человеческую ошибку, с каковой вероятностью мы жить уже как-то привыкли.
-
Ну и максимальный переход к формально верифицируемым языкам в перспективе, но это не панацея, как потому что не все задачи можно в их рамках решить, так и потому что самое широкое использование таких языков не означает запрет на использование обычных. Еще один путь — языки с выделением верифицируемого подмножества (как safe и unsafe в Rust, но там, конечно, safe-подмножество не верифицируемо, у него другие задачи)… Засада тут в том, что языки с верификацией в любом случае требуют другого подхода и мышления, чем языки ныне популярные, но о том, что учиться придется шибко однако, я уже писал.
- Безответственность пользователей
-
Или принятие решений на основе выдачи нейросетей без анализа. Тут опять же может случиться множество всего, а характерным примеров может быть банковский скоринг: запросто может выйти так, что нейросеть откажет заемщику в кредите, исходя из сочетания даты рождения и последней буквы в фамилии. Ведь в том-то и фишка, что внутренней логики, тех критериев, которые нейросеть выделит и использует, никто не будет знать.
-
То же самое может иметь и более серьезные последствия в делах юридических, но там это решается возможностью апелляции и вообще состязательностью процесса. Там же, где с состязательностью процесса проблемы, произвол нейросетей — не особо серьезная проблема на фоне вполне человеческого произвола начальства.
-
Но если соединить в том же банковском скоринге безответственность со злонамеренностью, получится еще интересней: какие-нибудь «нейросоциальные инженеры» запросто могут выяснить, что, скажем, система готова выдать миллиардный кредит трижды судимому за мошенничество, если у того имя и город рождения начинаются с одной и той же буквы, и прочее в том же духе. И на самом-то деле у всей банковской системы могут быть проблемы.
-
В конце концов рыночек все и всех порешает, но какое-то время пертурбаций будет. Простому человеку тут ничего особо не сделать, разве что по возможности избегать столкновения с безапелляционными решениями искусственного интеллекта и как потребителю, и как избирателю (если такая опция доступна).
- Беспомощность пользователей
-
Это разнообразные автопилоты. И я понятия не имею, что с этим делать. Вероятно, утешаться тем, что белковые нейросети справляются (в плане аварийности) еще хуже, так что несмотря на неизбежность ошибок, ситуация скорее улучшается, чем наоборот.
Итак, я тут набросал открытый список открытых проблем, и это тот случай, как мне кажется, когда активное обсуждение будет более чем уместно.