Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски Страница 6

Чтение его постов в блоге пробудило во мне интерес к его работе. Он поразил меня своей способностью лаконично формулировать идеи, на освоение которых у меня ушли годы изучения аналитической философии. Стремясь примирить анархический и скептический дух науки со строгим и систематическим подходом к познанию, Юдковский пытается не просто опровергнуть, а понять те многочисленные ложные шаги и тупики, к которым может привести плохая философия (или пагубное её отсутствие). Я помогал структурировать эти эссе в виде книги в надежде, что это облегчит погружение в них и позволит оценить их как единое, гармоничное целое.

Получившееся введение в рациональность часто носит глубоко личный и дерзкий характер — материал для него черпается, например, из опыта общения Юдковского с его ортодоксальной иудейской матерью (психиатром) и отцом (физиком), а также из дискуссий в чатах и списках рассылки. Читатели, знакомые с Юдковским по «Гарри Поттеру и методам рационального мышления», его научно ориентированной вариации на тему книг Дж. К. Роулинг о Гарри Поттере, узнают то же дерзкое иконоборчество и многие из тех же ключевых концепций.

Стилистически эссе в этой книге охватывают широчайший спектр — от «увлекательного учебника» до «сборника глубоких зарисовок» и «бунтарского манифеста», и содержание их столь же разнообразно. В «Рациональности: от ИИ до зомби» сотни постов Юдковского объединены в двадцать шесть «цепочек» — серий тематически связанных публикаций, напоминающих главы. Цепочки, в свою очередь, сгруппированы в шесть книг, охватывающих следующие темы:

Книга 1. Карта и территория. Что такое убеждение и почему одни убеждения работают лучше других? Эти четыре цепочки объясняют байесовские концепции рациональности, убеждений и свидетельств. Сквозная тема: то, что мы называем «объяснениями» или «теориями», далеко не всегда работает как карты для ориентирования в мире. В результате мы рискуем перепутать свои мысленные карты с другими инструментами в нашем арсенале.

Книга 2. Как на самом деле менять свое мнение. Эта штука под названием «истина», кажется, весьма полезна. Почему же тогда мы продолжаем делать поспешные выводы, упрямиться и совершать одни и те же ошибки снова и снова? Почему мы так плохи в формировании верных убеждений и как нам научиться делать это лучше? В этих семи цепочках обсуждаются мотивированное мышление и предвзятость подтверждения, причём особое внимание уделяется труднозаметным разновидностям самообмана и ловушке «использования аргументов как солдат».

Книга 3. Машина в призраке. Почему в процессе эволюции мы не стали более рациональными? Даже с учётом ограниченности ресурсов кажется, что мы могли бы получать куда больше эпистемической отдачи от имеющихся у нас свидетельств. Чтобы получить реалистичное представление о том, как и почему наш разум выполняет свои биологические функции, нам нужно заглянуть под капот и точнее разобраться, как устроена эволюция и как работает наш мозг. Эти три цепочки иллюстрируют, как даже философы и учёные могут сбиться с пути, если будут полагаться на интуитивные, нестрогие эволюционные или психологические объяснения. Поместив наш разум в более широкое пространство целеполагающих систем, мы сможем выявить некоторые особенности человеческого мышления и понять, как подобные системы могут «терять своё предназначение».

Книга 4. Просто реальность. В каком мире мы живём? Каково наше место в этом мире? Опираясь на примеры работы эволюционных и когнитивных моделей из предыдущих цепочек, эти шесть цепочек исследуют природу разума и характер физических законов. Помимо применения и обобщения прошлых выводов о научных загадках и принципе бережливости, эти эссе ставят новые вопросы о том, какую роль наука должна играть в индивидуальной рациональности.

Книга 5. Просто добро. Что делает нечто ценным — с моральной, эстетической или практической точки зрения? Эти три цепочки задаются вопросом о том, как мы можем обосновать, пересмотреть и натурализовать наши ценности и желания. Цель — найти способ осмыслить свои цели, не подрывая при этом усилий по их реальному достижению. Главная трудность здесь — понять, когда следует доверять своим хаотичным, сложным, ситуативным порывам касательно добра и зла, а когда заменить их простыми, не знающими исключений принципами.

Книга 6. Становясь сильнее. Как отдельные люди и сообщества могут применить всё это на практике? Эти три цепочки начинаются с автобиографического рассказа о крупнейших философских ошибках самого Юдковского и его советов о том, как другие могли бы справиться лучше. Книга завершается рекомендациями по разработке научно обоснованных учебных программ по прикладной рациональности, а также по созданию групп и институтов для поддержки заинтересованных студентов, преподавателей, исследователей и друзей.

Цепочки также дополнены «интерлюдиями» — эссе с личного сайта Юдковского http://www.yudkowsky.net. Они по-разному перекликаются с цепочками; например, «Двенадцать добродетелей рациональности» поэтично резюмирует многие уроки «Рациональности: от ИИ до зомби» и часто цитируется в других эссе.

Кликнув по звёздочке в конце эссе, вы перейдёте к его оригинальной версии на Less Wrong (где можно оставить комментарии) или на сайте Юдковского. Вы также можете найти онлайн-глоссарий терминов «Рациональности: от ИИ до зомби» по адресу http://wiki.lesswrong.com/wiki/RAZ_Glossary.

Карта и территория

Первая книга начинается с цепочки о когнитивных искажениях: «Предсказуемо неправы». Но остальная часть книги не ограничится одной лишь этой темой: вредные привычки мышления и ложные идеи тоже важны, даже если они порождены содержанием нашего ума, а не его структурой. Таким образом, в последующих цепочках будут препарироваться как эволюционные, так и благоприобретённые ошибки, начиная с обсуждения в «Псевдоубеждениях» того, как ожидания человека могут расходиться с декларируемыми им убеждениями.

Описание иррациональности также было бы неполным без теории о том, как работает рациональность, или если бы эта «теория» состояла лишь из расплывчатых трюизмов без какого-либо точного объяснительного механизма. В цепочке «Осознание замешательства» ставится вопрос о том, почему полезно строить своё поведение на основе «рациональных» ожиданий и как это ощущается на практике.

Далее в «Таинственных ответах» ставится вопрос: решает ли наука эти проблемы за нас? Учёные строят свои модели на основе воспроизводимых экспериментов, а не на домыслах или слухах. И у науки великолепная репутация по сравнению с байками, религией и... практически всем остальным. Нужно ли нам всё ещё беспокоиться о «псевдоубеждениях», предвзятости подтверждения, ошибке послезнания и тому подобном, когда мы работаем в сообществе людей, которые хотят объяснять явления, а не просто рассказывать складные истории?

За этим следует «Простая истина» — самостоятельная аллегория о природе знания и убеждения.

Однако именно когнитивные искажения позволяют наиболее ясно и непосредственно заглянуть в саму суть нашей психологии, понять устройство наших эвристик и логику наших ограничений. Именно с искажений мы и начнём.

В «Чжуан-цзы», раннедаосском философском трактате, есть такие слова: «Верша нужна, чтобы