Нік Бострем: Штучний інтелект. Етапи. Загрози. Стратегії. Короткий виклад штучний інтелект

Nick Bostrom

Superintelligence

Paths, Dangers, Strategies

Наукові редактори М. С. Бурцев, Е. Д. Казимирова, А. Б. Лаврентьєв

Видано з дозволу Alexander Korzhenevski Agency

Правову підтримку видавництва забезпечує юридична фірма «Вегас-Лекс»

This book was originally published in English in 2014. This translation is published by arrangement with Oxford University Press. Publisher is solely responsible for this translation from the original work and Oxford University Press shall have no liability for any errors, omissions or inaccuracies or ambiguities in such translation or for any losses caused by reliance thereon.

Цю книгу добре доповнюють

Авинаш Діксіт і Баррі Нелбафф

Кен Дженнінгс

Стівен Строгац

Передмова партнера

... У мене є один знайомий, - сказав Едик. - Він стверджує, ніби людина - проміжна ланка, необхідне природі для створення вінця творіння: чарки коньяку з скибочкою лимона.

Аркадій і Борис Стругацькі. Понеділок починається в суботу

Автор вважає, що смертельна загроза пов'язана з можливістю створення штучного інтелекту, що перевершує людський розум. Катастрофа може вибухнути як в кінці XXI століття, так і в найближчі десятиліття. Вся історія людства показує: коли відбувається зіткнення представника нашого виду, людини розумної, і будь-якого іншого, що населяє нашу планету, перемагає той, хто розумніший. До сих пір геніальними були ми, але у нас немає гарантій, що так буде тривати вічно.

Нік Бострем пише, що якщо розумні комп'ютерні алгоритми навчаться самостійно робити ще більш розумні алгоритми, а ті, в свою чергу, ще більше розумні, трапиться вибухове зростання штучного інтелекту, в порівнянні з яким люди будуть виглядати приблизно як зараз мурахи поруч з людьми, в інтелектуальному сенсі, звичайно. У світі з'явиться новий, хоча і штучний, але сверхразумний вид. Неважливо, що йому «прийде в голову», спроба зробити всіх людей щасливими або рішення зупинити антропогенне забруднення світового океану найбільш ефективним шляхом, тобто знищивши людство, - все одно опиратися цьому у людей можливості не буде. Ніяких шансів на протистояння в дусі кінофільму про Термінатора, ніяких перестрілок з залізними киборгами. Нас чекає шах і мат - як в поєдинку шахового комп'ютера «Діп Блю» з першокласником.

За останню сотню-другу років досягнення науки у одних пробуджували надію на вирішення всіх проблем людства, у інших викликали і викликають нестримний страх. При цьому, треба сказати, обидві точки зору виглядають цілком виправданими. Завдяки науці переможені страшні хвороби, людство здатне сьогодні прогодувати небачене раніше кількість людей, а з однієї точки земної кулі можна потрапити в протилежну менше ніж за добу. Однак по милості тієї ж науки люди, використовуючи новітні військові технології, знищують один одного з неймовірною швидкістю і ефективністю.

Подібну тенденцію - коли швидкий розвиток технологій не тільки призводить до утворення нових можливостей, але і формує небувалі загрози, - ми спостерігаємо і в області інформаційної безпеки. Вся наша галузь виникла і існує виключно тому, що створення і масове поширення таких чудових речей, як комп'ютери та інтернет, породило проблеми, які було б неможливо уявити в докомпьютерную еру. В результаті появи інформаційних технологій відбулася революція в людських комунікаціях. У тому числі нею скористалися різного роду кіберзлочинці. І тільки зараз людство починає поступово усвідомлювати нові ризики: все більше об'єктів фізичного світу управляються за допомогою комп'ютерів і програмного забезпечення, Часто недосконалого, дірявого і вразливого; все більше число таких об'єктів мають зв'язок з інтернетом, і загрози кіберсвіту швидко стають проблемами фізичної безпеки, а потенційно - життя і смерті.

Саме тому книга Ніка Бострома здається такою цікавою. Перший крок для запобігання кошмарних сценаріїв (для окремої комп'ютерної мережі або всього людства) зрозуміти, в чому вони можуть складатися. Бострем робить дуже багато застережень, що створення штучного інтелекту, який можна порівняти з людським розумом або перевершує його, - штучного інтелекту, здатного знищити людство, - це лише ймовірний сценарій, який може і не реалізуватися. Звичайно, варіантів багато, і розвиток комп'ютерних технологій, можливо, не знищить людство, а дасть нам відповідь на «головне питання життя, Всесвіту і всього такого» (можливо, це й справді виявиться число 42, як в романі «Автостопом по Галактиці») . Надія є, але небезпека дуже серйозна - попереджає нас Бострем. На мій погляд, якщо ймовірність такої екзистенціальної загрози людству існує, то поставитися до неї треба відповідно і, щоб запобігти її і захиститися від неї, слід почати спільні зусилля в загальносвітовому масштабі.

Завершити свій вступ хочеться цитатою з книги Михайла Веллера «Людина в системі»:

Коли фантастика, чи то пак оформлена в образи і сюжети думка людська, довго і детально щось повторює - ну так диму без вогню не буває. Банальні голлівудські бойовики про війнах людей з цивілізацією роботів несуть в собі під лушпинням комерційного смотріва гірке зернятко істини.

Коли в роботи буде вбудована передана програма інстинктів, і задоволення цих інстинктів буде вбудовано як безумовна і базова потреба, і це піде на рівень самовідтворення - ось тоді, хлопці, кінчай боротися з курінням і алкоголем, тому що буде саме час випити і закурити перед Ханой усім нам.

Євген Касперський,

генеральний директор «Лабораторії Касперського»

Незакінчена історія про горобців

Одного разу, в самий розпал гніздування, стомлені багатоденним тяжкою працею горобці присіли перепочити на заході сонця і пощебетать про те про се.

- Ми такі маленькі, такі слабкі. Уявіть, наскільки простіше було б жити, тримай ми в помічниках сову! - мрійливо прочірікал один горобець. - Вона могла б вити нам гнізда ...

Що трапиться, якщо машини перевершать людей в інтелекті? Вони будуть допомагати нам або знищать людську расу? Чи можемо ми сьогодні ігнорувати проблему розвитку штучного інтелекту і відчувати себе в цілковитій безпеці? У своїй книзі Нік Бострем намагається усвідомити проблему, що встає перед людством у зв'язку з перспективою появи сверхразума, і проаналізувати його реакцію. Російською мовою публікується вперше.

* * *

Наведений ознайомлювальний фрагмент книги Штучний інтелект. Етапи. Загрози. Стратегії (Нік Бострем, 2014 року)надано нашим книжковим партнером - компанією ЛітРес.

глава друга

Шлях до сверхразуму

На сьогоднішній день, якщо брати рівень загального інтелектуального розвитку, машини абсолютно поступаються людям. Але одного разу - за нашим припущенням - розум машини перевершить розум людини. Який буде наш шлях від нинішнього моменту до того, який нас чекає? У цьому розділі пояснюються кілька можливих технологічних варіантів. Спочатку ми розглянемо такі теми, як штучний інтелект, повна емуляція головного мозку, удосконалення когнітивних здібностей людини, нейрокомп'ютерних інтерфейс, мережі та організації. Потім оцінимо перераховані аспекти з точки зору ймовірності, чи зможуть вони служити ступенями сходження до сверхразуму. При декількох варіантах шляху шанс коли-небудь досягти місця призначення явно підвищується.

Попередньо визначимо поняття сверхразума. це будь-який інтелект, значно перевершує когнітивні можливості людини фактично в будь-яких областях(87). У наступному розділі ми більш детально обговоримо, що таке сверхразум, розкладемо його на складові і диференціюючи всі можливі його втілення. Але зараз дозволимо собі обмежитися такою спільною і поверхневої характеристикою. Зауважте, в даному описі не знайшлося місця ні втіленню сверхразума в життя, ні його квалі, тобто чи буде він наділений суб'єктивними переживаннями і досвідом свідомості. А адже в певному сенсі, особливо етичному, питання досить важливий. Однак зараз, залишивши осторонь інтелектуальну метафізику (88), ми приділимо увагу двом питанням: передумов виникнення сверхразума і наслідків цього явища.

Відповідно до нашого визначення, шахова програма Deep Fritz не є сверхінтеллектуальной, оскільки «сильна» лише в дуже вузькій - гра в шахи - області. І тим не менше дуже важливо, щоб сверхразум мав свої предметні спеціалізації. Тому кожен раз, коли мова зайде про той чи інший сверхінтеллектуальном поведінці, обмеженому предметною областю, я буду окремо обумовлювати його конкретну сферу діяльності. Наприклад, штучний інтелект, що значно перевищує розумові здібності людини в сферах програмування і конструювання, отримає назву інженерного сверхінтеллекта. Але для позначення систем, в ціломупереважаючих загальний рівень людського інтелекту - якщо не вказано інше, - залишається термін сверхразум.

Як ми досягнемо того часу, коли виявиться можливим його появу? Який шлях оберемо? Давайте розглянемо деякі можливі варіанти.

Штучний інтелект

Дорогий читач, не варто очікувати від цієї глави концептуальної розробки питання, як створити універсальний, або сильний, штучний інтелект. Проекту по його програмування просто не існує. Але навіть коли б я був щасливим володарем такого плану, то, безумовно, не став би оприлюднити його в своїй книзі. (Якщо причини цього поки не очевидні, сподіваюся, в наступних розділах мені вдасться недвозначно роз'яснити власну позицію.)

Однак вже сьогодні можна розпізнати деякі обов'язкові характеристики, властиві подібної інтелектуальної системі. Цілком очевидно, що здатність до навчання як невід'ємна властивість ядра системи повинна закладатися при проектуванні, а не додаватися як запізнілого міркування пізніше у вигляді розширення. Те ж саме стосується здатності ефективно працювати з невизначеною і ймовірнісної інформаціями. Швидше за все, серед основних модулів сучасного ІІ повинні бути кошти витягу корисної інформації з даних від зовнішніх і внутрішніх датчиків і перетворення отриманих концепцій в гнучкі комбінаторні подання для подальшого використання в розумових процесах, заснованих на логіці та інтуїції.

Перші системи класичного штучного інтелекту переважно були націлені на навчання, роботу в умовах невизначеності і формування концепцій - ймовірно, через те, що в ті часи були недостатньо розвинені відповідні методи аналізу. Не можна сказати, що всі базові ідеї ІІ є принципово новаторськими. Наприклад, думка використовувати навчання як засіб розвитку простої системи і доведення її до людського рівня була висловлена ще Аланом Тьюрингом в 1950 році в статті «Обчислювальна техніка та інтелект», де він виклав свою концепцію «машина-дитина»:

Чому б нам, замість того щоб намагатися створити програму, яка імітує розум дорослого, чи не спробувати створити програму, яка б імітувала розум дитини? Адже якщо розум дитини отримує відповідне виховання, він стає розумом дорослої людини (89).

Тьюринг передбачав, що для створення «машини-дитини» буде потрібно ітеративний процес:

Навряд чи нам вдасться отримати хорошу «машину-дитини» з першої ж спроби. Треба провести експеримент з навчання будь-якої з машин такого роду і з'ясувати, як вона піддається навчанню. Потім провести той же експеримент з іншою машиною і встановити, яка з двох машин краще. Існує очевидний зв'язок між цим процесом і еволюцією в живій природі ...

Проте можна сподіватися, що цей процес буде протікати швидше, ніж еволюція. Виживання найбільш пристосованих є занадто повільним способом оцінки переваг. Експериментатор, застосовуючи силу інтелекту, може прискорити процес оцінки. В рівній мірі важливо і те, що він не обмежений використанням тільки випадкових мутацій. Якщо експериментатор може простежити причину деякого нестачі, він, ймовірно, в змозі придумати і такого роду мутацію, яка призведе до необхідного поліпшення (90).

Ми знаємо, що сліпі еволюційні процеси здатні привести до появи загального інтелекту людського рівня - по крайней мере один раз це вже сталося. Внаслідок прогнозування еволюційних процесів - тобто генетичного програмування, коли алгоритми розробляються і управляються розумною людиною-програмістом, - ми повинні отримати аналогічні результати з набагато більшою ефективністю. Саме на це положення спираються багато вчених, серед яких філософ Девід Чалмерс і дослідник Ханс Моравек (91), які стверджують, що ІІЧУ не тільки теоретично можливий, але і практично здійснимо вже в XXI столітті. На їхню думку, в справі створення інтелекту, оцінюючи відносні можливості еволюції і людської інженерної думки, ми виявимо, що остання в багатьох областях значно перевершує еволюцію і, швидше за все, досить скоро обжене її в останніх. Таким чином, якщо в результаті еволюційних процесів колись з'явився природний інтелект, то з цього випливає, що людські задуми в області проектування і розробок незабаром зможуть привести нас до штучного інтелекту. Наприклад, Моравек писав ще в 1976 році:

Існування кількох прикладів інтелекту, що з'явився в умовах такого роду обмежень, має вселяти в нас впевненість, що дуже скоро ми зможемо досягти того ж. Ситуація аналогічна історії створення машин, які можуть літати, хоча вони важче повітря: птиці, кажани і комахи продемонстрували цю можливість явно задовго до того, як людина зробила літальні апарати (92).

Втім, слід бути обережніше з висновками, побудованими на подібній ланцюжку міркувань. Звичайно, немає сумнівів, що політ нелюдських живих істот, які важче повітря, став можливий в результаті еволюції набагато раніше того, як в цьому досягли успіху люди - правда, досягли успіху за допомогою механізмів. На підтримку цього можна згадати й інші приклади: гідролокаційні системи; магнітометричні системи навігації; хімічні засоби ведення війни; фотодатчики та інші пристосування, що володіють механічними і кінетичними характеристиками ефективності. Однак з таким же успіхом ми перерахуємо області, в яких результативність людських зусиль ще дуже далека від ефективності еволюційних процесів: морфогенез; механізми самовідновлення; імунний захист. Таким чином, аргументація Моравека все-таки не «вселяє в нас впевненість», що ІІУЧ буде створено «дуже скоро». У кращому випадку верхньою межею складності створення інтелекту може служити еволюція розумного життя на Землі. Але цей рівень поки що недосяжний для нинішніх технологічних можливостей людства.

Ще один аргумент на користь розвитку штучного інтелекту по моделі еволюційного процесу - це можливість запускати генетичні алгоритми на досить потужних процесорах і в підсумку домогтися результатів, порівнянних з тими, які вийшли в ході біологічної еволюції. Таким чином, ця версія аргументації передбачає удосконалити ІІ за допомогою певного методу.

Наскільки справедливим є твердження, що досить скоро в нашому розпорядженні виявляться обчислювальні ресурси, достатні для відтворення відповідних еволюційних процесів, внаслідок яких утворився людський інтелект? Відповідь залежить від наступних умов: по-перше, чи буде протягом наступних десятиліть досягнуто істотного прогресу комп'ютерних технологій; по-друге, яка буде потрібно обчислювальна потужність, щоб механізми запуску генетичних алгоритмів були аналогічні природному відбору, який призвів до появи людини. Треба сказати, що висновки, до яких ми приходимо по ланцюжку наших міркувань, вкрай невизначені; але, незважаючи на такий обескураживающий факт, все-таки видається доречним спробувати дати хоча б приблизну оцінку цій версії (див. врізку 3). Через брак інших можливостей навіть орієнтовні розрахунки привернуть увагу до деяких цікавим невідомим величинам.

Суть в тому, що обчислювальна потужність, необхідна лише для відтворення потрібних еволюційних процесів, що призвели до появи людського інтелекту, практично недосяжна і надовго залишиться такою, навіть якщо закон Мура буде діяти ще ціле століття (див. Рис. 3 нижче). Однак існує цілком прийнятний вихід: ми дуже сильно вплинемо на ефективність, коли замість прямолінійного повторення природних еволюційних процесів розробимо пошуковий механізм, орієнтований на створення інтелекту, задіюючи різні очевидні переваги в порівнянні з природним відбором. Безумовно, оцінити кількісно отриманий виграш в ефективності зараз дуже важко. Ми навіть не знаємо, про які порядках величини йдеться - п'яти або двадцяти п'яти. Отже, якщо побудована на еволюційної моделі аргументація буде розроблена належним чином, ми не зможемо задовольнити свої очікування і ніколи не дізнаємося, наскільки складні дороги до штучного інтелекту людського рівня і як довго нам чекати його появи.

Врізка 3. Оцінка зусиль по відтворенню еволюційного процесу

Не всі досягнення антропогенезу, що мають відношення до людського розуму, мають цінність для сучасних фахівців, що працюють над проблемою еволюційного розвитку штучного інтелекту. У справу йде лише незначна частина того, що вийшло в результаті природного відбору на Землі. Наприклад, проблеми, які люди не можуть не брати до уваги, є результатом лише незначних еволюційних зусиль. Зокрема, оскільки ми можемо мати наші комп'ютери електрикою, у нас немає необхідності заново винаходити молекули системи клітинної енергетичної економіки для створення розумних машин - але ж на молекулярну еволюцію метаболічного механізму, цілком можливо, потрібна була значна частина загальної витрати потужності природного відбору, що знаходилася в розпорядженні еволюції протягом історії Землі (93).

Існує концепція, що ключем до створення ІІ є структура нервової системи, що з'явилася менше мільярда років тому (94). Якщо ми приймемо це положення, кількість «експериментів», необхідних для еволюції, значно скоротиться. Сьогодні в світі існує приблизно (4-6) × 1030 прокариотов, але лише 1019 комах і менше 1010 представників людського роду (до речі, чисельність населення напередодні неолітичної революції була на порядки менше) (95). Погодьтеся, ці цифри не настільки лякаюче.

Однак для еволюційних алгоритмів потрібно не тільки різноманітність варіантів, але і оцінка пристосованості кожного з варіантів - зазвичай найбільш витратний компонент з точки зору обчислювальних ресурсів. У разі еволюції штучного інтелекту для оцінки пристосованості потрібно, по всій видимості, моделювання нейронного розвитку, а також здатності до навчання і пізнання. Тому краще не дивитися на загальне число організмів зі складною нервовою системою, а оцінити кількість нейронів в біологічних організмах, які нам, можливо, доведеться моделювати для розрахунку цільової функції еволюції. Грубу оцінку можна зробити, звернувшись до комах, які домінують в наземної біомасі (на частку одних тільки мурах припадає 15-20%) (96). Обсяг головного мозку комах залежить від багатьох факторів. Чим комаха більший і соціальнішим (тобто веде громадський спосіб життя), тим більше його мозок; наприклад, у бджоли трохи менше 106 нейронів, у дрозофіли - 105 нейронів, мураха зі своїми 250 тисячами нейронів знаходиться між ними (97). Мозок більшості більш дрібних комах містить всього кілька тисяч нейронів. Пропоную з граничною обережністю зупинитися на усередненому значенні (105) і прирівняти до дрозофілам всіх комах (яких всього в світі - 1019), тоді сумарне число їх нейронів складе 1024. Додамо ще порядок величини за рахунок ракоподібних, птахів, рептилій, ссавців і т. д. - і отримаємо 1025. (Порівняємо це з тим, що до виникнення сільського господарства на планеті було менше 107 осіб, причому на кожного припадало приблизно 1011 нейронів - тобто в цілому сума всіх нейронів становила менше ніж 1018, хоча людський мозок містив - і містить - набагато більше синапсів.)

Обчислювальні витрати на моделювання одного нейрона залежать від необхідного ступеня деталізації моделі. Для вкрай простий моделі нейрона, що працює в режимі реального часу, потрібно приблизно 1000 операцій з плаваючою комою в секунду (далі - FLOPS). Для електро- і фізіологічно реалістичної моделі Ходжкіна - Хакслі потрібно 1 200 000 FLOPS. Складніша мультикомпонентних модель нейрона додала б два-три порядки величини, а модель більш високого рівня, що оперує системами нейронів, вимагає на два-три порядки менше операцій на один нейрон, ніж прості моделі (98). Якщо нам потрібно змоделювати 1025 нейронів протягом мільярда років еволюції (це більше, ніж термін існування нервових систем в їх нинішньому вигляді) і ми дозволимо комп'ютерів працювати над цим завданням протягом року, то вимоги до їх обчислювальної потужності потраплять в діапазон 1031-1044 FLOPS . Для порівняння, самий надпотужний комп'ютер у світі китайський Tianhe-2 (на вересень 2013 року) здатний видавати всього 3,39 × 1016 FLOPS. В останні десятиліття звичайні комп'ютери збільшували свою продуктивність на порядок приблизно раз в 6,7 роки. Навіть якщо обчислювальна потужність стане рости за законом Мура протягом цілого століття, то це виявиться недостатнім, щоб подолати існуючий розрив. Використання більш спеціалізованих обчислювальних систем або збільшення часу обчислень здатні знизити вимоги до потужності всього на кілька порядків.
Цілком ймовірно, що усунення такого роду неефективності допоможе заощадити кілька порядків необхідної потужності в 1031-1044 FLOPS, розрахованої раніше. На жаль, важко сказати, скільки саме. Важко дати навіть приблизну оцінку - можна тільки гадати, чи буде це п'ять порядків, десять або двадцять п'ять (101).

Мал. 3. Продуктивність надпотужних комп'ютерів.У прямому сенсі те, що називають «закон Мура», - це спостереження, згідно з яким кількість транзисторів, що розміщуються на кристалі інтегральної схеми, подвоюється приблизно кожні два роки. Однак часто закон узагальнюють, вважаючи, що так само по експоненті ростуть і інші показники продуктивності комп'ютерів. На нашому графіку показано зміну в часі пікової швидкості найбільш надпотужних комп'ютерів в світі (за логарифмічною вертикальної шкалою). В останні рокишвидкість послідовних обчислень рости перестала, але за рахунок поширення паралельних обчислень загальна кількість операцій продовжує збільшуватися з колишнім темпом (102).

Є ще одне ускладнення, пов'язане з еволюційними факторами, висунутими в якості останнього аргументу. Проблема полягає в тому, що ми не в змозі обчислити - навіть дуже приблизно - верхню межу труднощі отримання інтелекту еволюційним шляхом. Так, на Землі колись з'явилася розумне життя, але з цього факту ще не випливає, ніби процеси еволюції з високим ступенем ймовірності призводять до виникнення інтелекту. Подібний висновок було б в корені помилковим, оскільки не враховується так званий ефект спостереження при відборі, що має на увазі, що всі спостерігачі знаходяться на планеті, де зародилася розумне життя, незалежно від того, наскільки ймовірно або неймовірно така подія на всіх інших планетах. Припустимо, для появи розумного життя, крім систематичних похибок природного відбору, потрібно величезна кількість вдалих збігів- настільки велике, що розумне життя з'явилася всього лише на одній з 1030 планет, де існують прості гени-станції. В такому випадку дослідники, запускаючи генетичні алгоритми в спробі відтворити створене еволюцією, можуть зіткнутися з тим, що знадобиться зробити приблизно 1030 ітерацій, перш ніж вони знайдуть комбінацію, в якій всі елементи складуться правильно. Здається, це цілком узгоджується з нашим наглядом, що життя зародилося і розвивалася тут, на Землі. Обійти цей гносеологічний бар'єр частково можна шляхом ретельних та до деякої міри громіздких логічних ходів - аналізуючи випадки конвергентної еволюції характеристик, що мають відношення до інтелекту, і беручи до уваги ефект спостереження при відборі. Якщо вчені не візьмуть на себе обов'язок провести такий аналіз, то в подальшому вже нікому з них не доведеться оцінювати максимальне значення і з'ясувати, наскільки ймовірна верхня межа необхідної обчислювальної потужності для відтворення еволюції інтелекту (див. Врізку 3) може виявитися нижче тридцятого порядку (або якоїсь іншої настільки ж великий величини) (103).

Перейдемо до наступного варіанта досягнення нашої мети: аргументом на користь здійсненності еволюції штучного інтелекту служить діяльність головного мозку людини, на яку посилаються як на базову модель для ІІ. Різні версії такого підходу відрізняються лише ступенем відтворення - наскільки точно пропонується імітувати функції біологічного мозку. На одному полюсі, що представляє собою своєрідну «гру в імітацію», ми маємо концепцію повної емуляції мозку, Тобто повномасштабного імітаційного моделювання головного мозку (до цього ми повернемося трохи пізніше). На іншому полюсі знаходяться технології, відповідно до яких функціональність мозку служить лише стартовою точкою, але розробка низкоуровневого моделювання не планується. В кінцевому рахунку ми наблизимося до розуміння загальної ідеї діяльності мозку, чому сприяють успіхи в нейробіології і когнітивної психології, а також постійне вдосконалення інструментальних і апаратних засобів. Нові знання, безсумнівно, стануть орієнтиром у подальшій роботі з іноземними інвестиціями. Нам вже відомий приклад ІІ, що з'явився в результаті моделювання роботи мозку, - це нейронні мережі. Ще одна ідея, взята з нейробіології і перенесена на машинне навчання, - ієрархічна організація сприйняття. Вивчення навчання з підкріпленням було обумовлено (принаймні частково) тією важливою роллю, яку ця тема грає в психологічних теоріях, що описують поведінку і мислення тварин, а також техніки навчання з підкріпленням (наприклад, TD-алгоритм). Сьогодні навчання з підкріпленням широко застосовується в системах ШІ (104). В майбутньому подібних прикладів, безумовно, буде більше. Оскільки набір базових механізмів функціонування мозку вельми обмежений - насправді їх дуже невелика кількість, - всі ці механізми рано чи пізно будуть відкриті завдяки постійним успіхам нейробіології. Однак можливий варіант, що ще раніше прийде до фінішу якийсь гібридний підхід, що поєднує моделі, розроблені, з одного боку, на основі діяльності головного мозку людини, з іншого - виключно на основі технологій штучного інтелекту. Зовсім не обов'язково, що отримана в результаті система повинна в усьому нагадувати головний мозок, навіть якщо при її створенні і будуть використані деякі принципи його діяльності.

Діяльність головного мозку людини в якості базової моделі являє собою сильний аргумент на користь здійсненності створення і подальшого розвитку штучного інтелекту. Однак жоден навіть найпотужніший аргумент не наблизить нас до розуміння майбутніх термінів, оскільки важко передбачити, коли станеться те чи інше відкриття в нейробіології. Можна сказати тільки одне: чим глибше в майбутнє ми заглядаємо, тим більша ймовірність, що секрети функціонування мозку будуть розкриті досить повно для втілення систем штучного інтелекту.

Дослідники, що працюють в області штучного інтелекту, дотримуються різних точок зору щодо того, наскільки багатообіцяючим є нейроморфний підхід порівняно з технологіями, заснованими на повністю композиційних підходах. Політ птахів демонстрував фізичну можливість появи літаючих механізмів важчий за повітря, що в підсумку призвело до будівництва літальних апаратів. Однак навіть перші піднялися в повітря літаки НЕ махали крилами. Яким шляхом піде розробка штучного інтелекту? Питання залишається відкритим: за принципом чи закону аеродинаміки, який утримує в повітрі важкі залізні механізми, - тобто навчаючись у живої природи, але не наслідуючи їй безпосередньо; за принципом чи пристрою двигуна внутрішнього згоряння - тобто безпосередньо копіюючи дії природних сил.

Концепція Тьюринга про розробку програми, яка отримує б проБільшу частину знань за рахунок навчання, а не в результаті завдання вихідних даних, може бути застосована і до створення штучного інтелекту - як до нейроморфному, так і композиційному підходам.

Варіацією тьюрінговой концепції «машини-дитини» стала ідея зародка ІІ (105). Однак якщо «машині-дитині», як це уявляв Тьюринг, належало мати щодо фіксовану архітектуру і розвивати свій потенціал за рахунок накопичення контенту, Зародок ІІ буде більш складною системою, тому, хто самовдосконалюється власну архітектуру. На ранніх стадіях існування зародок ІІ розвивається в основному за рахунок збору інформації, діючи методом проб і помилок не без допомоги програміста. «Подорослішавши», він повинен навчитися самостійно розбиратисяв принципах своєї роботи, щоб вміти проектувати нові алгоритми і обчислювальні структури, що підвищують його когнітивну ефективність. Необхідну розуміння можливе лише в тих випадках, коли зародок ІІ або в багатьох областях досяг досить високого загального рівня інтелектуального розвитку, або в окремих предметних областях - скажімо, кібернетиці та математики - подолав якийсь інтелектуальний поріг.

Це підводить нас до ще однієї важливої концепції, що отримала назву «рекурсивне самовдосконалення». Успішний зародок ІІ повинен бути здатний до постійного саморозвитку: перша версія створює поліпшену версію самої себе, яка набагато розумніші оригінальної; поліпшена версія, в свою чергу, працює над ще більш вдосконаленою версією і так далі (106). При деяких умовах процес рекурсивного самовдосконалення може тривати досить довго і врешті-решт привести до вибухового розвитку штучного інтелекту. Мається на увазі подія, в ході якого за короткий період часу загальний інтелект системи виростає з порівняно скромного рівня (можливо, у багатьох аспектах, крім програмування і досліджень в галузі ШІ, навіть нижче людського) до сверхразумного, радикально перевершує рівень людини. У четвертому розділі ми повернемося до цієї перспективи, вельми важливою за своїм значенням, і докладніше проаналізуємо динаміку розвитку подій.

Зверніть увагу, що така модель розвитку передбачає можливість сюрпризів. Спроби створити універсальний штучний інтелект можуть, з одного боку, закінчитися повною невдачею, а з іншого - привести до останнього невистачаючому критичного елементу - після чого зародок ІІ стане здатний на стійке рекурсивне самовдосконалення.

Перш ніж закінчити цей розділ глави, хотілося б підкреслити ще одну річ: зовсім не обов'язково, щоб штучний інтелект був уподібнений людському розуму. Цілком допускаю, що ІІ стане абсолютно «чужим» - швидше за все, так і станеться. Можна очікувати, що когнітивна архітектура ІІ буде різко відрізнятися від когнітивної системи людини; наприклад, на ранніх стадіях когнітивна архітектура буде мати зовсім інші сильні і слабкі ознаки (хоча, як ми побачимо далі, ІІ вдасться подолати вихідні недоліки). Крім усього, цілеспрямовані системи ШІ можуть не мати нічого спільного з системою цілеспрямованих людства. Немає підстав стверджувати, що ІІ середнього рівня почне керуватися людськими почуттями, такими як любов, ненависть, гордість, - для такої складної адаптації буде потрібно величезний обсяг дорогих робіт, більш того, до появи подібної можливості у ІІ слід поставитися дуже обачно. Це одночасно і велика проблема, і великі можливості. Ми повернемося до мотивації ІІ в подальших главах, але ця ідея настільки важлива для книги, що її варто тримати в голові постійно.

Повна емуляція головного мозку людини

В процесі повномасштабного імітаційного моделювання головного мозку, який ми називаємо «повна емуляція мозку» або «завантаження розуму», штучний інтелект створюється шляхом сканування і точного відтворення обчислювальної структури біологічного мозку. Таким чином, доводиться повністю черпати натхнення у природи - крайній випадок неприхованого плагіату. Щоб повна емуляція мозку пройшла успішно, потрібно виконати ряд певних кроків.

Перший етап. Робиться досить докладний сканування людського мозку. Це може включати фіксацію мозку померлого людини методом вітрифікації, або склування (в результаті тканини стають твердими, як скло). Потім одним апаратом з тканини робляться тонкі зрізи, які пропускають через інший апарат для сканування, можливо, за допомогою електронних мікроскопів. На цій стадії застосовується забарвлення матеріалу спеціальними барвниками, щоб виявити його структурні і Хімічні властивості. При цьому паралельно працюють безліч скануючих апаратів, одночасно обробних різні зрізи тканини.

Другий етап. Вихідні дані зі сканерів завантажують в комп'ютер для автоматичної обробки зображень, щоб реконструювати тривимірну нейронну мережу, що відповідає за пізнання в біологічному мозку. Щоб скоротити кількість знімків у високій роздільній здатності, які необхідно зберігати в буфері, цей етап може виконуватися одночасно з першим. Отриману карту комбінують з бібліотекою нейровичіслітельних моделей на нейронах різного типу або на різних нейронних елементах (наприклад, можуть відрізнятися синапси). Деякі результати сканування і обробки зображень із застосуванням сучасною технологієюпоказані на рис. 4.

Кінець ознайомчого фрагмента.

Нік Бострем - шведський філософ, професор Оксфордського університету, співзасновник Всесвітньої асоціації трансгуманістів і директор створеного в 2005 році в Оксфорді Інституту майбутнього людства. Він намагається усвідомити проблему, що встає перед людством у зв'язку з перспективою появи сверхразума. Що трапиться, якщо машини перевершать людей в інтелекті? Чи будуть вони допомагати нам або знищать людство? Чи можемо ми сьогодні ігнорувати проблему розвитку штучного інтелекту і відчувати себе в цілковитій безпеці? Нік Бострем описує складні наукові питання про майбутнє людства доступною мовою.

З дозволу видавництва «Манн, Іванов і Фербер» «Лента.ру» публікує уривок з книги Ніка Бострома «Штучний інтелект».

Сверхразум зможе володіти гігантськими можливостями, щоб відповідно до своїх цілям міняти майбутнє. Але які ці цілі? Які устремління? Чи буде залежати ступінь мотивації сверхразума від рівня його інтелекту?

Висунемо дві тези. Теза про ортогональності говорить (з деякими винятками), що можна комбінувати будь-який рівень інтелекту з будь-якою метою, оскільки інтелект і кінцеві цілі є ортогональні, тобто незалежні, змінні. Теза про інструментальну конвергенції говорить, що сверхразумние діючі сили, або агенти, - при самому широкому розмаїтті своїх кінцевих цілей - проте будуть переслідувати подібні проміжні цілі, оскільки на це у всіх агентів будуть однакові інструментальні причини. Розглянуті разом, ці тези допоможуть нам краще уявити, які наміри сверхразумного актора.

Зв'язок між інтелектом і мотивацією

У книзі вже звучало застереження від помилки антропоморфізму: не слід проектувати людські якості на можливості сверхразумного агента. Ми повторимо своє попередження, лише замінивши слово можливість на слово мотивація.

Перш ніж розвивати далі перша теза, проведемо невелике попереднє розслідування на тему безмежності всього спектра можливих умов. У цьому абстрактному, майже космічному, просторі можливого людський розум становить мізерно малий кластер.

Виберемо двох представників людського роду, які відповідно до спільної думки є діаметрально протилежними особистостями. Нехай це будуть Ханна Арендт і Бенні Хілл. Різниця між ними ми, швидше за все, оцінимо як максимальне. Але зробимо так лише тому, що наше сприйняття цілком регулюється нашим же досвідом, який, в свою чергу, покладається на існуючі людські стереотипи (до певної міри ми знаходимося під впливом і вигаданих персонажів, створених знову-таки людською фантазією для задоволення все того ж людського уяви).

Однак, змінивши масштаб огляду і поглянувши на проблему розподілу розуму крізь призму безмежного простору можливого, ми будемо змушені визнати, що ці дві особистості не більше ніж віртуальні клони. У всякому разі з точки зору характеристики нервової системи Ханна Арендт і Бенні Хілл фактично ідентичні.

Припустимо, головний мозок і тієї й іншої помістили б поруч у тиші якогось музею, - побачивши цю експозицію, ми відразу скажемо, що ці двоє належали одному і тому ж виду. Більш того, хто з нас зміг би визначити, який мозок Ханни Арендт, а який - Бенні Хілла? Якщо нам вдалося б вивчити морфологію і того і іншого головного мозку, то ми остаточно переконалися б у їх фундаментальному схожості: однакова пластинчатая архітектоніка кори; одні й ті ж відділи мозку; однакову будову нервової клітини мозку - нейрона з його нейромедиаторами однієї і тієї ж хімічної природи.

Попри те, що розум людини практично зіставимо з невиразною точкою, що плаває в безмежному космосі передбачуваних розумних життів, склалася тенденція проектувати людські властивості на найрізноманітніші інопланетні сутності і штучні розумні системи. Цей мотив чудово прокоментував Елізер Юдковський все в тій же роботі «Штучний інтелект як позитивний і негативний фактор глобального ризику»:

«За часів розквіту популярної наукової фантастики, досить дешевого властивості, обкладинки журналів рясніли картинками, на яких чергове інопланетне чудовисько - в народі більш відома як" булькатий монстр "- в черговий раз кудись тягло чергову красуню в обов'язково задер плаття - причому красуня була нашій, земною, жінкою.

Схоже, все художники увірували, що негуманоїдні прибульці із зовсім іншою еволюційною історією неодмінно повинні відчувати сексуальний потяг до прекрасних представниць людського роду.<...>Швидше за все, художники, що зображували все це, навіть не задавалися питанням, а чи буде взагалі гігантський жук чутливий до принад наших жінок. Адже за їхніми уявленнями будь-яка напівоголена жінка просто за визначенням сексуально приваблива, тобто відчувати до неї бажання було невід'ємною рисою мужніх представників людського роду.

Все художницьке увага була спрямована на задерши або порване плаття, найменше їх турбувало, як влаштована свідомість гігантських насекомообразних. І це становило головну помилку художників. Не будь одягу розідрані, - думали вони, - жінки виглядали б не настільки спокусливо для лупатих монстрів. Шкода тільки, самі прибульці так і не взяли цього в толк ».

Мабуть, штучний інтелект своїми спонукальними мотивами ще менше буде нагадувати людини, ніж зелений лускатий прибулець з космосу. Інопланетяни - біологічні створення (не більше ніж припущення), що з'явилися в результаті еволюційного процесу, в силу чого від них можна очікувати мотивації, в якійсь мірі типовою для еволюціонували істот.

Тому не буде нічого дивного, якщо виявиться, що мотиви поведінки розумного прибульця продиктовані досить простими інтересами: їжа, повітря, температура, небезпека тілесних каліцтв або вже доконаний травми, розлади здоров'я, хижацтво, секс і виведення потомства. Якщо інопланетяни належать якомусь розумному соціуму, у них могли б розвинутися мотиви, пов'язані зі співпрацею і конкуренцією. Подібно нам вони проявляли б відданість своїй спільноті, обурювалися б дармоїдами і, хто знає, були б не позбавлені марнославства, турбуючись про свою репутацію і зовнішньому вигляді.

Думаючим машинам по природі своїй, на відміну від інопланетян, немає сенсу дбати про подібні речі. Навряд чи ви вважаєте парадоксальною ситуацію, якщо з'явиться який-небудь ІІ, чиїм єдиним призначенням, наприклад, буде: підрахувати піщинки на пляжах острова Боракай; зайнятися числом π і представити його, нарешті, у вигляді звичайного десяткового дробу; визначити максимальну кількість канцелярських скріпок в світловому конусі майбутнього.

Насправді набагато простіше створити ІІ, перед яким будуть стояти однозначні цілі, а не нав'язувати йому нашу систему цінностей, наділяючи машину людськими якостями і спонуканнями. Самі вирішите, що складніше: написати програму, що вимірює, скільки знаків після коми в числі π вже пораховано і збережено в пам'яті, або створити алгоритм, достовірно враховує ступінь досягнення абсолютно значущою для людства цілі, скажімо, такий, як світ загального благоденства і загальної справедливості ?

Хоч як сумно, але людині легше написати код спрощеного, позбавленого будь-якого значення цілеспрямованої поведінки машини і навчити її, як виконувати поставлене завдання. Швидше за все, таку долю вибере для зародка ІІ той програміст, який буде зосереджений лише на бажанні «змусити ІІ працювати», причому якомога швидше (програміст, явно не стурбований, ніж саме доведеться займатися ІІ, крім того що демонструвати карколомне розумна поведінка). Скоро ми повернемося до цієї важливої теми.

Інтелектуальний пошук інструментально оптимальних планів і стратегій можливий в разі будь-якої мети. Інтелект і мотивація в деякому сенсі ортогональні. Уявімо їх у вигляді двох осей координат, які задають граф, в якому кожна точка являє логічно можливого інтелектуального агента. Правда, ця картинка зажадає кілька уточнень.

Наприклад, для системи, що не наділеною розумом, було б неможливо мати занадто складні мотивації. Щоб ми могли з повною підставою говорити, що, мовляв, такий-то агент «має» такий-то набір мотивацій, - ці мотивації повинні складати функціонально-інтегровану систему разом з процесом прийняття рішень, який накладає певні вимоги на пам'ять, обчислювальну потужність і , можливо, рівень інтелекту.

У інтелекту, здатного самопреобразовиваться, швидше за все, будуть спостерігатися обмежують динамічні характеристики. І то сказати: якщо навчені модифікувати саму себе думаюча машина раптом відчує гостре бажання стати дурною, то досить швидко вона перестане бути інтелектуальною системою. Однак наші зауваження ніяк не скасовують основна теза про ортогональності інтелекту і мотивації. Уявляю його на ваш розгляд.

Теза про ортогональності

Інтелект і кінцеві цілі ортогональні: більш-менш будь-який рівень інтелекту може, в принципі, поєднуватися з більш-менш будь-кінцевою метою.

Це положення може виглядати спірним через свого уявного схожості з деякими постулатами, хоча і відносяться до класичної філософії, але до сих пір викликають багато запитань. Постарайтеся сприйняти тезу про ортогональності в його вужчому сенсі - і тоді він здасться цілком достовірним.

Зверніть увагу, теза про ортогональності говорить не про раціональність або розсудливості, але виключно про інтелект. Під інтелектом ми розуміємо тут навички прогнозування, планування і зіставлення цілей і засобів в цілому. Інструментальна когнітивна ефективність стає особливо важливою рисою, коли ми починаємо розбиратися в можливих наслідках появи штучного сверхразума. Навіть якщо використовувати слово раціональний в такому сенсі, який виключає визнання раціональним сверхразумного агента, підраховують максимальну кількість скріпок, це ні в якому разі не виключає наявність у нього видатних здібностей до інструментального мислення, здібностей, які мали б величезний вплив на наш мір.1. Передбачуваність за рахунок проектування. Якщо ми можемо припустити, що програмісти здатні розробити систему цілепокладання сверхразумного агента так, що він буде послідовно прагнути досягти мети, заданої його творцями, тоді ми в змозі зробити хоча б один прогноз: цей агент буде добиватися своєї мети. Причому чим більш розумним буде агент, тим з більшою інтелектуальної винахідливістю він почне до неї прагнути. Тому ще до створення агента ми могли б передбачити щось про його поведінку, якщо б знали щось про його творців і цілях, які вони збираються йому встановити.

2. Передбачуваність за рахунок успадкування. Якщо прототипом цифрового інтелекту безпосередньо служить людський розум (що можливо при повній емуляції головного мозку людини), тоді цифровому інтелекту можуть бути притаманні мотиви його людського прототипу. Такий агент міг би зберегти деякі з них навіть після того, як його когнітивні здібності розвинуться настільки, що він стане сверхразумом. Але в таких випадках слід дотримуватися обережності. Цілі агента легко можуть бути перекручені в процесі завантаження даних прототипу або в ході їх подальшої обробки та вдосконалення - ймовірність подібного розвитку залежить від організації самої процедури емуляції.

3. Передбачуваність за рахунок наявності конвергентних інструментальних причин. Навіть не знаючи детально кінцевих цілей агента, ми в змозі зробити деякі висновки про його ближчих цілях, аналізуючи інструментальні причини найрізноманітніших можливих кінцевих цілей при широкому виборі ситуацій. Чим вище когнітивні здібності агента, тим більш корисним стає цей спосіб прогнозування, оскільки чим більш розумним є агент, тим більша ймовірність, що він розпізнає справжні інструментальні причини своїх дій і буде діяти так, щоб при будь-імовірною ситуації домогтися своїх цілей. (Для правильного розуміння слід зауважити, що можуть існувати недоступні нам зараз інструментальні причини, які сам агент виявить, лише досягнувши дуже високого рівня інтелекту, - це робить поведінку сверхразумного агента менш передбачуваним.)

Поточна сторінка: 1 (всього у книги 40 сторінок) [доступний уривок для читання: 8 сторінок]

Цю книгу добре доповнюють

теорія ігор

Авинаш Діксіт і Баррі Нелбафф

Brainiac

Кен Дженнінгс

Задоволення від x

Стівен Строгац

Superintelligence

Paths, Dangers, Strategies

Нік Бострем

Штучний інтелект

Етапи. Загрози. стратегії

«Манн, Іванов і Фербер»

інформація

від видавництва

Наукові редактори М. С. Бурцев, Е. Д. Казимирова, А. Б. Лаврентьєв

Видано з дозволу Alexander Korzhenevski Agency

Російською мовою публікується вперше

Бострем, Нік

Штучний інтелект. Етапи. Загрози. Стратегії / Нік Бострем; пер. з англ. С. Філіна. - М.: Манн, Іванов і Фербер, 2016.

ISBN 978-5-00057-810-0

У своїй книзі Нік Бострем намагається усвідомити проблему, що встає перед людством у зв'язку з перспективою появи сверхразума, і проаналізувати його реакцію.

Всі права захищені.

Жодна частина цієї книги не може бути відтворена в якій би то не було формі без письмового дозволу власників авторських прав.

Правову підтримку видавництва забезпечує юридична фірма «Вегас-Лекс»

Передмова партнера

Аркадій і Борис Стругацькі. Понеділок починається в суботу

Подібну тенденцію - коли швидкий розвиток технологій не тільки призводить до утворення нових можливостей, але і формує небувалі загрози, - ми спостерігаємо і в області інформаційної безпеки. Вся наша галузь виникла і існує виключно тому, що створення і масове поширення таких чудових речей, як комп'ютери та інтернет, породило проблеми, які було б неможливо уявити в докомпьютерную еру. В результаті появи інформаційних технологій відбулася революція в людських комунікаціях. У тому числі нею скористалися різного роду кіберзлочинці. І тільки зараз людство починає поступово усвідомлювати нові ризики: все більше об'єктів фізичного світу управляються за допомогою комп'ютерів і програмного забезпечення, часто недосконалого, дірявого і вразливого; все більше число таких об'єктів мають зв'язок з інтернетом, і загрози кіберсвіту швидко стають проблемами фізичної безпеки, а потенційно - життя і смерті.

Саме тому книга Ніка Бострома здається такою цікавою. Перший крок для запобігання кошмарних сценаріїв (для окремої комп'ютерної мережі або всього людства) - зрозуміти, в чому вони можуть складатися. Бострем робить дуже багато застережень, що створення штучного інтелекту, який можна порівняти з людським розумом або перевершує його, - штучного інтелекту, здатного знищити людство, - це лише ймовірний сценарій, який може і не реалізуватися. Звичайно, варіантів багато, і розвиток комп'ютерних технологій, можливо, не знищить людство, а дасть нам відповідь на «головне питання життя, Всесвіту і всього такого» (можливо, це й справді виявиться число 42, як в романі «Автостопом по Галактиці») . Надія є, але небезпека дуже серйозна - попереджає нас Бострем. На мій погляд, якщо ймовірність такої екзистенціальної загрози людству існує, то поставитися до неї треба відповідно і, щоб запобігти її і захиститися від неї, слід почати спільні зусилля в загальносвітовому масштабі.

Завершити свій вступ хочеться цитатою з книги Михайла Веллера «Людина в системі»:

Євген Касперський,

генеральний директор «Лабораторії Касперського»

Незакінчена історія про горобців

- Ага! - погодився інший. - А ще доглядати за нашими старими і пташенятами ...

- І наставляти нас, і захищати від сусідської кішки, - додав третій.

Тоді пастус, найстарший горобець, запропонував:

- Нехай розвідники полетять в різні боки на пошуки який випав із гнізда совеня. Втім, підійде і совине яйце, і вороненок, і навіть дитинча ласки. Ця знахідка обернеться для нашої зграї найбільшим успіхом! На зразок тієї, коли ми виявили на задньому дворі невичерпної джерело зерна.

Порушила не на жарт горобці расчірікалісь з усієї сили.

І тільки одноокий Скронфінкл, в'едчівий, з важким характером горобець, схоже, сумнівався в доцільності даного підприємства.

- Ми обрали згубний шлях, - переконано промовив він. - Хіба не слід спочатку серйозно опрацювати питання приборкання і одомашнення сов, перш ніж впускати в своє середовище таке небезпечна істота?

- Здається мені, - заперечив йому пастус, - мистецтво приручення сов - завдання не з простих. Знайти совине яйце - і то чертовски складно. Так що давайте почнемо з пошуку. Ось зуміємо вивести совеня, тоді і задумаємося про проблеми виховання.

- Порочне план! - нервово цвірінькнув Скронфінкл.

Але його вже ніхто не слухав. За вказівкою пастус горобина зграя піднялася в повітря і вирушила в дорогу.

На місці залишилися лише горобці, які вирішили все-таки з'ясувати, як приручати сов. Досить швидко вони зрозуміли правоту пастус: завдання виявилося неймовірно складною, особливо за відсутності самої сови, на якій слід було б практикуватися. Однак птиці старанно продовжували вивчати проблему, оскільки побоювалися, що зграя повернеться з совиним яйцем перш, ніж їм вдасться відкрити секрет, яким чином можна контролювати поведінку сови.

Вступ

Всередині нашого черепа розташовується якась субстанція, завдяки якій ми можемо, наприклад, читати. Зазначена субстанція - людський мозок - наділена можливостями, відсутніми у інших ссавців. Власне, своїм домінуючим становищем на планеті люди зобов'язані саме цим характерним особливостям. Деяких тварин відрізняє найпотужніша мускулатура і найгостріші ікла, але жодна жива істота, крім людини, яка не обдароване настільки досконалим розумом. В силу більш високого інтелектуального рівня нам вдалося створити такі інструменти, як мова, технологія і складна соціальна організація. З плином часу наша перевага лише зміцнювалося і розширювалося, оскільки кожне нове покоління, спираючись на досягнення попередників, йшло вперед.

Якщо коли-небудь розроблять штучний розум, що перевершує загальний рівень розвитку людського розуму, то в світі з'явиться надпотужний інтелект. І тоді доля нашого виду виявиться в прямій залежності від дій цих розумних технічних систем - подібно до того, як сьогоднішня доля горил більшою мірою визначається не самими приматами, а людськими намірами.

Однак людство дійсно має незаперечну перевагу, оскільки воно і створює розумні технічні системи. В принципі, хто заважає придумати такий сверхразум, який візьме під свій захист загальнолюдські цінності? Безумовно, у нас є вагомі підстави, щоб убезпечити себе. У практичному плані нам доведеться впоратися з важкою питанням контролю - як управляти задумами і діями сверхразума. Причому люди зможуть використовувати один-єдиний шанс. Як тільки недружній штучний інтелект (ШІ) з'явиться на світло, він відразу почне перешкоджати нашим зусиллям позбутися його або хоча б відкоригувати його установки. І тоді доля людства буде вирішена.

У своїй книзі я намагаюся усвідомити проблему, що встає перед людьми в зв'язку з перспективою появи сверхразума, і проаналізувати їх відповідну реакцію. Мабуть, нас чекає найсерйозніша і лякає повістка, яку коли-небудь отримував людство. І незалежно від того, переможемо ми чи програємо, - не виключено, що цей виклик стане для нас останнім. Я не наводжу тут жодних доводів на користь тієї чи іншої версії: стоїмо ми на порозі великих змін в створенні штучного інтелекту; чи можливо з певною точністю прогнозувати, коли здійсниться якесь революційна подія. Найімовірніше - в нинішньому столітті. Навряд чи хтось назве більше конкретний термін.

У перших двох розділах я розгляну різні наукові напрямки і злегка торкнуся таку тему, як темпи економічного розвитку. Однак в основному книга присвячена тому, що станеться після появи сверхразума. Нам належить обговорити наступні питання: динаміку вибухового розвитку штучного інтелекту; його форми і потенціал; варіанти стратегічного вибору, якими він буде наділений і внаслідок яких отримає вирішальну перевагу. Після цього ми проаналізуємо проблему контролю і спробуємо вирішити найважливіше завдання: чи можливо змоделювати такі вихідні умови, які дозволять нам зберегти власну перевагу і в підсумку вижити. В останніх главах ми відійдемо від частковостей і подивимося на проблему ширше, щоб охопити в цілому ситуацію, що склалася в результаті нашого дослідження. Я запропоную вашій увазі деякі рекомендації, що слід зробити вже сьогодні, щоб в майбутньому уникнути катастрофи, що загрожує існуванню людства.

Писати цю книгу було нелегко. Сподіваюся, що пройдений мною шлях піде на користь іншим дослідникам. Вони без зайвих перешкод досягнуть нових рубежів і повні сил зможуть швидше включитися в роботу, завдяки якій люди повністю усвідомлюють всю складність стоїть перед ними проблеми. (Якщо все-таки дорога вивчення здасться майбутнім аналітикам кілька звивистій і місцями поритої вибоїнами, сподіваюся, вони оцінять, наскільки непрохідним був ландшафт перш.)

Незважаючи на складності, пов'язані з роботою над книгою, я намагався викладати матеріал доступною мовою; правда, зараз бачу, що не цілком з цим впорався. Природно, поки я писав, то подумки звертався до потенційного читача і чомусь завжди в цій ролі представляв себе, тільки трохи молодше сьогодення, - виходить, я робив книгу, яка могла б викликати інтерес перш за все у мене самого, але не обтяженого прожитими роками. Можливо, саме це визначить в подальшому нечисленність читацької аудиторії. Проте, на мій погляд, зміст книги буде доступно багатьом людям. Треба лише докласти деякі розумові зусилля, перестати з ходу відкидати нові ідеї і утримуватися від спокуси підміняти все незрозуміле зручними стереотипами, які ми всі легко вивуджуємо зі своїх культурних запасів. Читачам, що не володіє спеціальними знаннями, не варто пасувати перед зустрічаються місцями математичними викладками і незнайомими термінами, оскільки контекст завжди дозволяє зрозуміти основну думку. (Читачі, які бажають, навпаки, дізнатися більше подробиць, знайдуть багато цікавого в прімечаніях1.)

Ймовірно, багато в книзі викладено некорректно2. Можливо, я випустив з уваги якісь важливі міркування, в результаті чого деякі мої висновки - а може бути, і все - виявляться помилковими. Щоб не пропустити дрібний нюанс і позначити ступінь невизначеності, з якою ми маємо справу, мені довелося звернутися до специфічних маркерів - тому мій текст перевантажений такими потворними словесними плямами, як «можливо», «могло б», «може бути», «схоже» , «ймовірно», «з великою часткою ймовірності», «майже напевно». Однак я щоразу вдаюся до допомоги вступних слів вкрай обережно і дуже продумано. Втім, для позначення загальної обмеженості гносеологічних припущень одного такого стилістичного прийому явно недостатньо; автор повинен виробити системний підхід, щоб міркувати в умовах невизначеності і прямо вказувати на можливість помилки. Мова ні в якій мірі не йде про удаваної скромності. Щиро визнаю, що в моїй книзі можуть бути і серйозні помилки, і невірні висновки, але при цьому я переконаний: альтернативні точки зору, представлені в літературі, - ще гірше. Причому це стосується і загальноприйнятої «нульової гіпотези», згідно з якою на сьогоднішній день ми можемо з абсолютною підставою ігнорувати проблему появи сверхразума і відчувати себе в цілковитій безпеці.

Глава перша

Минулі досягнення і сьогоднішні можливості

Почнемо з звернення до далекого минулого. У загальних рисах історія являє собою послідовність різних моделей зростання, причому процес носить прогресивно прискорюється характер. Ця закономірність дає нам право припускати, що можливий наступний - ще більш швидкий - період зростання. Однак навряд чи варто надавати дуже великого значення подібного міркування, оскільки тема нашої книги - не "технологічне прискорення», не «експоненціальне зростання» і навіть не ті явища, які зазвичай подаються під поняттям «сингулярність». Далі ми обговоримо історію питання: як розвивалися дослідження з штучного інтелекту. Потім перейдемо до поточної ситуації: що сьогодні відбувається в цій галузі. І нарешті, зупинимося на деяких останніх оцінках фахівців і поговоримо про нашу нездатність прогнозувати терміни подальшого розвитку подій.

Моделі зростання і історія людства

Всього кілька мільйонів років тому предки людей ще жили в кронах африканських дерев, перестрибуючи з гілки на гілку. поява Homo sapiens, Або людини розумної, що відділився від наших спільних з людиноподібними мавпами предків, з геологічної і навіть еволюційної точки зору відбувалося дуже плавно. Стародавні люди брали вертикальне положення, а великі пальці на їх кистях стали помітно відстояти від інших. Однак найголовніше - відбувалися відносно незначні зміни в обсязі мозку і організації нервової системи, що врешті-решт призвело до гігантського ривка в розумовому розвитку людини. Як наслідок, у людей з'явилася здатність до абстрактного мислення. Вони почали не тільки струнко викладати складні думки, але і створювати інформаційну культуру, тобто накопичувати відомості і знання і передавати їх від покоління до покоління. Треба сказати, людина навчилася робити це значно краще будь-яких інших живих істот на планеті.

Древнє людство, використовуючи з'явилися у нього здатності, розробляло все більш і більш раціональні способи виробництва, завдяки чому змогла мігрувати далеко за межі джунглів і саван. Відразу після виникнення землеробства стрімко почали зростати величина населення і його щільність. Більше народу - більше ідей, причому висока щільність сприяла не тільки швидкому поширенню нових віянь, але і появи різних фахівців, а це означало, що в середовищі людей йшло постійне вдосконалення професійних навичок. Дані фактори підвищили темпи економічного розвитку, Уможливили зростання продуктивності і формування технічного потенціалу. Надалі такий же за значимістю прогрес, що призвів до промислової революції, викликав другий історичний стрибок в прискоренні темпу зростання.

Така динаміка темпу зростання мала важливі наслідки. Наприклад, на зорі людства, коли Землю населяли прабатьки сучасних людей, або гомініди, економічний розвиток відбувалося дуже повільно, і треба було близько мільйона років для приросту виробничих потужностей, щоб населення планети дозволило собі збільшитися на мільйон чоловік, причому існували на межі виживання. А після неолітичної революції, підвищується до 5000 року до н. е., коли людство перейшло від мисливсько-собирательского суспільства до сільськогосподарської економічної моделі, темпи зростання зросли настільки, що для такого ж приросту населення вистачило двохсот років. Сьогодні, після промислової революції, світова економіка росте приблизно на ту ж величину кожні півтора часа1.

Існуючий темп зростання - навіть якщо він законсервується на відносно тривалий час - призведе до вражаючих результатів. Припустимо, світова економіка продовжить зростати із середнім темпом, характерним для останніх п'ятдесяти років, все одно населення планети в майбутньому стане багатшим, ніж сьогодні: до 2050 року - в 4,8 рази, а до 2100 року - в 34 раза2.

Однак перспективи стабільного експоненціального зростання меркнуть в порівнянні з тим, що може статися, коли в світі здійсниться таке стрибкоподібне зміна, темп розвитку якого за значимістю і наслідків буде порівнянний з неолітичної і промислової революціями. За оцінками економіста Робіна Хенсона, заснованим на історичних даних про господарської діяльностіі чисельності населення, час подвоєння економік мисливсько-собирательского суспільства епохи плейстоцену становило 224 тисяч років, аграрного суспільства - 909 років, індустріального суспільства - 6,3 года3. (Відповідно до парадигмою Хенсона сучасна економічна модель, що має змішану аграрно-індустріальну структуру, ще не розвивається в подвоєному темпі кожні 6,3 року.) Якщо в світовому розвитку вже трапився б такий стрибок, порівнянний по своєму революційному значенням з двома попередніми, то економіка вийшла б на новий рівень і подвоювала б темпи зростання приблизно кожні два тижні.

З точки зору сьогоднішнього дня подібні темпи розвитку здаються фантастичними. Але і свідки минулих епох теж навряд чи могли припустити, що темпи зростання світової економіки коли-небудь будуть подвоюватися кілька разів протягом життя одного покоління. Те, що для них уявлялося абсолютно немислимим, нами сприймається як норма.

Ідея наближення моменту технологічної сингулярності стала надзвичайно популярною після появи новаторських робіт Вернона Вінджа, Рея Курцвейла і інших ісследователей4. Втім, поняття «сингулярність», яке використовується в самих різних значеннях, вже набуло сталого сенс в дусі технологічного утопізму і навіть обзавелося ореолом чогось страхітливого і в той же час цілком велічественного5. Оскільки більшість визначень слова сингулярністьне мають відношення до предмету нашої книги, ми досягнемо більшої ясності, якщо позбудемося від нього на користь більш точних термінів.

Цікавить нас ідея, пов'язана з поняттям сингулярності, - це потенційне вибухоподібний розвиток інтелекту, Особливо в перспективі створення штучного сверхразума. Можливо, представлені на рис. 1 криві зростання переконають кого-то з вас, що ми стоїмо на порозі нового інтенсивного стрибка в темпі розвитку - стрибка, порівнянного з неолітичної і промислової революціями. Швидше за все, людям, довіряє діаграм, навіть важко уявити сценарій, в якому час подвоєння світової економіки скорочується до тижнів без участі надпотужного розуму, у багато разів перевершує за швидкістю та ефективності своєї роботи наш звичний біологічний розум. Однак не обов'язково вправлятися в малюванні кривих зростання та екстраполяції історичних темпів економічного розвитку, щоб почати відповідально ставитися до революційного появи штучного інтелекту. Ця проблема настільки серйозна, що не потребує аргументації подібного роду. Як ми побачимо, є набагато більш вагомі причинипроявляти обачність.

Мал. 1. Динаміка світового ВВП за тривалий історичний період.На лінійній шкалі історія світової економіки відображена як лінія, спочатку майже зливається з горизонтальною віссю, а потім різко спрямовується вертикально вгору. А.Навіть розширивши часові межі до десяти тисяч років у минуле, ми бачимо, що лінія робить ривок вгору з певної точки майже під дев'яносто градусів. Б.Лінія помітно відривається від горизонтальної осі тільки на рівні приблизно останніх ста років. (Різниця кривих на діаграмах пояснюється різним набором даних, тому і показники дещо відрізняються один від друга6.)

завищені очікування

З моменту винаходу в 1940-х роках перших електронно-обчислювальних машин люди не перестають прогнозувати появу комп'ютера, рівень інтелекту якого буде порівнянний з людським. Мається на увазі розумна технічна система, Наділена здоровим глуздом, що володіє здатністю до навчання і роздумів, вміє планувати і комплексно обробляти інформацію, зібрану по самим різними джерелами- реальним і теоретичним. В ті часи багато хто очікував, що такі машини стануть реальністю вже років через двадцать7. З тих пір терміни переносяться зі швидкістю одного року в рік, тобто сьогодні футурологи, переконані в ймовірності створення штучного інтелекту, продовжують вірити, що «розумні машини» з'являться через пару десятків лет8.

Термін в двадцять років любимо усіма провісниками корінних змін. З одного боку, це не дуже довго - і тому предмет обговорення привертає до себе широку увагу; з іншого боку, це не так швидко, що дає можливість помріяти про цілу низку найважливіших наукових відкриттів - правда, уявлення про них на момент прогнозування дуже розпливчасті, але їх реалізація практично не викликає сумніву. Порівняємо це з більш короткими прогностичними термінами, встановленими для різних технологій, яким судилося мати значний вплив на світ: від п'яти до десяти років - на момент прогнозування більшість технічних рішень вже частково застосовуються; п'ятнадцять років - на момент прогнозування ці технології вже існують у вигляді лабораторних версій. Крім того, двадцятирічний термін найчастіше близький до середньої тривалості залишилася професійної діяльності прогнозиста, що зменшує репутаційний ризик, пов'язаний з його зухвалим пророкуванням.

Втім, через занадто завищених і нездійснених очікувань минулих років не слід відразу робити висновок, що створення штучного інтелекту неможливо в принципі і що ніхто ніколи не буде його разрабативать9. Основна причина, чому прогрес ішов повільніше, ніж передбачалося, пов'язана з технічними проблемами, що виникали при розробці розумних машин. Першопрохідці не передбачили всіх труднощів, з якими їм довелося зіткнутися. Причому питання: чи велика ступінь серйозності цих перешкод і наскільки ми далекі від їх подолання - до сих пір залишаються відкритими. Часом завдання, спочатку здаються безнадійно складними, мають дивно просте рішення (хоча частіше, мабуть, буває навпаки).

Ми розглянемо шляхи, які можуть привести до появи штучного інтелекту, який не поступається людському, в наступному розділі. Але вже зараз хотілося б звернути вашу увагу на один важливий аспект. Нас чекає багато зупинок між нинішнім відправним пунктом і тим майбутнім, коли з'явиться штучний інтелект, але цей момент - аж ніяк не кінцева станція призначення. Досить близькою від неї наступною зупинкою буде станція «Сверхразум» - здійснення штучного інтелекту такого рівня, який не просто дорівнює людському розуму, а значно перевершує його. Після останньої зупинки наш поїзд розженеться до такої міри, що біля станції «Людина» не зможе не тільки зупинитися, але навіть уповільнити хід. Швидше за все, він зі свистом промчить повз. Британський математик Ірвінг Джон Гуд, який працював за часів Другої світової війни шифрувальником в команді Алана Тьюринга, швидше за все, був першим, хто виклав найважливіші подробиці цього сценарію. У своїй часто цитованій статті 1965 року про перших надрозумних машинах він писав:

Давайте визначимо сверхразумное машину як машину, яка в значній мірі перевершує інтелектуальні можливості будь-якого геніального людини. Оскільки створення таких машин є результатом розумової діяльності людини, то машина, наділена сверхразумом, буде здатна розробляти ще більш досконалі машини; внаслідок цього, безперечно, трапиться такий «інтелектуальний вибух», що людський розум виявиться відкинутим далеко назад. Таким чином, перша сверхразумная машина стане останнім досягненням людського розуму - правда, лише в тому випадку, якщо вона не виявить достатню зговірливість і сама не пояснить нам, як тримати її під контролем10.

Вибуховий розвиток штучного інтелекту може спричинити за собою один з головних екзистенціальних ризиків - в наші дні такий стан речей сприймається як тривіальне; отже, перспективи подібного зростання повинні оцінюватися з крайньою серйозністю, навіть якщо було б наперед відомо (але це не так), що ймовірність загрози відносно низька. Однак піонери в області штучного інтелекту, незважаючи на всю переконаність в неминучому появу штучного інтелекту, який не поступається людському, в масі своїй заперечували можливість появи сверхразума, що перевершує людський розум. Створюється враження, що їх уяву - в спробах осягнути граничну можливість майбутніх машин, які можна порівняти за своїми розумовим здібностям з людиною, - просто вичерпалося, і вони легко пройшли повз неминучого висновку: подальшим кроком стане народження надрозумних машин.

Більшість першопрохідців не підтримували зароджується в суспільстві занепокоєння, вважаючи повною нісенітницею, ніби їх проекти несуть в собі певний ризик для человечества11. Ніхто з них ні на словах, ні на ділі - жодного серйозного дослідження на цю тему - не намагався осмислити ні на сполох з приводу безпеки, ні етичні сумніви, пов'язані зі створенням штучного інтелекту і потенційного домінування комп'ютерів; даний факт викликає подив навіть на тлі характерних для тієї епохи не надто високих стандартів оцінки нових технологій12. Залишається тільки сподіватися, що до часу, коли їх сміливий задум в результаті втілиться в життя, ми не тільки зможемо досягти гідного науково-технічного досвіду, щоб нейтралізувати вибуховий розвиток штучного інтелекту, але і піднімемося на найвищий рівень професіоналізму, яке зовсім не завадить, якщо людство хоче пережити пришестя надрозумних машин в свій світ.

Але перш ніж звернути свій погляд у майбутнє, було б корисно коротко нагадати історію створення машинного інтелекту.

Шлях надії і відчаю

8 Загальний

рецензія getAbstract

На думку оксфордського футуролога Ніка Бострома, штучний інтелект може стати для нас інструментом забезпечення безпеки, економічного процвітання та інтелектуального розвитку, але людство, можливо, буде не в змозі реалізувати весь потенціал цього інструменту. Бострем крок за кроком критикує характерні помилки людського сприйняття ІІ, і виникає відчуття, що у людей немає ні ресурсів, ні уяви, щоб усвідомити перехід зі світу, в якому панує людина, в світ, якому загрожує або який вже поневолила якась сутність, що володіє сверхразумом. Бострем майстерно описує, як може виникнути такий сверхразум, як він перетвориться у всемогутнього "Сінглтона" і яку загрозу він представлятиме. Наприклад, що буде, запитує він, якщо цей ІІ розвинеться до такого ступеня, що сформує єдиний світовий уряд, який не буде керуватися традиційними етичними принципами? Інформативна, насичена посиланнями на різні джерела книга спонукає читача замислитися над безліччю невідомих. Авторські міркування будуються на аналізі цілого спектра можливих сценаріїв майбутнього. Це глибоке дослідження розраховане в першу чергу на читачів, які відчувають особливий інтерес до теми. getAbstractрекомендує його політикам, футурології, студентам, інвесторам, філософам і всім, хто розмірковує про високі технології.

З короткого змісту книги ви дізнаєтеся:

Як еволюціонує технологія, відома як "штучний інтелект";
Що пропонують вчені для того, щоб використовувати і контролювати ІІ;
Чому людство не готове мати справу з іноземними інвестиціями.

про автора

Нік Бострем- професор Оксфордського університету, директор-засновник Інституту майбутнього людства.

Перспективи виникнення сверхразума

Влітку 1956 року в Дартмутського коледжу зібралася група вчених, щоб вивчити перспективи розвитку людства. В першу чергу їх цікавило, чи можуть машини відтворювати функції людського інтелекту. Дослідження на цю тему тривали з перемінним успіхом. У 1980-і роки отримали розвиток програми на основі набору правил, або "експертні системи", і стало здаватися, що ось-ось настане розквіт технологій, на основі яких може бути створений штучний інтелект. Потім прогрес застопорився, а фінансування вичерпалося. Зусилля в області створення ІІ отримали новий імпульс в 1990-х роках з появою "генетичних алгоритмів" і "нейронних мереж".

Один із критеріїв мощі ІІ - то, наскільки добре спеціально розроблені комп'ютери грають в такі ігри, як шахи, бридж, "ерудит", го і вікторина. Приблизно через 10 років комп'ютер з удосконаленими алгоритмами зможе брати верх над чемпіоном світу з го. Окрім ігор схожі технології застосовуються в слухових апаратах, пристроях розпізнавання осіб і мови, в навігації, діагностиці, плануванні, логістиці, а також для створення промислових роботів, функціонал яких ...