Category: технологии

Category was added automatically. Read all entries about "технологии".

moose, transparent

об искусственном интеллекте и целеполагании

Скопирую сюда свой комментарий из фейсбука Алексея Цветкова, из дискуссии о возможных рисках от развития сверхразумного искусственного интеллекта. Цветков комментирует книгу Ника Бострома "Superintelligence":

Я уже писал, что читаю Superintelligence Николаса Бострома, и вот наконец дошел до самого интересного места - до обещанного анализа мотивов, по которым AI покончит с нами и примется переустраивать мир по своему разумению. [...] Об этих мотивах у Бострома написано совершенно невнятно. Допустим, расхожий вариант бунта (метафора конечно): мы создаем сверхразумную машину, которая изготовляет конторские скрепки. Она сама себя совершенствует и принимается делать эти скрепки из всего, что ей попадется под руку, в том числе из нас, превращать всю ткань вселенной в скрепки. Если это сверхразум, то вы меня извините. Но заметьте, что мотив, которым она руководствуется, изначально вложен в нее нами, он не возник сам по себе.

Бостром, конечно, не так прост, он предусматривает вариант, в котором машины сами меняют свои мотивировки, в том числе на такие, которых нам не угадать. Но тут возникает парадокс: изменение мотива само по себе предполагает мотив, а любой мотив предполагает наличие того, что мы подразумеваем под волей. Воля сама по себе не возникает, она привносится извне.

Я попытался прояснить, как я понимаю этот аргумент об опасности "бунта сверхразума":

Мне кажется, можно говорить отдельно о "воле" и "целеполагании". Воля - это сознательно стремление добиться какой-то цели, целеполагание - сознательное формулирование этой цели.

У программ, которые мы сегодня пишем, нет по сути ни того ни другого; они выполняют некую цель, но она не находится под их сознательным контролем или хотя бы сознательно ими осознается, потому что у них нет "сознания" в таком смысле, в каком это слово понимаем мы. Но мы обсуждаем создание программ, которые настолько автономны, что можно говорить о "сознании", хоть и можно много спорить (и по-моему нет реальных данных для решений этих споров) о том, чем оно будет отличаться от человеческого сознания.

Без воли такая программа просто будет сидеть и ничего не делать, в тех рамках, в каких у нее будет свобода так поступать. Каким-то образом проблему "воли", побуждения к действию, нам придется решить. Возможно, сработают грубые решения (людей можно мотивировать на очень сложные поступки примитивными ударами палки), возможно нет. Но когда эта проблема так или иначе будет решена, останется вопрос целеполагания - к какими именно целям будет стремиться эта программа?

И тут мне кажется аргумент Бострома идр. (я не читал конкретно его книгу, читал другие рассуждения в этой области) опирается на то, что разумное мышление и целеполагание это разные и необязательно связанные вещи. Они связаны у людей, потому что и то и другое вместе было воспитано миллиардами лет эволюции. Но можно себе представить, что мы создаем программу, способную к разумному мышлению, но не разумному целеполаганию.

У людей между мышлением и целеполаганием есть каналы обратной связи. Когда мы ставим перед собой какую-то цель, мы всегда готовы ее изменить или отменить, если обстоятельства покажут, что она приходит в противоречие с другой более важной целью или некими мета-принципами, которые для нас супер-важны, но мы даже не задумывались о них, когда формировали цель. Эта сложная сеть крупных и мелких целей, важных и не очень принципов, вместе с постоянным сознательным и бессознательным контролем над ценностью и выполнимостью "текущих" целей, очень сложна, и мы и близко не подходим к пониманию того, как она у нас работает. Более того, мы не знаем, насколько корни этой сети, особенно важные мета-принципы в ней, "заточены" под нашу биологию и физиологию. Что если мы сможем создать программу, умеющую мыслить не хуже нас, но неспособную к такой упругой и надежной сети целеполагания, или способной, но легко прорывающейся сквозь ее границы, потому что у программы нет физиологических ограничителей?

Тут есть две разные опасности. Или у программы не будет гибкой и упругой сети целеполагания, подвластной мыслительному контролю самой программы, как у людей; и тогда все, что мы сможем сделать - это дать ей фиксированную цель, типа "максимизируй количество скрепок" и программа использует весь свой интеллект на то, чтобы все вещество, из которого состоит планета, перевести на скрепки; мы можем постараться вставить в фиксированную цель много оговорок, но вполне возможно, что-то пропустим. Или у нее будет такая сеть, и она сможет мыслить и ставить цели и менять их, как люди, но из-за того, что не будет ограничителей, которые у нас ставит природа, или они будут, но недостаточно хитрые, чтобы закрыть все лазейки, программа сможет "перепрограммировать" себя на новые цели, не имеющие вообще ничего общего с нашими мета-принципами и нашими желаниями; это вовсе необязательно будет "убить всех людей", но что бы это ни было, может оказаться для нас весьма неприятным сюрпризом.
moose, transparent

правильное небо

В значительной части северной Калифорнии (в том числе в Силиконовой долине) сегодня оранжевое небо, из-за дыма от пожаров. Многие пишут, что у них не получается снять это телефоном, потому что стандартное приложение-камера во многих моделях смартфонов автоматически вычисляет баланс белого цвета по модели машинного обучения, и корректирует фотографию так, чтобы небо было нормального цвета.

Можно это обойти, установив другое приложение-камеру, есть много разных хороших. Но все равно, такая вот показательная история, мне кажется.

Кому ты веришь - нейронной сети или своим лживым глазам?
moose, transparent

куда вы удалились

Синим цветом - продолжение, написанное нейронной сетью, натренированной на корпусе русской литературы. Особенно удачный пример, по-моему:



Можете сами попробовать на чем угодно. seminarist увлекся вот.
moose, transparent

rms

Сегодня я узнал, что шакалы пришли за Ричардом Столлманом, и он уволился из FSF и MIT после череды откровенно лживых публикаций, выставляющих его защитником Джеффри Эпштейна. Все началось с того, что на рассылке MIT он попытался защитить честь покойного друга, Марвина Мински. Сегодня мне грустно.

Я во многом не согласен с мнениями Столлмана (скорее чаще несогласен, чем согласен) и считал его неоднозначной и часто вредной (в последние годы) фигурой. Не говоря уж о том, что не пользуюсь Emacs и уже несколько лет gcc. Но это очередное проявление культуры возмущения мне очень неприятно, и ни один из шакалов в Твиттере и технической прессе, поднявших или поддерживающих эту моральную панику, не стоит мизинца Столлмана.

Если когда-нибудь случится, скажем, что моего покойного друга будут облыжно называть насильником, хватит ли у меня смелости выступить в его защиту против толпы борцов за "социальную справедливость"?
moose, transparent

о черных ящиках



Эта фотография сделана фундус-камерой (специальной камерой, фотографирующей глазное дно). Она из прошлогодней статьи, в которой исследователи из Гугла показали, что методами глубокого обучения можно предсказывать некоторые факторы риска сердечных заболеваний на основании таких вот снимков.

Но в процессе работы над данными они также попробовали предсказать другую информацию о больных, например, возраст и пол. И оказалось, например, что их нейронная сеть может с точностью 97% предсказать, это глазное яблоко мужчины или женщины, при том, что врач-офтальмолог не может этого сделать вообще (точность 50-50).

Это очень яркий пример того, как современные методы глубокого обучения дают нам добиться потрясающих результатов, но часто не дают нам возможности понять и объяснить их. На картинке выделены зеленым цветом те участки фотографии, которые нейронная сеть особенно активно использовала для установления пола - это мы можем сделать. Но что именно в этих участках указывает на мужчин или на женщин, исследователям установить не удалось, несмотря на довольно интенсивную работу в сотрудничестве с медиками-специалистами в данной области.

Так это и осталось на данный момент черным ящиком. Дай ему фотографию - он тебе скажет пол и возраст с большой точностью, а как - никто не знает.
moose, transparent

о трансформере

the transformer … “explained”? (англ.)

Хорошее объяснение для неспециалистов того, как устроена - очень в общих чертах - архитектура нейронной сети Transformer, которая лежит в основе предсказателя текста GTP-2 и других впечатляющих результатов последнего времени. Особенно интересно сравнение с конволюционными и рекуррентными сетями.
moose, transparent

горький урок

Ричард Саттон, известный исследователь в области искусственного интеллекта, опубликовал очень краткое эссе "Горький урок" - The Bitter Lesson, заслуживающее внимательного прочтения.

Саттон пишет о том, что на протяжении всей истории ИИ люди снова и снова пытались строить системы, стремящиеся моделировать, хотя бы частично, как думает человек - и снова и снова эти системы проигрывали тем, которые просто брутально стремились делать "тупой перебор" - естественно, не совсем тупой, но и не сложно-человеческий. Самый яркий пример этого - шахматные программы, где до победы Deep Blue над Каспаровым в 1996-м году большинство специалистов были уверены, что надо учить компьютер принципам тактики и стратегии, или хотя бы накопленному шахматистами опыту оценки позиции - а в итоге победил подход - бросить на перебор как можно больше ресурсов, и ограничиться эвристиками того, когда останавливать перебор, не пытаясь научить программу думать над шахматами "по-человечески". Но, пишет Саттон, и в последние годы, в эпоху успешного рывка вперед нейронных сетей, попытки совместить эти сети с "человекоподобными" моделями неизменно проигрывают системам, которые стремятся более эффективно перемолоть как можно больше данных на мельнице как можно более интенсивной тренировки сети.

Надо отметить, что эссе Саттона полемизирует с другим мнением, которое иногда высказывается - что не следует ожидать от современных нейронных сетей "человекоподобного" эффективного обучения из-за фундаментальных ограничений этого подхода, и именно что следует совмещать их с моделями более "человеческого" мышления, хоть и не так наивно, как в прошлом. Об этом, например, статья Building Machines That Learn and Think Like People, которая меня очень впечатлила пару лет назад и о которой я несколько раз писал.

У меня нет достаточно опыта и экспертизы, чтобы иметь твердое мнение на эту тему, но мне кажется, что краткое и энергичное послание Саттона, пусть я и вижу способы его критиковать, несет в себе убедительный аргумент, требующий серьезного размышления. Мне не нравится думать, что Саттон может быть прав, но не могу отрицать, что история ИИ скорее на его стороне (об отдельных примерах можно спорить).
moose, transparent

как входят в хайтек

Друзья, вопрос на тему израильского хайтека. Что бы вы посоветовали человеку, который пытается сменить профессию и влиться в стройные ряды программистов? Есть степень по экономике и опыт работы экономистом, и вот окончен на отлично годичный курс Джон-Брайса (джава, джаваскрипт, postgresql, angular, все такое), что с этим можно делать и как пытаться найти какую-то джуниор место? Банально рассылать резюме всюду, куда дотягивается рука? А еще что посоветуете?
moose, transparent

про теранос (англ.)

Some thoughts after reading “Bad Blood: Secrets and Lies in a Silicon Valley Startup”

Эндрю Гельман пишет отзыв на книгу журналиста, который раскрыл аферу компании "Теранос", одни из самых скандальных историй в мире технологий последних лет (если в двух словах: "Теранос" утверждала, что у них есть способ делать весь набор анализов крови лишь на одной капле из укола, и собрала под это дело миллиарды долларов и много престижных имен в свой совет директоров, но это было целиком вранье и обман).

Всю книгу я не прочитаю, зато у Гельмана есть интересные выписки и его мысли на их тему. Я не знал, что у Теранос не только не было работающей новой технологии, но даже *идеи* (неработающей) не было, это был целиком чистый обман:

"So I’d just assumed Theranos was using a new technology entirely, maybe something with gene sequencing or microproteins or some other idea I’d never heard of. No, not at all. What they actually had was an opaque box containing several little assay setups, with a mechanical robot arm to grab and squeeze the pipette to pass around the blood.
[...]You’ve heard about that faked moon landing, right? Well, Theranos really was the fake moon landing. They got billions of dollars for, basically, nothing. So, yeah, the reality was indeed far worse than I’d thought!"

И так далее, еще много хорошего там.
moose, transparent

jelly no puzzle

Пять лет назад я писал о замечательной игрушке Jelly no Puzzle. Недавно вспомнил о ней и прошел снова, на этот раз в приложении на Андроиде, которое с тех пор появилась.



Windows-версия

Android-версия

Очень рекомендую её. Самое удивительное сочетание очень простых правил игры и бесконечно изобретательных уровней, что я видел за много лет.

Если вы прошли ее целиком, похвастайтесь в комментариях! Это довольно серьезное достижение!