Category: технологии

Category was added automatically. Read all entries about "технологии".

moose, transparent

чем пахнет математика?

Гадание на исскуственном интеллекте уже превратилось в клише. Пишем контекст и начало фразы, и даем модели GPT-3 от OpenAI продолжить по своему усмотрению. Сегодня в твиттере попался забавный пример, реально понравился:

Кто-то спросил: чем пахнет математика?

Чтобы ответить на это, программист Дан Пипони ввел подсказку для GPT-3:

Электроника пахнет канифолью.
Биология пахнет формалином.
Химия пахнет серой.
Живопись пахнет льняным маслом.
Математика пахнет...

Как продолжил фразу ИИ? Если хотите, подумайте сами, перед тем, как читать продолжение:

[Spoiler (click to open)]
------------------------
спойлер
спойлер
спойлер
спойлер
спойлер
спойлер
спойлер
спойлер
-----------------------

Математика пахнет МЕЛОМ.

И дальше ИИ продолжил:

Физика пахнет смазанными механизмами.
История пахнет пылью и временем.
Философия пахнет древесным дымом.
Экономика пахнет деньгами.
Теология пахнет благовониями.
moose, transparent

нейронные сети имени козьмы пруткова

В компании OpenAI создали новую модель (нейронную сеть) для распознавания образов, очень крутую, которая в частности сама научилась сопоставлять визуальную и текстовую информацию. На определенных уровнях нейронной сети есть "нейроны", которые, похоже, абстрагируют понятие - например - "яблоко", неважно, это картинка яблока или слово 'яблоко' на бумаге.

Оказалось, что эту модель можно "атаковать" - т.е. подобрать такие изображения, на которых она заведомо неправильно отвечает, причем так, как мы хотим - особенно элегантным способом.

Очень смешно.



Если на клетке слона прочтешь надпись "буйвол", не верь глазам своим.
moose, transparent

три ссылки

  1. https://astralcodexten.substack.com/

    Скотт Александр вернулся!

    Лучший блоггер планеты вернулся. (да, это мое субъективное частное мнение. И да, это только по-английски)

  2. https://www.micro-pano.com/pearl/

    Это потрясающе. Сделайте zoom in до максимума.

    40 миллиардов пикселей. Технология: 9000 снимков 3D-микроскопом, соединенных в одно изображение.

  3. https://twitter.com/ryancbriggs/status/1345196733228331008

    Что такое линейная регрессия для экономиста (но и вообще видео хорошее, много для чего подходит).
moose, transparent

об искусственном интеллекте и целеполагании

Скопирую сюда свой комментарий из фейсбука Алексея Цветкова, из дискуссии о возможных рисках от развития сверхразумного искусственного интеллекта. Цветков комментирует книгу Ника Бострома "Superintelligence":

Я уже писал, что читаю Superintelligence Николаса Бострома, и вот наконец дошел до самого интересного места - до обещанного анализа мотивов, по которым AI покончит с нами и примется переустраивать мир по своему разумению. [...] Об этих мотивах у Бострома написано совершенно невнятно. Допустим, расхожий вариант бунта (метафора конечно): мы создаем сверхразумную машину, которая изготовляет конторские скрепки. Она сама себя совершенствует и принимается делать эти скрепки из всего, что ей попадется под руку, в том числе из нас, превращать всю ткань вселенной в скрепки. Если это сверхразум, то вы меня извините. Но заметьте, что мотив, которым она руководствуется, изначально вложен в нее нами, он не возник сам по себе.

Бостром, конечно, не так прост, он предусматривает вариант, в котором машины сами меняют свои мотивировки, в том числе на такие, которых нам не угадать. Но тут возникает парадокс: изменение мотива само по себе предполагает мотив, а любой мотив предполагает наличие того, что мы подразумеваем под волей. Воля сама по себе не возникает, она привносится извне.

Я попытался прояснить, как я понимаю этот аргумент об опасности "бунта сверхразума":

Мне кажется, можно говорить отдельно о "воле" и "целеполагании". Воля - это сознательно стремление добиться какой-то цели, целеполагание - сознательное формулирование этой цели.

У программ, которые мы сегодня пишем, нет по сути ни того ни другого; они выполняют некую цель, но она не находится под их сознательным контролем или хотя бы сознательно ими осознается, потому что у них нет "сознания" в таком смысле, в каком это слово понимаем мы. Но мы обсуждаем создание программ, которые настолько автономны, что можно говорить о "сознании", хоть и можно много спорить (и по-моему нет реальных данных для решений этих споров) о том, чем оно будет отличаться от человеческого сознания.

Без воли такая программа просто будет сидеть и ничего не делать, в тех рамках, в каких у нее будет свобода так поступать. Каким-то образом проблему "воли", побуждения к действию, нам придется решить. Возможно, сработают грубые решения (людей можно мотивировать на очень сложные поступки примитивными ударами палки), возможно нет. Но когда эта проблема так или иначе будет решена, останется вопрос целеполагания - к какими именно целям будет стремиться эта программа?

И тут мне кажется аргумент Бострома идр. (я не читал конкретно его книгу, читал другие рассуждения в этой области) опирается на то, что разумное мышление и целеполагание это разные и необязательно связанные вещи. Они связаны у людей, потому что и то и другое вместе было воспитано миллиардами лет эволюции. Но можно себе представить, что мы создаем программу, способную к разумному мышлению, но не разумному целеполаганию.

У людей между мышлением и целеполаганием есть каналы обратной связи. Когда мы ставим перед собой какую-то цель, мы всегда готовы ее изменить или отменить, если обстоятельства покажут, что она приходит в противоречие с другой более важной целью или некими мета-принципами, которые для нас супер-важны, но мы даже не задумывались о них, когда формировали цель. Эта сложная сеть крупных и мелких целей, важных и не очень принципов, вместе с постоянным сознательным и бессознательным контролем над ценностью и выполнимостью "текущих" целей, очень сложна, и мы и близко не подходим к пониманию того, как она у нас работает. Более того, мы не знаем, насколько корни этой сети, особенно важные мета-принципы в ней, "заточены" под нашу биологию и физиологию. Что если мы сможем создать программу, умеющую мыслить не хуже нас, но неспособную к такой упругой и надежной сети целеполагания, или способной, но легко прорывающейся сквозь ее границы, потому что у программы нет физиологических ограничителей?

Тут есть две разные опасности. Или у программы не будет гибкой и упругой сети целеполагания, подвластной мыслительному контролю самой программы, как у людей; и тогда все, что мы сможем сделать - это дать ей фиксированную цель, типа "максимизируй количество скрепок" и программа использует весь свой интеллект на то, чтобы все вещество, из которого состоит планета, перевести на скрепки; мы можем постараться вставить в фиксированную цель много оговорок, но вполне возможно, что-то пропустим. Или у нее будет такая сеть, и она сможет мыслить и ставить цели и менять их, как люди, но из-за того, что не будет ограничителей, которые у нас ставит природа, или они будут, но недостаточно хитрые, чтобы закрыть все лазейки, программа сможет "перепрограммировать" себя на новые цели, не имеющие вообще ничего общего с нашими мета-принципами и нашими желаниями; это вовсе необязательно будет "убить всех людей", но что бы это ни было, может оказаться для нас весьма неприятным сюрпризом.
moose, transparent

правильное небо

В значительной части северной Калифорнии (в том числе в Силиконовой долине) сегодня оранжевое небо, из-за дыма от пожаров. Многие пишут, что у них не получается снять это телефоном, потому что стандартное приложение-камера во многих моделях смартфонов автоматически вычисляет баланс белого цвета по модели машинного обучения, и корректирует фотографию так, чтобы небо было нормального цвета.

Можно это обойти, установив другое приложение-камеру, есть много разных хороших. Но все равно, такая вот показательная история, мне кажется.

Кому ты веришь - нейронной сети или своим лживым глазам?
moose, transparent

куда вы удалились

Синим цветом - продолжение, написанное нейронной сетью, натренированной на корпусе русской литературы. Особенно удачный пример, по-моему:



Можете сами попробовать на чем угодно. seminarist увлекся вот.
moose, transparent

rms

Сегодня я узнал, что шакалы пришли за Ричардом Столлманом, и он уволился из FSF и MIT после череды откровенно лживых публикаций, выставляющих его защитником Джеффри Эпштейна. Все началось с того, что на рассылке MIT он попытался защитить честь покойного друга, Марвина Мински. Сегодня мне грустно.

Я во многом не согласен с мнениями Столлмана (скорее чаще несогласен, чем согласен) и считал его неоднозначной и часто вредной (в последние годы) фигурой. Не говоря уж о том, что не пользуюсь Emacs и уже несколько лет gcc. Но это очередное проявление культуры возмущения мне очень неприятно, и ни один из шакалов в Твиттере и технической прессе, поднявших или поддерживающих эту моральную панику, не стоит мизинца Столлмана.

Если когда-нибудь случится, скажем, что моего покойного друга будут облыжно называть насильником, хватит ли у меня смелости выступить в его защиту против толпы борцов за "социальную справедливость"?
moose, transparent

о черных ящиках



Эта фотография сделана фундус-камерой (специальной камерой, фотографирующей глазное дно). Она из прошлогодней статьи, в которой исследователи из Гугла показали, что методами глубокого обучения можно предсказывать некоторые факторы риска сердечных заболеваний на основании таких вот снимков.

Но в процессе работы над данными они также попробовали предсказать другую информацию о больных, например, возраст и пол. И оказалось, например, что их нейронная сеть может с точностью 97% предсказать, это глазное яблоко мужчины или женщины, при том, что врач-офтальмолог не может этого сделать вообще (точность 50-50).

Это очень яркий пример того, как современные методы глубокого обучения дают нам добиться потрясающих результатов, но часто не дают нам возможности понять и объяснить их. На картинке выделены зеленым цветом те участки фотографии, которые нейронная сеть особенно активно использовала для установления пола - это мы можем сделать. Но что именно в этих участках указывает на мужчин или на женщин, исследователям установить не удалось, несмотря на довольно интенсивную работу в сотрудничестве с медиками-специалистами в данной области.

Так это и осталось на данный момент черным ящиком. Дай ему фотографию - он тебе скажет пол и возраст с большой точностью, а как - никто не знает.
moose, transparent

о трансформере

the transformer … “explained”? (англ.)

Хорошее объяснение для неспециалистов того, как устроена - очень в общих чертах - архитектура нейронной сети Transformer, которая лежит в основе предсказателя текста GTP-2 и других впечатляющих результатов последнего времени. Особенно интересно сравнение с конволюционными и рекуррентными сетями.
moose, transparent

горький урок

Ричард Саттон, известный исследователь в области искусственного интеллекта, опубликовал очень краткое эссе "Горький урок" - The Bitter Lesson, заслуживающее внимательного прочтения.

Саттон пишет о том, что на протяжении всей истории ИИ люди снова и снова пытались строить системы, стремящиеся моделировать, хотя бы частично, как думает человек - и снова и снова эти системы проигрывали тем, которые просто брутально стремились делать "тупой перебор" - естественно, не совсем тупой, но и не сложно-человеческий. Самый яркий пример этого - шахматные программы, где до победы Deep Blue над Каспаровым в 1996-м году большинство специалистов были уверены, что надо учить компьютер принципам тактики и стратегии, или хотя бы накопленному шахматистами опыту оценки позиции - а в итоге победил подход - бросить на перебор как можно больше ресурсов, и ограничиться эвристиками того, когда останавливать перебор, не пытаясь научить программу думать над шахматами "по-человечески". Но, пишет Саттон, и в последние годы, в эпоху успешного рывка вперед нейронных сетей, попытки совместить эти сети с "человекоподобными" моделями неизменно проигрывают системам, которые стремятся более эффективно перемолоть как можно больше данных на мельнице как можно более интенсивной тренировки сети.

Надо отметить, что эссе Саттона полемизирует с другим мнением, которое иногда высказывается - что не следует ожидать от современных нейронных сетей "человекоподобного" эффективного обучения из-за фундаментальных ограничений этого подхода, и именно что следует совмещать их с моделями более "человеческого" мышления, хоть и не так наивно, как в прошлом. Об этом, например, статья Building Machines That Learn and Think Like People, которая меня очень впечатлила пару лет назад и о которой я несколько раз писал.

У меня нет достаточно опыта и экспертизы, чтобы иметь твердое мнение на эту тему, но мне кажется, что краткое и энергичное послание Саттона, пусть я и вижу способы его критиковать, несет в себе убедительный аргумент, требующий серьезного размышления. Мне не нравится думать, что Саттон может быть прав, но не могу отрицать, что история ИИ скорее на его стороне (об отдельных примерах можно спорить).