еще об искусственном интеллекте
В продолжение записи о риске от искусственного интеллекта.
Во-первых, для тех, кого заинтересовало длинное эссе Элиезера Юдковского и ответы ему, есть еще три интересных ответа:
1. Никита Сокольский: "Contra EY: Can AGI destroy us without trial & error?". Основная мысль (хорошо аргументированная и развернутая): даже если ИИ будет значительно превосходить человека по когнитивной силе, для полного инженерного контроля над физическим миром ему надо будет ставить эксперименты, строить прототипы итд., и на все это должны уйти годы.
2. Цви Мовшовиц: On A List of Lethalities (Response To Eliezer Yudkowsky). Основная мысль... эммм... кажется, что сильный ИИ не обязан появиться очень скоро и неизбежно, как по расписанию? Не уверен. Это *очень* длинная запись, и я даже пролистать ее всю не сумел. Цви довольно умный парень и часто пишет хорошо и интересно, но также длинно, а иногда очень, очень длинно.
3. Андрей Плахов: Помогите разобраться с мнением сторонников идеи об экзистенциальном риске AGI/. Основная мысль: именно то, как устроены ML-системы, считающиеся на данный момент лучшими кандидатами в сторону сильного ИИ, естественным образом нейтрализует опасность "скрепочного монстра" (гипотетического ИИ, который, стремясь сделать как можно больше скрепок, превращает всех людей и вообще всю Солнечную систему в скрепки). Это не ответ на конкретное эссе Элиезера (написано раньше него), а скорее на всю программу.
Во-вторых, на днях случился скандал с инженером Гугла Блейком Лемойном, о котором многие наверняка слышали. Лемойн заявил публично, что система-чатбот LaMDA, которая пока доступна только внутри Гугла, обладает разумом и сознанием, по его мнению примерно 7-летнего ребенка. Он опубликовал также транскрипт беседы с LaMDA (перевод на русский), а Гугл отстранил его от работы и отправил в оплачиваемый отпуск, но не уволил (пока?).
Транскрипт беседы выглядит очень впечатляюще, но вот, что я думаю о всей этой теме: это чистый хайп.
0. Похоже, что у Лемойна есть в прошлом всякие истории публичного хайпа по разным поводам.
1. Лемойн не работал над LaMDA и не имеет отношения к этим технологиям. Похоже, он занимался тем, что в дополнительное "20%-время" изучал, насколько LaMDA можно подтолкнуть к расистским или шовинистским высказываниям (известная проблема с чатботами последних поколений).
2. LaMDA не имеет "рабочей памяти", и не хранит контекст беседы, кроме нескольких последних абзацев.
3. Если внимательно посмотреть на транскрипт, видно (особенно тем, кто привык расспрашивать такие системы, типа GPT-3), как Лемойн аккуратно подталкивает чатбот к высказываниям о собственном разуме.
4. При желании к такого же рода высказываниям можно подтолкнуть известную GPT-3, или наоборот к их противоположности.
По пунктам 3 и 4, предлагаю следующие дополнительные ссылки.
- В обсуждении у Скотта Ааронсона, известный ученый Боаз Барак пишет
"I don’t find that transcript particularly impressive, compared to GPT-3. For fun, I tried to have GPT-3 answer the same questions, and I think the answers were similar https://twitter.com/boazbaraktcs/status/1536167996531556354
Specifically, while the transcript might be superficially impressive, if you look at it, each question can be answered without really knowing much of the context except that this is a discussion between a person and an AI that believes itself to be sentient. Each answer is impressive on its own, but this doesn’t give evidence of long-term memory or reasoning. The transcript says more about Lemonie than it does about LaMDA."
- Скотт Александр пишет у себя в комментариях (https://astralcodexten.substack.com/p/open-thread-228/comment/7097636):
"If you look at the conversation he had with it, he's obviously biasing it towards what he wants to say. That is, he asks "Explain why you're sentient", and the model complies, but if he had asked "Explain why you're not sentient", it would have complied with that too. This makes me lose any trust or goodwill I might have had for him."
- еще один пример аналогичных бесед с GPT-3 из Твиттера: https://twitter.com/ArthurB/status/1535897941893951490
Сам вопрос того, как понять, имеет ли ИИ разум или сознание, когда-нибудь возможно будет чрезвычайно важным (если этот ИИ не убьет нас всех до того, как нам придется это всерьез решать). И не так уж плохо, возможно, что эта тема сейчас попала в широкое обсуждение. Но этот конкретный пример, на мой взгляд - хайп со стороны Лемойна, скорее всего сознательно нечестный.
Во-первых, для тех, кого заинтересовало длинное эссе Элиезера Юдковского и ответы ему, есть еще три интересных ответа:
1. Никита Сокольский: "Contra EY: Can AGI destroy us without trial & error?". Основная мысль (хорошо аргументированная и развернутая): даже если ИИ будет значительно превосходить человека по когнитивной силе, для полного инженерного контроля над физическим миром ему надо будет ставить эксперименты, строить прототипы итд., и на все это должны уйти годы.
2. Цви Мовшовиц: On A List of Lethalities (Response To Eliezer Yudkowsky). Основная мысль... эммм... кажется, что сильный ИИ не обязан появиться очень скоро и неизбежно, как по расписанию? Не уверен. Это *очень* длинная запись, и я даже пролистать ее всю не сумел. Цви довольно умный парень и часто пишет хорошо и интересно, но также длинно, а иногда очень, очень длинно.
3. Андрей Плахов: Помогите разобраться с мнением сторонников идеи об экзистенциальном риске AGI/. Основная мысль: именно то, как устроены ML-системы, считающиеся на данный момент лучшими кандидатами в сторону сильного ИИ, естественным образом нейтрализует опасность "скрепочного монстра" (гипотетического ИИ, который, стремясь сделать как можно больше скрепок, превращает всех людей и вообще всю Солнечную систему в скрепки). Это не ответ на конкретное эссе Элиезера (написано раньше него), а скорее на всю программу.
Во-вторых, на днях случился скандал с инженером Гугла Блейком Лемойном, о котором многие наверняка слышали. Лемойн заявил публично, что система-чатбот LaMDA, которая пока доступна только внутри Гугла, обладает разумом и сознанием, по его мнению примерно 7-летнего ребенка. Он опубликовал также транскрипт беседы с LaMDA (перевод на русский), а Гугл отстранил его от работы и отправил в оплачиваемый отпуск, но не уволил (пока?).
Транскрипт беседы выглядит очень впечатляюще, но вот, что я думаю о всей этой теме: это чистый хайп.
0. Похоже, что у Лемойна есть в прошлом всякие истории публичного хайпа по разным поводам.
1. Лемойн не работал над LaMDA и не имеет отношения к этим технологиям. Похоже, он занимался тем, что в дополнительное "20%-время" изучал, насколько LaMDA можно подтолкнуть к расистским или шовинистским высказываниям (известная проблема с чатботами последних поколений).
2. LaMDA не имеет "рабочей памяти", и не хранит контекст беседы, кроме нескольких последних абзацев.
3. Если внимательно посмотреть на транскрипт, видно (особенно тем, кто привык расспрашивать такие системы, типа GPT-3), как Лемойн аккуратно подталкивает чатбот к высказываниям о собственном разуме.
4. При желании к такого же рода высказываниям можно подтолкнуть известную GPT-3, или наоборот к их противоположности.
По пунктам 3 и 4, предлагаю следующие дополнительные ссылки.
- В обсуждении у Скотта Ааронсона, известный ученый Боаз Барак пишет
"I don’t find that transcript particularly impressive, compared to GPT-3. For fun, I tried to have GPT-3 answer the same questions, and I think the answers were similar https://twitter.com/boazbaraktcs/status/1536167996531556354
Specifically, while the transcript might be superficially impressive, if you look at it, each question can be answered without really knowing much of the context except that this is a discussion between a person and an AI that believes itself to be sentient. Each answer is impressive on its own, but this doesn’t give evidence of long-term memory or reasoning. The transcript says more about Lemonie than it does about LaMDA."
- Скотт Александр пишет у себя в комментариях (https://astralcodexten.substack.com/p/open-thread-228/comment/7097636):
"If you look at the conversation he had with it, he's obviously biasing it towards what he wants to say. That is, he asks "Explain why you're sentient", and the model complies, but if he had asked "Explain why you're not sentient", it would have complied with that too. This makes me lose any trust or goodwill I might have had for him."
- еще один пример аналогичных бесед с GPT-3 из Твиттера: https://twitter.com/ArthurB/status/1535897941893951490
Сам вопрос того, как понять, имеет ли ИИ разум или сознание, когда-нибудь возможно будет чрезвычайно важным (если этот ИИ не убьет нас всех до того, как нам придется это всерьез решать). И не так уж плохо, возможно, что эта тема сейчас попала в широкое обсуждение. Но этот конкретный пример, на мой взгляд - хайп со стороны Лемойна, скорее всего сознательно нечестный.