Top.Mail.Ru
? ?
Ни о какой безапелляционности в моих высказываниях не может быть и речи! [entries|archive|friends|userinfo]
Anatoly Vorobey

[ website | Website ]
[ userinfo | livejournal userinfo ]
[ archive | journal archive ]

Links
[Links:| English-language weblog ]

о трансформере [июн. 15, 2019|06:35 pm]
Anatoly Vorobey
[Tags|]

the transformer … “explained”? (англ.)

Хорошее объяснение для неспециалистов того, как устроена - очень в общих чертах - архитектура нейронной сети Transformer, которая лежит в основе предсказателя текста GTP-2 и других впечатляющих результатов последнего времени. Особенно интересно сравнение с конволюционными и рекуррентными сетями.
СсылкаОтветить

Comments:
[User Picture]From: dvuobyomnyi
2019-06-15 06:34 pm
Мне это показалось ужасным. Ужас пришёл где-то здесь:
So you can start with small things and move upward, hierarchically: “ah, that’s an edge –> ah, that’s an oblong thing made of edges –> ah, that’s a dog’s nose –> ah, that’s a dog’s head –> ah, that’s a dog.” Each thing is defined only by the things inside it (which are, by definition, smaller).

Из рассказа создаётся впечатление, что сети эволюционируют через становление тем, чем они и должны были быть изначально. В смысле, в цитате описывается вообще не-интеллектуальный подход, что-то на уронве "if - then" (нафига тебе интеллект, если ты считаешь что всё определено как в математике?)

Потом описывается какая-то заранее обречённая костыльная архитектура (RNN).

Да и сам фокус, разве он на том? Как будто описывается оболочка, а не суть. Будь суть хорошей, было бы наверное не важно, с какой стороны и куда читать... Описание последнего метода возможно тоже слишком жиздется на какой-о спицифике, тоже не очень приятные чувства от этого

Не очень приятные чувства от статьи. Как будто срань какую-то прочитал даже
(Ответить) (Thread)
[User Picture]From: vlad_suh
2019-06-15 06:39 pm
Что-то у меня не получилось с этого генератора текстов получить что-то хотя бы отдалённо осмысленное. Всё тот же корчеватель.
(Ответить) (Thread)
[User Picture]From: vlad_suh
2019-06-15 06:40 pm
Но рыбу для макетов интерфейса прикольно будет генерировать.

PS
А почему я не могу редактировать собственный комментарий?
(Ответить) (Parent) (Thread)
[User Picture]From: akor168
2019-06-15 06:42 pm
Комментарий нельзя редактировать, если на него уже пришел какой-то ответ, включая ответ от того же юзера.
(Ответить) (Parent) (Thread)
[User Picture]From: vlad_suh
2019-06-15 07:34 pm
Так прикол в том, что я сначала попытался отредактировать комментарий, что бы дописать туда, а потом уже писал ответ сам себе и жаловался на неработоспособность функции.
(Ответить) (Parent) (Thread)
[User Picture]From: vsopvs
2019-06-15 08:02 pm
всякий раз, когда встречаю упоминание о предсказателе текстов, вспоминаю рассказ Лема 137 секунд

вот уж кто был великий предсказатель

Edited at 2019-06-15 20:04 (UTC)
(Ответить) (Thread)
[User Picture]From: occuserpens
2019-06-16 01:09 pm
[In some ways, attention is a lot like a CNN. At each position, it does a computation combining the thing at that position with a few other things elsewhere, while still ignoring most of the surrounding stuff as irrelevant.

But unlike a CNN, the “few other things” don’t have to be close by. (Attention isn’t “local.”) And the places you look are not pre-defined and fixed in stone (unlike the fixed CNN “windows,” 3x3 or whatever). They are dynamically computed, and depend on all the inputs.]

Для полного кайфа не хваает только музыки, видео и травы
(Ответить) (Thread)
[User Picture]From: occuserpens
2019-06-16 01:51 pm
Кстати, здесь они пытаются использовать machine learning как аналог кодов, исправляющих ошибки. Ох, не нравится мне это. Error correction codes достаточно просты и работают в реальном времени. А machine learning - это огромные алгоритмы, я так понимаю. Как их гонять в реальном времени?

We use machine learning to translate, or compile, a quantum circuit into an optimally short equivalent that is specific to a particular quantum computer. Until recently, we have employed machine-learning methods on classical computers to search for shortened versions of quantum programs. Now, in a recent breakthrough, we have devised an approach that uses currently available quantum computers to compile their own quantum algorithms. That will avoid the massive computational overhead required to simulate quantum dynamics on classical computers.

Edited at 2019-06-16 13:55 (UTC)
(Ответить) (Thread)