?

Log in

No account? Create an account
теперь еще и переводы - Поклонник деепричастий [entries|archive|friends|userinfo]
Anatoly Vorobey

[ website | Website ]
[ userinfo | livejournal userinfo ]
[ archive | journal archive ]

Links
[Links:| English-language weblog ]

теперь еще и переводы [сент. 29, 2016|02:26 pm]
Anatoly Vorobey
[Tags|]

Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation

Известная максима Марка Андриссена гласит: "ПО пожирает мир" (т.е. программное обеспечение подминает под себя и заменяет собой все больше физических видов деятельности в "реальном мире").

А в последние несколько лет у нас складывается порядок, при котором глубокое обучение пожирает ПО.

По транзитивности выходит, что глубокое обучение пожирает мир. И эта статья - еще один пример этого победоносного шествия глубокого обучения (многослойных нейронных сетей). Есть какая-то область с устоявшимися методами, алгоритмами, эвристиками, и тут приходят нейронные сети и одним махом перепрыгивают лучшие результаты до сих пор. На этот раз пришел черед машинного перевода.

У меня несколько смешанные чувства от таких новостей. Модели, которые строят нейронные сети, фундаментально намного более непроницаемы, чем методы, которые они заменяют - даже в такой области, как машинный перевод, где лучшие до сих пор подходы уже были статистическими и основанными на тренировке языковых моделей. Есть методы визуализации того, что учат разные слои сети, но они, когда работают, дают только очень приблизительное понимание. Если нейронные сети - это локальный тупик, т.е. есть какой-то максимум, которого они достигнут, но дальше этим путем не пройти, то на дороге к этому максимуму мы не получим полезной информации, которая может помочь в других подходах; мы получим только множество отлично работающих нейронных сетей, у каждой своя архитектура и ухищрения настройки, которые не складываются в общую теорию. Так мне кажется, по крайней мере, из моего дилетантского кресла.

Но очень круто, конечно.
СсылкаОтветить

Comments:
Страница 1 из 2
<<[1] [2] >>
[User Picture]From: trurle
2016-09-29 11:41 am
Как мне кажется, проблема возникнет даже если тупика нет.
Представим себе что завтра будет создана нейронная сеть, способная на семантическую реконструкцию изображений - то есть принципиально решена проблема автономно управляемого автомобиля. Каким образом можно будет убедиться что эта нейронная сеть работает с приемлемым количеством ошибок?
(Ответить) (Thread)
[User Picture]From: mopexod
2016-09-29 11:54 am
Практикой? :)
(Ответить) (Parent) (Thread)
From: spiritualape
2016-09-29 11:43 am
Все правильно. Это дорога для лентяев. Но есть задачи, которые иначе решать ну очень долго :(
(Ответить) (Thread)
[User Picture]From: amarao_san
2016-09-29 11:55 am
Период первичного накопления знаний. В какой-то момент техник по тюнингу этих сетей станет так много, что в них кто-то (нейронные сети) начнут замечать закономерности.
(Ответить) (Thread)
From: tmg_tt
2016-09-29 11:59 am

почему тупик?

почему может быть тупик в DNN?
там пока все классно выглядит же - больше данных вливаешь, лучше ответ получаешь. Причем увеличение кол-во данных не означает необходимости увеличения сети.

единственное - статически анализировать нельзя, ну те действительно нельзя быть уверенным что в этом одном кейсе поведение будет как и ожидалось, прогнав сеть через какой-нибудь статический анализатор, только создать кейс и получить \ проверить, что ответ совпадает с ожиданием.
Если нет - переобучать :(
(Ответить) (Thread)
[User Picture]From: avva
2016-09-29 12:03 pm

Re: почему тупик?

Потому что DNN-системы пока что демонстрируют все большие успехи в достижении заданной цели, но даже не приближаются к тому, чтобы построенные модели сохранили релевантность для близких по духу целей или типов данных; обучение с помощью DNN кажется в этом смысле не-гибким на довольно фундаментальном уровне, и очень скромные результаты по ограниченному transfer learning (которые мы к тому же не особо понимаем) в этом смысле мало что меняют.
(Ответить) (Parent) (Thread) (Развернуть)
From: (Anonymous)
2016-09-29 12:17 pm

Мы сами нейросети.

Если нейросети это и локальный тупик, то максимум этого тупика лежит выше возможностей человеческого мозга.
(Ответить) (Thread)
[User Picture]From: avva
2016-09-29 12:23 pm

Re: Мы сами нейросети.

С чего бы это?
(Ответить) (Parent) (Thread) (Развернуть)
From: inconceivable2
2016-09-29 12:35 pm
DARPA вроде предлагает гранты на explainable AI.
(Ответить) (Thread)
[User Picture]From: nikolenko
2016-09-29 12:35 pm
Ну машинный перевод-то давно делали глубокими сетями с вниманием, уже года два как были state of the art результаты или около того.

Что реально сложно и непонятно – это common sense, отвечание на вопросы, рассуждения. Вот это, видимо, следующий уровень.
(Ответить) (Thread)
[User Picture]From: de_nada
2016-09-29 12:51 pm

Хм-ммм...



Я правильно понимаю основной посыл Вашего поста, что нейронки (столблю за собою парафраз апокрифически-стругацкого: "А унутре у него НЕЙРОНКА!" :))) суть есть голимая (тактическая) эмпирика, тогда как стратегически человечеству выгоднее всё же "документированное" достижение тех же целей с полным (ну или достаточным) пониманием деталей процесса???

С уважением.

P.S. Вообще тут я наблюдаю некое смешение (не Вами!) сущностей по принципу наличия сходства ("и у самолёта, и у крокодила есть хвост!").
Иными словами, потенциальная возможность и приемлемость непрозрачного функционирования непрозрачных нейронок мотивируется/обосновывается тем, что ведь "уже существует" нынешняя непрозрачность программно-аппаратных монстров.

При этом напрочь игнорируется важное различие: непрозрачность имеющаяся привнесена, она "количественная", обусловленная повышением уровней абстракции с введением всё новых сущностей и лавинообразным "митозом" взаимных связей и реакций - т.е. "(не)проницаемость", "(не)понимаемость" тут обратимы и степень детерминированности системы и её поведения пропорциональны усилиям, вложенным в её упорядочивание (включая и должное к-во взмахов бритвой Оккама :)).
Тогда как непрозрачность нейронок - штука "качественная", врождённая, имманентная, если угодно.

Вот как-то так. Извините за трюизмы.

P.P.S. Вдруг вспомнился роман Сергея Павлова "Лунная радуга". С вашего позволения, небольшая цитата оттуда "по теме":

То есть третья группа умов должна рассудить спор двух первых. Так и делаем. Земля не оскудела умами. По любому вопросу безопасности Ближнего Внеземелья создаем ученые советы, комиссии, подкомиссии, комитеты, агентства. Трудно даже сказать, сколько их работает под эгидой МУКБОПа. Международных и региональных. Специальных, функциональных, экспертных, координационных. Всяких. Нагромождаем друг на друга этажи умов, ярусы авторитетов. Вдобавок теперь нас прижимают к стене «сюрпризы» Дальнего Внеземелья. Как быть? Уповать на неисчерпаемость интеллектуальных ресурсов родимой планеты?

(Ответить) (Thread)
[User Picture]From: klvov
2016-09-29 06:31 pm

Re: Хм-ммм...

Плюс один. Вопрос ведь поднят фундаментальный. Его поднимали такие корифеи, как Винер и Вейценбаум. Винер писал что-то вроде (в вольном пересказе): "ОК, допустим, что мы человеческим умом способны понять все-все. Но ум функционирует с ограниченной скоростью, и, допустим, есть такие вещи, в которых наш ум, чтобы разобраться, должен потратить 100500 лет непрерывного размышления над ними". Вейценбаум же говорил, что уже лица, принимающие решения, перестали понимать, как функционируют компьютерные алгоритмы некоторых специфических программ, и что, несмотря на это, они принимают решения, основываясь на результате работы этих алгоритмов. И приводил в пример эпизоды войны во Вьетнаме, когда американские генералы принимали решения где бомбить, основываясь на результатах, которые выдал компьютер.

Что здесь общего с нейронными сетями? Ну, они тоже работают, но мы не понимаем досконально, как они работают и почему. Какой-то блоб, который непонятно как дизассемблировать...
(Ответить) (Parent) (Thread) (Развернуть)
From: huzhepidarasa
2016-09-29 01:13 pm
У Вас ведь дети есть? Так вот это — наши новые дети, лучше старых, знакомьтесь. Вы ведь не понимаете, как у детей чего внутри устроено, хотя вроде воспитывали собственноручно, верно? И здесь то же самое.

Edited at 2016-09-29 13:14 (UTC)
(Ответить) (Thread)
From: (Anonymous)
2016-09-29 01:27 pm

Ага, и более того.

Интеллект это устройство, предназначенное работать в любой неизвестной и непредставимой ситуации, не имея никакой априорной информации о ней. Как в таком случае можно говорить о какой-либо "проницаемости", "понимании"? Не может быть понимания неизвестно чего. Возможно только понимание на микро-уровне, на уровне нейрона и синапса, но не на уровне структур, которые из них образуются в процессе обучения.
(Ответить) (Parent) (Thread)
[User Picture]From: gruimed
2016-09-29 01:33 pm

Забавно, лет 10 назад вроде считалось наоборот - что нейронным сетям не побить спициализированные модели.

(Ответить) (Thread)
From: biggreenhamster
2016-09-29 01:54 pm
Ну раскажите нам как нейронные сети пожирают ненормализованные, с абсолютно разной маржиналкой по измерениям, данные.
А мы похохочем.

Впрочем от пИсателей такого рассказа не дождешся. Ибо оне, пЕсатели просто не понимают предмета о котором пишут.
(Ответить) (Thread)
[User Picture]From: avva
2016-09-29 02:25 pm
Какое-то странное немотивированное хамство.
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: p2004r
2016-09-29 03:01 pm
Если есть некая более менее "системная система" которую мы хотим смоделировать, то все сводится к простой геометрии -- в некотором фазовом пространстве производном от наблюдаемых нами показателей есть некая поверхность отклика интересующая нас.

Ну какая разница, "полиномом" мы эту поверхность изобразили коэффициенты которого имеют смысл (или вообще таблицей условно линейных областей), или вывели аналитическое выражение которое компактно представляет это "поверхность отклика"?

С точки зрения использования на практике такое "интерполяционное" решение может быть лучше на порядки, поскольку учитывает кучу поправок нелинейных. Хотя для понимания и вывода неких "законов бытия" это печально... Все знание представлено в стиле даосизма какого то.
(Ответить) (Thread)
[User Picture]From: p2004r
2016-09-29 03:02 pm
"коэффициентны полинома" читать естественно "смысла не имеют"

PS что за мода запрещать редактирование комментариев?
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: raymond_saint
2016-09-29 05:20 pm
Получается "глубокое обучение" на самом деле поверхностно?
Oh, the irony.
(Ответить) (Thread)
[User Picture]From: akimka
2016-09-29 08:42 pm
этот термин замылили. Все что означает "глубокое" в этом контексте, это значит, что между выходным и входным набором функций есть еще один набор и все.
(Ответить) (Parent) (Thread)
(Удалённый комментарий)
[User Picture]From: jambojet
2016-09-30 11:08 am

Re: Нейронные сети распознают лица

Охренеть.
Напомнило, как блоге КРОКа на хабре был рассказ о системе видеонаблюдения с распознаванием лиц: ошибок меньше, чем у вахтера сидящего на проходной.
Особенно гигантская разница для тяжелых сценариев, например 99% верное распознавание личностей азиатов (которые для неопытных европейцев на одно лицо).
(Ответить) (Parent) (Thread)
[User Picture]From: akimka
2016-09-29 09:30 pm
(Ответить) (Thread)
Страница 1 из 2
<<[1] [2] >>