?

Log in

No account? Create an account
о машинном обучении - Поклонник деепричастий [entries|archive|friends|userinfo]
Anatoly Vorobey

[ website | Website ]
[ userinfo | livejournal userinfo ]
[ archive | journal archive ]

Links
[Links:| English-language weblog ]

о машинном обучении [июн. 12, 2017|07:44 pm]
Anatoly Vorobey
[Tags|]

(для программистов в основном)

Райан Даль, известный в качестве создателя технологии Node.js, недавно ушел в монастырь ушел на год заниматься глубинным обучением в Гугл, и по итогам этого стажерства написал довольно интересное резюме:

http://tinyclouds.org/residency/

Цитата: "I remain bullish that machine learning will transform essentially all industries and eventually improve the lives of every human. There are many industrial processes that can benefit from the smart guesses that ML provides. I believe my motivating demo will be achieved some day soon—you will watch Charlie Chaplin in 4K resolution and it will be indistinguishable from a modern movie.

That said, I've found it very difficult to build, train, and debug models. Certainly much of that difficulty is just my own inexperience, but that itself points to how much experience is needed to effectively train these beasts. My work has been focused on the easiest branch of ML: supervised learning. Even with perfect labels, developing models can be quite difficult. [...] If I use the word "working" in a subjective, gut-reaction way of describing software: Image classification seems to work robustly. Generative models barely work and are not well understood. GANs have great images, but are almost impossible to build—my experience has been that any small change to the architecture and it will just stop working. I've heard reinforcement learning is even more difficult. I can't speak to recurrent networks. [...]

The signal-to-noise ratio in papers is low. There's too much volume to keep up with. People are often not upfront about the failures of their models because conferences prefer accuracy over transparency. [...] It's an exciting time for ML. There is ample work to be done at all levels: from the theory end to the framework end, much can be improved. It's almost as exciting as the creation of the internet. Grab a shovel!"
СсылкаОтветить

Comments:
[User Picture]From: tandem_bike
2017-06-12 04:54 pm
схватили лопату давно и врачи. АЙБиЭм сейчас разрабатывает ДМЛ для диагностики на своем суперкомпе, давно уже, лет 5.


однако мне эта давка немножечко напоминает то что было уже с артифишиал интеллидженс, или в медицине с функциональным МРИ. все побежали и я побежал - стратегия иногда выигрышная, конечно.

ДМЛ впечатляет в распознавании визуальном и звуковом. пэттернс. но это там где3 можно тренировать. и на сигнале сравнительно с небольшим шумом. ирландский сеттер от бультеръера даже в приличном добавленном отличается. а не все медицинские например пэттернс тренируемы, они очень шумные, и пусть например ДМЛ начнут с простых - с рентгена легких, например. если получится, то я свой скептицизм съем с солью и перцем. а так - эти вопли про "новую революцию" только удручают. и бежать не хочется. хотя я побежал.
(Ответить) (Thread)
From: i_v_s
2017-06-12 05:22 pm
Да вот недавно же на кагле конкурс был https://arxiv.org/abs/1705.09435
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: ny_quant
2017-06-12 05:20 pm

Слухи о скорой победе искусственного интеллекта над человеческим сильно преувеличены.

(Ответить) (Thread)
From: (Anonymous)
2017-06-12 05:37 pm
нет.

I'm a bot, bleep, bloop.
(Ответить) (Parent) (Thread)
From: (Anonymous)
2017-06-12 07:26 pm
> Image classification seems to work robustly.

LOL

https://twitter.com/Meaningness/status/846477427505164288
(Ответить) (Thread)
[User Picture]From: avva
2017-06-12 09:16 pm
Забавно, спасибо. Я помню, были статьи про такие обманки год-два назад, эта, видимо, еще круче.
(Ответить) (Parent) (Thread) (Развернуть)
From: (Anonymous)
2017-06-12 08:10 pm
А вот про "Factoring Large Numbers" это шутка или нет? Есть какие-то статьи про подобные применения DL?
(Ответить) (Thread)
[User Picture]From: avva
2017-06-12 09:15 pm
Никто не ожидает от DL ничего интересного в таких применениях. Я думаю, это была шутка в том смысле, что Даль это сделал просто чтобы попробовать, ради прикола. Как дедушка Паскаля, который играл на трубе перед тюльпанами.

Edited at 2017-06-12 21:16 (UTC)
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: migmit.dreamwidth.org
2017-06-13 04:19 am
Как-то весь этот хайп по поводу ML выглядит... ну очень сомнительно.
(Ответить) (Thread)
From: (Anonymous)
2017-06-13 07:03 am

Помогите самообразоваться.

А вот кто бы мне накидал ссылок на простейшие исходники различных типов нейросетей на C++, для самообразования? Просто чтобы лучше понимать, как что работает. Есть ведь наверно такое в сети.
(Ответить) (Thread)
[User Picture]From: nlothik
2017-06-13 12:45 pm

Re: Помогите самообразоваться.

Свою первую нейронную сеть я срисовал с этой книги:

https://www.amazon.com/gp/product/B00TXPGEHG/ref=oh_aui_search_detailpage?ie=UTF8&psc=1
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: templarr
2017-06-13 02:15 pm
Забавно. Мы сейчас в DataRobot как раз работаем над максимальной автоматизацией и упрощением процесса построения моделей в supervised learning + продвинутое построение отчетов о механизме их действия и результатах.
(Ответить) (Thread)
[User Picture]From: avva
2017-06-13 02:31 pm
Вы имеете в виду автоматизацию процесса работы с моделью, или автоматизацию самого выбора модели из многих возможных? Если второе, то какие виды моделей вообще рассматриваются?
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: p2004r
2017-06-13 03:34 pm
> В нашем тесте наименьшая различимая деталь равна 0.006мм и на 35мм, и на 16мм. Следовательно, по всей ширине пленки будет 24.576мм/0.006 = 4096 деталей или точек для 35мм пленки и 12.35/0.006 = 2048 точек для 16мм пленки. Я специально называю единицы измерения точками, а не пикселями, потому что мы по-прежнему оперируем в аналоговом мире.

Что за проблема увидеть Чаплина в "высоком разрешении"? Скорее проблема увидеть с высокой частотой кадров :)
(Ответить) (Thread)
[User Picture]From: merlin_l
2017-07-01 07:10 pm
Список книг, видео и курсов по машинному обучению и математике, всё на русском языке. Большая, качественная подборка. Почти все pdf'ки книг гуглятся.
https://ru.stackoverflow.com/a/683632/
(Ответить) (Thread)