?

Log in

No account? Create an account
глубинное обучение - Поклонник деепричастий [entries|archive|friends|userinfo]
Anatoly Vorobey

[ website | Website ]
[ userinfo | livejournal userinfo ]
[ archive | journal archive ]

Links
[Links:| English-language weblog ]

глубинное обучение [дек. 28, 2017|12:11 pm]
Anatoly Vorobey
[Tags|]

Вопрос к специалистам в deep learning (это про программирование):

Я хотел бы на следующей неделе начать курс серьезного изучения DL, желательно какой-нибудь MOOC или другой курс, где есть четкое разделение на лекции, хорошие домашние задания итд. - чтобы структурировать процесс. Хотелось бы что-то, что не просто показывает, как пользоваться существующим фреймворком, а дает теоретическое понимание происходящего, но вместе с тем учит реально пользоваться тоже. Посмотрев на рекомендуемые сейчас материалы, я колеблюсь между следующими:

1. Новый курс Andrew Ng "Deep Learning" на Coursera в пяти частях (не путать с его же классическим курсом Machine Learning). Как раз 1 января начинается новый поток. Кажется, он существует с лета.

2. Станфордский курс Андрея Карпати cs231n. У него выложены видео всех лекций, слайды, задания итд. и можно попробовать самому проучиться сквозь него. Выглядит более фокусированным на распознавании образов и конволюционных сетях, но другие темы вроде бы тоже обсуждаются подробно.

Буду рад советам по поводу этих курсов и какой из них лучше выбрать, или ссылки на другие ресурсы, если вы их очень рекомендуете. У меня есть знакомство с ML и основными методами (из старого курса того же Andrew Ng), но реального опыта работы нет. Спасибо!

P.S. Для тех, кто ищет курс, дающий хорошее практическое введение: отмечу, что мнгоие хвалят, и наверное заслуженно, курс fast.ai ("Practical Deep Learning for Coders"). Мне бы хотелось понять теорию тоже, пусть и не на самом глубоком уровне, но серьезно, поэтому он мне не очень подходит).
СсылкаОтветить

Comments:
Страница 1 из 2
<<[1] [2] >>
[User Picture]From: infl1ght
2017-12-28 10:42 am
Перевод convolution neural net на русский уже устоялся и звучит как "свёрточная нейронная сеть"
(Ответить) (Thread)
[User Picture]From: avva
2017-12-28 10:44 am
спасибо.
(Ответить) (Parent) (Thread)
[User Picture]From: deep_econom
2017-12-28 11:01 am
вы думаете про это знаете, может народу пригодится

http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_(курс_лекций%2C_К.В.Воронцов)

хорошие лекции

Теория обучения машин (machine learning, машинное обучение) находится на стыке прикладной статистики, численных методов оптимизации, дискретного анализа, и за последние 50 лет оформилась в самостоятельную математическую дисциплину. Методы машинного обучения составляют основу ещё более молодой дисциплины — интеллектуального анализа данных (data mining).

В курсе рассматриваются основные задачи обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на глубокое понимание математических основ, взаимосвязей, достоинств и ограничений рассматриваемых методов. Отдельные теоремы приводятся с доказательствами.
(Ответить) (Thread)
[User Picture]From: avva
2017-12-28 11:03 am
Нет, не знаю, я вообще про русскоязычные материалы в этой теме даже не задумывался, вся профессиональная деятельность всю жизнь по-английски. Спасибо, пусть будет ссылка, может пригодится людям.
(Ответить) (Parent) (Thread)
[User Picture]From: ushastyi
2017-12-28 11:17 am
Мне понравился курс Хинтона: https://www.coursera.org/learn/neural-networks

Он дает хорошую теоретическую базу, без которой в deep learning, как мне кажется, делать нечего. Задания там учат "чувствовать" как работают сети, какие параметры на что влияют и т.д. Возможно курсы Нг и Карпати не хуже, не смотрел.
(Ответить) (Thread)
[User Picture]From: avva
2017-12-28 11:46 am
Я думал об этом, но проблема в том, что наиболее интересные темы последних лет у Хинтона не отражены, потому что курс старше их. Мне особенно хочется понять на хорошем уровне convnets (на уровне ключевых слов или обзора я их и так понимаю).
(Ответить) (Parent) (Thread) (Развернуть)
From: tasmanj
2017-12-28 11:29 am

Советую второй пункт вашего списка: Карпаты, cs231n. Но он не очень теоретический всё же. Задания делать стоит. Есть ещё cs224d, он про deep learning в NLP.

(Ответить) (Thread)
[User Picture]From: avva
2017-12-28 11:53 am
Спасибо! Вы его проходили вживую или тоже по записям (не отвечайте, если вопрос вдруг слишком личный)?

Из теоретических курсов по ML (не DL) вроде неплохой этот, кстати:
https://www.class-central.com/mooc/7231/edx-machine-learning
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: lelia_br
2017-12-28 11:58 am

я до deep lerning не дошла, т.к. еще борюсь с machine learning. можете порекомендовать практический курс? а то я сделала стэнфордский курс эндрю нг и не особо понимаю как и чем пользоваться для разных задач..

(Ответить) (Thread)
[User Picture]From: e2pii1
2017-12-28 12:27 pm
> Выглядит более фокусированным на распознавании образов и конволюционных сетях, но другие темы вроде бы тоже обсуждаются подробно.


Так Deep Learning сети же вроде все конволюционныe ? Какие тогда "другие темы" ?


(Ответить) (Thread)
[User Picture]From: avva
2017-12-28 12:30 pm
вовсе нет. Deep learning = есть больше одного hidden layers. Конволюционные в основном для распознавания изображений, а другие использования чаще нет.
(Ответить) (Parent) (Thread)
[User Picture]From: bigbaadabum
2017-12-28 03:41 pm
Я тоже искал курс, с фокусом на понимание основ и некой структурой.

MOOC y Dr. Yaser Abu-Mostafa, Caltech.
http://work.caltech.edu/telecourse.html

очень помогло для меня что фокус на тренировке физической интуиции методов,

видео лекции на ютубе, книжка,был на edx.

только это не deep learning, а основы машинного обучения и области.

Хороший. Советую.

Edited at 2017-12-28 15:43 (UTC)
(Ответить) (Thread)
[User Picture]From: avva
2017-12-28 05:03 pm
Да, я знаю этот курс и солидарен с вашим мнением о нем. Присоединяюсь к рекомендации для тех, кто хочет хороший курс machine learning.

(Ответить) (Parent) (Thread)
[User Picture]From: kray_zemli
2017-12-28 04:24 pm
А мне бы наоборот -- дельную книжку. Не люблю видеолекции
(Ответить) (Thread)
From: tasmanj
2017-12-28 05:18 pm
Попробуйте посмотреть на http://www.deeplearningbook.org/
(Ответить) (Parent) (Thread)
[User Picture]From: yakov_a_jerkov
2017-12-28 05:37 pm
Что касается MOOC. Я сейчас прохожу так называемое Machine Learning Nonodegree Program на Udacity.

Там последняя часть -- "Deep Learning", я как раз на этом этапе нахожусь. Мне, в принципе, именно эта часть нравится больше, чем другие, мне кажется, что она лучше сделана. Теория там тоже объясняется немного, но не глубоко, конечно. Частные производные и Chain Rule, как минимум упоминаются :)

На Udacity также есть отдельное nanodegree по deep learning -- https://www.udacity.com/course/deep-learning-nanodegree-foundation--nd101 Но я о нем ничего сказать не могу, не знаю.
(Ответить) (Thread)
[User Picture]From: yakov_a_jerkov
2017-12-28 08:04 pm
P.S. Кстати, вот эта страничка -- http://neuralnetworksanddeeplearning.com/chap1.html -- мне очень помогла в самом начале понять, что вообще происходит. Там очень просто все описано, но со всей математикой.
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: 0x001
2017-12-28 08:39 pm
Nando de Freitas, Deep Learning, курс в Оксфорде:

https://www.youtube.com/watch?v=PlhFWT7vAEw&index=16&list=PLE6Wd9FR--EfW8dtjAuPoTuPcqmOV53Fu
(Ответить) (Thread)
[User Picture]From: avva
2017-12-28 10:33 pm
Ух ты, этого еще не видел. Спасибо, посмотрю!
(Ответить) (Parent) (Thread)
[User Picture]From: akor168
2017-12-28 08:46 pm
Тут надо сделать замечание, что очень важно отслеживать когда был создан\записан тот или иной курс. Потому что многие уже СТАНДАРТНЫЕ вещи могли еще не существовать два-три года назад. Но с другой стороны, многие же вещи как придуманы полвека назад, так и остаются без изменений.
(Ответить) (Thread)
[User Picture]From: repliki
2017-12-28 10:22 pm
Теоретического понимания там ни у кого нет (намедни на NIPS, их главной конференции, паны дрались https://medium.com/@Synced/lecun-vs-rahimi-has-machine-learning-become-alchemy-21cb1557920d), а реально пользоваться без приличной видеокарты или хотя бы AWS невозможно. Если что, я за Карпати, но это потому что новый курс Нг я вообще не знаю.
(Ответить) (Thread)
[User Picture]From: avva
2017-12-28 10:32 pm
Спасибо. В Станфорде, кстати, сейчас курс замутили как раз о том, что ничего не понимаем: https://stats385.github.io/
(Ответить) (Parent) (Thread) (Развернуть)
(Удалённый комментарий)
[User Picture]From: kuzia_aka_zmey
2017-12-29 06:45 am
Можно я отдельно поблагодарю всех предыдущих комментаторов за ссылки.
И вам тоже спасибо за тему. Если будет время можно будет попробовать понять хотя бы базу этого направления ИИ.
(Ответить) (Thread)
From: (Anonymous)
2017-12-29 07:39 pm
Я прохожу сейчас курс Andrew Ng и могу его порекомендовать. Меня вначале отпугнула манера Эндрю разжевывать и упрощать материал, но это можно скомпенсировать скоростью прохождения курса - я сейчас на четвёртой части, после примерно месяца обучения.
(Ответить) (Thread)
[User Picture]From: chaource
2017-12-31 12:18 am
Я изучаю курсъ Andrew Ng. Пока что прошел 6 недѣль лекцiй. Впечатленiе довольно смѣшанное - объясненiя неплохи, но иногда слишкомъ поверхностны, а упражненiя по собственно программированiю пока на 2/3 безполезныя. Курсъ сдѣланъ имъ слишкомъ легкимъ, подсказки на каждомъ шагу, такъ, чтобы даже слабые студенты не завалили. Но, какъ первое знакомство съ DL, это неплохо. Надѣюсь, что другiе курсы окажутся болѣе глубокими, а пока что я размышляю, слѣдуетъ ли продолжать выполнять всѣ упражненiя, или же просто прослушать быстро всѣ лекцiи и идти дальше. (Сертификатъ Курсэры мнѣ не нуженъ, я уже въ проектѣ, гдѣ могу начать работать по темѣ DL, если что-то полезное выучу изъ этихъ курсовъ.)

Edited at 2017-12-31 00:19 (UTC)
(Ответить) (Thread)
[User Picture]From: avva
2017-12-31 06:13 am
Спасибо!
(Ответить) (Parent) (Thread)
Страница 1 из 2
<<[1] [2] >>