?

Log in

No account? Create an account
курс глубокого изучения: группа - Поклонник деепричастий [entries|archive|friends|userinfo]
Anatoly Vorobey

[ website | Website ]
[ userinfo | livejournal userinfo ]
[ archive | journal archive ]

Links
[Links:| English-language weblog ]

курс глубокого изучения: группа [янв. 3, 2018|05:30 pm]
Anatoly Vorobey
[Tags|]

Неделю назад я писал о том, что хочу начать изучение Deep Learning по одному из хороших видео-курсов, и можно сделать это в виде группы. Теперь я определился: с завтрашнего дня начинаю проходить станфордский курс cs231n "Convolutional Neural Networks for Visual Recognition".

Я сознательно собираюсь сделать это в строгом режиме обычного университетского курса: смотреть лекции в определенное время, сдавать самому себе домашние задания в такие-то сроки - чтобы как можно лучше мотивировать себя закончить, и притом в разумные сроки, этот тяжелый, но очень хороший и полезный курс. Основная цель - пройти курс за 2.5-3 месяца.

Если вы хотите присоединиться в этом ко мне, зайдите пожалуйста в группу

https://www.facebook.com/groups/136482197019871/

и прочитайте первую подробную запись там. Если вас не пугают описанные там сложности и нравится структура, не забудьте записаться в группу. Первая лекция уже завтра, первое домашнее задание сдавать через 3 недели. Все детали проведения курса можно и нужно обсуждать в группе и возможно видоизменять, приветствую любые идеи.

Если вы хотите участвовать, но принципиально не пользуетесь фейсбуком, напишите мне мейл, пожалуйста (адрес в ЖЖ-профиле). Меня не ломает дублировать почтой все важные ссылки и сроки. Я не люблю интерфейс фейсбука, но к сожалению для организации такого рода активности это сейчас самое подходящее.
СсылкаОтветить

Comments:
[User Picture]From: dent
2018-01-03 06:00 pm
Наверняка все лекции и задания на английском языке? И человеку со знанием языка на уровне давно забытой средней школы будут очевидны только междометия?
(Ответить) (Thread)
[User Picture]From: avva
2018-01-03 06:33 pm
К сожалению, да :(

Возможно, вас заинтересует этот курс по-русски:
https://github.com/Yorko/mlcourse_open

Я его не проходил и о качестве лекций не знаю, но его лектор вроде бы очень толковый парень.
(Ответить) (Parent) (Thread)
[User Picture]From: dent
2018-01-03 07:01 pm
Спасибо!!!
(Ответить) (Parent) (Thread)
From: (Anonymous)
2018-01-03 07:19 pm

off topic

hello,I apologize for off topic, I wonder if you could comment on:

https://www.theregister.co.uk/2018/01/02/intel_cpu_design_flaw/

Security issues arising from design flaw in Intel CPUs will need OS fix which will slow down Windows, Linux, macOS machines; Intel to provide more details soon
(Ответить) (Thread)
From: (Anonymous)
2018-01-03 08:02 pm

Re: off topic

А это вы читали?

https://www.techdirt.com/articles/20171108/09095338574/recent-intel-chipsets-have-built-in-hidden-computer-running-minix-with-networking-stack-web-server.shtml

Краткое содержание этой и других статей: в чипсетах интеля, производимых в последние годы (примерно с 2008-2009) есть свой процессор с собственной ОС Миникс. Ни к этому процессору, ни к этой ОС у пользователя и у установленной на компьютере "настоящей" операционной системы нет доступа. Процессор же и ОС могут делать с компьютером всё, что хотят, причём они могут работать даже и при выключенном компьютере (лишь бы физически был доступ к электричеству). В этой секретной ОС есть полный стек протоколов (то есть она может связываться с интернетом) и даже вебсервер. Какие там программы выполняются, Интел не говорит, там всё закрыто и зашифровано.
(Ответить) (Parent) (Thread)
From: (Anonymous)
2018-01-03 08:28 pm

Re: off topic

I apologize for answering this question and will not post any the offtopic related comments

IntelME is firmware and seems has been addressed by Intel in

https://www.intel.com/content/www/us/en/support/articles/000025619/software.html

but in "my" link, they talk about hardware features related to memory management.

Iam zero in comuter but I have to choose replacement of my laptop now and just wonder if I shouldavoid Intel chip or it is not really a problem for "light" use of laptops (no games, graphics, streaming"

(Ответить) (Parent) (Thread)
[User Picture]From: avva
2018-01-03 08:41 pm

Re: off topic

I don't think there's a lot of data right now about this problem.

I do understand that the likely mitigation will entail some slowdown, and I understand why, but I don't know how the original bug works. In general, modern desktops and laptops are almost always overpowered CPU-wise. My opinion (and take it with a grain of salt, I'm not a hardware person) is that unless you're doing heavy gaming (not merely gaming, but AAA games with extensive graphics) or scientific computing, this bug and its mitigation should not be a significant factor for you in choosing your next laptop.
(Ответить) (Parent) (Thread)
From: (Anonymous)
2018-01-03 08:57 pm

thank you -- Re: off topic

thank you very much, understood
(Ответить) (Parent) (Thread)
[User Picture]From: cryinstone
2018-01-03 08:56 pm
Почему-то на сайте курса даты прошлогодние...
Я еще не смог выяснить - дает ли курс сертификат вроде того, как это делает Курсера?
(Ответить) (Thread)
[User Picture]From: avva
2018-01-03 09:00 pm
Нет, абсолютно никакого сертификата. Это совершенно кустарная волонтерная инициатива. Материалы курса выложены в интернет, мы смотрим их вместе и стараемся сделать домашние задания. Никакие организации, официальные лица, деньги или сертификаты никак не участвуют. Наверное, надо упомянуть, что мой работодатель Гугл тоже к этому не имеет никакого отношения, это моя частная инициатива.

Даты за 2017 потому что тогда этот курс физически проводился в Стэнфордском университете (прошлой весной). Скоро он начнется там опять, и через пару месяцев видимо будут лекции за 2018-й.
(Ответить) (Parent) (Thread)
[User Picture]From: ilya_dogolazky
2018-01-03 08:58 pm
фейсбуком я конечно не наслажусь, не то чтоб «принципиально», но здоровье дороже (читать я там технически могу, но писать нет уж нет уж). Если хочешь вот совет: заведи репозиторий на гит-чем-нибудь (гитхуб, гитлаб, что угодно. А существует гит-хостинг с чатиком? вот это было бы что надо) и пусть у каждого участнега будет по своему бранчу для писания домашек (или даже наверное ещё лучше --- общий единый бранч, но строго разные поддиректории), это делает осмысленным обсуждение "как кто-то что-то сделал" и т.п., а так как это не соревнование, то соответственно и скрывать нечего. В общем если так сделаешь, то добавь и меня, можно попробовать.

Кстати прикол про "не получите никакого красивого сертификата": последний раз когда я играл в куросеру, геройски получил свои 99 с чем-то там процентов, постарался типа, а она и говорит под конец: ну давай теперь за 70 евров покупай пдф файл. А раньше задарма дарили, файл-то.
(Ответить) (Thread)
[User Picture]From: avva
2018-01-03 09:03 pm
Если я буду мутить репозиторию в гитхаб, то туда в итоге что-то будет толкать 2-3 человека, это не стоит усилий. Когда такой же курс пару месяцев назад сделали на слак-канале ods.ai, ведущий весьма разумно просто дал ссылку на свой Дропбокс (оказывается, у Дропбокса есть такая услуга, я даю ссылку, и кто нажимает, может закачать файл ко мне), чтобы люди ему так кидали свои решения. Я планирую что-то в этом духе.

(Ответить) (Parent) (Thread)
From: (Anonymous)
2018-01-04 01:21 am
Я правильно понимаю, что этот курс можно пройти абсолютно бесплатно, по лекциям на youtube и выложенным заданиям?

(Если да, то из любопытства - не прокомментируете, зачем Стэнфорд это делает, и почему на странице курса написано, что даже Audit курса [за который обычно все равно что-то платят] они обещают только для Stanford community?..)
(Ответить) (Thread)
[User Picture]From: avva
2018-01-04 05:56 am
>Я правильно понимаю, что этот курс можно пройти абсолютно бесплатно, по лекциям на youtube и выложенным заданиям?

Да, это то, что планируется в данной записи.

>не прокомментируете, зачем Стэнфорд это делает,

Это интересный вопрос, на который у меня нет полного ответа. В последние годы многие элитные университеты выкладывают бесплатно полные материалы отличных курсов для всех желающих (первопроходцем был MIT еще в начале 2000-х). Я думаю, что смесь альтруизма и цинизма; альтруизма в том смысле, что люди искренне хотят дать доступ к знаниям в том числе тем, кто не может попасть в университет, в том числе по финансовым причинам; цинизма в том смысле, что это бесплатная реклама без отрицательных последствий - преимущество академической степени от Стэнфорда в такой огромной степени зиждется на персональных знакомствах, которые ты заводишь там, и на собственно
бумажке, что даже если выложить в открытый доступ абсолютно все лекции и упражнения, на престижность степени от Стэнфорда и трудность туда поступить это практически никак не повлияет.

Короче, лекторам приятно, что их материал достигает не сотни людей, а (потенциально) тысячи или больше; а администраторы попробовали осторожно пару раз, увидели, что нет проблем, и не запрещают это.

>даже Audit курса [за который обычно все равно что-то платят] они обещают только для Stanford community?

Думаю, этот курс исключительно популярен, и они боятся, что если разрешат прийти физически на него просто людям, то сбегутся тысячи инженеров из Пало-Альто и окрестных городов, и некуда будет яблоку упасть, что необязательно хорошо.
(Ответить) (Parent) (Thread)
From: (Anonymous)
2018-01-04 09:38 pm
Что в конечном итоге повлияло на выбор этого конкретного курса? Вы упоминали, что рассматривали новый Курсеру (где, похоже, те только CNN, но и другие типы сетей рассматриваются). Потому что этот глубже и по более интересной вам теме?
(Ответить) (Thread)
[User Picture]From: avva
2018-01-04 11:32 pm
В Курсере больше разных видов рассматривается, но каждый вид более поверхностно - и с точки зрения теории, которой мало, а когда есть, то слишком разжевана - и с точки зрения упражнений, в которых все приготовлено на 97%, и студенту надо только гордо вступить и вписать одну правильную строку. Всё это необязательно плохо, и кому-то подойдет лучше. Но я хотел глубже, требовательней от студента, дающий больше независимости и укорененных знаний в итоге. "Интересная тема" тут как раз ни при чем - мне даже больше интересны всякие RNN и LSTM для языков и игр, чем CNN для картинок. Если я успешно пройду этот, всерьез размышляю над cs224n после него.

Я когда-то прошел предыдущий курс Нг на Курсере, по ML. Он в целом был хороший, я и сейчас его рекомендовал бы совсем начинающим в ML без всякой уверенности в математике. Но то, что он был слишком разжеван, и что в домашних заданиях все было на 97% подготовлено, было серьезными недостатками, а с этим новым курсом по DL, как мне сказали, все так же и даже немного хуже в этом смысле.
(Ответить) (Parent) (Thread)
From: (Anonymous)
2018-01-04 11:57 pm
Спасибо и прошу прощения за опечатки, писал с телефона.

Да, я тоже прошел его первый курс пару лет назад и осталось похожее впечатление. После вашего прошлого поста проделал первую неделю Deep Learning (там совсем все просто), но наверно переключусь на CS231n.
(Ответить) (Parent) (Thread)
From: (Anonymous)
2018-01-07 03:54 am
Не знаю, куда правильнее задавать вопросы не имеющим фб - вам в емэйл или сюда? Попробую сюда:

Как пример того, что стоит понимать, вы приводите
self.Xtr - X[i,:]
Я вот, например, не совсем понимаю: почему вместо второго члена не написать просто X[i]? По идее, будет работать точно так же (включая abs и sum на внешних уровнях) - или я чего-то не понимаю? Или это специально лишние символы, для отпугивания непонимающих питона?
(Ответить) (Thread)
From: (Anonymous)
2018-01-07 07:39 am
И еще вопрос: в assignments ожидается ли что-либо, требующее именно python 3+, или 2.7 сойдет, не знаете?

(в их numpy overview есть примеры явно с 3+, но прямо о том, что нужен именно он, я вроде не вижу...)
(Ответить) (Thread)
From: (Anonymous)
2018-01-07 08:12 am
Nevermind, я по ошибке assignment за 2016 год смотрел, в 2017 явно сказано 3.5+
(Ответить) (Parent) (Thread)
[User Picture]From: city_of_sorrow
2018-01-10 02:04 am
Page Not Found выдаёт мне браузер на фейсбучную ссылку.
(Ответить) (Thread)
[User Picture]From: avva
2018-01-10 02:13 am
Что-то у вас не срослось с фейсбуком, может, кто-то перекрывает по дороге? Ссылка точно работает, попробовал только что. Правда, требует логина в ФБ (я на это никак не могу повлиять, не знаю, почему некоторые ФБ-группы показывают анонимам, а некоторые нет).

Попробуйте еще альтернативную ссылку
https://www.facebook.com/groups/cs231n.anatoly/

Но если и это не помогает, извините, на этом идеи закончились.
(Ответить) (Parent) (Thread)
[User Picture]From: city_of_sorrow
2018-01-10 03:58 am
загадка.

поиском по cs231n она находится, но чтобы присоединиться нужет request approval, может быть поэтому просто так не попасть?
(Ответить) (Parent) (Thread)
[User Picture]From: avva
2018-01-10 06:31 am
Может. К сожалению, ФБ опять-таки не дает создать группу, к которой можно присоединиться без approval. Я даже поговорил со знакомым, работающим в ФБ - нет.
(Ответить) (Parent) (Thread)