?

Log in

хочу все знать: как мы учимся? - Поклонник деепричастий [entries|archive|friends|userinfo]
Anatoly Vorobey

[ website | Website ]
[ userinfo | livejournal userinfo ]
[ archive | journal archive ]

Links
[Links:| English-language weblog ]

хочу все знать: как мы учимся? [июн. 2, 2017|06:09 pm]
Anatoly Vorobey
[Tags|]

Я хотел бы понять, что на самом деле известно нейробиологам о том, как мы учимся что-то делать.

Загадочный процесс обучения кажется мне ключевым для понимания того, как мы вообще чего-то добиваемся. Когда мы учимся что-то делать (ловить мяч, играть на музыкальном инструменте, говорить на чужом языке, ходить...), это всегда включает в себя множество повторений с осознанной обратной связью, т.е. мы сознательно понимаем, что мы это делаем хорошо/плохо/лучше/хуже. Со временем правильное движение мускулов (пальцев рук, рта и языка, ног...) становится автоматическим или полуавтоматическим - мы чему-то научились. С одной стороны, этот процесс требует осознанной коррекции: просто повторять много раз, не получая обратной связи и не осмысливая ее, обычно не помогает. С другой стороны, этот процесс не поддается сознательному управлению. Невозможно (к сожалению?) срезать путь и сказать себе: я знаю, что пальцы для игры на фортепиано должны двигаться так-то и так-то, вот я их теперь и буду всегда правильно двигать. Или: я знаю, что правильный порядок слов в иностранном языке такой-то, теперь я всегда даже при быстрой речи буду ставить слова в правильном порядке. Это не работает. Одного знания, как правильно, не хватает, чтобы научиться делать правильно: нужно это большое число повторений с обратной связью.

Тот факт, что обучение самым разным вещам внешне выглядит столь похоже: повторение с осознанной обратной связью - приводит к предположению, что в мозгу есть какой-то общий механизм/алгоритм обучения. Известно ли ученым что-то достоверно о том, существует ли такой общий механизм и как он работает на уровне устройства мозга?

Например, популярные книжки и статьи часто утверждают примерно следующее: что повторение одних и тех же действий снова и снова "укрепляет" определенные синаптические связи между нейронами, пока наконец не образуется маршрут из особенно тесно связанных нейронов, который и является овеществлением нового "умения" - нам легко теперь что-то делать, не задумываясь, потому что сигналы легко проходят по укрепленным связям. Я хочу понять, насколько эта картина, которую я только что описал, действительно является научной моделью, описанной в статьях и подтвержденной в экспериментах и понятой в каких-то деталях, или это скорее такая красивая метафора, просто-история ("just-so story"), основанная на туманных представлениях о роли нейронов, но на самом деле мы реально не знаем, как это происходит. Кто-нибудь знает?

Буду очень благодарен за мнения знающих людей на эту тему, а также за ссылки на авторитетные и свежие научные монографии или обзорные статьи (пусть даже написанные совсем для специалистов - главное, что не популярные), проясняющие, что мы на данный момент знаем о процессе обучения.
СсылкаОтветить

Comments:
From: spiritualape
2017-06-02 03:17 pm
Начните с Павлова и его условных рефлексов. Он рисовал все, вплоть до схемы с центробежным и центростремительным нейронами.
Далее, наверное, НЛП с их якорями и цепочками якорей.
Далее, нейросети глубокого обучения, например, вот статьи с которых начался нынешний прорыв в этой области (они показали, что многослойные сети можно учить, не сваливаясь в локальные минимумы):
http://www.cs.toronto.edu/~hinton/absps/fastnc.pdf
http://www.iro.umontreal.ca/~lisa/publications2/index.php/attachments/single/24
(Ответить) (Thread)
From: dmytro_gil
2017-06-02 05:04 pm
Без сарказма, но автор пишет:

Я хочу понять, насколько эта картина, ... действительно является научной моделью, описанной в статьях и подтвержденной в экспериментах и понятой в каких-то деталях, или это скорее такая красивая метафора, просто-история ("just-so story"), основанная на туманных представлениях о роли нейронов, но на самом деле мы реально не знаем, как это происходит.

Ваши статьи подпадают под определение научной модели подтвержденной экспериментами?
(Ответить) (Parent) (Thread)
From: spiritualape
2017-06-02 08:28 pm
Павлов - попадает.
НЛП - это Павлов, обернутый в красивые метафоры и адаптированный для конкретных задач. Если надо понять сложное поведение, то метафоры НЛП - удобнее. Но да, это ТОЛЬКО рефлексы, кто скажет вам, что в НЛП есть мистика - морочит вам голову.
Что до нейросетей - приведенные мной статьи хороши тем, что авторы абсолютно четко понимают, как это работает. По интеллекту такая сеть проигрывает дождевому червю, причем сильно, но в ней - понятный и, кажется, масштабируемый метод обучения.
(Ответить) (Parent) (Thread)
From: (Anonymous)
2017-06-02 03:17 pm
https://www.amazon.com/Thinking-Fast-Slow-Daniel-Kahneman/dp/0374533555
(Ответить) (Thread)
From: (Anonymous)
2017-06-02 03:28 pm

Там всё сложнее.

Вроде бы существует несколько разных механизмов обучения разным вещам. Есть мнения, что некоторая поведенческая информация запоминается не на уровне связей нейронов, а внутри одного нейрона, в нуклеиновых кислотах.
(Ответить) (Thread)
[User Picture]From: lyuden
2017-06-02 03:34 pm
Хочу посоветовать курс на coursera

Learning How to Learn: Powerful mental tools to help you master tough subject

Там достаточно простое изложения и куча ссылок на литературу.

(Ответить) (Thread)
[User Picture]From: netp_npokon
2017-06-05 06:47 am
+1
(Ответить) (Parent) (Thread)
[User Picture]From: rsokolov
2017-06-02 03:45 pm
>>или это скорее такая красивая метафора, просто-история

Я думаю, что просто от частого повторения этой истории у многих людей в мозгах укрепились определенные связи между нейронами, и теперь они рассказывают эту историю на полуавтомате, не задумываясь.
(Ответить) (Thread)
From: dmytro_gil
2017-06-02 05:05 pm
У вас хорошая вышла мета :)
(Ответить) (Parent) (Thread)
[User Picture]From: rsokolov
2017-06-02 05:06 pm
Я все жду, пока тут появится первый коммент по существу вопроса.
(Ответить) (Parent) (Thread)
[User Picture]From: avva
2017-06-02 07:33 pm
:)
(Ответить) (Parent) (Thread)
[User Picture]From: vinianel
2017-06-02 03:49 pm
Ну вот есть курс на Корсере Learning how to learn. Лекции там изложены популярным языком, но есть ссылки на статьи и обзоры.
(Ответить) (Thread)
[User Picture]From: p_k
2017-06-02 04:07 pm
Гуглить "Hebbian theory" и "Long term potentiation" (первое - эмпирическое правило, второе - объяснение механизма первого).
(Ответить) (Thread)
From: am
2017-06-02 07:56 pm
LTP необходимо для формирования условного рефлекса
(хотя в реальном нейроне не всегда достаточно).
Вот, например, простейшая модель робота с LTP.

An update:
In addition to temporal-correlation-based conversion
of unconditioned reflexes into the conditioned, there
are other important functions of LTP/LTD:
1) homeostatic: resolving fire rings into "synfire chains":
Cf.: 1, 2, 3, 4, 5, 6, 7.
2) predictive coding; it might be responsible
for time-transforms (similar to the spatial
coordinate transforms via gain field mechanism).
3) time-invariant feature extraction: SFA.

Concerning the main topic of the post -
there are reviews on diverse cortical and
subcortical motor skills learning mechanisms:
E.g. see Dayan & Cohen, 2011, etc.


Edited at 2017-06-18 14:36 (UTC)
(Ответить) (Parent) (Thread)
[User Picture]From: avva
2017-06-02 08:09 pm
Спасибо. Из гугления и чтения статей типа этой складывается примерно такое поверхностное впечатление: то, что я назвал в посте "just-so story" является на самом деле довольно глубоко развитой и сложной теорией (Hebbian theory), порождающей богатые формальные модели процесса обучения; но вместе с тем то, что эта теория и эти модели достоверно описывают происходящее в мозге, нельзя и близко считать доказанным - существуют лишь отдельные обнаруженные явления, типа LTP, которые дают основания надеяться, что такие модели биологически реализуемы. Это поверхностное впечатление выглядит более или менее разумным или нет?
(Ответить) (Parent) (Thread)
[User Picture]From: p_k
2017-06-03 07:12 am
Да, примерно так. Мое впечатление, что мы видим маленький, но самый существенный кусочек реальности. В частности, LTP объясняет только сравнительно краткосрочное обучение (часы-дни), есть, видимо, другие механизмы, приводящие к перманетной блокировке ненужных синапсов. Но LTP это действительно основа всего.

Тут еще важно понимать то, что обычно забывают - про роль тайминга в установлении связей между нейронами. Грубо говоря, синапс усиливается, если постсинаптический нейрон выстреливает в течение 20 миллисекунд после предсинаптического, и ослабевает, если тот выстреливает в течениие 50 миллисекуд перед предсинаптическим. Именно это и задает "стрелу времени", и в конечном счете позволяет животному создавать внутреннее представление причинно-следственных связей в окружающем мире.
(Ответить) (Parent) (Thread)
[User Picture]From: bitie_i_ni4to
2017-06-02 04:19 pm
На курсере есть курс под названием Learning how to learn https://www.coursera.org/learn/learning-how-to-learn может быть, там есть библиография. Курс приятный, но довольно базовый, вы наверняка все и так знаете :)
(Ответить) (Thread)
From: (Anonymous)
2017-06-02 04:41 pm
А можно вопрос: чем технологии глубокого обучения принципиально отличаются от нейронных структур в мозгу? За исключением очевидных числа нейронов и синапсов, проблемы embodied cognition, носителя и пр.? От катастрофической забывчивости нейронки вроде как уже лечат, алгоритмы улучшают. Может, обучение нейронок и не такая плохая модель реального обучения мозга? Не специалист, но интересно.
https://www.wired.co.uk/gallery/machine-learning-graphcore-pictures-inside-ai — визуализация связей между нодами, brain imagery своего рода.
(Ответить) (Thread)
[User Picture]From: avva
2017-06-02 07:46 pm
Мне попадались утверждения, что в нейронных сетях в мозгу не находят пока что ничего такого, что было бы биологическим аналогом backpropagation в моделях. Без backpropagation нейронные сети (компьютерные) немногого стоят, так что разница кажется довольно существенной.
(Ответить) (Parent) (Thread)
From: affidavid
2017-06-02 04:50 pm
Лучшая популярная книга на эту тему из первых рук Kandel, Eric R. (2007), In Search of Memory: The Emergence of a New Science of Mind. На Флибусте есть русский перевод.
(Ответить) (Thread)
[User Picture]From: catta
2017-06-02 05:46 pm
+1
(Ответить) (Parent) (Thread)
[User Picture]From: avva
2017-06-02 06:24 pm
Я как раз от вас ждал комментария, затаив дыхание :) Книгу Канделя обязательно посмотрю. Она и об обучении тоже, не только о памяти?
(Ответить) (Parent) (Thread)
From: affidavid
2017-06-02 06:42 pm
Там рассказывается об открытии простейшей трехнейронной модели обучения (формирование условного рефлекса у моллюсков), и формировании кратковременной и долговременной памяти на этой основе. Ничего более ясно написанного я не видел. Единственно что воспринимается все гораздо лучше, когда есть некоторое знание биохимии. Но книга написано великолепно, и ее нужно прочитать хотя бы только из-за ее мемуарной части.
(Ответить) (Parent) (Thread)
[User Picture]From: catta
2017-06-03 04:48 am
Там такая штука, что для разъяснения молекулярных механизмов и прочих основ процесса книга Кандела великолепна. А в области того, как именно происходит трансфер кратковременной памяти в долговременную, который требует смены места "запасания" информации, все далеко не так понятно и общепринято. До такой степени, что мнение об отсутствии разницы между кратковременний и долговременний памятью по локализации и механизмам сосуществует с мнением об их принципиально разной локализации - кратковременной преимущественно в коре, а долговременной в гиппокампе и ассоциированных с гиппокампом областях коры (см, например, Charan Ranganath and Robert S. Blumenfeld, Doubts about double dissociations between short- and long-term memory. TRENDS in Cognitive Sciences 2005). Понятно, что без уточнения хотя бы места локализации долговременной памяти вопрос о точном механизме ее образования в процессе уточнения навыка прояснить тяжело. Ваш же вопрос еще дополнительно утяжеляется тем, что:
1. В формировании моторных навыков участвует еще и мозжечок, т.е. надо как-то регистрировать работу одновременно трех, а потенциально и более, основных игроков. У приматов к мозжечку живого и активного объекта исследования анатомически тяжело подобраться для записей.
2. Вопрос о механизмах улучшения навыка требует долговременного исследования клеточных механизмов, т.е. предполагает работу на уровне клеток и ансамблей клеток (а относительная стабильность долговременных записей активности единичного нейрона - сравнительно недавнее достижение) при условии, что животное долго остается не только живым, но и с удовольствием улучшает некий сложный навык. Т.е. это, вероятно, обезьяна в качестве подопытного животного. Эксперименты на обезьянах дороги, сложны и постоянно осуждаемы зелеными, поэтому их мало.

Конечно, модели есть. Есть книга DA Norman "Models of human memory" (2013). Но мне как-то сложно сказать, что какая-то из них особенно хороша. Кстати, мне уже задавали в точности ваш вопрос, и любопытно, что интересовавшийся - тоже IT-специалист.
(Ответить) (Parent) (Thread)
[User Picture]From: 92_lina
2017-06-02 06:37 pm

+1
(Ответить) (Parent) (Thread)
[User Picture]From: reyda
2017-06-09 03:38 pm
+1
Замечательная книга. Поначалу может испугать ее автобиографичность и объем, но книга того стоит.

В том числе, есть ответ на краеугольный вопрос: меняется ли на физическом уровне наш мозг, когда мы что-то запоминаем. Десятилетиями ученые спорили на эту тему.

Качественного научпопа по нейрофизиологии и когнитивной психологии становится все больше. Это и "Мозг и душа" Криса Фрита, и книги/выступления Вилейанура Рамачандрана, и "Правила мозга" Джона Медина.
(Ответить) (Parent) (Thread)
[User Picture]From: ira_k
2017-06-02 05:38 pm
http://www.willatworklearning.com/

This guy's blog is a good starting point. Saw him at a conference and he is really good at reviewing available research and providing a digestible overview of what is truly there. For example, Neuroscience has very little to contribute as of now...he also contributes to the debunker club.

a couple of good books : Make It Stick: The Science of Successful Learning Peter C. Brown

Urban Myths about Learning and Education Pedro De Bruyckere, Paul A. Kirschner, Casper D. Hulshof

(Ответить) (Thread)
[User Picture]From: avva
2017-06-02 07:47 pm
Спасибо. Это не совсем то, что я искал - он больше говорит о том, что нейробиология не дает пока что серьезных оснований предпочитать те или иные методики обучения, а не о том, что нейробиология вообще знает об обучении - но это сам по себе весьма интересный для меня вопрос. Почитаю его архивы и вообще буду иметь в виду.
(Ответить) (Parent) (Thread)
[User Picture]From: ira_k
2017-06-02 09:32 pm
да. он в в презентации говорил о том, что об обучении она тоже знает мало. пока.

John Medina Brain rules
Daniel Willingham
(Ответить) (Parent) (Thread)
[User Picture]From: faina
2017-06-02 06:06 pm
https://en.wikipedia.org/wiki/Basal_ganglia

Есть еще курс на курсере - вот этот: https://www.coursera.org/learn/neurobiology

Там тетенька среди прочего очень доступно объясняет, как работает этот механизм. Мне тоже всегда было очень любопытно, как, например, люди научаются водить машину. Задача, если вдуматься, не слишком тривиальная, но обучить можно практически любого нормального человека, у которого есть желание, и не сказать, чтобы с большими муками. После этого курса немного прояснилось.
(Ответить) (Thread)
From: (Anonymous)
2017-06-02 06:27 pm
учиться можно разному.
механические движения, которые доведены до автоматизма, "живут" в мозжечке.
(Ответить) (Thread)
From: (Anonymous)
2017-06-02 07:29 pm
Есть интересный курс про связь памяти и движения: https://www.coursera.org/learn/human-brain
Большая часть посвящена нейробиологическим представлениям пространстра, а неделя 6 посвящена памяти.
Насколько я помню основной предмет - ориентация всего человекa в пространстве, но может что-то применимо и к мелкой моторике.
(Ответить) (Thread)
[User Picture]From: 0ptyx
2017-06-02 07:54 pm
В общем, да, является научной моделью. См. synaptic pasticity и "fire together, wire together".
Можно полистать какой-нибудь учебник нейробиологии, например "Neuroscience: Exploring the Brain" by Mark F. Bear, по которому учатся в некоторых израильских университетах.
(Ответить) (Thread)
From: (Anonymous)
2017-06-02 08:20 pm
За последние лет 15 в изучении мозга млекопитающих было сделано довольно много открытий за счёт новых методов исследований (в том числе генно-инженерного внедрения маркеров и компьютерной томографии). Краткий итог: с каждым годом мы знаем всё меньше о том, как устроен процесс обучения у млекопитающих. Поэтому серьёзные люди от написания обзоров воздерживаются.
(Ответить) (Thread)
[User Picture]From: garkara
2017-06-04 01:31 pm
хаха, лучший ответ:)
(Ответить) (Parent) (Thread)
[User Picture]From: batcu
2017-06-03 04:33 am
Модель станет реально научной, т.е. достоверной в тот момент, когда обретет целостность.
Пока целостной модели мышления нет.

Известны многие компоненты жизни нейронов и окружающих клеток, достаточно точно установлены основные механизмы их работы. Если рассматривать нейрон как устройство без документации, то, думаю, можно говорить о том что в общих чертах установлена бОльшая часть его основных юзкейсов.
При этом очевидно, что даже если останется неизученным 1% функций нейрона, то нет никаких гарантий того, что смоделировав работу таких 99%-процентных нейронов, мы получим человеческое сознание. Какую-то функционирующую вычислительную систему - может быть, но достоверно его назвать человеческим мышлением - будет сложно.

Пока что проще изобрести свой ИИ, чем говорить о наличии достоверной модели. По крайней мере, вычислительно проще.

Ну и картинка для затравки, чтоб была понятна наивность знаний о работе мозга:


Отсюда
(Ответить) (Thread)
[User Picture]From: alexcommo
2017-06-03 07:41 am
Для хорошей теории обучения нужна хорошая теория сознания, но общепринятой теории сознания нет. Вот есть необщепринятая, где рассматривается мышление - взаимодействие сознания и автоматической нейронной сети: "При исследовании человеческого мышления надо говорить о взаимодействии косвенного и прямого коррелятов сознания, т.е. взаимодействия нейронной автоматики и «центрального» сознания – крупного узла квантовых взаимодействий в мозге человека." ....
"Зачем автоматике сознание, почему оно эффективно? Потенциал сознания используется для обработки новых сочетаний квалиа, по которым в автоматике нет воспоминаний и отработанных рецептов деятельности. Сознание может выявить связи между квалиа, собранные в новое сочетание, оно черпает средство обнаружения этих связей в себе самом, т.к. в физический закон заложено несметное множество всевозможных соотношений входных и выходных данных, которые он готов обработать. Математика – один из примеров интроспективного исследования возможностей таких связей в корреляте изнутри, исследование мира вечных идей, заложенных в физический закон, организующий структуру коррелята. Эти соображения проливают свет на вопрос о вычислимости сознания, подробно проанализированный Р. Пенроузом. Обнаружение структуры отношений, о которой никто не предупреждал ранее, новое понимание – это открытие, которое сознание делает своей собственной способностью, возможность которого сознание имеет в себе, а не получает готовым от автоматики вместе с квалиа. Далее, обнаруженная в сознании понятийная связь с помощью воздействий на автоматику учит автоматику находить эту связь самостоятельно, сигнализировать сознанию при её обнаружении во входящих воздействиях от сенсоров или самостоятельно реагировать на такое сочетание внешних воздействий, чтобы разгрузить сознание от рутинной работы.
Работа мозга человека – сцепка двух разных вычислительных физических процессов. Один процесс – автоматика, работа которой не выходит за рамки классической физики и локального распространения сигналов. Второй процесс – снаружи выглядит как массовое нелокальное взаимодействие, а изнутри выглядит как сложный субъективный мир. Если сознание не окружить подходящей автоматикой, оно не имеет в своём субъективном мире ни малейшего представления об окружающем, способствующего поддержанию этого квантового взаимодействия-сознания. Комбинация этих процессов была обнаружена эволюцией и оказалась эффективной для выживания, и более эффективной, чем работа этих процессов по отдельности."
Полный текст http://alexcommo.livejournal.com/5333.html
(Ответить) (Thread)
From: (Anonymous)
2017-06-05 06:39 pm
Мне кажется, что когда вы писали этот пост, вы думали о том, что странно, я вроде выучил английский без особого труда, так почему же я уже несколько лет играю одно и то же на фортепиано, и моя игра не становится лучше?

Исследователи мозга, чьи ответы вы ждали, затаив дыхание, тут уже отмечались, и ответа на этот свой скрытый вопрос вы не получили.

Я вас немножко знаю за эти годы, и мне кажется, что вы склонны порхать по верхам, не углубляясь серьёзно ни в одну тему. Вас ничто не увлекает по-настоящему. Вам важнее выглядеть эффектно, затронув что-то, и получить комментарии типа "И когда вы столько всего успеваете", чем по-настоящему что-то глубоко изучить. Потому что вам это не на столько интересно, чтобы тратить на это много времени и что более важно - много сил.

И вы охотнее прочитаете про сложные нейронные связи, чем будете часами сидеть за инструментом.
Да, вы слышали, что надо заниматься, но вы же считаете, что занимаетесь, правда?

Я вам скажу, что я думаю.
Мне кажется, что игра на инструментах именно потому так сложно даётся людям, не только вам, а всем вообще, за исключением особо способных, потому что такая деятельность возникла относительно недавно, и мозг не считает эту деятельность настолько важной для человека, что он эти нейронные связи, которые возникли в результате недолгой игры, быстро разрушает как ненужные. Этот навык наш мозг ещё не научился сохранять, как другие навыки.

Те же языки мы учим проще и удерживаются они в памяти дольше, потому что для мозга эта деятельность более древняя, он уже понял, что навыки эти важны. А навык игры - это для мозга пока лишняя информация. На фортепиано стоит месяц не поиграть, и вы уже снова у самого начала.

А для того, чтобы получить прогресс в игре, мозг надо не просто поддерживать, его надо форсировать усилиями воли. Заниматься, чтобы получить прогресс - это самоистязание, это мука, это мазохизм. Нет никого, кто умеет хорошо играть, кто не научился бы в своё время этому самоистязанию, работе через силу, работе через не хочу.

Вы этого делать не будете, потому что у вас нет настоящей потребности, настоящего желания продвинуться вперёд. Вам хотелось бы играть, да, но если бы это было проще, сел на часик в день, а то и не каждый день, а то и не на час....

А надо 5-6 часов ежедневно. По-другому - не работает. Вы можете мне не верить, ищите спецов по мозгу, но я-то знаю, что я знаю, что говорю. :-)
(Ответить) (Thread)