?

Log in

No account? Create an account
о тестировании - Поклонник деепричастий [entries|archive|friends|userinfo]
Anatoly Vorobey

[ website | Website ]
[ userinfo | livejournal userinfo ]
[ archive | journal archive ]

Links
[Links:| English-language weblog ]

о тестировании [мар. 27, 2013|09:24 pm]
Anatoly Vorobey
To Really Learn, Quit Studying and Take a Test

Очень интересная статья о том, как улучшить усваивание и сохранение материала в памяти. В их эксперименте студенты читали небольшой отрывок текста, а потом либо 1) перечитывали его еще несколько раз; 2) рисовали диаграммы концепций, о которых текст говорит, и как они друг с другом связаны; 3) "retrieval testing" - пытались пересказать своими словами на бумаге все, что они помнят из текста. Когда через неделю им устроили экзамен на то, что они помнят из текста, те, которых просили пересказать своими словами, сделали это намного лучше остальных. Причем этого никто не ожидал, т.к. принято считать, что рисовать диаграммы лучше всего помогает запомнить.

Основная мысль - что проверить себя, пройти тест - помогает сохранить материал в памяти больше, чем зубрить или чем внимательно, "с пониманием", изучать материал. Почему - никто точно не знает.

Я хочу предложить следующую (неоригинальную) идею: то, что помогает знаниям "укорениться" в памяти, это стрессовая ситуация во время теста/экзамена/контрольной работы. Причем обязательно должен быть элемент обратной связи: оценка или место в соревновании. Должна быть борьба за что-то, и в процессе этой борьбы, в состоянии стресса - попытка вспомнить материал.

Предположим, эта идея верна. Что из этого следует в отношении широко распостраненных способов помочь ученику закрепить информацию в памяти? Несколько примеров:

1. Сетевые курсы по образцу Coursera предлагают мини-опросы о только что пройденном материале каждые 5-10 минут. Эти опросы помогают проверить, что ученик понял материал, но абсолютно не помогают закрепить в памяти.

2. Домашние задания помогают (особенно когда у них есть крайний срок подачи), но стресс, который они создают, необязательно напрямую связан с материалом, который надо запомнить. Часто домашние задания решаются с помощью мета-догадок, подстановок наугад, итп. Часто они не требуют для решения хорошего владения всем материалом. То же самое касается экзаменов и контрольных работ, особенно таких, где нужно выбирать один вариант ответа из нескольких.

3. Когда слушаешь лекцию, вживую или по видео, то, может, не стоит писать подробный конспект (в надежде, что это поможет запомнить), а стоит подождать конца лекции (или даже еще два-три часа/дня?) и постараться написать краткое изложение лекции своими словами, а в идеале потом еще и проверить, насколько хорошо получилось (напр. сверить со слайдами).

4. "Лучший способ выучить что-то - попробовать научить другого". Когда я старался организовать какой-то материал, который сам знал слабо, в лекцию для других, я обычно намного лучше усваивал его сам. Я думал, это просто из-за того, что в процессе подготовки я тщательно по нему прохожусь, разбираю, сортирую, предвосхищаю вопросы итд. Но, может быть, за это закрепление следует благодарить состояние стресса - я опасаюсь, что у меня не выйдет, что не смогу хорошо объяснить, не смогу ответить на вопросы.

5. Spaced repetition, карточки в стиле Supermemo, Anki идр. Почему такие карточки помогают - потому что, как пишут авторы программ, они напоминают нам об информации как раз в тот критический момент, когда мы ее начинаем забывать? А может, это (главным образом?) потому, что они создают стрессовую ситуацию, когда нужно вспомнить, что написано на обратной стороне карточки, и сделать поменьше "ошибок"? Сравним карточки, которые просто повторяют информацию, с такими, которые задают вопрос на одной стороне, и только после того, как отвечаешь на него в уме, смотришь на правильный ответ. Если основная идея выше верна, то второй формат будет намного более успешным, чем первый. (можно возразить, что второй формат необходим для алгоритма spaced repetition, потому что надо знать, когда я неправильно отвечаю, чтобы посчитать, когда мне в следующий раз предложить эту карточку. Это верно, но все равно два формата можно сравнить, напр. в пачке из 20 карт на одну тему первые 5 можно представить как вопрос/ответ, чтобы оценить, насколько я помню материал, а оставшиеся 15 либо как вопрос/ответ, либо как просто ответ).

Почти все эти пункты, кажется, можно проверить эмпирически.

P.S. Мета-замечание. Я вначале написал эту запись на английском языке, комментарием на другом форуме. Сейчас, когда переводил ее на русский, ужасно с этим замучился. Кучу слов не знаю как сказать, кучу предложений надо по-другому вообще составить, а то звучит нелепо итд. В итоге это заняло у меня, полагаю, в два раза больше времени, чем если бы я ее изначально по-русски написал, и все равно, когда перечитываю, кажется очень коряво написанным.
СсылкаОтветить

Comments:
Страница 1 из 2
<<[1] [2] >>
[User Picture]From: clement
2013-03-27 07:33 pm
Это звучит как классика педагогики: чем активнее ученик, тем лучше обучение.
(Ответить) (Thread)
[User Picture]From: avva
2013-03-27 07:36 pm
См. статью - "рисовать диаграммы" - это очень активное занятие, требующее вроде бы более глубокого понимания и активного владения материалом, чем retrieval testing. И тем не менее, retrieval testing оказывается намного более полезным. Самое интересное, что сами студенты были уверены в том, что рисовать диаграммы им помогает намного лучше.
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: white_lee
2013-03-27 07:34 pm
Когда слушаешь лекцию, вживую или по видео

С полминуты пытался сообразить, является ли слово "вживую" опечаткой от "лживую" или от "вшивую" :).
(Ответить) (Thread)
[User Picture]From: tlkh
2013-03-27 07:43 pm
Я думаю, стресс не имеет отношения к (долгосрочному) запоминанию.

Пересказ своими словами - лучший способ разложить по полочкам у себя в голове весь материал.
Диаграммы - гораздо хуже, так как в результате весь материал содержится на листе, а не в голове.
(Ответить) (Thread)
From: mudak
2013-03-27 07:47 pm
может быть важнее, что диаграмма статична, а пересказ динамичен
(Ответить) (Parent) (Thread)
[User Picture]From: tommi_anya
2013-03-27 07:51 pm
Не очень поняла смысл 4 пункта и в чем противоречие. Выучивается лучше, если тщательно разбираешь, организовываешь и задумываешься над возможными вопросами и над тем, что ты понимаешь, а что нет. Независимо от того, что тебя заставляет это делать - боязнь провала, интерес к предмету или еще какой интерес.
Для реального применения этого метода в преподавании есть несколько проблем. Первая - очень времязатратно, особенно на большие классы (ха, хорошо учиться вообще очень затратно по времени и усилиям, но все норовят сэкономить). А во-вторых, такой метод предполагает весьма выский уровень metacognition, который у многих отсутствует, особенно у тех, кому тяжело учиться. У таких людей есть реально проблемы понять, что знаю, и что не знаю. То есть грубо говря, двоешник потому и двоешник, что он даже не понимает того, что он двоешник, пока свою двойку не получит. И еще и будет недоумевать "за что?".
(Ответить) (Thread)
[User Picture]From: sophist_ru
2013-03-29 10:32 am
Зато этот метод очень хорошо ложится на flipped classroom.
(Ответить) (Parent) (Thread)
From: saccovanzetti
2013-03-27 07:54 pm
Написано вполне нормально, однако большая просьба дублировать сюда такие записи хотя бы ссылками на другие форумы, если нет времени на перевод.
(Ответить) (Thread)
[User Picture]From: tat_ti
2013-03-27 08:07 pm
Когда мне сказали, что через неделю мне читать курсы по java, которую я вообще не знала, то первое прочтение дало понимание Брюса Эккеля "Философия джавы".
Но его примеры очень плохо ложились на показ на слайдах.

Тогда по его курсу была сделана разбивка по лекциям, а примеры брала из тьюториалов и других книг (тогда было по джаве полторы книги).

Курс по языку немыслим без задач и контрольных вопросов (вопросы имхо повышают связанность материалов в голове, без них часто после лекции у студентов знания в виде линейной цепочки, хоть оботсылайся к другим частям курса).
Когда составишь короткие, понятные, однозначно трактуемые вопросы, штук по 10 к теме, тему изучишь вдоль и поперек. Ибо просто пишутся только первые 3 вопроса.

Потом идут задачи. По теме. На закрепление. Втрое занятие - пакеты в джава, третье - наследование. Коллекций еще нет, а задачи на наследование и пакеты нужны. Интересные.

После того, как задачи сделаны (т.е. перелопачены горы уже предлагаемых задач из разных сборников и курсов), то банально объем впитанной информации гораздо больше.

Полученные знания у учителя просто вбиты в мозг.
Это изобилие знаний о языке никак не влияют на его способность разработать архитектуру сложного проекта. Да и простого - тоже.
Но ведь надо доработать курс и добавить паттерны, как же иначе объяснить, почему оставили возможность делать конструктор класса private...
То есть через пару итераций прочтения курса получаем на выходе человека, который немного умеет конструировать из кубиков.

Насчет стресса при преподавании - давайте сравним человека, который составляет такой курс в спокойной обстановке без лимита по времени "чтобы к вчера" и человека, который читает (стресс!!) по такому готовому курсу при одинаковом начальном уровне знания предмету.
Мне кажется, что незастрессеный составитель задач выучит материал лучше.
(Ответить) (Thread)
[User Picture]From: salas
2013-03-27 08:19 pm
3. Когда слушаешь лекцию, вживую или по видео, то, может, не стоит писать подробный конспект (в надежде, что это поможет запомнить), а стоит подождать конца лекции (или даже еще два-три часа/дня?) и постараться написать краткое изложение лекции своими словами, а в идеале потом еще и проверить, насколько хорошо получилось (напр. сверить со слайдами).

В нашем матклассе были лекции, через несколько дней после которых надо было сдать изложение преподавателю. Дополнительно явно поощряется вариант «научить другого»: изложение обязательно не только для тех, кто не понял лекцию, но и для тех, кто её пропустил.
(Ответить) (Thread)
[User Picture]From: aga
2013-03-27 08:31 pm
Четвертый пункт плюсую, хотя, может быть, он не для всех подходит.
И да, влияние стресса тоже, на мой взгляд, ощутимо.
(Ответить) (Thread)
[User Picture]From: angerona
2013-03-27 08:34 pm
Не согласна про стресс.

Мы буквально десять минут назад с сотрудниками говорили про test taking и test preparation skills.

моя идея как раз как в заголовке статьи: не надо фокусироваться на чтении материала, а надо раз за разом проходить пробные тесты. В таком варианте стресса нет — ты тесты делаешь дома и сам для себя. А запоминание — еще как.

потому что суть именно в том, чтоб научиться выуживать из поданной информаци нужную (или запомнить только нужную, в случае с multiple choice) — структурировать и понимать главное. Это получается лучше, если пересказываешь текст или делаешь пробные тесты, чем если рисуешь диаграммы и пишешь конспекты.
(Ответить) (Thread)
(Удалённый комментарий)
[User Picture]From: gul_kiev
2013-03-27 08:48 pm
Результат теста для меня выглядит закономерно, с гипотезой ключевой роли стресса не соглашусь.
Пересказ, объяснение ценно само по себе. Оно структурирует информацию и помогает выявить (и восполнить) пробелы, слабости, которые могут остаться незамеченными при пассивном восприятии, даже если рисуются диаграммы.
В частности, при восприятии лекции по программированию алгоритм может казаться понятным, и даже диаграмму можно нарисовать. А вот когда начинаешь сам его реализовывать, всплывают нюансы - то, что недопонял, чего не заметил.
Не удивлюсь, если нейрофизиологи скажут, что при пересказе и объяснении задействуются какие-то специальные зоны мозга, которые остаются пассивными при прослушивании лекции и рисовании диаграмм. :)

Конечно, эмоции тоже имеют ключевую роль в запоминании, но, как я понял, в приведённом тесте этот фактор не проверялся.
(Ответить) (Thread)
[User Picture]From: 3d_object
2013-03-27 09:04 pm
Идеей стресса вовсю пользуются буддистские учителя - при произнесении чего-то очень важного сильно бьют ученика палкой.
А вообще, наверно, форма оптимального усвоения зависит от типа личности и типа учебного материала. Программиста легче обучить повторением, финансиста - диаграммой, художника - рисунком; но бамбуковой палкой надо бить всех.
(Ответить) (Thread)
[User Picture]From: sleeping_death
2013-03-28 05:08 am
опередили )) тоже хотел написать про паяльник )))
(Ответить) (Parent) (Thread)
[User Picture]From: progulki
2013-03-27 09:15 pm
я почти ничего не помню из курса нейропсихологии, но, по моему, ты не прав
стресс не есть хорошо для памяти
(Ответить) (Thread)
[User Picture]From: Alex Smaliy
2013-03-27 09:20 pm
Есть хороший обзор темы написанный ведущими исследователями:

Roediger, H.L., & Karpicke, J.D. "The Power of Testing Memory: Basic Research and Implications for Educational Practice," Perspectives on Psychological Science, September 2006 (1): 181-210.

Если я не ошибаюсь, то этот так-называемый testing effect наблюдается даже в тех случаях, когда студентам не сообщают оценок. Хотя в большинстве експериментов, кажется, используется запоминание списков слов, так что успех часто очевиден.
(Ответить) (Thread)
[User Picture]From: cema
2013-03-27 09:40 pm
Насчет postscriptum'а: нет, не коряво, но эффект "в два раза дольше" известный.
(Ответить) (Thread)
Страница 1 из 2
<<[1] [2] >>