Почему ЦПМК по экономике разрешила лист А4

В этой записи я постараюсь разъяснить позицию центральной предметно-методической комиссии (ЦПМК) всероссийской олимпиады школьников по экономике по поводу «разрешенной шпаргалки», которой могут пользоваться участники олимпиады в 2016 году.

Речь идет о новом пункте Требований к проведению олимпиады, написанных ЦПМК:

4.15. Каждый участник имеет право (но не обязан) иметь при себе во время написания тура один лист формата А4, на котором могут быть печатным или рукописным способом размещены любые сведения по желанию участника. Информацией с этого листа участник может пользоваться без ограничений. При этом участнику стоит учесть, что лист формата А4 не проверяется жюри, поэтому любые сведения, которые нужны участнику при решении задач, должны быть записаны в чистовике его работы.

Решение добавить в Требования этот пункт вызвало большой резонанс и обращения к членам методической комиссии. Гневные комментарии собрали множество лайков, а участники стали изо всех сил придумывать, как листки повредят каждому из них. Поскольку вопросы в письмах и публичных комментариях часто повторяются, я решил написать этот пост и ответить на наиболее частые и важные из них. Формулировки многих вопросов взяты мной из писем и комментариев, некоторые вопросы объединены, а некоторые наоборот разделены на части.

— ЦПМК приняла безумное решение, как можно было не заметить его недостатки?
ЦПМК знает о недостатках подхода, который будет применяться на олимпиаде в этом году, и подробно их обсуждала. Действительно, наше решение имеет сильные и слабые стороны и может кому-то не нравиться, но, взвесив все «за» и «против», мы решили включить в Требования пункт 4.15.

— Это решение принято раз и навсегда?
Правило, касающееся листка А4, зафиксировано в Требованиях на 2016 год; в 2017 году новые Требования будут приниматься заново. Пока что мы воспринимаем введение листка как эксперимент, по итогам которого мы постараемся всесторонне оценить его результаты, провести широкое общественное обсуждение и принять решение на будущее.

— Какие существуют примеры использования листков на олимпиадах или в других состязаниях? О чем говорит их опыт?
Примеры разрешения листков на школьных олимпиадах нам неизвестны, но вообще-то разрешение на экзаменах и других испытаниях листа с материалами (cheat sheet) или вообще любых материалов по выбору участника (open book) — распространенная практика во многих университетах мира. Преподаватели разрешают студентам чем-либо пользоваться на тех экзаменах, которые призваны проверить не фактические знания участников, а умение решать задачи или кейсы, для которых такие знания могут понадобиться. Эти условия приближены к тем, в которых человек находится в реальной жизни: как правило, любая информация (данные, формулы, результаты научных исследований) доступны «на кончиках пальцев», и главный вопрос, который нужно решить экономисту, бизнес-консультанту или трейдеру: что с этой информацией делать, как из нее получить нужный результат?

Поскольку cheat sheet и open book — распространенная практика в университетах, неудивительно, что существуют научные исследования результатов их применения.

Позитивное влияние разрешенной «шпаргалки» на оценки студентов неочевидно. Скидмор и Аагаард (Skidmore & Aagaard, 2004), например, обнаружили улучшение результатов на контрольной работе, где cheat sheet был разрешен (в испытании участвовал 141 студент), при этом порядок студентов в таблице результатов почти не изменился: те из них, кто были склонны получать высокие оценки на обычных контрольных работах, показали себя лучше и при разрешенной «шпаргалке». Диксон и Миллер (Dickson & Miller, 2005) разрешили 54 своим студентам использовать «шпаргалки» на двух из четырех контрольных работах по своему курсу и, напротив, не обнаружили существенного улучшения результатов. Нужно отметить, что в обоих исследованиях на контрольных работах в первую очередь проверялись фактические знания.

Разрешение использовать материалы снижает волнение во время экзаменов. Те студенты, которые склонны волноваться, когда пишут контрольные работы, обычно выбирают менее эффективные методы решения задач и получают более низкие оценки, но разрешение использовать свои материалы существенно снижает их волнение и приводит к более высоким оценкам (Zoller & Ben‐Chaim, 1989, Erbe, 2007, de Raadt, M., 2012 и др.).

Подготовка cheat sheet вынуждает «кодировать» всю информацию, которая может пригодиться на испытании. Поскольку место ограничено, вы не можете просто переписать всё, что изучили — вам придется структурировать это и выделить главное. Многочисленные исследования (обзор можно найти в Wickelgren (1975)) показывают, что такое кодирование помогает лучше запомнить и понять информацию. Кроме того, разрешение принести с собой листок позволяет участнику не концентрироваться на запоминании сложных формул, а потратить время на что-то более существенное для успеха — решение задач или чтение книг, например.

Существуют опасения, что cheat sheet делает студентов чрезмерно уверенными в своей готовности к экзамену и поэтому они в целом готовятся хуже. Эти опасения, однако, не оправдываются при эмпирической проверке. Например, в работе Wachsman (2002) это проверяется для контрольных работ по экономике в университете, и можно предположить, что для олимпиады, на подготовку к которой могут уйти годы и которая может определить судьбу участника, опасения в том, что он станет из-за разрешения «шпаргалки» более безответственным, справедливы еще в меньшей степени.

— Почему бы тогда не приблизить ситуацию к реальной жизни еще сильнее и не разрешить поиск в Интернете?
Потому что доступ к Интернету позволяет получить в реальном времени помощь других людей (например, учителей или репетиторов), таким образом, решения, написанные в работе участника, ничего не говорили бы о его способностях и квалификации. В реальной жизни люди часто решают задачи с чьей-то помощью, но у нас олимпиада с индивидуальным участием, поэтому такого приближения к реальной жизни мы бы не хотели.

— Не считаете ли вы, что участники будут использовать cheat sheet для того, чтобы переписать на него как можно больше решений старых типовых задач?
Нет, потому что мы гораздо лучше думаем об олимпиадниках, дошедших до заключительного этапа. Всероссийские олимпиады по экономике проводятся уже 20 лет, а кроме них каждый год проходит еще несколько олимпиад, по типам заданий и темам похожим на Всерос. Даже если бы ЦПМК составляла заключительный этап методом случайной генерации из старых заданий, вероятность угадать хоть что-нибудь заранее была бы мала. Кроме того, мы всё же надеемся, что нам удается составлять оригинальные задания, мало похожие на то, что было раньше. Особенно меня в этом плане удивляют опасения, что участники перепишут на cheat sheet типовые решения старых качественных задач. Типовые решения качественных задач, серьезно?
Переписывание старых решений, таким образом, это плохая стратегия, и мы уверены, что участники не будут тратить на это время и место на листе А4.

— Разрешение шпаргалки дает преимущество тем, кто умеет мелко писать и имеет хорошее зрение.
Мы не запрещаем приносить с собой листки, изготовленные печатным способом; первое преимущество, таким образом, вряд ли можно назвать существенным — вы можете выбрать очень маленький шрифт, когда будете верстать свою «шпаргалку». Что касается плохого зрения, то, мне кажется, участники, которые сталкиваются с этой проблемой, должны научиться ее решать с помощью очков, например — это поможет не только на олимпиаде по экономике.

— Участники будут тратить время на выискивание нужной информации в листке, это будет отвлекать их и помешает решить задачи.
Именно поэтому я бы рекомендовал изготовить свой А4 самостоятельно, а не пользоваться тем, что предлагают учителя или другие участники. Грамотный cheat sheet помогает, а не мешает (см. ссылки на исследования выше), но для этого участник должен хорошо знать, как он устроен, и тщательно подойти к процессу его написания. Подготовка грамотной «шпаргалки» — элемент подготовки к олимпиаде.

— Что же теперь учителя и репетиторы будут делать на уроках, если для успешного решения олимпиады не нужно ничего знать (всё можно подсмотреть в А4)?
Честно говоря, хорошие учителя и в прежнюю эпоху вряд ли тратили время на уроках на заучивание с учениками формул и их проверку. Нам всё же представляется, что время общения с квалифицированным учителем нужно тратить на что-то более важное: обсуждение сложных аспектов теории, решений задач, экономических текстов, текущей экономической ситуации… Для учителя провести такой урок сложнее, чем урок проверки знаний, но нам бы хотелось, чтобы таких уроков было больше.

— Если задачи на заключительном этапе почти не проверяют знание готовых формул, то зачем тогда листок?
Это правильное рассуждение, однако из того, что задачи на хороших олимпиадах — не про подстановку чисел в готовые формулы, не следует, что легальная «шпаргалка» — плохая идея. Разрешение листка — это сигнал как школьникам, так и их наставникам, что слишком много времени тратить на формулы не надо. Гораздо важнее добиться того, чтобы участник понимал, как работает формула и где ее можно применять, а где нельзя — тогда он сможет правильно решить задачу с ее помощью, даже если забудет ее точную запись (которую можно будет подсмотреть в А4).

— Теперь выиграть олимпиаду и поступить по ней в университет может кто угодно без подготовки, вооружившись подробной «шпаргалкой».
Вряд ли. Решение задач, предлагаемых на заключительном этапе, не сводится к подстановке чисел в формулы, воспроизведению готовых результатов и использованию типовых приемов. Даже если что-то такое иногда и нужно делать, cheat sheet призван помочь тем, у кого трудности с запоминанием типовых вещей.

Кроме того, в отличие от многих других предметов, экономика в университете преподается с нуля и никакие первоначальные знания не требуются: встречая первокурсников, мы начинаем рассказ с самых азов (хоть уровень материала с самого начала гораздо выше, чем принято в школе). Это может быть хорошо или плохо, но выбора у нас нет: экономика не является обязательным школьным предметом, а там, где она преподается, это происходит очень разнообразно. Поэтому мы бы хотели видеть в числе наших первокурсников не тех, кто стал победителем чемпионата по заучиванию формул, а тех, кто умеет лучше решать сложные задачи — научить этому в университете трудно, а формулам мы научим без проблем. Надеюсь, что и школьники, которые хотят поступить в лучшие университеты, и их учителя не воспринимают олимпиаду как чемпионат по заучиванию формул. Мы бы очень не хотели, чтобы способный участник проиграл олимпиаду, потому что «недоучил». Решение задачи на всеросе требует от участника концентрации, смекалки, логического мышления, понимания процессов, умения корректно обращаться с математикой, а также иногда знания формул. Мы бы хотели, чтобы последняя часть вносила меньший вклад в успех, и нам жалко терять потенциального призера, который не решил задачу, потому что не вспомнил формулу.

— Раньше, когда формулы надо было учить, участники лучше понимали, как они работают, а теперь все тупо перепишут формулы на листки и будут думать, что всё в порядке…
…и проиграют. Как уже было написано выше, понимание того, как работают и где применяются формулы, гораздо важнее их формулировок, и мы надеемся, что участники не будут вести себя так, как описано в вопросе, потому что от этого им же хуже. Напротив, создание листка помогает структурировать информацию, а также лучше ее понять (об этом выше). При этом очевидно, что листок, хоть и может помочь написать олимпиаду, не является сам по себе необходимостью или залогом успеха — решать задачи всё равно нужно уметь.

— Почему ЦПМК не сделала универсальный лист А4 со всеми нужными в задачах формулами, чтобы он был одинаковым для всех участников?
По двум причинам. Во-первых, мы бы не хотели давать подсказки о том, какие формулы нужны для решения задач. Во-вторых, мы бы хотели, чтобы участники написали листок сами, проявив творчество и научившись «кодировать» информацию (см. об этом выше). Кто-то может возразить, что разное качество подготовки листков ставит участников в неравные условия, но с таким же успехом можно заявить, что в неравные условия участников ставит и разная подготовка с точки зрения умения решать задачи. Да, это так, но олимпиада — это состязание, которое начинается не в момент приезда в пансионат, где она проводится, а гораздо раньше — при подготовке; и написание хорошей «шпаргалки» — ее элемент.

— Введение листков сильно уменьшит шансы $Y$-классников на призерство.
Такие заявления делались для всех $Y\in \{9, 10 ,11\}$, и, к сожалению, никто из авторов не пояснил свою позицию. Поскольку о разрешении листков стало известно за несколько недель до олимпиады, вряд ли для участников текущего года это что-то может существенно поменять в стратегии подготовки — бо́льшая ее часть была позади. Возможно, если норма закрепится, это поменяет стимулы будущих участников (и мы надеемся, что поменяет, как об этом написано выше), но через год все различия между текущими 9- и 10-классниками, которые могло создать появление разрешенных листков, должны сгладиться.

— Почему бы не ввести требования со следующего года, причем сразу с муниципального этапа? Зачем такая спешка в этом году?
Мы не уверены, что хотим разрешать листки на муниципальном этапе — целесообразность этого нужно отдельно обсуждать.
Идея о листках была сформулирована, конечно, гораздо раньше, чем организаторы Всероссийской олимпиады опубликовали Требования и разослали письмо. Однако, как это ни странно, публикация требований на текущий год — единственный официальный канал коммуникации ЦПМК с руководителями команд заключительного этапа и участниками, который мы можем использовать и не быть обвиненными в том, что сведения были доступны не всем.

На наш взгляд, введение листков не является таким радикальным изменением, которое нельзя сделать за несколько недель до олимпиады (главное, что информация стала доступна всем одновременно). Написать хороший листок за несколько недель вполне возможно (можно и за полдня), и сделать это лучше получится у тех, кто лучше готовился, таким образом, вряд ли разрешение листков как-то существенно поменяет расклад сил. Мы надеемся, что с листками общие результаты будут лучше, чем без них, и больше участников смогут набрать не меньше половины от максимального количества баллов, что необходимо в этом году для получения диплома.

— Введение листков сильно уменьшит шансы москвичей на призерство.
— Введение листков сильно уменьшит шансы школьников из других регионов на призерство.
К сожалению, никто из авторов таких писем не пояснил свою позицию, и мне не удается придумать аргумент, который они имели в виду, чтобы на него ответить.

— Если норма с листками закрепится, какие долгосрочные последствия могут быть у этого?
Во-первых, разрешение листков усложняет работу методкомиссии: совсем нельзя давать типовые задачи. Мы и так стараемся этого не делать, но тут у ЦПМК будут связаны руки, и это хорошо.
Во-вторых, мы надеемся, что наиболее удачные листки А4 окажутся в общем доступе (отчасти для этого мы проведем на заключительном этапе конкурс на лучшие А4 с отдельными призами). Это упростит подготовку следующих поколений участников ко всем олимпиадам (я имею в виду не подготовку самих листков, а скорее позитивные эффекты от того, что кто-то наконец структурирует школьную экономику, поместив ее в лаконичную форму) и снизит барьеры входа для участников, которые сомневаются, участвовать в олимпиадах по экономике или нет. Школьная экономика — это не башня из слоновой кости, для попадания в которую нужно с детства читать какие-то специальные книги и иметь в школе соответствующий предмет. Достаточно смекалки, эрудиции, хорошей математики и желания разобраться в довольно ограниченном количестве тем, чтобы понимать, что написано в условиях задач, и со временем научиться их решать.

— Как будет устроен конкурс на лучший лист А4?
Мы попросим олимпиадников, желающих участвовать в конкурсе, сдать нам листки, прикрепив к ним бумажку с именем и фамилией. Надеюсь, что все или почти все поучаствуют. Наиболее оригинальные, красивые или содержательные листки получат призы — честно говоря, мы и сами еще не знаем, по каким критериям будем выбирать! Все листки будут возвращены их авторам, а самые лучшие отсканированы и опубликованы на сайте олимпиады.

— Если предположить, что на олимпиаде есть утечки заданий, то наличие листка А4 упрощает использование нелегально полученной информации.
ЦПМК и оргкомитет соблюдают высокие стандарты безопасности, которые, мы надеемся, исключают попадание заданий куда-либо, куда они попасть до олимпиады не должны. Впрочем, если предположить, что у кого-то из участников есть доступ к решениям заранее (нам кажется, что это исключено), разрешение листка А4 мало что меняет: вряд ли кто-то в такой ситуации стал бы переписывать нелегальную информацию на листок, который будет на виду у оргкомитета.

— Почему столь важный документ подписан только одним человеком, причём даже не председателем ЦПМК?
В этом вопросе речь идет о письме, написанном заместителем председателя ЦПМК. Это письмо носит информационный характер и не устанавливает никаких правил, а лишь обращает внимание на изменения. Поскольку Требования обычно читают не все, заместитель председателя решил написать это письмо, чтобы как можно больше участников оперативно узнали о нововведениях. Новые Требования были написаны в ходе коллегиального обсуждения между членами ЦПМК и некоторыми приглашенными экспертами.

— Понимаете ли вы, что теперь каждый участник, не получивший диплом, будет считать своим долгом обвинить в этом ЦПМК и новые правила?
Всё же мы надеемся, что большинство участников не будут бросаться голословными обвинениями, но ясно, что совсем избежать негативного PR-эффекта невозможно. Осознавая это, мы приняли ответственность и пошли на этот шаг, видя его сильные и слабые стороны. Повторюсь, продление действия правила с листком А4 будет зависеть от итогов введения его в этом году и последующей дискуссии, которая, мы надеемся, будет проходить честно и профессионально.

Источники

1. Dickson, K. L., & Miller, M. D. (2005). Authorized Crib Cards Do Not Improve Exam Performance. Teaching of Psychology, 32(4), 230-233.
2. Erbe, B. (2007). Reducing test anxiety while increasing learning: The cheat sheet. College teaching, 55(3), 96-98.
3. de Raadt, M. (2012). Student created cheat-sheets in examinations: impact on student outcomes. Proceedings of the Fourteenth Australasian Computing Education Conference, 123 (pp. 71-76). Australian Computer Society, Inc..
4. Skidmore, R. L., & Aagaard, L. (2004). The relationship between testing condition and student test scores. Journal of Instructional Psychology, 31(4), 304.
5. Wachsman, Y. (2002). Should cheat sheets be used as study aids in economics tests. Economics Bulletin, 1(1), 1-10.
6. Wickelgren, W. (1975). Coding and Dynamics of Memory. National Institute of Education, Office of Research Grants.
7. Zoller, U., & Ben‐Chaim, D. (1989). Interaction between examination type, anxiety state, and academic achievement in college science; an action‐oriented research. Journal of Research in Science Teaching, 26(1), 65-77.