Недавно на Хабре была опубликована статья "Вива Китай, :( Россия", из которой следовало, что, согласно исследованиям американских ученых, российские ученые безнадежно отстают и вообще российская наука загибается. Заинтригованный, я полез смотреть, откуда, собственно, дровишки. Дровишек не нашел (уж больно много букв), но набрел на прекрасное. Вот здесь: www.nsf.gov/statistics/seind10, глава 7.
Те, кому эта тема небезынтересна, вероятно помнят опросы, которые устраивает данная организация среди взрослого населения, чтобы, типа, установить уровень знаний среднего гражданина США (Японии, России, Евросоюза и т.п). Типа, «правда ли, что электрон меньше атома» или «Земля вращается вокруг Солнца или Солнце вокруг Земли». Что характерно, судя по приведенным на 19 странице данным, вопросы не меняются минимум с 2001 года.
На 20 странице исследования приведен новый, 2008 года опросный лист (General Social Survey) под названием «New Science Knowledge Questions». Это, доложу я вам, просто песня. Еще и с припевом. При прочтении сего монументального труда у меня в голове вертелось в основном что-то, смутно похожее на «НУ ТУПЫЫЫЫЕ». Кто составлял этот список, интересно мне.
Первый же вопрос убивает наповал.
Внимание:
Какое свойство воды наиболее важно для живых организмов?
Мое относительно хорошее школьное образование намекало мне, что отталкиваться следует от высокой диэлектрической проницаемости воды (80), что делает ее хорошим растворителем и т.п. И то я как-то затрудняюсь сформулировать в одно предложение, какое (одно!) свойство воды делает ее столь важной для живых организмов.
Догадайтесь, какой ответ правильный. Внимание:
«Она жидкая для большинства температур на Земле» (перевожу дословно).
Это гениально, я считаю.
UPD. Поясняю.
1) критерии важности-неважности никто не давал;
2) в течение всего времени развития жизни на Земле существовали периоды, когда жидкая вода присутствовала далеко не повсюду на земном шаре. Кстати, максимальная зарегистрированная температура на Земле +53, а минимальная -89, поэтому формулировка «большинство температур» требует существенного уточнения (на большей части поверхности?);
3) вода необходима для жизни прежде всего потому, что многие критически важные для жизни реакции происходят в водной среде: вода — хороший растворитель с высокой диэлектрической проницаемостью. Поэтому ответ B на самом деле больше всего похож на истину.
Второй вопрос специально рассчитан на дебилов — посмотрите, оцените сами. Вопросы 3 и 4 еще ничего. В пятом вопросе отсутствует вопрос.
Шестой вопрос: студент проводит эксперимент — как повышение температуры изменяет поведение золотых рыбок. У него есть 4 аквариума и 20 рыбок. Какой из экспериментов с картинки ему следует провести?
Да фиг его знает! Про сущность исследования ничего же не написано. Или авторы полагают, что любое исследования влияния температуры на поведение рыбок следует проводить, рассадив по 5 рыбок в аквариум?
UPD:
Студент по этому эксперименту НЕ МОЖЕТ сделать требуемого вывода, потому что:
1.1) если разницы поведения не будет, то из этого последует только то, что температура не влияет на поведение ПЯТИ рыбок при ДАННЫХ температурах в аквариуме такого объема.
1.2) существует, по крайней мере, один фактор, влияющих на поведение рыбок, которые не исключает этот эксперимент: половой состав рыбок. Очевидно, что пять самцов будут без устали драться за территорию, в отличие от смешанного состава.
Итого: тест не проверяет логику (а конкретно, понимание разницы между необходимым и достаточным условием) и не проверяет знание научной методологии (исключение прочих факторов — пол рыбок, возраст, время суток и т.д.).
UPD2:
Вообще говоря, идиотизм вопроса становится понятным, если задаться вопросом: а надо ли что-то знать о рыбках, чтобы ответить на этот вопрос?
Если рассматривать вопрос как чисто логический (заменив рыбок и температуру на абстрактные параметры), задача поставлена совершенно некорректно: ни один из экспериментов не позволяет ответить на вопрос в случае отрицательного результата.
Если же знать что-то о рыбках, то ответ — не надо никаких экспериментов. При нулевой температуре рыбки заведомо подохнут, следовательно, температура на поведение рыбок влияет.
UPD3. Вот правильная аналогия:
Сколько будет 2+2*2
A 8
B 27
C 873
D 0
Правильный ответ, по логике составителей тестов, — 8. Да, все неправильные, но 8 хоть как-то логически можно объяснить. И вдобавок человек продемонстрировал умение выполнять простейшие действия.
Седьмой вопрос. Фермер думает, что овощи на ее ферме не получают достаточно воды. Ее сын предлагает использовать воду из океана для полива овощей.
Внимание, вопрос: это хорошая идея? Как вам формулировочка?
Начнем с того, что в вопросе нигде не написано: а) а действительно ли овощи страдают от нехватки воды? б) а сын предлагает опреснять воду или прямо так поливать?
А там еще есть вариант ответа D — нет, потому что океанская вода более грязная чем дождевая. В принципе, кое-где так и есть ).
UPD. В условиях засушливого климата предложение использовать опресненную воду крайне осмысленно. Причем как раз по причине, указанной в пункте A — соленой воды много больше, чем пресной. Чтобы ответить С надо сделать неявное предположение, что опреснять воду слишком дорого.
Восьмой вопрос. Что из этого не пример эрозии?
A ветер в пустыне обдувает песком скалы
B ледник тащит за собой валуны когда движется
C поток омывает берег реки и уносит с собой фрагменты почвы
D от холодного ветра появляются трещины на тротуарах
Как подсказывает русская Вики, эрозия — это разрушение почвы и горной породы водными потоками и ветром. Так что правильный ответ — B и D. Та же Вики указывает, что на Западе принято эрозией называть любую разрушительную деятельность геологических сил. Так что правильного ответа нет вообще. Английская Вики, правда, однозначно указывает на вариант D. Допустим. Как вы считаете, что проверяет этот вопрос? По мнению составителей — Composition of the Earth; forces that alter the Earth’s surface; rocks: their formation, characteristics, and uses; soil: its changes and uses; natural resources used by humankind; and forces within the Earth. Тут у меня уже силы смеяться закончились. По-моему, этот вопрос проверяет только знание школьного определения.
UPD. Вообще все написано выше. Повторюсь: вопрос проверяет не базовые знания о строении земной поверхности, формированию скал и почвы, как полагают авторы, а знание определения эрозии из американского школьного учебника. В российской традиции определение другое. Никакого логического различия между ответами нет — везде речь идет о деструктивном влиянии природных сил (тут скорее вариант про ледник выбивается из ряда).
Девятый вопрос — и снова песня:
Черты лица (traits) переносятся из поколения в поколение через
A Только сперму
B Только яйцеклетку (egg)
C Сперму и яйцеклетку
D Яички
Начнем с того, что правильный ответ — через ДНК. Сама формулировка подразумевает миллион разных прочтений — traits можно трактовать как «черты лица» либо «характерные черты», egg — как «яйцеклетку» или «яйцо» и т.п. В условии не сказано, идет ли речь о половом размножении. И т.д.
13 вопрос. Студенты 20 раз вычислили вес листа и получили 20 слегка разных значений. Что из следующего лучший метод описать (to report — сообщить? опять двусмысленность) вес листа?
A Спросить учителя
B Сообщить результат первого измерения
C Среднее из всех значений
D Среднее из максимального и минимального значения
E Отбросить 5 минимальных значений
UPD. Вообще говоря, правильный ответ должен звучать примерно так: отбросить крайние значения, вычислить среднее и дисперсию. Ответы C, D, E содержат каждый часть правильного решения.
Кроме того, ответы грамматически разнородны: первые два указывают действие (спросить — доложить), 3 и 4 цифру (т.е. не отвечают на сформулированный вопрос: «Что из этого лучший метод» — «среднее»). Собственно, это основная причина, по которой я привел именно этот вопрос: неспособность авторов хотя бы корректно сформулировать вопросы и ответы.
Остальные вопросы ничем не лучше. Все они идиотски сформулированы, большая часть требует существенных уточнений, на многие ответа нет либо правильных ответов несколько.
И вот на основании подобных тестов они составляют свои «рейтинги». Первый резонный вопрос — что за идиоты работают в этой организации? Они демонстрируют а) полную научную безграмотность и б) полное неумение составлять тесты. Кто эти люди?
Второй резонный вопрос — какой толк от этих рейтингов? Что они могут отражать?
Я, конечно, не читал внимательно всю остальную часть доклада. Конечно, может быть и так, что конкретно в подразделении, занимающемся исследованием уровня научного знания, работают одни идиоты, а все остальные — белые и пушистые. Но вот лично для меня ценность сего доклада стремительно приблизилась к нулю.
UPD. Специально для комментаторов расшифровал каждый пункт.
Те, кому эта тема небезынтересна, вероятно помнят опросы, которые устраивает данная организация среди взрослого населения, чтобы, типа, установить уровень знаний среднего гражданина США (Японии, России, Евросоюза и т.п). Типа, «правда ли, что электрон меньше атома» или «Земля вращается вокруг Солнца или Солнце вокруг Земли». Что характерно, судя по приведенным на 19 странице данным, вопросы не меняются минимум с 2001 года.
На 20 странице исследования приведен новый, 2008 года опросный лист (General Social Survey) под названием «New Science Knowledge Questions». Это, доложу я вам, просто песня. Еще и с припевом. При прочтении сего монументального труда у меня в голове вертелось в основном что-то, смутно похожее на «НУ ТУПЫЫЫЫЕ». Кто составлял этот список, интересно мне.
Первый же вопрос убивает наповал.
Внимание:
Какое свойство воды наиболее важно для живых организмов?
Мое относительно хорошее школьное образование намекало мне, что отталкиваться следует от высокой диэлектрической проницаемости воды (80), что делает ее хорошим растворителем и т.п. И то я как-то затрудняюсь сформулировать в одно предложение, какое (одно!) свойство воды делает ее столь важной для живых организмов.
Догадайтесь, какой ответ правильный. Внимание:
«Она жидкая для большинства температур на Земле» (перевожу дословно).
Это гениально, я считаю.
UPD. Поясняю.
1) критерии важности-неважности никто не давал;
2) в течение всего времени развития жизни на Земле существовали периоды, когда жидкая вода присутствовала далеко не повсюду на земном шаре. Кстати, максимальная зарегистрированная температура на Земле +53, а минимальная -89, поэтому формулировка «большинство температур» требует существенного уточнения (на большей части поверхности?);
3) вода необходима для жизни прежде всего потому, что многие критически важные для жизни реакции происходят в водной среде: вода — хороший растворитель с высокой диэлектрической проницаемостью. Поэтому ответ B на самом деле больше всего похож на истину.
Второй вопрос специально рассчитан на дебилов — посмотрите, оцените сами. Вопросы 3 и 4 еще ничего. В пятом вопросе отсутствует вопрос.
Шестой вопрос: студент проводит эксперимент — как повышение температуры изменяет поведение золотых рыбок. У него есть 4 аквариума и 20 рыбок. Какой из экспериментов с картинки ему следует провести?
Да фиг его знает! Про сущность исследования ничего же не написано. Или авторы полагают, что любое исследования влияния температуры на поведение рыбок следует проводить, рассадив по 5 рыбок в аквариум?
UPD:
Студент по этому эксперименту НЕ МОЖЕТ сделать требуемого вывода, потому что:
1.1) если разницы поведения не будет, то из этого последует только то, что температура не влияет на поведение ПЯТИ рыбок при ДАННЫХ температурах в аквариуме такого объема.
1.2) существует, по крайней мере, один фактор, влияющих на поведение рыбок, которые не исключает этот эксперимент: половой состав рыбок. Очевидно, что пять самцов будут без устали драться за территорию, в отличие от смешанного состава.
Итого: тест не проверяет логику (а конкретно, понимание разницы между необходимым и достаточным условием) и не проверяет знание научной методологии (исключение прочих факторов — пол рыбок, возраст, время суток и т.д.).
UPD2:
Вообще говоря, идиотизм вопроса становится понятным, если задаться вопросом: а надо ли что-то знать о рыбках, чтобы ответить на этот вопрос?
Если рассматривать вопрос как чисто логический (заменив рыбок и температуру на абстрактные параметры), задача поставлена совершенно некорректно: ни один из экспериментов не позволяет ответить на вопрос в случае отрицательного результата.
Если же знать что-то о рыбках, то ответ — не надо никаких экспериментов. При нулевой температуре рыбки заведомо подохнут, следовательно, температура на поведение рыбок влияет.
UPD3. Вот правильная аналогия:
Сколько будет 2+2*2
A 8
B 27
C 873
D 0
Правильный ответ, по логике составителей тестов, — 8. Да, все неправильные, но 8 хоть как-то логически можно объяснить. И вдобавок человек продемонстрировал умение выполнять простейшие действия.
Седьмой вопрос. Фермер думает, что овощи на ее ферме не получают достаточно воды. Ее сын предлагает использовать воду из океана для полива овощей.
Внимание, вопрос: это хорошая идея? Как вам формулировочка?
Начнем с того, что в вопросе нигде не написано: а) а действительно ли овощи страдают от нехватки воды? б) а сын предлагает опреснять воду или прямо так поливать?
А там еще есть вариант ответа D — нет, потому что океанская вода более грязная чем дождевая. В принципе, кое-где так и есть ).
UPD. В условиях засушливого климата предложение использовать опресненную воду крайне осмысленно. Причем как раз по причине, указанной в пункте A — соленой воды много больше, чем пресной. Чтобы ответить С надо сделать неявное предположение, что опреснять воду слишком дорого.
Восьмой вопрос. Что из этого не пример эрозии?
A ветер в пустыне обдувает песком скалы
B ледник тащит за собой валуны когда движется
C поток омывает берег реки и уносит с собой фрагменты почвы
D от холодного ветра появляются трещины на тротуарах
Как подсказывает русская Вики, эрозия — это разрушение почвы и горной породы водными потоками и ветром. Так что правильный ответ — B и D. Та же Вики указывает, что на Западе принято эрозией называть любую разрушительную деятельность геологических сил. Так что правильного ответа нет вообще. Английская Вики, правда, однозначно указывает на вариант D. Допустим. Как вы считаете, что проверяет этот вопрос? По мнению составителей — Composition of the Earth; forces that alter the Earth’s surface; rocks: their formation, characteristics, and uses; soil: its changes and uses; natural resources used by humankind; and forces within the Earth. Тут у меня уже силы смеяться закончились. По-моему, этот вопрос проверяет только знание школьного определения.
UPD. Вообще все написано выше. Повторюсь: вопрос проверяет не базовые знания о строении земной поверхности, формированию скал и почвы, как полагают авторы, а знание определения эрозии из американского школьного учебника. В российской традиции определение другое. Никакого логического различия между ответами нет — везде речь идет о деструктивном влиянии природных сил (тут скорее вариант про ледник выбивается из ряда).
Девятый вопрос — и снова песня:
Черты лица (traits) переносятся из поколения в поколение через
A Только сперму
B Только яйцеклетку (egg)
C Сперму и яйцеклетку
D Яички
Начнем с того, что правильный ответ — через ДНК. Сама формулировка подразумевает миллион разных прочтений — traits можно трактовать как «черты лица» либо «характерные черты», egg — как «яйцеклетку» или «яйцо» и т.п. В условии не сказано, идет ли речь о половом размножении. И т.д.
13 вопрос. Студенты 20 раз вычислили вес листа и получили 20 слегка разных значений. Что из следующего лучший метод описать (to report — сообщить? опять двусмысленность) вес листа?
A Спросить учителя
B Сообщить результат первого измерения
C Среднее из всех значений
D Среднее из максимального и минимального значения
E Отбросить 5 минимальных значений
UPD. Вообще говоря, правильный ответ должен звучать примерно так: отбросить крайние значения, вычислить среднее и дисперсию. Ответы C, D, E содержат каждый часть правильного решения.
Кроме того, ответы грамматически разнородны: первые два указывают действие (спросить — доложить), 3 и 4 цифру (т.е. не отвечают на сформулированный вопрос: «Что из этого лучший метод» — «среднее»). Собственно, это основная причина, по которой я привел именно этот вопрос: неспособность авторов хотя бы корректно сформулировать вопросы и ответы.
Остальные вопросы ничем не лучше. Все они идиотски сформулированы, большая часть требует существенных уточнений, на многие ответа нет либо правильных ответов несколько.
И вот на основании подобных тестов они составляют свои «рейтинги». Первый резонный вопрос — что за идиоты работают в этой организации? Они демонстрируют а) полную научную безграмотность и б) полное неумение составлять тесты. Кто эти люди?
Второй резонный вопрос — какой толк от этих рейтингов? Что они могут отражать?
Я, конечно, не читал внимательно всю остальную часть доклада. Конечно, может быть и так, что конкретно в подразделении, занимающемся исследованием уровня научного знания, работают одни идиоты, а все остальные — белые и пушистые. Но вот лично для меня ценность сего доклада стремительно приблизилась к нулю.
UPD. Специально для комментаторов расшифровал каждый пункт.
