Пару недель назад я
публиковал статью про то, что я нашёл для себя интересного внутри почтового архива метеорологов. Кроме прочих советов и комментариев мне указали на архив данных, который распространяет аж ООН и конечно я не мог пройти мимо. Кроме всего прочего в нём, конечно, есть и данные о температуре. Я сразу захотел совместить эти данные с данными о годичных кольцах деревьев и посмотреть что получится.
Под катом как обычно минут 10 чтения и много графиков, на этот раз есть даже карта. Ознакомление с первой статьёй рекомендуется, хотя и не обязательно.
Итак база данных изначально была в виде кучи mdb-файлов, возиться в которых совершенно не хотелось. К счастью, там прилагалась какая-то мутная программа специально для экспортирования в csv-файлы. Я опущу проблемы, с которыми я при этом столкнулся, скажу только, что на загрузку результирующего csv-файла я потратил дня два, в то время как на загрузку вообще не предназначенных, казалось бы, для этого данных из украденного архива у меня ушло не больше часа.
По результатам получилось две таблицы: перечень станций (с названием, страной расположения, широтой, долготой, возвышением и т.д.) и собственно средние температуры по этим станциям. Данные приводятся по среднемесячной температуре, но я их сводил к одной цифре за год, имея в виду, что мне надо будет это всё сравнивать с данными по годовым кольцам деревьев. Удивительно, но данные с метеостанций приведены за довольно длительный период.
Первое, что приходит в голову – это построить график средней температуры по стране за последние сто лет. Так как страна метеостанций была указана, то возиться с этим не пришлось и первый график построился совершенно без проблем. Ссылки с картинок — сами на себя.

Среднегодовая температура на территории РФ.
График, конечно, довольно тоскливый вышел, да ещё и ползёт вниз. Но ничего не поделаешь. В любом случае, интересна будет температура не за весь год, а только за те месяцы, когда активно растут деревья (далее я называю это средней за лето температурой). Я решил, что это май-сентябрь включительно, этот график выглядит уже не так тоскливо, но тоже явно идёт вниз:

Средняя за лето температура на территории РФ.
Тогда я решил на том же графике отобразить количество действующих в соответствующий год метеостанций, они показаны серым цветом:
То есть до 50-х годов метеостанций было гораздо меньше, и что важнее: их состав изменялся. Вот на этот простенький факт я хочу обратить внимание особо, потому что путём изменения состава метеостанций можно запросто прибегать к любым спекуляциям. Мало того, что нам редко говорят о методе, который использовался для получения данных о колебаниях температуры, так тем более никто и никогда не говорит о составе, расположении
и изменении в составе точек съёма информации. А зачем? Телезрителю ведь не это интересно. Начни мы строить сейчас метеостанции по южным границам – сразу найдётся потепление, прямо на следующий год будут подтверждённые результаты.
Но я не об этом, я о деревьях. 50 лет более-менее стабильного состава метеостанций должно быть вполне достаточно чтобы заметить наличие или отсутствие корреляции между кольцами деревьев и температурой, поэтому я не очень расстроился.
Была ещё одна… не то чтобы проблема, но сложность. Данные о деревьях, взяты довольно кучно: такой полоской в малонаселённой части России. А как расставлены метеостанции я просто не знал, но скорее наоборот, вдоль населённой части страны, поэтому сравнивать просто так средние значения тут и там не очень хотелось. Хорошо бы было найти такую станцию, рядом с которой было бы спилено дерево. Ничего более путного, чем просто нарисовать все станции и все деревья по координатам на чистом листе в голову не пришло. Дело это нехитрое, поэтому не долго думая этим я и занялся. Правда пришлось загрузить ещё небезызвестный sib.dat (который содержит перечень 51-го дерева, как раз с координатами), но это времени тоже не особо заняло.
Зелёными пятнами отмечены места спила деревьев по данным файла sib.dat, красным – метеостанции. По-моему уже похоже на знакомые с детства очертания. Сразу захотелось наложить эти пятна на настоящую карту. Проблема ещё в том, что большинство карт рисуются не в прямоугольных координатах, а с искажением (
пример): меридианы на севере карты всегда ближе друг к другу, чем на юге. Мне вспомнился google maps: если в нём отодвинуть карту максимально, то получается мозаика из повторений карты, что похоже на приведение к прямоугольной системе координат.
Для привязки к карте по положению и масштабу необходимо несколько точек с известными координатами. Для этого вполне подойдут города. Среди метеостанций есть расположенные прямо в крупных городах, так что будет с чем связаться. К сожалению google maps прячет города при уменьшении карты, поэтому пришлось работать с довольно большим масштабом. Я отметил на своём рисунке Москву, Пермь, Волгоград и Казань, после нескольких манипуляций с масштабом удалось совместить их с картой.

По ссылке полный
большой вариант.
Погрешность мне показалась вполне допустимой, кто ещё знает, где именно эти метеостанции стоят. Результат:
большая картинка (1814x739, 404k), но оно того стоит. Наложенные на карту выделенные города не так заметны, но если присмотреться, то отчётливо видно и Москву (покрупнее) и другие. Интересно обратить внимание на станции на камчатке и на островах рядом с ней. Ещё видно, что метеостанции есть в Нижнем Новгороде и Екатеринбурге, но нет в Новосибирске (проверял). По-моему для совпадений слишком аккуратно, так что я в общем доволен.
Синими кружками на карте обведены три пары точек: это станции и деревья, которые я отобрал для проверки зависимости ширины годичных колец и температуры. Станция в левом кружке называется «OLENEK» и имеет координаты 112.43, 68.5; дерево, которое нашлось рядом имеет координаты 112.15, 68.36 и подписано «OLE». За одно открылась природа происхождения странных трёхбуквенных названий деревьев: это всё-таки населённые пункты, которые не всегда есть на карте.
Красная линия – средняя температура за лето на станции, зелёная – ширина годичных колец соответствующего дерева. Что тут можно сказать. Да мало что на самом деле можно сказать. Графики очень шумные и не очень похожие. Аномалия температуры в начале графика – это сказалось отсутствие данных за 45-й и 46-й годы. За 45-й их не было вообще (отображено как ноль), а за 46-й данные были только за сентябрь: -3°C; не до погоды, наверное, после войны было. В 1990-м году ситуация аналогичная, почему то очень мало данных за этот год.
Имея некоторое желание, конечно, можно рассмотреть, что всё-таки при росте температуры график колец тоже всегда идёт вверх, или замедляет падение. Почти всегда пики температуры совпадают с пиками графика по кольцам, хотя есть и явные противоречия, например, в районе 1970-го года. Причин у этого может быть много, думаю основная — не учтена концентрация CO2, которая сильно влияет на рост деревьев. Для проверки я строил графики по двум другим отмеченным метеостанциям, там ситуация полностью аналогичная. Приведу только средние графики по трём этим точкам. Кстати говоря, эти три, весьма северные станции, собственно и начали действовать где-то в 40-м году.
Раз уж сделана такая подготовка, то построил я и средний график по всему региону, который я получил путём отсечения прямоугольника по широте и долготе, так чтобы метеостанции были примерно в том же районе, что и деревья: контролировал я это по отображению станций и мест сбора деревьев.
Чтобы было интереснее, построил начиная с 1900-го года, снова заметно, как средняя температура падает по мере роста количества метеостанций, которое едва доходит до 20-ти. Комментировать в общем особо нечего, я даже не обижусь, если кто-то скажет, что никакой корреляции нет вовсе: зависимость явно ещё меньше, чем в отдельных графиках по трём станциям.
В процессе написания статьи пришла в голову идея построить графики температур по этим трём станциям, кое-что эта картинка объясняет (красная линия — среднее).
Это не данные а
пи шум какой-то: слишком уж далеко друг от друга находятся станции. Чтобы не очень расстраиваться я построил аналогичный график по другим, близко расположенным станциям в другой части страны (Сочи, Пятигорск, Туапсе):
Вообще другое дело, жаль деревьев команда Ваганова там не напилила.
Всякие мелочи
- Данные я брал здесь.
- Оказывается регулярные наблюдения за погодой документируются аж с 1800-го года. Первыми следить за температурой начали в Австрии, Великобритании, Венгрии, Германии, Дании ну и рядом там.
- В России регулярные наблюдения идут с 1850-го года, причём начались они сразу сразу в 14-ти городах.
- Загружено было 5988 метеостанций в 203-х странах, общее количество записей о температурах: 3.8 миллиона. По России загружено 156 тысяч записей, 206 метеостанций. Непосредственно сама загрузка длилась 59 минут 19 секунд.
- Того кроме, существуют и доступны данные прямо по лето 2009, но, блин, аж в виде pdf-файлов, полна талантами Земля, хорошо не bmp.
Вместо заключения
Снова хочу обратить внимание сообщества на присутствующую здесь сегодня и сейчас возможность самому посмотреть на сырые данные, построить какие-то графики, сделать какие-то, хоть и не претендующие на нобелевскую премию, но собственные выводы. Ну и не давайте непонятно кому рассуждать о среднегодовой температуре на планете, не уточнив методов её измерения, учтён ли CO2, если это были годичные кольца деревьев, учтено ли изменение в составе метеостанций, если это были метеостанции и т.д. Большая часть т.н. «экспертов» ничего про это не знает.
комментарии (94)
Так вы скоро оставите без работы всех этих борцов с потеплениями.
Если данные есть хоть какие-то, и это не единственная станция на самом севере страны, то завала ТАКОГО быть не должно!
Просто в 90-м году запросто могут быть данные, скажем, только по сентябрю (как было в 46-м), ну и будет тогда -3 градуса.
Действительно, ничего нового, но по крайней мере попытка.
У меня тут еще по ходу чтения возникло пару вопросов:
* солнечную активность пробовали привязать?
* как насчет атмосферного давления и осадков? Данные тут
Было бы интересно увидеть продолжение.
И да, спасибо =)
Аплодирую стоя…
Изменения в том числе и на Солнце. Этот период аномально низкой активности — самый длинный за всю историю наблюдений. Только недавно на Солнце появилась активность, более года было затишье.
А данных по другим планетам, возможно, достаточно, чтобы зарегистрировать какие-то изменения. Но не для выводов о том, что в Солнечной системе меняется климат.
«учитывать выбросы, шумы» — по уму надо знать чем они наводятся, нет? Как бы это сказать… Моё чутьё подсказывает, что скорее надо co2 учесть, чем пытаться вычесть шумы и выбросы, но это конечно моё только мнение, ссылки на архивы есть, можно меня опровергать ;)
dug было интересно увидеть расчет коэффициента корреляции для данных которые у вас есть. Вот формула.
А где вы брали sib.dat?
В прошлой статье (про кольца) писал пути к файлам, вроде бы, с собой у меня архива сейчас нет. А sib.dat кстати есть, надо?
Но вот использовать термин «корреляция», не используя соответствующие формулы неправильно — по виду графика ничего не видно. Я ждал таких графиков в статье (если графики есть, значит есть уже построенные данные — почему к ним формулу не применить? Даже если лень реализовывать, вывел столбик чисел двух графиков в txt, открыл экселем и считай что надо)…
Найдем корелляцию между этими функциями (мне приходится сурово парсить bmp, чтобы вытащить поведение функций, у вас эти данные есть и так, графики-то вы как-то строили). Дальше www.wessa.net/rankcorr.wasp онлайн можно посмотреть цифры, полученные после парсинга бмп, ну или в экселе.
Коэффициент корреляции — 0.33. Это говорит о большем, чем прикидка корреляции по виду графика на глаз. Связь слабая.
Но связь слабая, это ж очевидно? Я понимаю, что типаненаучно, но блин, видно же, оче-видно? :) При этом связь в прошлой статье между разными деревьями гораздо сильнее и это тоже очевидно. Для этого не обязательно считать КК. График визуально это показывает и из него видно больше, чем из КК.
Кстати, интересно, с чем может коррелировать величина паники СМИ по поводу глобального потепления. Не удивлюсь, если будет обнаружена привязка к цене за нефть/газ в каких-нибудь странах, или к чему-нибудь подобному.
Кроме того, есть отличные спутниковые данные по отраженной радиации с шагом в 5 км с американских спутников, вот это может быть даже интереснее анализировать.
С таким подходом «заговор» можно найти где угодно.
только это трудозатратно: надо будет еще ограничить многоугольником саму нашу страну, хорошо бы разбиение делать не на плоскости, а на сфере. но я вижу, свободного времени у вас немало :-)
Так что, к сожалению, хоть работа проделана большая, и за это спасибо, но график температур не говорит не о чем.
Во-вторых было бы надо — можно зафиксировать перечень станций и посмотреть. А начиная с 50-го года состав станций и не изменялся.
Жду продолжения.
Спасибо, было интересно.
Но есть еще один аспект. Деревья «питаются» СО2. Больше СО2 — шире кольца (ИМХО). А если функция расчета средней температуры это не учитывает, то на выходе получаем рост температуры при увеличении СО2 при анализе спилов.
помимо этого есть еще несколько факторов влияющих на ширину годовых колей, автор не изучив основ, бросился считать.
Результат закономерен.
автор кстати там трижды оговаривается, например про тот же цо2
Вы простите меня, но я физик по образованию и не понимаю, как можно считать хотя бы не зная погрешности измерений.
А в данном случае Вы не знаете:
1)какую погрешность вносит изменение СО2
2)дендрохронологические измерения имеют региональные поправки, СО2 и по регионам отличается,
3)есть еще поправки, я поверхностно знаю тему
дело в том, что если погрешность близка хотя бы 20% все Ваши подсчеты не стоят ломанного гроша.
Пример
Вы строите прямую по точкам 1,2,3,4,5 и видите линейный рост.
А оказывается, что надо делать поправку на некую функцию и в результате поправок получаем 1,2,4,2,1 параболу
Нет смысла строить график если не знаете методики обработки данных, без этого Вы получите кривую, но для анализа она бесполезна!
Для этого мне придется выучить основы метеорологии, а также дендрохронологии, а затем показать, что и как делать Вам.
К счастью, я не являюсь, человекоподобным интерфейсом для строительства графиков, поэтому сэкономлю свое время.
Я указал на ошибки, как к ним относится Ваше ддело.
Можете убрать бред в черновики, а можете и дальше чувствовать себя
Д'Артаньяномматематическим гением и разрушителем мифов.По теме хотелось бы заметить Мне как обывателю плевать на зависимость среднегодовой температуры или тендеции её изменения от углекислого газа в атмосфере.
Меня не устраивает его количество, которое постоянно растёт. Я не дерево. Я хочу дышать чистым воздухом. Я не хочу чтобы рос уровень радиации из-за разрушения озонового слоя. Я хочу пить чистую воду. И не нужно никаких графиков чтобы понимать что постоянный рост выбросов в атмосферу её не улучшает.
Кому выгоден климатгейт? России, ОПЕК и Китаю в первую очередь. Это страны чья экономика в ближайшей перспективе заязана на рост количества сжигаемых углеводородов в мире.
Кому выгодна мировая борьба за климат — это развитые страны чьи экономики делают ставки на высокие технологии.
Борьба с глобальным потеплением (независимо от его наличия) это новый рост экономики, рост новых технологий, это новые рабочие места и ещё сто лет благоденствия Америки, ЕС и Японии.
Климатологи говорят что на сейчас нет матмодели способной предсказывать погоду больше чем на несколько дней. Видимо это так. Допустим температура не растёт а снижается. Что из этого следует? Никто не знает. Ни один человек. Может она падает, но какого тогда тают ледники? Говорят что они расли до этого и теперь тают. Возможно. Ни автор исследования ни другие наблюдатели вразумительного объясненя всем наблюдениям дать не могут. Будут мычать про многомерность и т д. И будут правы. Одним словом тема настолько сложная для специалистов что совершенно очевидно то что причины её раскрутки исключительно политические, а точнее экономические.
И меня пугают авторы которые проделывают достаточно сложную работу по очень скучной теме с тем чтобы выложить её малопонятные результаты на хабре или в любой другой части рунета.
Автор хотел сказать: хватит ныть на форумах, берите и что-то делайте. Это можно делать прямо сейчас, прямо в нашей долбаной реальности, не выходя из дома.
А никто кроме рунета и не ноет. ООН даже не рассматривала вопрос о верности или точности измерений, выводов и т д. Они просто выделили ещё 100 млрд развивающимся странам на энергосбережение.
Кто-нибудь в мире готов дать голову на отсечение что среднегодовая температура на планете падает? И что она не вырастет в следущем году сразу на 10 градусов? А пиковые температуры как себя ведут?
Этот вопрос в компетенции людей владеющих очень сложным математическим аппаратом. Их выводы или рассуждения вы никогда обычному человеку объяснить не сможете.
Публиковать бессмысленные срезы наблюдений — это скорей всего заказ с целью формирования общественного мнения в конкретно регионе. Возможно заказ не проплачен конкретно автору, но тогда автор сам жертва очень простой и понятной политической инсенуации.
С климатом, конечно, все сложнее. И одним из важнейших параметров, который влияет на распределение климатических зон, является увлажнение. А оно вычисляется за вегетационный период. Вы интуитивно это почувствовали, взяв температуру за определенные месяцы, но на самом деле все несколько сложнее.
Климатическое зонирование в свою очередь определяет растительность (лиственный покров, урожайность, и т.п., в частности размер колец).
Вы проделали большую работу. Но в отечественных источниках действительно крайне много пропущенных данных, и необходима тщательная вычистка таблиц прежде чем можно будет приступить к вычислениям.
Что касается потепления, то даже на Ваших графиках видно, что в период 1980-1990 температура идет вверх. Именно об этом периоде и говорят как о начале потепления. К сожалению, общая кратковременность периода наблюдений не дает исключить тренды малых и больших периодов, поэтому и выводы такие спорные: есть антропогенное влияние или нет?
У меня была возможность поработать с данными, я поработал. Ещё и в нескольких разрезах. Мне по большому счёту всё равно что это за данные — о температуре или о количестве запросов (простите). Будет интереснее ;)
Известный пример: SPSS позволяет вычислить корреляцию между ростом и полом. Из чего можно сделать вывод, что чем выше вырастает человек, тем в большей степени его пол становится мужским (а в детстве любой человек — на 80% женщина).
Построить график можно какой угодно, а можно сделать и еще более красивую визуализацию (почему бы не использовать manyeyes.alphaworks.ibm.com/manyeyes/). Только как интерпретировать, то что мы теперь видим? Без знания природы данных и предметной области будут получаться странные вещи.
Что бы выяснить действительный тренд глобальной температуры, надо снимать данные с равномерно расположенных по земному шару метеостанций хотя бы в течении 5 лет с интервалом хотя бы в 1 час. Тогда уж можно будет вести какой-то анализ.
Букв, к сожалению, много.
мне кажется, инфу читать надо, прежде чем обсуждать