2175 читателей, 280 постов
Администрация
Модераторы
Попытаемся собрать в одном месте научно-популярное видео, статьи, документальные фильмы, книги и прочие источники информации.
Научно-популярное whois
- индекс
- 232,98
Что я нашёл интересного на почтовом сервере метеорологов
Все, конечно, слышали про утёкший в интернет архив метрологического почтового сервера, на хабре даже было обсуждение.
Когда у меня наконец выбрался свободный вечер я решил изучить содержимое этого архива, причём специально не искал аналогичных исследований, чтобы они не могли повлиять на ход моих рассуждений (да и не нашлось, по итогам).
Чего там внутри только нет, какие-то pdf, программы на фортране, юниксовые ELF-исполняемые файлы, русские имена/фамилии и даже кириллические комментарии внутри некоторых файлов. Так любопытно мне не было ни в одной компьютерной игре.
Первым делом меня заинтересовали каталоги в духе «yakutia», но остановился я на архиве mbh98-osborn.zip. Внутри него есть каталог TREE и уже в нём – VAGANOV, звучит дружелюбно, правда? Им я и заинтересовался вплотную.
Оговорюсь сразу, что разного рода далеко идущие выводы и моральный аспект вопроса или отложены в постскриптум или вынесены за рамки статьи и не рассматриваются вовсе. Туда же вынесены соображения о тоне переписки и вообще о её содержимом. Всякие любопытные мелочи, на которые я натыкался по ходу дела, я собрал в конце статьи, чтобы они не портили структуру изложения.
Итак архив mbh98-osborn.zip, каталог VAGANOV. Кроме каких-то странных файлов воде eof04.out (27 байт), пары программ на фортране и какого-то совсем мусора там был каталог с говорящим названием ORIG, с чем-то уже более осознанным внутри.
Файл 1.txt.gz
Содержит примерно следующее:
Это ж метеорологи, что первое в голову приходит? Конечно же это данные о температуре. Только не ясно какой: от 50 до 145, в фаренгейтах блин что ли? Было бы странно для Ваганова. В каждой строке явно закодированы данные за десятилетие. Таких файлов там от 1 до 61, все заканчиваются строкой про 1990, ничем другим кроме года это быть ну никак не может, тем более, что написано же по-русски: «Хронология».
Странным показалось то, что данные идут аж с 1700, чё-то рановато для ежегодных наблюдений за температурой, да ещё и в 61-м городе. Ещё непонятно что за код: на названия русских городов не очень похоже: SCH, KHA, KHD, JAH и так далее. Зато есть файл sib.dat, в котором по каждому файлу и соответствующему коду дано следующее:
Вот что такое 69.17 66.49? Похоже на широту и долготу. Места живописнейшие.
Собственно я уже не помню как, из каких-то сопроводительных файлов в соседних каталогах, я нашёл упоминания деревьев, колец и словосочетание «Dendroclimatic reconstruction». То есть, судя по всему, эти данные – измерение годовых колец деревьев, что может являться некой мерой оценки температуры в прошлом. Это вообще много чего объясняет, например то, что в некоторых файлах присутствуют данные аж за 15-й век.
Умозаключения на этот счёт я решил отложить, потому что уже давно в голове застряла мысль, разложить эти данные на плоскости и посмотреть их динамику, ведь самое интересное, что только бывает – это статистика. Первые попытки я сделал в Excel’е, из которых сразу следовало, что посмотреть будет на что. Поэтому я решил всё-таки загрузить все эти данные в СУБД и понастроить всевозможных графиков. Товарищ Ваганов или его коллеги упростили, кстати, задачу и специально для загрузки подготовили данные в файлах типа vag01.dat, где они даны в виде пар «год – значение», так что не понадобилось возиться с разбором этих матриц. Всего записей загружено: 26031.
Графики
Первый график это просто сырые данные из первого файла (ссылка ведёт на саму картинку).
Выглядит шумновато, особенно если пытаться выводить данные по нескольким файлам, поэтому далее я показываю усреднённые значения.
Далее период времени я сократил только до прошлого века, выглядит не менее показательно. Два графика рядом:
Сдвиг по вертикали между ними искусственный, просто чтобы не было тучи пересечений, порядок значений там совершенно одинаковый. Второе дерево, кстати, было взято недалеко от первого (69.5, 67.12). То, что графики похожи – очевидно, а с 1960-го года вообще практически совпадают. Это означает что расстояния между кольцами на разных деревьях (удалённых друг от друга на сотни километров) очень похожи и зависят от неких внешних условий. Упрощая – от климата, ещё упрощая – от температуры.
Строим график по десятку деревьев, все примерно в этом районе:
Наше дерево – первое снизу, и далее наверх. Если заглянуть в sib.dat, то деревья собраны примерно на одной широте, с последовательным продвижением на восток от 69.17 (нижний график) до 93.5 (верхний график). Конечно, есть разные отклонения, но и очевидная зависимость между графиками тоже присутствует. Второй и четвёртый так похожи, что я задумался, не ошибка ли это. Удивительно похожи между собой верхние пять графиков, особенно если вспомнить что это за данные.
Затем я дополнил картину ещё двумя графиками, красный – это среднее по всей выборке, зелёный – среднее по отображённому десятку графиков.
Как и следовало ожидать:
а) усреднённые графики более спокойные;
б) средний по всему региону наиболее пологий и не всегда отражает колебания отдельных графиков и даже колебания среднего по широте.
Уже в процессе написания отчёта пришла мысль взять половину выборки из другой части региона, что я и сделал:
Здесь пять первых деревьев, нижние, те же, что и на предыдущих рисунках, это долгота: 69.17 — 71.4. Другие пять с восточного края страны: 130.5 — 160.46.
Пункт первый: заметно, что первые пять графиков похожи между собой, так же как и вторые пять. Но вот явных зависимостей между графиками первой и второй пятёрок практически не заметно.
Пункт второй: Среднее, построенное по этому десятку графиков во-первых гораздо более пологое и во-вторых имеет явные черты среднего по всей выборке.
Сто одна мелочь
— в большей части файлов архива конец строки – 0x0a, значит какие-то юниксы;
— в файле с описанием мест сбора (sib.dat) данные даны в фиг вообще знает в каком порядке, хотя в итоге есть по всем пунктам;
— широту и долготу я поменял местами, иначе то африка, то океан оказываются, да и не бывает широт больше 90°;
— в нескольких файлах есть пересечения значений по датам, наткнулся на это при загрузке;
— файл с данными №55 – вообще отсутствует, хотя в sib.dat он упомянут и указывает туда;
— самая ранняя запись датируется 1325-м годом, это за двести лет до Ивана Грозного;
— очень похоже, что аналогичные данные доступны ещё по Канаде;
— я ведь возился практически с первым, что попалось под руку, всего там 60 Мб данных в архиве;
— в архиве содержится pdf с отображением оценки изменения температур за последние несколько веков (одна из диаграмм).
Типа выводы
Можно вернуться и посмотреть на первый-второй рисунки: явной тенденции к росту или падению на глаз не видно. Зато отлично видно, что разброс значений в рамках ста лет может быть такой бешеный, что даже явная тенденция в какую-либо из сторон в соседние, скажем, 10-20 лет совершенно ничего не значит и за ростом всегда идёт спад, а за спадом — рост. Кроме того, если посмотреть на график по пяти деревьям за 300 лет (картинка), то там можно чёрта в ступе найти. Например, при желании можно рассмотреть 10-20-ти или более крупные 50-ти летние циклы, свидетельства перемены динамики изменений температуры в последний век, аномалии в год падения тунгусского метеорита и следы присутствия марсиан.
Однако в процессе работы с этими данными я узнал, что с возрастом дерева, динамика зависимости ширины годовых колец от температуры изменяется. В какую сторону и каким образом – я пока не разобрался. Чтобы убрать это изменение существует некая процедура стандартизации данных (Regional Curve Standardization), про которую в интернете можно кое-что найти. Хотя бы по одной этой причине, совершенно очевидно, что никакие существенные выводы относительно температур и климата на основе этих данных делать нельзя. Ещё, например, надо понимать, что размер колец не означает среднегодовой температуры, даже среднюю температуру за лето отражает как-то нелинейно.
Главное, что из этой истории вынес лично я: имея доступ к архиву с такими данными надо не переписку изучать, и тем более не разбор этой переписки на форумах, а смотреть на сами данные, ведь это куда интереснее. Ещё 10-15 лет назад такой возможности ни у кого быть не могло, а сегодня я могу вечером, так вот запросто, посмотреть на данные от 1400-го года. Это же даже представить невозможно как из тех мест надо было добывать эти данные (о чём, кстати в переписке упоминается). И это сегодня, а завтра кто ещё знает чего там кто где добудет.
Когда у меня наконец выбрался свободный вечер я решил изучить содержимое этого архива, причём специально не искал аналогичных исследований, чтобы они не могли повлиять на ход моих рассуждений (да и не нашлось, по итогам).
Чего там внутри только нет, какие-то pdf, программы на фортране, юниксовые ELF-исполняемые файлы, русские имена/фамилии и даже кириллические комментарии внутри некоторых файлов. Так любопытно мне не было ни в одной компьютерной игре.
Первым делом меня заинтересовали каталоги в духе «yakutia», но остановился я на архиве mbh98-osborn.zip. Внутри него есть каталог TREE и уже в нём – VAGANOV, звучит дружелюбно, правда? Им я и заинтересовался вплотную.
Оговорюсь сразу, что разного рода далеко идущие выводы и моральный аспект вопроса или отложены в постскриптум или вынесены за рамки статьи и не рассматриваются вовсе. Туда же вынесены соображения о тоне переписки и вообще о её содержимом. Всякие любопытные мелочи, на которые я натыкался по ходу дела, я собрал в конце статьи, чтобы они не портили структуру изложения.
Итак архив mbh98-osborn.zip, каталог VAGANOV. Кроме каких-то странных файлов воде eof04.out (27 байт), пары программ на фортране и какого-то совсем мусора там был каталог с говорящим названием ORIG, с чем-то уже более осознанным внутри.
Файл 1.txt.gz
Содержит примерно следующее:
Хронология 1 (SCH)
Годы 0 1 2 3 4 5 6 7 8 9
1710 00 00 00 00 59 125 90 90 85 98
1720 76 140 87 79 133 152 103 143 142 122
1730 84 140 96 145 72 111 94 86 60 143
<...>
1980 81 113 133 122 100 75 84 111 95 113
1990 88 00 00 00 00 00 00 00 00 00
Это ж метеорологи, что первое в голову приходит? Конечно же это данные о температуре. Только не ясно какой: от 50 до 145, в фаренгейтах блин что ли? Было бы странно для Ваганова. В каждой строке явно закодированы данные за десятилетие. Таких файлов там от 1 до 61, все заканчиваются строкой про 1990, ничем другим кроме года это быть ну никак не может, тем более, что написано же по-русски: «Хронология».
Странным показалось то, что данные идут аж с 1700, чё-то рановато для ежегодных наблюдений за температурой, да ещё и в 61-м городе. Ещё непонятно что за код: на названия русских городов не очень похоже: SCH, KHA, KHD, JAH и так далее. Зато есть файл sib.dat, в котором по каждому файлу и соответствующему коду дано следующее:
1,SCH,69.17,66.49
2,KHA,69.5,67.12
3,KHD,69.54,67.07
4,JAH,70.58,67.25
…
Вот что такое 69.17 66.49? Похоже на широту и долготу. Места живописнейшие.
Собственно я уже не помню как, из каких-то сопроводительных файлов в соседних каталогах, я нашёл упоминания деревьев, колец и словосочетание «Dendroclimatic reconstruction». То есть, судя по всему, эти данные – измерение годовых колец деревьев, что может являться некой мерой оценки температуры в прошлом. Это вообще много чего объясняет, например то, что в некоторых файлах присутствуют данные аж за 15-й век.
Умозаключения на этот счёт я решил отложить, потому что уже давно в голове застряла мысль, разложить эти данные на плоскости и посмотреть их динамику, ведь самое интересное, что только бывает – это статистика. Первые попытки я сделал в Excel’е, из которых сразу следовало, что посмотреть будет на что. Поэтому я решил всё-таки загрузить все эти данные в СУБД и понастроить всевозможных графиков. Товарищ Ваганов или его коллеги упростили, кстати, задачу и специально для загрузки подготовили данные в файлах типа vag01.dat, где они даны в виде пар «год – значение», так что не понадобилось возиться с разбором этих матриц. Всего записей загружено: 26031.
Графики
Первый график это просто сырые данные из первого файла (ссылка ведёт на саму картинку).
Выглядит шумновато, особенно если пытаться выводить данные по нескольким файлам, поэтому далее я показываю усреднённые значения.
Далее период времени я сократил только до прошлого века, выглядит не менее показательно. Два графика рядом:
Сдвиг по вертикали между ними искусственный, просто чтобы не было тучи пересечений, порядок значений там совершенно одинаковый. Второе дерево, кстати, было взято недалеко от первого (69.5, 67.12). То, что графики похожи – очевидно, а с 1960-го года вообще практически совпадают. Это означает что расстояния между кольцами на разных деревьях (удалённых друг от друга на сотни километров) очень похожи и зависят от неких внешних условий. Упрощая – от климата, ещё упрощая – от температуры.
Строим график по десятку деревьев, все примерно в этом районе:
Наше дерево – первое снизу, и далее наверх. Если заглянуть в sib.dat, то деревья собраны примерно на одной широте, с последовательным продвижением на восток от 69.17 (нижний график) до 93.5 (верхний график). Конечно, есть разные отклонения, но и очевидная зависимость между графиками тоже присутствует. Второй и четвёртый так похожи, что я задумался, не ошибка ли это. Удивительно похожи между собой верхние пять графиков, особенно если вспомнить что это за данные.
Затем я дополнил картину ещё двумя графиками, красный – это среднее по всей выборке, зелёный – среднее по отображённому десятку графиков.
Как и следовало ожидать:
а) усреднённые графики более спокойные;
б) средний по всему региону наиболее пологий и не всегда отражает колебания отдельных графиков и даже колебания среднего по широте.
Уже в процессе написания отчёта пришла мысль взять половину выборки из другой части региона, что я и сделал:
Здесь пять первых деревьев, нижние, те же, что и на предыдущих рисунках, это долгота: 69.17 — 71.4. Другие пять с восточного края страны: 130.5 — 160.46.
Пункт первый: заметно, что первые пять графиков похожи между собой, так же как и вторые пять. Но вот явных зависимостей между графиками первой и второй пятёрок практически не заметно.
Пункт второй: Среднее, построенное по этому десятку графиков во-первых гораздо более пологое и во-вторых имеет явные черты среднего по всей выборке.
Сто одна мелочь
— в большей части файлов архива конец строки – 0x0a, значит какие-то юниксы;
— в файле с описанием мест сбора (sib.dat) данные даны в фиг вообще знает в каком порядке, хотя в итоге есть по всем пунктам;
— широту и долготу я поменял местами, иначе то африка, то океан оказываются, да и не бывает широт больше 90°;
— в нескольких файлах есть пересечения значений по датам, наткнулся на это при загрузке;
— файл с данными №55 – вообще отсутствует, хотя в sib.dat он упомянут и указывает туда;
— самая ранняя запись датируется 1325-м годом, это за двести лет до Ивана Грозного;
— очень похоже, что аналогичные данные доступны ещё по Канаде;
— я ведь возился практически с первым, что попалось под руку, всего там 60 Мб данных в архиве;
— в архиве содержится pdf с отображением оценки изменения температур за последние несколько веков (одна из диаграмм).
Типа выводы
Можно вернуться и посмотреть на первый-второй рисунки: явной тенденции к росту или падению на глаз не видно. Зато отлично видно, что разброс значений в рамках ста лет может быть такой бешеный, что даже явная тенденция в какую-либо из сторон в соседние, скажем, 10-20 лет совершенно ничего не значит и за ростом всегда идёт спад, а за спадом — рост. Кроме того, если посмотреть на график по пяти деревьям за 300 лет (картинка), то там можно чёрта в ступе найти. Например, при желании можно рассмотреть 10-20-ти или более крупные 50-ти летние циклы, свидетельства перемены динамики изменений температуры в последний век, аномалии в год падения тунгусского метеорита и следы присутствия марсиан.
Однако в процессе работы с этими данными я узнал, что с возрастом дерева, динамика зависимости ширины годовых колец от температуры изменяется. В какую сторону и каким образом – я пока не разобрался. Чтобы убрать это изменение существует некая процедура стандартизации данных (Regional Curve Standardization), про которую в интернете можно кое-что найти. Хотя бы по одной этой причине, совершенно очевидно, что никакие существенные выводы относительно температур и климата на основе этих данных делать нельзя. Ещё, например, надо понимать, что размер колец не означает среднегодовой температуры, даже среднюю температуру за лето отражает как-то нелинейно.
Главное, что из этой истории вынес лично я: имея доступ к архиву с такими данными надо не переписку изучать, и тем более не разбор этой переписки на форумах, а смотреть на сами данные, ведь это куда интереснее. Ещё 10-15 лет назад такой возможности ни у кого быть не могло, а сегодня я могу вечером, так вот запросто, посмотреть на данные от 1400-го года. Это же даже представить невозможно как из тех мест надо было добывать эти данные (о чём, кстати в переписке упоминается). И это сегодня, а завтра кто ещё знает чего там кто где добудет.
комментарии (122)
The file sib.dat contains the sequence numbers, three-letter site
code, longitude and latitude for the 61 chronologies from Vaganov et
al, comma-separated. As I typed thesein it would be wise to check
that the three letter code is found in the first line of the file
names sequence number.txt, e.g. 26.txt should be SOB, etc.
это там кто-то кому-то объяснял про данные полученные «от русских»
habrahabr.ru/blogs/popular_science/76482/
Его публикации:
www.cru.uea.ac.uk/cru/pubs/byauthor/vaganov_ea.htm
Вот название одной из них:
Briffa, K.R., Shishov, V.V., Melvin, T.M., Vaganov, E.A., Grudd, H., Hantemirov, R.M., Eronen, M. and Naurxbaev, M.M., 2007
“Trends in recent temperature and radial tree growth spanning 2000 years across northwest Eurasia”
Philosophical Transactions of The Royal Society B, doi:10.1098/rstb.2007.2119
(keywords: climate change; Eurasia; tree-ring chronology; temperature)
www.sfu-kras.ru/en/management/vaganov
можно увидеть знакомые графики.
Кривая наблюдений улетает после ~1980 года в небеса, но остальные кривые даже не пытаются за ней следовать.
Ваганов (Евгений) отмечен как Institute of Forest, Akagemgorodok, Krasnoyarsk, Russia. Его соавтор Шиятов (Степан) отмечен как Institute of Plant and Animal Ecology, Ural branch of the Russian Academy of Sciences, Ekaterinburg, Russia.
Традиционные для борцов с глобальным потеплением выводы живут вот в этом абзаце:
(холодный 17ый век, потепление в начале 18ого, резкое похолодание в начале 19ого и не менее резкое потепление в 20 веке, дошедшее до общего уровня, который не встречался за последние 600 (и возможно 1000) лет.
Верно подмечено что можно получить хоть потепление, хоть похолодание, а если очень надо то и конец света увидеть можно.
ну или хотябы денег заработают ))
Экстраполяция полиномом здесь точно ничего не даст. Потому что интерполировать получиться скорее всего только бикубическим уравнением, а по формулам бикубическим нельзя экстраполировать.
Экспоненциальное сглаживание? Скоринговые модели?
Да и по этой статистике предсказать на 22 года вперёд с приемлимой вероятностью — думаю не получиться.
Мне сразу пришло в голову, что это — осадки. Может быть такое?
Ну и статьи и их графики это одно, а тут я сам взял и посчитал, совсем другое отношение к процессу и результатам.
Они может даже публикуют, просто никто не интересуется. Хотя я давно хочу уже на росстат подписаться и делать выводы, делать выводы. Я вообще для подкаста полез туда что-то найти интересное. У росстата наверняка полно всякой подобной ерунды про всякие опросы, которые толком никто не обозревает.
партииидее Глобального Потепления™Хм… а мне IP-адрес напомнило :) Только зачем он метеорологам, да еще в 18-м веке? :)
ЗЫ. Я вначале не заметил запятую — думал точка :)
З.Ы. Я тоже сначала про IP подумал.
В оригинальной статье ссылка на torrent битая.
и специально написал в выводах — конечно никаких выводов о климате.
Ледники тают, но это многолетние льды. Если посмотреть РЛС зондирование Северного Ледовитого океана, то можно увидеть, что однолетние льды наоборот становятся толще.
Так, что и тут климатологи немного ошибаются.
К тому же уже известно, о том, что Гольфстрим немного похолодел…
Данные эти у меня из моего университета где я учился на кафедре экспереминтальной физики атмосферы.
в любом случае говорить о глобальном потеплении пока рано, как бы похолодание не началось.
ещё кстати не плохо бы сопоставить солнечную активность по годам…
www.youtube.com/watch?v=KUvRCEB28fs х.з. насколько можно доверять этой передаче, но там есть ссылки на ученых, к оторые делали эти исследования. Наверно стоит найти их публикации и почитать.
P.S. Можно попробовать на Oracle BI сделать отчетиков, привязать к карте. Долго, но результат будет стоить того:)
Попробуйте GNUplot. Там такие ascii datники одной строчкой строятся. «plot 'sib.dat' u 1:2 w l»
Крутой анализ :)
Архив переписки с марсианами =)
а ещё фильм «игры разума» на ум пришёл…
Будете ли изучать другие архивы?
Там не Ваш клиат :-)
Вроде специалист пишет (хоть и гринписовец;)…
ну так это там и есть
Неужели Вы и впрямь считаете что способны сделать адекватные выводы без соответствующих знаний и такими школьными методами?
Взяли какие-то цифры, толком даже не зная что это вообще такое, построили по ним красивые графики, добавили среднее для наукообразности и сразу же потрясающий вывод о глобальном потеплении!
И туча восторженных коментов про «исследования» и «анализ»…
Давайте еще бозон Хиггса «поисследуем» на основе данных с LHC. Достать их несложно и графики изумительнейшие будут.
по теме
читать раз: igorivanov.blogspot.com/2009/11/climate-hackers.html
читать два: www.realclimate.org/index.php/archives/2009/11/the-cru-hack/
Вывод из этого поста можно сделать один: автор хорошо умеет строить графики по данным из текстовых файлов и строить по ним среднее.
Спасибо за по-настоящему новое и уникальное на Хабре!
кстати наши СМИ я так смотрю вообще это дело проигнорировали
Вам эти графики не дадут абсолютно ничего, ибо нет методики работы с ними, нет региональных поправок.
На толщину годовых колец сильно влияет процент содержания СО2 в атмосфере, поэтому возникает масса региональных поправок
Dear Keith,
enclosed are data concerning Yamal chronology.
— 2 — general chronology (1248 BC — 1994 AD). I have some little
doubt about 360 BC — may be it is false. It was found that
in chronology I sent you before 155 BC was false ring;
— у меня был шок ) откуда у них данные (даже если они приблезительные) за ТАКОЙ период?
Вот и пара-тройка настоящих выводов, которые, имхо, можно соотнести с показанными графиками (могу и ошибаться — еще не до конца вник в тему)…
Очень, кстати, мило, я тоже на сто лет киваю в своих типавыводах, хотя конечно тонкостей формирования этих размеров колец не знаю.
Хотя если посмотреть правде в глаза — сейчас такое время, что деньги выбивают из всего. Поэтому все это довольно правдоподобно. Действительно, сложно придумать кому выгодно делать такое кроме как хакеру ради удовольствия и просвящения общественности.
В ящике, кстати, тоже пытались говорить, что ГП — вброс, но там это на корню задавлено… Спрос на потепление есть — будут снимать про потепление. А скоро должны будут снять про то, что потепление — вранье — тоже ведь прибыль!
Хотя сам замечал что в чужих данных копаться гораздо интереснее, чем в своих или которые просто в открытом доступе лежат. Оживленность хабра как бе намекает.
Для того чтобы говорить о циклах (50-летних, скажем), требуется провести Фурье анализ. Так как мы имеем дело со случайным процессом, то нужную нам информацию даст преобразрвание Фурье корреляционной функции.