company_banner

О погоде на завтра

       В начале весны загадочный, но реально существующий ChipMan вместе с несколькими коллегами побывал в Росгидрометцентре, где несколько часов общался с начальниками Росгидромета и его вычислительного центра и разглядывал суперкомпьютерные стойки.

    image

       Ниже — краткий экскурс в историю метеорологии и то, как работает Росгидромет и другие современные метеорологические службы.

       У метеорологии большая история — первым метеорологом, по-видимому, был Аристотель, написавший одноименный трактат об изменениях погоды; в последующие века наблюдением за погодой и систематизацией знаний о ней занимались во всех концах планеты. Однако метеорология как мы ее знаем — а это динамическая метеорология, то есть прогнозирование погоды при помощи математических уравнений гидромеханики и термодинамики — возникла сравнительно недавно.

       Термину «прогноз погоды» (“weather forecast”) мы обязаны вспыльчивому капитану Роберту «Горячий кофе» Фитц-Рою, почти пять лет плававшему вместе с Дарвином во время второго путешествия Бигля в середине позапрошлого века. Фитц-Рой обнаружил, что характеристики погоды связаны с давлением воздуха, а в зрелые годы возглавил метеорологический отдел в Министерстве торговли, создал несколько моделей барометров и наладил сбор данных от капитанов, приходивших в порт — короче, занялся тем, чем занимаются все современные метеорологи.

    image

       Современные метеорологи пользуются уравнениями норвежца Вильгельма Бьеркнеса, основателя Бергенской научной школы в метеорологии — решение уравнений гидродинамики, выведенных им, и есть не что иное, как прогноз погоды. Практическое применение эти уравнения нашли только в пятидесятых годах прошлого века, когда начали появляться ЭВМ, способные рассчитать их для достаточно большой территории — первый прогноз погоды считался американскими метеорологами на первом же компьютере ЭНИАК при помощи Джона фон Неймана — всю свою историю метеорология не обходится без известных людей.

       Первые отечественные вычисления погоды начались в 1961-м году на ЭВМ М20, выполнявшей 20 тысяч операций в секунду. Время работы М20 на отказ — 15 минут; погодная модель считалась гораздо дольше, поэтому сотрудниками Гидрометцентра приходилось идти на различные ухищрения. Сама специфика погодных вычислений такова, что компьютерная техника используется двадцать четыре часа в сутки, семь дней в неделю, круглый год — погода никогда не перестает меняться, так что Гидрометцентр был и остается серьезной тестовой площадкой для суперкомпьютеров: до середины семидесятых, когда отечественные компьютерные разработки сменились аналогами машин IBM, Гидрометцентр получал первые серийные номера советских ЭВМ.

    image

       С марта прошлого года в Гидрометцентре запущены две суперкомпьютерные системы SGI Altix производительностью 11 и 16 Тфлопс — более чем в миллиард раз быстрее, чем первая ЭВМ М20. Между тем, прогнозы погоды с тех пор не стали в миллиард раз точнее. Точность прогнозирования погоды связана с вычислительными ресурсами, но не линейно. Во-первых, упоминавшиеся уравнения имеют только приближенные решения. Во-вторых, буквально до последнего времени эти уравнения приходилось упрощать, чтобы прогноз погоды рассчитывался достаточно быстро, иначе точный суточный прогноз мог бы считаться пару лет. В-третьих, нерешенной проблемой всегда будет оставаться точность и оперативность измерений метеостанций и зондов — у всех приборов есть погрешности, и понятно, что данные от зондов и погодных станций приходят не одномоментно — сбор и нормализация данных это тоже отдельная непростая задача.

    image

    image

       Тем не менее, точность прогнозов растет. Атмосферные процессы рассчитываются по сетке, наложенной на карту страны. Еще 20 лет назад шаг такой сетки составлял 300 километров — можно было запросто пропустить какой-нибудь небольшой циклон. Этой весной в Росгидромете начали рассчитывать две погодные модели для ограниченных территорий (они называются мезомасштабными), одна из них — трехсоткилометровая область над Москвой. Шаг такой сетки — 3 километра, так что при таком масштабе и наличии вычислительных мощностей можно переходить даже к описанию отдельных физических процессов, что, разумеется, благоприятно сказывается на качестве прогноза.

    image

       Роман Вильфанд, глава Росгидромета: «Сейчас прогноз погоды в Москве можно рассчитывать с шагом в 3 километра, а вообще мы планируем через 3 года увеличить это разрешение до километра. К Олимпиаде в Сочи мы будем стремиться к описанию процессов через полкилометра, потому что в условиях сложной орографии Сочи нужно еще более детальное описание погоды, чем на равнине. Для нас Сочи будет спецпроцектом. Сейчас рано говорить об административном решении, но в рамках наших исследовательских и других программ мы готовимся к Олимпиаде».

       25-27 лет назад качество прогноза погоды на один день вперед было таким же, как сейчас на третий день — заметный прогресс. Современные вычислительные ресурсы позволяют увеличить и период времени, на который делается прогноз. Сейчас прогноз в Росгидромете строится максимум на шесть дней. Успешность подобного прогноза на первый день — 95-96%, в прогнозе на каждый следующий день успешность понижается на 2-3%. К концу этого года в Росгидромете появятся семидневные прогнозы, а дальше с ростом вычислительных мощностей можно будет увеличивать прогнозируемый период. Но не бесконечно. Существует понятие предела предсказуемости, его ввел американский ученый Эдвард Лоренц (американский математик и метеоролог, известный как автор «эффекта бабочки») — согласно этому пределу погоду можно прогнозировать на две, максимум три недели вперед. Связано это с неизбежными ошибками в начальных данных.

    image

       Впрочем, с ростом вычислительных мощностей появляются способы повысить качество прогноза даже при условии ошибок в начальных данных. Если обычный метод составления прогноза называется детерминированным — то есть единожды определенным, то в последние годы популярность набирает ансамблевый метод прогнозирования. Для этого ошибки в начальных данных искусственно «возмущаются», и прогноз погоды рассчитывается не один раз, а 10, 20, 30 — в развитых вычислительных центрах ансамбли считаются до 50-60 раз. Ансамблевый прогноз позволяет составить «дерево вероятностей» — «а что, если погода поменяется в ту или иную вероятную сторону?» Понятно, что подобные вероятностные расчеты возможны только на самом современном суперкомпьютерном оборудовании, и вот там запас для роста совершенно невероятный.

    image

    image

    image

    image

       Сотрудники Росгидромета отмечают, что для того, чтобы перейти к вероятностным расчетам, нужно подготовить и потребителя, привыкшего к крайне простым, детерминированным прогнозам: «+15, солнечно, без осадков», не оставляющим никаких сомнений. 40 лет назад в США внедрялись вероятностные методы прогнозирования, но население их не приняло. Сейчас — возможно, в связи с информатизацией всех слоев населения — реакция на подобные прогнозы более благожелательная.

    image

       Конкурентоспособность отечественной метеорологии во многом определяется технической базой — в те годы, когда производилась закупка и установка нового оборудования, как это было в девяностых с суперкомпьютером Cray Y-MP, мы оказывались в первой десятке метеорологических служб планеты. Как только возникала пауза в переоборудовании вычислительного центра Росгидромета, мы начинали отставать от зарубежных коллег. Однако в рамках Всемирной Метеорологической Организации существует целый ряд стандартов, которые обеспечивают погодную информацию со всего земного шара. Каждая страна старается сделать свой вклад в Глобальную Систему Телесвязи, при помощи которой метеорологи собирают информацию, ведь погода у соседей играет существенную роль в собственном прогнозе. В 90-х, когда в нашей стране по понятным причинам начала разрушаться метеорологическая сеть, американские метеорологи это моментально почувствовали — заметно ухудшилось качество их прогнозов на 4-й…5-й день — особенно при условии отсутствия погодных данных в Сибири. Понятно, что и обратное верно: даже в самые худшие годы мы всегда имели прогнозы США, Великобритании, Франции и других стран — и для потребителя не было резкого скачка качества.

    image

       Вот как комментирует это Владимир Анцыпович, глава вычислительного центра Росгидромета: «Метеорология — необычная отрасль. Не существует проблем, коллизий и сложных отношений между национальными метеорологическими службами, входящими в состав Всемирной Метеорологической Организации. Абсолютно все заинтересованы в том, чтобы каждая национальная метеорологическая служба работала лучше, и наблюдения были точнее».

    + Не стесняйтесь вступать в ряды читателей компании Intel на Хабре.
    Спасибо за внимание, продолжение следует.

    Успехов!
    Intel 110,31
    Компания
    Поделиться публикацией
    Комментарии 73
    • +1
      Какие примерно мощности задействованы сейчас в обсчете погоды? Сколько энергии полгощает монстр выскопроизводительных вычислений?
      • +2
        Нет, я, конечно, понимаю, что это не 5 недель с интел, да и в прошлый раз ответов было мало, но может кто в курсе и подскажет, что ж за монстра держат взаперти погодной арифметики?
        • +8
          Вы генератор случайных чисел никогда не видели?
          • +1
            Вы никогда не видели генератор случайных чисел?
          • +6
            > Сколько энергии полгощает монстр выскопроизводительных вычислений?

            Скоро эти монстры выделяемой энергией будут влиять на саму погоду
            • +5
              Мы не занимаемся жалким предсказыванием погоды, мы её делаем!
              • 0
                Утверждается, что датацентры в США уже потребляют 1.5% электроэнергии от общего потребления.
              • 0
                Если мне не изменяет память, то этот суперкомпьютер имеет 2Tb оперативной памяти и чуть больше 1000 процессоров.
                • 0
                  Это ж примерно в 2 корзины с блэйдами современными можно уместить.
                  • 0
                    Если взять HP BL2x220 G6 половинной высоты с двойной плотностью, то процессоров там будет 16*2*2 = 64 процессора на корзину. Две корзины соответственно 128 процессоров. Если процессоры Xeon L5640, то для количества ядер умножаем на 6 и еще на 2 для потоков. Итого 768 потоков с учетом HyperThreading.
                    • +1
                      Кстати, именно на таких серверах, правда предыдущего поколения, собран довольно таки мощный HPC кластер в РАН.
                      • +1
                        Есть восьмиядерные Хеоn'ы.
                        • 0
                          Их не ставят в HP BL2x220 G6
                          • 0
                            Тем не менее, они есть. Ну в плане того, что существуют и продаются.
                  • 0
                    фуууф… а я подумал вначале что этим управляют погодой )
                  • +7
                    Есть такой сайтик ведет статистику, кто прогнозирует погоду точнее.
                    Собирает прогнозы, потом собирает данные о фактической погоде.
                    Статистика штука такая… Выводы делайте сами.
                    • +1
                      Я привык к гисметео, хотя на погода.яндекс тоже иногда заглядываю — там посимпатичней )
                      • +2
                        Дизайн сайта, ссылку на который я разместил мне не очень нравится…
                        Я к тому, что точность прогноза у всех хромает.
                        Помню читал где-то байку: На Байконуре подвели статистику прогнозов. И выяснилось, что прогноз «завтра погода будет такая-же, как была сегодня» выигрывал по сравнению с прогнозом синоптиков.

                        P.S. А сервачки в Гидрометцентре красивые.
                        • +1
                          а это не байка.
                          атмосфера имеет инерцию и следовательно погода то же не может меняться моментально.
                          Другими словами: если над территорией циклон, то рассчитывайте на плохую погоду 3-4дня.
                          Антициклон кстати распадётся быстрее, так что 2-3 дня :)
                        • 0
                          На гисметео площадь баннеров и прочей рекламы давно зашкалила за все разумные пределы.
                        • 0
                          Да, уже долго им пользуюсь ))
                          Строю родственникам «вероятностные деревья» ))
                          • 0
                            Однако! Вот как объяснить, что по их статистике Gismeteo в Нью-Йорке за месяц показал самую точную погоду? :) Причем с огромным отрывом

                            В то же время, для других городов, например Новосибирска, ситуация прямо противоположная.

                            Как это понимать? Может они там источники перепутали? =)
                            • 0
                              Да кто их знает, я к этому сайту не имею ни малейшего отношения.
                              • 0
                                Ну я этого и не предполагал. Просто забавно :)
                                • 0
                                  Самому забавно наблюдать когда на какой-то город в США гисметео выдает самый лучший прогноз. (имею непосредственное отношение :)
                                  • 0
                                    А с чем это может быть связано? У нас лучше мат модели, а у них сбор данных (плотность, регулярность, точность)? Иного варианта не вижу.
                            • +4
                              мне вот всегда было интересно, вроде гидрометцентр у нас один, откуда разные прогнозы? Ну зарубежные понятно, они могут по нашим данным считать свои прогнозы, но вот на гисметео и яндексе иногда погода заметно отличается, почему так?
                              • 0
                                Спасибо на добром слове, мы считаем для вас :)
                              • +5
                                Посмотрев на фотки стал больше доверять тетеньке из прогноза погоды :-)
                                • 0
                                  Толку от точных прогнозов, когда на них никто не реагирует? Вот в прошлую пятницу в Киеве ливень обещали, он и прошел. И что, кто-то был готов к такому? monk.com.ua/article.php/Kiev-posle-pjatnichnogo-dozhdja-28-foto-

                                  Так выглядит «река» Лыбидь обычно: lh5.ggpht.com/_PaJW-dVUQD8/SSv5dcMEtvI/AAAAAAAACX8/IRw1HIm9OuQ/s720/lybid.JPG
                                  А так после «дождичка»: i785.photobucket.com/albums/yy140/suraqis/17052010003.jpg

                                  Ведь никто дома не остался, все на работу пошли, хотя и знали, что будет мокро.
                                  • 0
                                    Вы смеётесь? С каких пор работодатели считают достаточно веской причину «боялся попасть под дождь», чтобы не ставить прогул?
                                    • +2
                                      Если такая погода для работодателя не причина отсутствия, то заставьте его возместить стоимость испорченой одежды и обуви. Ну чтоб паритет был. Вы ведь их испортили в связи с «производственно необходимостью».
                                      • 0
                                        Я стараюсь, чтобы у меня не было такого работодателя, с которого мне бы была необходимость получать возмещение стоимости испорченной одежды и обуви. Это уже итальянская забастовка следующим шагом будет.

                                        Проще говоря, я бы просто с утра позвонил и предупредил, что воды по колено, поэтому прийти не могу. И, думаю, не было бы проблем ни с прогулами, ни с работодателем, ни с одеждой и обувью.
                                      • 0
                                        Если местными властями объявлено, что нерабочий день по погодным условиям (точную формулировку не помню), то достаточно практически для всех, кроме оперативных и аварийных служб и то, организуют подвоз к месту работы. По крайней мере в России так было, да и есть, наверняка — ведь бывает «распогодится» так, что только армейский вездеход или танк может (наверное :) ) по центральной улице города проехать
                                  • +3
                                    Спасибо, пофапал. Стоечки красивые.
                                    • +2
                                      Что интересно, за желтые штуки такие на первой фотке?
                                      • +5
                                        красивая решётка стойки. Там дальше видно, как это делается — оно чёрное снаружи, второй слой внутри жёлтый, с другим шагом, так что получается узор.
                                        • –1
                                          т.е. исключительно ради декора и сбора пыли? )
                                          • +3
                                            по идее, меняя относительный угол наклона можно менять зернистость муара.

                                            вот если бы этот муар «съёживался» то напряжеине — было бы мегаэфектно :)
                                          • 0
                                            Решетка вентиляции :)
                                        • –3
                                          а мне вот чото непонятно — почему в блоге Интел?
                                          • +3
                                            «Altix is a line of servers and supercomputers produced by Silicon Graphics, based on Intel processors.» (с) en.wikipedia.org/wiki/Altix
                                            • 0
                                              в статье рассказывается нифига не об этом сферическом процессоре, и даже не про Altix.
                                              • +1
                                                В статье рассказывается о высокопроизводительной системе и ее реальном применении — в рамках программы «5 недель с компанией Intel»
                                                • +1
                                                  а…
                                                  тоесть это просто нетехнические истории о том как Интел помогает человечеству?
                                                  я как-то не очень уловил смысл этой программы (да и не обозначена она тут),
                                                  видение Кати затмило моск :)
                                          • 0
                                            А я смотрю у WindGURU — нравится 3-х часовая точность и неплохая достоверность.
                                            • +1
                                              что-то подсказывает мне, что там тупо интерполяция.
                                              • 0
                                                Хотя вот прямо сейчас у меня за окном идет дождь, а в прогнозе осадков нет. Fail.
                                              • +1
                                                А чего ж такая чушь на выходе получается? По собственным субъективным наблюдениям прогноз сбывается в 50% случаев примерно. Т.е. с таким же успехом можно было бы юзать один супер-точный предсказательный девайс с орлом и решкой.
                                                • 0
                                                  а вот кстати да.
                                                  интересно бы посмотреть статистику точности предсказаний.

                                                  на сайте гисметео «прогнозов» на прошоле нету, а зря.
                                                • +4
                                                  Не особо представляю, как вы с помощью одного подбрасывания монетки рассчитаете минимальную и максимальную температуру, скорость и направление ветра, облачность, количество осадков и т.п.
                                                  А «по субъективным ощущениям» обычному человеку кажется, что прогноз погоды врёт, если, например, написано, что вечером пойдёт дожь, а он в конкретном районе проживания человека, допустим, пошёл там утром. И для него уже всё — синоптики соврали, хотя в остальной части города дождь действительно пошёл вечером, и все остальные параметры были предсказаны верно.
                                                • +2
                                                  Что это за штукенция на предпоследней фотке:
                                                  wtf
                                                  • +12
                                                    Мойдодыр
                                                    • +7
                                                      он смотрит на Грязнулю и повергает её в ужос.
                                                    • НЛО прилетело и опубликовало эту надпись здесь
                                                      • +5
                                                        Видеотерминал связи с шаманом
                                                      • 0
                                                        По поводу вероятностной погоды, здесь хотябы осадки можно в процентах посмотреть. Для москвы тоже есть.
                                                        • +2
                                                          SGi круто выделяется со своими решетками.
                                                          • +4
                                                            Статья интересная, но для Хабра можно было бы побольше технических подробностей.

                                                            Тут кстати можно почитать про систему уравнений Бьеркнеса.
                                                            • НЛО прилетело и опубликовало эту надпись здесь
                                                              • +1
                                                                »Существует понятие предела предсказуемости, его ввел американский ученый Эдвард Лоренц (американский математик и метеоролог, известный как автор «эффекта бабочки») — согласно этому пределу погоду можно прогнозировать на две, максимум три недели вперед.

                                                                Главное что бы научились на сутки предсказывать. У них есть ещё 5 лет. А потом наступит 2015 и либо Док был прав, либо он нагнал Марти.

                                                                • +1
                                                                  Либо они вдвоем что-то в прошлом не то накрутили
                                                                • +1
                                                                  Так когда кончится эта адская жара в Питере? ) Брелок от Йоты перегревается и отваливается стабильно раз в час…
                                                                  • 0
                                                                    Лето засушливое. Зимой выпала чуть ли не годовая норма осадков.
                                                                  • +3
                                                                    Автор в первом же предложении спутал Гидрометцентр России и Федеральную службу по гидрометеорологии и мониторингу окружающей среды, то есть Росгидромет. Первое является одной из частей второго. Так вот, вычислительные системы — это Главный радиометеорологический центр Федеральной службы по гидрометеорологии и мониторингу окружающей среды (ГРМЦ), так же является частью Росгидромета. Гидрометцентр России — научно исследовательское учреждение.
                                                                    • 0
                                                                      ГРМЦ перепутал с ГВЦ из той же структуры. Извините. xo.ly/hcb
                                                                      • –1
                                                                        вы серьёзно читали всё это про погоду? Я только абзацы, касающиеся компьютеров. Ну и стойки разглядывал.
                                                                        • +1
                                                                          С такими названиями, немудрено перепутать =)
                                                                        • +2
                                                                          Да этот рандом всем рандомам рандом! )
                                                                          • +1
                                                                            Представил себе. Тысяча процессоров, крутящая внутри cat /dev/urandom > forecast.db o_O
                                                                            • 0
                                                                              Думаю оборудование меняется, а методы все те же…
                                                                            • НЛО прилетело и опубликовало эту надпись здесь

                                                                              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                              Самое читаемое