company_banner

Яндекс использовал нейросеть и научился прогнозировать осадки с точностью до минут

    Сегодня я вновь хотел бы поговорить с вами о погоде. Вновь — потому что почти год назад мы уже о ней разговаривали: я рассказал про нашу технологию построения прогнозов Метеум, основанную на метеомоделировании и машинном обучении. Теперь я хочу поговорить не о той погоде, которая будет завтра, на следующей неделе или в новогоднюю ночь, — а о той, которая уже установилась за окном, и о той, которая наступит в ближайшие несколько часов.



    Под катом я расскажу о том, что такое наукастинг и как мы над ним работали.
    Текущая погода влияет на огромное количество наших ежедневных решений. Если за окном сильный снегопад, мы раздумываем, как нам поехать на работу — на машине или на общественном транспорте. Глядя в окно, решаем, брать ли с собой зонт и нужна ли непромокаемая куртка. Даже стоя на выходе из метро в проливной дождь, мы гадаем, когда он кончится. Если через пять минут — то можно подождать и прийти на встречу в сухом костюме, а если через полчаса — то придётся либо промокнуть, либо опоздать. Для всех этих небольших, но важных решений нам нужна максимально точная информация о том, какая погода сейчас и как она будет меняться в ближайшей перспективе. Вы наверняка сталкивались с ситуацией, когда в одном районе города светит солнце, а в другом льёт проливной дождь с грозой.

    Как это делалось раньше


    Поскольку текущая погода важна нашим пользователям, именно об этом параметре сервиса люди чаще всего пишут в отзывах, включая негативные. Казалось бы, нужно всего лишь посмотреть за окно и показать на сервисе правильную погоду. Но описать ситуацию за окном в любой точке страны или мира — задача не из простых.

    Во-первых, метеостанции расположены далеко друг от друга и измеряют параметры в строго определённые промежутки времени. Казань, например, является огромным городом, а метеостанций там всего две: в центре и в аэропорту. Температура и другие показатели в этих точках и в соседних с ними районах могут кардинально различаться.

    Во-вторых, из-за ошибок в начальных условиях прогнозные модели тоже не могут служить надёжным источником информации о фактической обстановке на улице.



    Да и требования к сиюминутному прогнозу значительно выше: всегда можно выглянуть за дверь и проверить, правы ли метеорологи.

    Ещё раз напомню, что в Яндекс.Погоде используется технология Метеум, основанная на метеорологических моделях и машинном обучении. Построенная на базе Матрикснета и обученная на больших массивах данных, наша формула оптимальным образом комбинирует подаваемые на вход факторы. В итоге прогноз получается заметно более точным.

    А чтобы показать на сервисе нынешнюю погоду, мы (помимо прогнозов из математических моделей) подмешиваем в формулу измерения, недавно полученные на ближайших метеостанциях. Такой подход существенно лучше других вариантов решения поставленной задачи. Точность определения погоды в ближайшие часы сильно возрастает, и это неудивительно, поскольку мы учитываем наиболее оперативную и точную информацию. Наши метрики существенно возросли по сравнению с нашими же собственными прогнозами, построенными до того, как мы начали подмешивать свежие данные с метеостанций. В мае этого года, сразу после их добавления, мы расширили зону действия Метеума на всю Россию, а в ноябре-декабре — на Украину, Беларусь и Казахстан.

    Но даже комбинированный подход из моделей и данных, склеенных при помощи Матрикснета, не даёт желаемой точности. Особенно это касается осадков — одного из самых важных для пользователя параметров. Основная причина такого несовершенства — недостаток данных. Метеостанции, как уже было сказано, расположены далеко друг от друга. Используя взятые со станций данные, вы не можете сообщить пользователю, что ему стоит подождать 10 минут в подземном переходе и проливной дождь на улице сменится переменной облачностью. Где можно достать ещё какие-нибудь данные о состоянии атмосферы?

    Нужно больше данных


    Самым последним достижением науки и техники в области мониторинга осадков является метеорологический радиолокатор. Примерно раз в 10 минут он строит трёхмерный снимок атмосферы в радиусе 200 километров от своего местоположения по горизонтали и до 10 километров по вертикали. По принципу действия радиолокатор очень похож на авиационный радар, только на снимке видны не самолёты, а области атмосферы, где есть капли воды размером более 50 микрометров. Если такие капли и правда есть, то, скорее всего, из облака, в котором они находятся, выпадают осадки. Вот как выглядит сам радар и результаты его работы:





    В России уже сейчас существует сеть метеорологических радаров достаточно высокого качества. Они установлены в наиболее населённых и интересных с метеорологической точки зрения регионах. Область покрытия радаров показана на карте:



    Кстати, в незакрашенной области проживает более 40 процентов населения России. Данные радара имеют пространственное разрешение 2 на 2 километра на пиксель, что позволяет описывать текущую погоду с точностью до небольшого микрорайона.

    В этом году Яндекс получил официальный доступ к измерениям, которые проводятся на сети радиолокаторов Росгидромета. С тех пор мы интенсивно работали над добавлением этих данных в наши продукты.

    Сегодня мы готовы представить технологию наукастинга — краткосрочного гиперлокального прогноза осадков. Наукастинг — слово, пришедшее к нам из английского языка, сложенное из двух слов: now и forecasting, то есть дословно «прогноз на сейчас». А на самом деле через продукты Яндекса теперь можно узнать о распределении осадков во временном промежутке от двух часов назад до двух часов вперёд.

    Наш новый продукт основан на свёрточных нейронных сетях. С точки зрения математики задача формулируется следующим образом: необходимо по последовательности радарных снимков и релевантной метеорологической информации предсказать будущие карты осадков с временным разрешением в 10 минут на 2 часа вперёд.

    Для решения этой задачи мы выбрали свёрточную сеть определённой архитектуры. Каждый свёрточный слой сети представляет собой последовательный набор фильтров, автоматически выделяющих признаки из набора данных, подаваемых на вход. Совокупность таких слоёв позволяет выделить большое количество признаков, по которым можно судить о том, что будет происходить с осадками в выделенной области. Начнутся они или, наоборот, закончатся? Или же просто повысится их интенсивность? Всё это можно определить.

    Чтобы настроить фильтры свёрточной сети и веса между ними, мы формируем обучающую выборку достаточно большого объёма — сейчас она состоит более чем из 800 000 кадров с каждого радара, прошедших предварительную обработку. Обучение нейронной сети происходит на кластере из GPU.

    Вот как выглядит эта сеть:



    Архитектура сети


    В целом, движение осадков можно разделить на две компоненты: перенос области с осадками по направлению ветра и изменение формы области. За каждую из компонент отвечают отдельные ветви нейросети, что позволяет гибко подбирать параметры оптимизации.

    Что касается data flow — вот как его упрощённо описывает автор, nes8bit:
    Данные радаров и наукастинга, которые передаются на бэкенд погоды, сначала интерполируются с азимутальной проекции, центром которой является радар, на регулярную широтно-долготную. Затем на полученной сетке строятся контуры, описывающие области осадков в зависимости от интенсивности и типа. Контуры хранятся в виде полигонов в PostgreSQL. Часть данных, например с описанием облачности, хранится в растровом виде в том же PostgreSQL: это позволяет быстро отвечать о значениях определённых переменных в конкретной координате, одновременно сохраняя консистетность с векторизированным представлением в виде полигонов.

    Метрики


    Мы оцениваем точность продукта и настраиваем наш нейросетевой прогноз погоды по нескольким типам метрик.

    Во-первых, нам важно, насколько правильно мы предсказали каждый следующий кадр нашего прогноза. Мы используем покадровую метрику f-score, которую можно определить как «точность предсказания текущего снимка».

    Во-вторых, нам интересны метрики для тех точек пространства, где в ближайшее время произойдёт изменение погодного состояния. С помощью них мы узнаём самое главное: насколько точно определено время начала или окончания дождя и, соответственно, насколько хорошо срабатывает сценарий, при котором пользователь ждёт окончания осадков. Мы находим нужные точки и фиксируем соответствия и несоответствия между прогнозом и реальностью в каждый момент времени.

    Вот как выглядит f-мера для первой метрики в зависимости от горизонта:



    Надо сказать, что если рассчитать такие же строгие метрики для регулярного прогноза любого провайдера, значения будут не больше 0,1, а чаще — очень близки к нулю. Это связано как с различиями в самой методике прогнозирования, так и с отсутствием большого и важного источника данных.

    Мы выбрали типы метрик, ориентируясь на то, как новые данные будут представлены в продукте. На главной странице Яндекс.Погоды теперь есть сообщение об осадках в ближайшие два часа. Из этого блока можно узнать, что осадки закончатся с минуты на минуту или начнутся в течение получаса. Нажав на сообщение, вы увидите, как области с осадками распределены в вашем районе. На этой же карте отмечены и все остальные области в зонах действия радаров.



    Вместо послесловия


    Скажу ещё пару слов о том, о чём говорил в самом начале. Технология, которую мы представили сегодня, разработана специально для того, чтобы сделать жизнь наших пользователей чуть более комфортной. Гиперлокальный краткосрочный прогноз осадков поможет людям принимать решения, основываясь на информации из принципиально нового источника — сети метеорологических радаров. Данные об интенсивном снегопаде с детализацией до районов вашего города помогут узнать о количестве снега на дорогах, а предупреждение о проливном дожде позволит не простудиться весной.

    Сейчас это может показаться невероятным, но скоро наступит лето и все мы будем кататься на велосипедах, роликовых коньках, гулять в парках, отдыхать на природе. И с сегодняшнего дня можно строить планы на ближайшее время, глядя не на низкий или высокий полёт ласточек, а на страницу и приложения Яндекс.Погоды. Один всем вам знакомый персонаж уже так и делает.

    Яндекс 580,63
    Как мы делаем Яндекс
    Поделиться публикацией
    Комментарии 92
    • +1

      Я правильно понял, что у автора этой потрясающей технологии до сих пор нет инвайта на Хабр? ;) Хотел ему плюсануть в карму и тут такой облом. Не пора ли что-нибудь предпринять по этому вопросу?

      • +2
        Если бы у меня не было инвайта на Хабр, я не смог бы опубликовать этот пост :) А то, что инвайта нет у прекрасного nes8bit, мы обязательно поправим.
        • 0

          Да, именно его я и имел ввиду ;) Спасибо!

          • +1
            Fixed.
            • +2
              Благодарю :) Я всего лишь раскладываю данные для быстрого доступа, за интересные технологии огромное спасибо imalion
            • 0

              А кто может иметь доступ к этим данным? Просто мне интересна эта тема, некоторое время назад, я собрал небольшой комплекс для принятия данных с метеоспутников (небольшая антена, RTL-SDR, raspberry pi 2, программа для построения и обработки данных со спутника), но предсказать движение воздушных масс, достоверно не получается, возможно мало данных, ну или алгоритм не очень хороший (((((, хотелось бы попробовать дать ему больше данных и посмотреть на его поведение.

            • 0
              Но ведь для регистрации на Хабре не нужен инвайт или вы не про то?
              • 0

                Без инвайта не получится быть полноценным пользователем: https://habrahabr.ru/info/help/registration/

                • 0
                  Полноценным пользователь станет только после написания хотя бы одной статьи. До тех пор карму выше 4 не получить, а с ними и возможности голосования за карму и комментарии.
                  • 0

                    Статью нельзя написать, не получив инвайт. Разве что в песочницу.

                    • 0
                      По-моему, мы говорим об одном и том же. Ведь статья — это один из способов получения инвайта. Но без статей пользователь тоже не будет полноценным.
            • –17
              А что вам мешало раньше использовать такое? Хайпа не было?
              • +9
                Наличие хайпа — штука важная, но данные и технологии их обработки еще важнее. Мы работали над получением данных и над методами прогнозирования, и вот теперь готовы представить их пользователям.
                • +2
                  Вот да, то что получилось данные выцарапать — это просто отлично. Пытался сделать такое на графических данных ДМРЛ с meteoinfo простой интерполяцией. И оно даже работало, но потом росгидромет доканал беларусов и они дополнительно усложнили получение данных, а дальше играть в щит и меч уже не было никакого желания.
              • +1
                Это замечательно. Вот ещё бы в документации на API был бы чёткий и понятный прайс-лист на доступ к данным, а служба поддержки бы озвучивала условия подписки, а не отделывалась шаблонными ответами…
                • +1
                  Пожалуйста, напишите мне в личку — расскажу и про прайс-лист и про условия подписки.
                • 0
                  Скажите, каким образом вы обрабатываете данные по высоте? Которые до 10 км.
                  • +1
                    За выпадение осадков на уровне земли отвечают процессы на разных высотах. Имея информацию о вертикальной структуре облаков, наши алгоритмы лучше прогнозируют наличие и интенсивность осадков в каждой точке карты. То есть, эти данные важны для прогноза и мы используем их при обучении и применении нейронной сети.
                  • +11
                    А почему Гидрометеоцентр не использует такие методы?
                    • –1
                      Теперь данные метеорадаров, которые по идее должны быть бесплатны и публичны, будет продавать яндекс.
                    • –1
                      Есть у нас проект: мини-метеостанция с детектом осадков (в т.ч. снега) в реальном времени и смешной ценой.
                      Делали-делали, но, похоже, не успели.
                      Если Яндекс и правда даёт заявленную точность – это, конечно, здорово.
                      • –22
                        Лучше бы научились выдачу правильно формировывать
                        • +6
                          думаю это случится сразу после того, как вы определите термин «правильная выдача» :)
                        • 0

                          А что же с городами, в которых нет таких радаров?

                          • +3
                            Мы работаем над покрытием той территории, где нет радаров — точность прогноза там также возрастет. Однако, самый точный прогноз будет все-таки там, где такие данные есть.
                          • +1

                            Проблема в том, что предсказывать нужно не только осадки, но и действия пользователя. Мне, например, иногда не удаётся сходить в кино из-за дождя. Бывало весь день планируешь пойти на определённый фильм, а затем, как раз перед выходом, начинается дождь. И заканчивается тогда, когда уже поздно дёргаться. Знал бы заранее, что будет дождь, вышел бы на полчаса раньше и погулял бы эти полчаса по торговому центру. Но даже если будет возможность заранее узнавать о дожде, то это всё равно не поможет. Кино не настолько важно, чтобы заморачиваться и смотреть прогноз заранее. Проще не пойти в случае дождя. А вот если бы кто-то мог предсказать, что я намерен пойти в кино, и директивным образом сообщил мне, что я должен выйти на полчаса раньше, потому что будет дождь, то это совсем другое дело.

                            • 0
                              Google Now уже подсказывает, когда выдвинуться в сторону аэропорта, если увидел авиабилеты в почте.
                              Ничто не мешает Яндексу, когда у него будет свой «ассистент», увидеть билеты в кино, посчитать дорогу с учетом пробок и погоды, и подсказать, когда выходить. Только вот самого ассистента у Яндекса пока нет.
                              • 0

                                Бобук уже экспериментирует на эту тему в домашних условиях.

                            • +18
                              Метеоданные должны бы быть открытыми. В том числе и с метео радаров. Тогда пользователи могли бы сравнить точности разных прогнозов. А пока мы видим монополию на данные Гидромета и Яндекса.
                              • –1
                                +1
                                • +4
                                  Вы знаете, про открытость данных я с вами полностью согласен. Однако, если вам все-таки нужен будет гиперлокальный прогноз осадков на ближайшее время, вы всегда можете воспользоваться нашим сервисом. Мы очень много работали именно над точностью.
                                  • 0
                                    Гиперлокальный прогноз требует проверки его связи с реальностью, в данном случае необходимо гиперчасто измерять осадки по густой сетке. Планируете такие работы?
                                    В таких измерениях мы бы с огромным интересом поучаствовали на любых условиях!
                                    • 0
                                      Да, у нас есть мысли про то, как отвалидировать выпадение осадков на уровне земли на очень частой сетке. Сейчас мы просто стараемся как можно более точно предсказать следующую последовательность радарных снимков.

                                      А вы — это кто?
                                      • 0
                                        ЮНЦ РАН, Ростов на Дону.
                                        Кстати самые мощные дождевые ячейки на территории России это как раз у нас тут рядом.
                                        По вашей работе есть уже публикации?
                                        Есть ли сайт у Метеум?
                                        Можно ли к вам попасть пообщаться если будем в Москве?
                                • 0
                                  Сейчас это может показаться невероятным, но скоро наступит лето

                                  Вот эту фразу я не понял: к чему она? Скоро — это когда? В июне или в январе? :)
                                  • 0
                                    С долгосрочными прогнозами такое не прокатит
                                    • 0
                                      вообще долгосрочные прогнозы это гадание на кофейной гуще.

                                      Например в СССР из за обмеления Каспия собирались поворачивать северные реки, но потом чуток климат изменился и в Каспии уровень воды стал повышаться.
                                      Тоже самое прогнозирование глобального потепления при крупном извержении вулкана может быстро сменится ледниковым периодом с последующим глобальным потеплением.
                                    • +3
                                      Интересная и полезная новость, спасибо!
                                      Скажите, при таком высоком разрешении по времени, не кажется ли вам, что сервис должен видоизмениться в «погода на маршруте». Человеку гораздо проще ориентироваться в прогнозе, если ему программа напишет:
                                      • по пути на работу начнется сильный снегопад, лучше ехать на метро, а не на трамвае
                                      • или по пути на работу сильный ливень на подходе к офису, оденьте резиновые сапоги
                                      Я и сейчас иногда жалею, что нет сервиса погоды по пути следования. Казалось бы, несложная математика, а когда нужно прогноз погоды на 400км маршруте наложить на время — в уме не особо и сделаешь. А с таким разрешением как у вас — и прогулка велике на 30 км уже потребует решения такой задачи.
                                      • 0
                                        +100500!
                                        Пробки в Я.Картах есть, добавить еще слой погоды с уточнением по проложенному маршруту.
                                        • +1
                                          Насчет видоизмениться — это вряд ли, на нашем сервисе много других пользовательских сценариев. Но про такую фичу, разумеется, думаем.
                                          • 0
                                            Скорее всего снегопад повлечёт столкновение пяти машин по пути на работу и будут серьёзные пробки.
                                          • 0

                                            Объясните почему все прогнозы погоды текущей температуры занижают температуру на 3-4 градуса стабильно? То есть если на термометре -12, то показывает -16 и при чем это не только мое мнение. Это что погрешность модели из-за нейчета глобального изменения климата?

                                            • +4
                                              Нам, безусловно, есть над чем работать. Однако, описанная вам ситуация скорее всего совсем не связана с глобальными изменениями климата. Дело скорее всего в том, что градусник, который висит у вас за окном, греется в теплом воздухе, нагретом зданием. Разница между показаниями градусника и настоящей температурой воздуха как правило и составляет те самые 3-4 градуса.
                                              • 0

                                                Я не имел ввиду ваши прогнозы, я пользуюсь другими прогнозами, но по разным сайтам и разным приложениям стабильно занижены температуры по сравнению с термометром, причем так было не всегда, а с каких-то пор, хотя термометр у меня давно один и тот же и опять же не только я так считаю. Вы сами можете сравнить показания прогнозов с собственными термометрами. Кстати осадки тоже все сайты и прогнозы стали врать с каких то пор, може в этом году так стало точно не помню. А раньше всегда достаточно точно получал прогноз температуры и осадков на день и по часам с сайта http://www.pogodaonline.ru

                                                • 0
                                                  есть разница в температуре в городе и за городом, разница зависит от размера города, базовой температуры и т.п. как раз зимой 3..6 градусов, подозреваю раньше это учитывали или стали учитывать по другому или для других.
                                            • 0
                                              Попал в те самые 40% не покрытые радарами (
                                              Из статьи сделал вывод — без радаров нейросеть работает неважно)
                                              • +1
                                                Круто, что в моем дефолт-сити Петрозаводск воткнули метеорологический радиолокатор. Печально, что установка его была после авиакатастрофы =/

                                                Ну да ладно, не об этом.
                                                По приложению и погоде:
                                                • Почему был выбран промежуток именно 2 часа? Обусловлено какой-то точностью?
                                                • Крутое предложение выше — погода по маршруту. Особенно актуально в больших городах или длинных поездках на том же вело. Можно тогда и маршруты составлять так, чтобы не попасть под осадки
                                                • Почему-то в виджете в центре уведомлений мне пишет, что в 14:00 осадки, а в приложении — осадков не будет в ближайшие 2 часа.(UPD: спустя 10-15 минут пользования приложением данные о снеге стали отображаться);
                                                • На карте осадков было бы удобно сделать какой-то механизм возврата на текущее время, например полистал вправо-влево, хочу быстро вернуться на текущее время. Например двойной тап по панеле со временем — перенос на «Сейчас»;
                                                • Нравится приложенеи Wunderground. У них очень удобно сделан таймлайн погоды, отображается дата, время, осадки, ветер, температура. На я.п кроме осадков и температуры информации нет. И то температура разбита какими-то огромными промежутками. Непонятно, то ли данных нет, то ли отображается температура из прогноза утро/день/вечер/ночь.


                                                Я.П более легкое приложение, приятно выглядит. Допилить бы функционал только и WU можно удалять.
                                                • 0
                                                  Спасибо за комментарии про юзабилити. Отвечу про 2 часа — да, пока именно внутри этого интервала точность прогнозов достаточа для продукта. Работаем в том числе над тем, чтобы это время увеличить.
                                                • 0
                                                  Хотелось бы поподробнее про архитектуру сети.
                                                  как и какие слои используются
                                                  • +1
                                                    А будет ли бот в телеграме аки mskweathergif?
                                                    • +3
                                                      Открыл сайт, посмотрел на сообщение «В ближайшие два часа осадков не ожидается», посмотрел на то как валит снежище за окном, закрыл сайт.
                                                      • +1
                                                        А вы геолокацию сайту указали после открытия?
                                                        • +1
                                                          О, интересно. А где вы находитесь?
                                                          • 0
                                                            То же самое сейчас происходит на северо-востоке Москвы. Валит снег, но нет, ваша нейросеть уверяет что в ближайшие 2 часа осадков не будет, хотя на карте с запада на Москву надвигается огромная туча.
                                                            • 0
                                                              Вы знаете, удивительно что таких комментариев так мало.

                                                              У меня ровно такие же ассоциации. Смотрю погоду на телефоне только чтобы узнать температуру вот прям сейчас, а вот прогнозы все практически бесполезны. Территориально Северо-Запад Мск и ближайшая область.
                                                            • +1
                                                              Аналогично: Саратов, 10 утра — за окном снег просто валит, домов не видно, а на сайте (у нас, правда, город в «серой» зоне) — абсолютная ясность чуть не сутки вокруг текущего времени. Геолокация нормально вроде сработала.
                                                              Ради справедливости отмечу, что снег через пару часов прекратился и иногда всё же было видно солнце.
                                                            • 0
                                                              В тексте много раз упоминается забота о пользователях. Но где же открытое API для этих пользователей? Мне оно нужно для своего устройства на arduino, которое отображает полезную информацию, в том числе погоду.
                                                              • 0
                                                                Если не ошибаюсь, это третий пост о Метеуме?
                                                                Он чем-то похож на AlphaGo — там тоже читаешь-читаешь описания и все они звучат примерно одинаково: «вот есть такая большая и сложная шайтан-машина, работает она как-то примерно так, но подробностей не понимает никто, быть может даже включая авторов».
                                                                • +1
                                                                  Ага, год назад Яндекс научился прогнозировать погоду с точностью до дома, а теперь вот с точностью до часа. Жду через год статью как Яндекс научится прогнозировать погоду с точностью до градуса. А все что мне нужно вероятность и объем осадков на сегодня или N дней вперед, половина прогнозов вообще их не показывает (зачем такой прогноз погоды?), а остальные предсказывают чуть лучше чем интуиция.
                                                                  • 0
                                                                    Ну это же принцип метеонеопределённости Гейзенберга! Ты либо знаешь место, либо время, либо температуру. Яндекс вот умудрился знать место и время, а температуру где-нибудь ещё посмотрите!
                                                                  • 0
                                                                    Сравнение с AlphaGo ко многому обязывает, придется соответствовать :) Что до понятности описаний, то тут ту хум хау. Кому-то и анонса достаточно, чтобы найти и прочитать статьи в нужном направлении, а кому-то и открытх исходников не хватит.
                                                                    • 0
                                                                      Анонс это анонс — он краткий. А метеумные статьи по объему вполне тянут на нормальные обзоры, но состоят почти целиком из buzzwords.
                                                                      • 0
                                                                        Я не до конца разобрался к чему у вас вопросы — к объему статей или к лексикону, но в любом случае обсуждать это не готов.
                                                                  • 0
                                                                    Планируется ли вами использовать данные по атмосферному давлению с телефонов пользователей приложений вида Яндекс-Погода, Яндекс-Карты?
                                                                    • 0
                                                                      Мы уже начали работать с этими данными. Там достаточно много шума, но есть и сигнал.
                                                                      • 0
                                                                        В моей практике большие ошибки наблюдаются при поездках в машине и метро (вероятно из за принудительной вентиляции) — плюс/минус 5мм.рт.ст.

                                                                        Достаточно заметный шум есть при перемещении между этажами (1мм.рт.ст. на 10.5 метров высоты).

                                                                        В целом же датчик давления на Samsung Galaxy Note 2 ведет себя очень прилично.
                                                                    • 0
                                                                      Ну наконец-то.
                                                                      Были времена, когда снимки метеорадаров можно было почти в реальном времени в интернете посмотреть. Летом в таком большом городе как Москва это было очень удобно: перед выходом с работы (грозы чаще по вечерам) проверяешь по снимкам, не надвигается ли дождь, и принимаешь решение переждать или ехать. А потом актуальные снимки закрыли.
                                                                      Так что я очень рад, что в каком-то виде снимки вернутся и более того, будут учтены в прогнозах.
                                                                      • +9
                                                                        Яндекс, давайте Вы не будете обманывать людей. Год назад я уже писал про ваш «Яндекс.Метеум», где доказал, что статистически Ваш прогноз ничем не отличается от прогнозов Фореки, которую вы раньше использовали. Это чистый пиар ход. Сейчас вы снова наступаете на те же грабли. Вот последний ваш эпичный провал с 19 по 28 ноября. В красных квадратах все значения, которые не оправдались, в скобочках фактические значения. Общий уровень точности 22%. Извините, но когда на 3-е сутки допускают ошибку в 13 градусов, это уровень до компьютерной эпохи, когда прогнозы составляли классическим синоптическим методом. А если честно, то это уровень дна.
                                                                        image

                                                                        По самой статье. Где фактура? Где оправдываемость ваших прогнозов? Неужели сложно опубликовать эти данные? Или публиковать нечего? Зачем вы пытаетесь изобрести велосипед??? Данные локаторов уже давно используются во всех мезомасштабных моделях семейства WRF, особенно в США.
                                                                        Другой вопрос. Прогноз осадков с точностью до минуты. ЧТО? Яндекс, быть может вы и можете в нейронные сети, но не можете в метеорологию. Прочтите хотя бы курс синоптической метеорологии, а потом заявляйте, что можете делать прогноз осадков с точностью до минуты. Сначала вы пудрили людям мозги своими прогнозами с точностью до дома, потом изменили «с точностью до района». Сейчас вы уже лезете в «прогноз с точностью до минуты». Когда ожидать прогноза с точностью до секунды?
                                                                        Статья не имеет никакого отношения к науке и метеорологии, а в очередной раз пытается пропиарить свой «суперкрутой» сервис.
                                                                        • –4
                                                                          А давайте-ка я не буду с вами дискутировать, кажется это вполне бессмысленно.

                                                                          В вашем посте про Метеум, как и в этом комментарии, достаточно много громких заявлений, а с той самой фактурой как-то не очень. Например, на нашем сайте вы смотрите погоду в центре города, но не говорите о том, где находится метеостанция, с которой взялись фактические значения. Да и даже независимо от этого, попытка вычислить «общий уровень точности» по одному прогнозу представляется мне достаточно рискованным статистическим упражнением.

                                                                          График точности прогнозов в статье у меня, кстати, есть, но оставить только его было бы наверное неправильно, людям ведь и про радары интересно и про то, какой у нас продукт получился… Странно, в общем, что вы выбрали такой стиль общения, вероятно это как-то связано с целью самого комментария.
                                                                          • +8
                                                                            У нас город 25 км в диаметре, это не Москва где высоко воздействие антропогенного фактора. Я уже неоднократно писал, что на 1 градус температура может изменяться на сотни километров, а Вы мне про центр города рассказываете. Наша курганская метеостанция находится на расстоянии 10 километров от центра, это никак существенно не влияет на распределение температуры. Вот я даже сейчас смотрю и вижу у Вас погрешность в 4 градуса, а в соответствии с методикой оценки оправдываемости Гидрометцентра, это считается уже пролётом. Допуск 3 градуса. У вас 4. Прогноз не оправдался при заблаговременности на 2 часа. О каких осадках может идти речь, когда Вы даже приземку не можете спрогнозировать.
                                                                            image
                                                                            У нас сейчас идёт выхолаживание воздуха. Ваш Метеум не умеет рассчитывать это выхолаживание.
                                                                            Вы заявляете, что попытка вычислить «общий уровень точности» по одному прогнозу это не совсем корректно, да, это так. Нужна большая выборка. Но все остальные модели смогли просчитать этот прогноз, а Вы — нет! Вот что самое главное. Сырые данные моделей (GFS, ECMWF, NAEFS и прочие) оказались точнее, чем распиаренный Яндекс.Метеум.

                                                                            Яндекс, просто покажи свой уровень точности. На одни сутки, на вторые, третьи, четвёртые и так вплоть до десятых. А уже потом заявляйте, что Вы лучше всех остальных. Мне, например, известно, что точность Gismeteo для Кургана на одни сутки по температуре составляет 92%, далее точность падает на 3% каждые сутки. Выборка за 60 дней и более. А где Ваша статистика, Яндекс? Сделайте, хотя бы по Москве. Оцените уровень других ресурсов, а уже затем делайте выводы. Цифры, факты, эмпирика.
                                                                            • 0
                                                                              Есть доля истины в вашем комментарии) Мне волей-неволей приходиться знать точный прогноз, обычно на сутки-двое вперед, дорога у меня практически никакая возле дома и вопрос часто в том, смогу я проехать по ней или нет. Уже несколько лет в поисках самых точных прогнозов по осадкам, но и температура частенько требуется. Постоянно отслеживаю сервисы Яндекса, Gismeteo ,Weather и разные мелкие сайты. И как-то Яндекс не радует точностью — то попадает то нет, уж не говоря об отсутствии такой полезной штуки как почасовой прогноз)
                                                                              Мой выбор Gismeteo и Weather, второй мне нравится даже больше — почасовка там есть с вероятностью осадков и она реально работает, хотя изредка бывают сильные просчеты.
                                                                              • +4
                                                                                Рекомендую Вам Foreca и intelicast. Работают на модели европейского центра среднесрочных прогнозов (ECMWF), которая считается лучшей в мире. Точность была проверена статистикой, на одни сутки в районе 95% по температуре. Кроме того, в конце ноября модель обновилась.
                                                                                • 0
                                                                                  кстати да, как писал выше — wunderground(он же intelicast) данные выводит более точные и при этом на более большой срок. Сейчас попробую их Storm. Сравню по удобству приложения. WU неудобен тем, что со временем кэш в 400+мб уходит и нет кнопки очистить.

                                                                                  Foreca ранее не слышал, посмотрел, погода да, точная, как у WU, но приложение настолько деревянное.
                                                                        • 0
                                                                          Вчера вечером (с 19 до 21 часов) в Петербурге Я.Погода на сайте и в приложении на айфоне утверждала, что осадков не предвидится, в то время, как я пол часа ехал сквозь мелко моросящий снего-дождь.
                                                                          Это так и задумано, или «ваша программа не работает»?
                                                                          • 0
                                                                            Нет, ничего такого мы не задумывали. Радар и правда может не видеть мелкие осадки любой фракции, и иногда с этим нельзя ничего поделать.
                                                                            • 0
                                                                              Те радары, которые работают на длине волны 5.5 см (Метеор-500С и ДМРЛ-С) не увидят. А старые МРЛ-5 (Калуга, Тверь, Екатеринбург), работающее длине волны на 3.2 см скоррее всего эти метеообразования увидят.
                                                                              Вот еще метеорадар в СПБ http://www.kontur-niirs.ru/meteo/. Работает на 3.2 см.
                                                                          • +2
                                                                            Петербург, центр. Всю ночь идет мелкий мокрый снег.
                                                                            Всю ночь ваша погода показывает «В ближайшие два часа осадков не ожидается»
                                                                            На карте осадков пусто.
                                                                            • 0
                                                                              Foreca, кстати, показывает все правильно: «Overcast and light snow»
                                                                            • 0
                                                                              Во-первых, метеостанции расположены далеко друг от друга и измеряют параметры в строго определённые промежутки времени.

                                                                              У народа куча «домашних» метеостанций, но эти данные «нахрен никому не нужны». Есть и недомашние.

                                                                              У меня (http://shatura.laser.ru/Thermometer/index.html ) семь лет непрерывно меряет температуру, последние пару лет — и давление, можно мерять влажность, но лениво.
                                                                              Во Фрязино примерно столько же работает онлайн термометр с барометром
                                                                              • +2
                                                                                Я конечно извиняюсь, но Вы вообще проводите соответствие своих прогнозов с реальной ситуацией? Полигон прогноза осадков на ближайшее время кардинально меняется каждые 5 минут. Но это ещё не самое худшее. Меняется прогноз на пройденное время. Т.е. к примеру полигон, который был в 10:00 так же изменится, если мы смотрим на него в 10:30, в 11:00 (т.е. в прошедшем времени)

                                                                                • 0
                                                                                  Замечательно, что детализация метеума растет. Это смогут использовать и транспортные компании при учете логистики и расходов на транспорт — отправляя в рейсы в хорошую погоду.

                                                                                  Делюсь интересным наблюдением: Для некоторых ниш, по аналитике сайта, постоянно замечаю рост конверсии в заказ и посещаемости именно в непогоду.

                                                                                  Вопрос: Планируется ли повышение ставок в рекламе на Директе относительно изменения погоды? Вопрос совершенно серьезный, т.к. зависимость прямая.

                                                                                  Скорее всего так происходит потому, что в непогоду пользователи склонны откладывать передвижение и возвращаются к ПК и смартфонам, чтобы заказать доставку чего-либо и не ехать.
                                                                                  • 0
                                                                                    Ух-ты, даже в Оренбурге радиолокатор есть! А где он, интересно, находится, интересно было бы на него посмотерть
                                                                                    • 0
                                                                                      Самара, пос. Мехзавод (это район города), квартал 7 отсутствует напрочь, хотя есть 5, 6, 15 квартала и даже с точностью до дома. А седьмого нет совсем(( и это не самый маленький квартал. Например, 6-й гораздо меньше.
                                                                                      • 0

                                                                                        Вы жалуетесь на отсутствие данных, а почему не начать собирать данные краудсорсингом с это делает тот же Weather Underground с сетью персональных погодных станций? Все это дело возможно популязировать и построить большую сеть по России и/или СНГ.

                                                                                        • +3
                                                                                          «Мы получили (купили) от РосГидромета метеорадары, научились наносить эти данные на Яндекс.Карты и у нас получилась фигня, которую метеорологи называют наукастинг».
                                                                                          Собственно, вот весь смысл статьи.

                                                                                          anivaros, Yemsalat не благодарите http://weather.rshu.ru/radar/.
                                                                                          • 0
                                                                                            Класс! Радар. Не знаете, где достать такой же для Москвы и области? Раньше был на сайте Gismeteo — сейчас нет.
                                                                                            • 0
                                                                                              Для Москвы и области есть радар Крылатское http://meteoinfo.by/radar/?q=RUKT. Радар (тип МРЛ-5, старенький) делает наблюдения раз в полчаса. Но для слежения за грозами нормально.
                                                                                          • 0
                                                                                            В Оренбурге резко континентальный климат. Когда можно будет узнавать температуру и осадки районов?
                                                                                            • 0
                                                                                              Осадки можно тут: http://meteoinfo.by/radar/?q=RUDO.
                                                                                              • 0
                                                                                                Во первых, «Для вашего региона радар не доступен.
                                                                                                Администрация сайта приносит свои извинения за причиненные неудобства.»
                                                                                                Во вторых, хотелось бы знать не только осадки
                                                                                            • 0
                                                                                              Пару раз проверил — за окном ни снежинки — на радаре снег. Похоже, нужно вводить корректировки от наблюдателей на местах…
                                                                                              • 0

                                                                                                Вот такой у меня вопрос, который не связан c постом не напрямую, а скорее по касательной, больше как к экспертам применения нейронных сетей к снимкам изображения поверхности.


                                                                                                Вот прямо сейчас идет соревнование на kaggle.com по сегментированию спутниковых снимков.


                                                                                                Не подскажите, какой литературой мне надо обчитаться, чтобы понять, какую архитектуру сети и какой post processing в этой задаче применять?

                                                                                                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                                                Самое читаемое