Геолокация без GPS (часть 1)

wifi
Представляю публичную базу геопозиций телефонных вышек и Wi-Fi роутеров. Мне понадобилась стабильная и безлимитная база для приложения Android, в котором нужна была точная геолокация из всех доступных источников (GPS, Wi-Fi, Mobile). Пришлось создать базу данных положений сотовых вышек и Wi-Fi. Всех заинтересовавшихся прошу под кат.

Краткое описание работы приложения:
  1. Этап 1. Раз в несколько минут приложение запускает сбор информации о том, что «видно» мобильному телефону (GPS, Мобильные вышки, все видимые Wi-Fi) и сохраняет в локальную базу данных;
  2. Этап 2. Телефон раз в половину часа синхронизируется с удаленным сервером и сообщает свое местоположение для каждой записи из локальной базы. Каждый раз телефон узнает «а где он?», отправляя данные о мобильных вышках и Wi-Fi на сервера API.

Алгоритм определения местоположения:
  • Если виден GPS и данные «свежие» доверяем им;
  • Если есть Wi-Fi, отправляем запрос на получение положения Wi-Fi. Если найдено положение — доверяем ему;
  • Если есть мобильная станция, получаем ее положение и доверяем этому положению;
  • Если все неудачно получаем, положение по ip, к сожалению, очень не точно.

Самое интересное — это получение координат по Wi-Fi и Cell ID (идентификатор мобильной станции).

К сожалению, я не нашел ни одной публичной обширной и актуальной базы, которая предоставляла бы API без ключей и лимитов на количество запросов. Пришлось создать свою базу. Точнее две — для Wi-Fi и мобильных вышек.

Определение местоположения по Wi-Fi (оригинальная статья).

Здесь я представлю основные выкладки. Для использования API не нужно никаких ключей, не существует ограничений на количество запросов: https://api.mylnikov.org/geolocation/wifi?v=1.1&bssid={wifi bssid}
{wifi bssid} — Bssid точки доступа (MAC адрес сетевой карты точки доступа).

Точность хранимых координат около 155 метров. Количество записей около 10.3М+. База постоянно обновляется и дополняется, но я буду благодарен, если кто-нибудь предложит дополнительную открытую базу.

Определение местоположение по сотовой станции мобильного оператора (оригинальная статья).

Опять же представлю выкладки: https://api.mylnikov.org/geolocation/cell?v=1.1&mcc={mcc}&mnc={mnc}&cellid={cellid}&lac={lac}
  • mcc — Integer (Код страны);
  • mnc — Integer (Код телефонного оператора);
  • cellid — Integer (Код телефонной станции);
  • lac — Integer (Код региона или Area, Location).

Точность данных — около 1100-1600 метров. В базе 10M+ вышек. Средний возраст записи — 4 недели.

Скрипт API написан на Python, база данных - MySQL.

Надеюсь, кому-нибудь данная база будет полезной и кто-то сможет использовать данную базу как сервис.

Свободу информации!

UPD. В ответе API была грамматическая ошибка в слове latitude. в сокращении это поле получилось «lan». Спасибо за указание ошибки. В данный момент показываю два поля для обратной совместимости. Сообщество, что в данном случае лучше сделать? Новый метод с корректным полем или в ответ два одинаковых поля возвращать? Большое спасибо за указание моих недочетов!
Поделиться публикацией
AdBlock похитил этот баннер, но баннеры не зубы — отрастут

Подробнее
Реклама
Комментарии 28
  • 0
    А opencellid.org вам чем не угодил?
    • +2
      Хотя о чём это я, ведь это opencellid база и есть — проверил несколько случайных mcc/mnc/lac/cellid из разных точек мира, данные совпадают чуть более чем полностью.
      • 0
        дополнительно замечу по opencellid — инфо по Крыму там теперь не достоверно.
        • 0
          Там есть лимитация на количество запросов для API ключа
          В opencellid.org у очень большого количества точек не корректное поле range.
          Нет многих станций. Моя база более полная
          • +6
            Пришлось создать свою базу.

            Просто это как-то некрасиво. Вы лично объездили с приёмником WiFi/GSM/UMTS/Whatever + GPS и сделали 10М+ измерений? Если да, снимаю шляпу, посыпаю голову пеплом, удаляюсь.
            Если нет, извините, но вы создали не свою базу, а скомпилировали(вероятно из нескольких источников) + сделали какое-то API. И у всех этих источников есть лицензии (например, OpenCellID database CC-BY-SA 3.0)
            • +1
              Разумеется, база не моя.
              Мне нужны были эти данные. Они лежат в открытом доступе в интернете.
              Возможна эта база будет кому-то полезна. Я не собирался ее кому-то продавать я хотел помочь сообществу.
              • +3
                Вы бы помогли сообществу, аккуратно атрибутировав лицензионный статус своих собственных данных вместо сваливания всего в кучу в стиле 90-х, и не нарушая условия уже имеющихся свободных проектов.
                • +1
                  Ок. Если это так критично. Я обязательно при следующем обновлении системы опишу лицензионные основания.
        • +4
          И ещё:
          {"result":200, "data":{"lan": "-33.8388560", "radio": "UMTS", "samples": 2, "mcc": 505, "mnc": 1, "lon": "117.1607460", "cellid": 59115663, "range": 0}}
          

          lan — это от какого слова? lantitude? :)
          • 0
            Да ошибка спасибо.
            Это поле уже использют некоторые приложения. Я добавлю еще одно поле lat. Это была грамматическая ошибка.
          • +3
            10 миллионов записей в блоге big data? Улыбнуло)))
            • +3
              Ну для кого-то это big, для кого-то BIG, для кого-то поржать :) Когда-то давно мне такие количества снились только в кошмарах.
              • 0
                Я не нашел более подходящего хаба.
              • +2
                Может чего не понимаю, но Android же всё это делает из коробки!
                • +2
                  Да андроид предоставляет геолокацию, но для моего дома и работы показывал неправильное положение.
                  Данные можно получить только когда включен пункт «разрешить геолокацию».
                  В данном случае можно получать координату в обход разрешений пользователя, если он разрешит получать данные о сетях и wifi.
                  В приложении о котором я писал в начале получается целый список видных точек доступа Wi-Fi и происходит квази-триангуляция. В данный момент код очень сырой, поэтому пока не представляю пока метод получения положения по нескольким Wi-Fi.
                • 0
                  Неотключаемое определение координат по WIFI — зло.
                  Пару лет назад был у меня с собой в отпуске мобильный роутер с местной симкартой. В итоге на смартфонах был либо интернет через эту точку доступа, но координаты всегда показывались на старте пути, либо я отключал вайфай и получал правильные координаты через GPS, но не было интернета. Google Maps пользоваться было очень неудобно :)
                  • +1
                    Неотключаемое определение координат по WIFI — зло.

                    Почему? Батарея сильно не садится.
                    • –2
                      Я ж написал, почему — смартфон запоминает координаты точки доступа WiFi, и потом думает, что он находится всё ещё там же, хотя я проехал уже 500 км дальше.
                      Технология полезная, но должна быть возможность её отключить.
                  • +1
                    Вот более зрелый вариант от Mozilla — github.com/mozilla/ichnaea
                    • +2
                      Спасибо. Добавлю как источник данных.
                      • +1
                        Есть ли у вас в планах добавить Глонасс как источник данных?
                        • 0
                          Как вы это себе представляете?
                          • 0
                            В статье вы написали, что данные с GPS вы считываете, и, если они свежие, берёте их.
                            Если на android-устройстве есть и Глонасс-трекер, почему бы не считывать данные с него?
                            • +2
                              Я не старался раскрыть конкретный алгоритм работы приложения в статье. Под «GPS» я рассматривал точный источник гео позиции встроенный в android. Если я получал данные от него, то доверял его данным.
                              • 0
                                Ясно, спасибо :)
                    • –1
                      А кто-нибудь знает приложение для Android, которая умеет брать данные из OpenCellId и показывать меня на карте без необходимости отсылания всех этих данных в гугл?
                      • 0
                        добрый день!

                        а саму бд можно ли как-то скачать?
                        • 0
                          Можно. Об этом подробно будет написано в ближайшее время во второй части статьи.

                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.