• Парсинг сайтов: как с точки зрения закона выглядит один из самых полезных ИТ- инструментов по миру (и в России)?

      image

      Попробуем рассмотреть один из лучших способов сбора информации в интернете – парсинг – с юридической точки зрения. Внимание! Эта публикация касается некоторых обще-правовых вопросов, связанных с парсингом, но не является юридической консультацией. Статья является продолжением публикации "10 инструментов, позволяющих парсить информацию с веб-сайтов, включая цены конкурентов + правовая оценка для России"

      Парсинг – это автоматизированный процесс извлечения данных с чужого веб-сайта. Но стоит разобраться, действительно ли это один из самых полезных инструментов ИТ для сбора данных или ловушка, влекущая неизбежные проблемы с законом? Парсинг мог бы непременно стать одним из совершеннейших способов добычи контента по всей сети, но к нему прилагается оговорка: с этим инструментом очень сложно разобраться с юридической стороны. Парсинг – это процесс, посредством которого автоматизированная часть программного обеспечения извлекает данные веб-сайта, «прочесывая» многочисленные страницы. Поисковые системы как Google и Bing делают нечто подобное, когда индексируют веб-страницы, а парсинговые механизмы идут дальше и преобразовывают информацию в формат, который позволяет этими данными пользоваться, заносить в базы или электронные таблицы.
      Читать дальше →
    • 10 инструментов, позволяющих парсить информацию с веб-сайтов, включая цены конкурентов + правовая оценка для России

        image

        Инструменты web scraping (парсинг) разработаны для извлечения, сбора любой открытой информации с веб-сайтов. Эти ресурсы нужны тогда, когда необходимо быстро получить и сохранить в структурированном виде любые данные из интернета. Парсинг сайтов – это новый метод ввода данных, который не требует повторного ввода или копипастинга.

        Такого рода программное обеспечение ищет информацию под контролем пользователя или автоматически, выбирая новые или обновленные данные и сохраняя их в таком виде, чтобы у пользователя был к ним быстрый доступ. Например, используя парсинг можно собрать информацию о продуктах и их стоимости на сайте Amazon. Ниже рассмотрим варианты использования веб-инструментов извлечения данных и десятку лучших сервисов, которые помогут собрать информацию, без необходимости написания специальных программных кодов. Инструменты парсинга могут применяться с разными целями и в различных сценариях, рассмотрим наиболее распространенные случаи использования, которые могут вам пригодиться. И дадим правовую оценку парсинга в России.
        Читать дальше →
      • Мотивированные установки из США (Android) — обзор вариантов, статистика, мнение

        Предисловие: Я — самый обычный индивидуальный разработчик Android-приложений, одно из своих детищ я уже давненько опубликовал в Google Play, после чего усердно над ним работал. В какой-то момент я решил — «Почему бы не попробовать продвинуть приложение?». Для этого я принялся усердно читать различную литературу на эту тему. В последствии пришел к идее попробовать купить мотивированные установки (о том, что это читайте ниже). Было принято решение продвигаться конкретно в США. Собственно далее — то, что у меня получилось, что я попробовал.
        Читать дальше →
      • Продвижение игр на Google Play



          У моих игр довольно много загрузок на Google Play (больше 20 млн.), наверное поэтому, меня часто спрашивают про продвижение. Если кто-то из разработчиков пишет мне в личку или почту, готов поспорить, все сведется к вопросу: «Как ты продвигаешь свои игры, чувак?». Все думают, что у меня есть какой-то секрет (нет). Ладно, давайте я попробую сформулировать то, что знаю и будем надеяться, что это будет кому-то полезно. По крайней мере, я смогу давать ссылку на этот пост.
          Читать дальше →
          • +18
          • 7,8k
          • 3
        • Комплексное руководство по онлайн маркетингу. День 67. Ретаргетинг и с чем его едят

          • Tutorial
          Так сложилось, что между первым и вторым днём из обещанного цикла об онлайн-маркетинге образовалась дыра в 66 дней. Но оставим её на совести невероятного скачка биткоина, из-за которого у меня от волнения потели ладошки и еще более невероятного аукцион щедрости от Apple, который решил устроить обмен 15 дюймовых Macbook Pro 2012 года на модели 2015/2016 и даже 2017 годов. И несмотря на то, что прямо сейчас я активно занимаюсь подготовкой к запуску трёх новых онлайн-проектов, обещаю, что следующие публикации будут выходить намного чаще.

          А пока — давайте оставим лирическое отступление, и перейдем под кат, где плотно поговорим о ретаргетинге. Вернее о том, как повальное большинство интернет-предпринимателей теряет деньги на ровном месте!

          image
          Читать дальше →
        • Измеряя Telegram

          «Пока что возможности по полноценной аналитике каналов
          ограничены, в первую очередь, возможностями BotAPI Telegram»

          канал «Телеграм-маркетинг», 28 июня 2016

          Всё хорошо c каналами в Telegram, кроме одного — их слишком сложно искать. Ссылки можно найти практически везде,…

          Например:
          В интернете:

          1. С помощью роботов, индексирующих одни каналы в поисках других каналов (1.1, 1.2)
          2. В каталогах каналов, пополняемых владельцами каналов (2.1, 2.2)
          3. На биржах каналов (3.1, 3.2)
          4. В тематических подборках каналов (сюда тоже залетало: 4.1, 4.2)
          5. В списках каналов (5.1)
          6. В Гугл Доке с каналами о каналах (взял из @raskruti: 6.1)

          В мобильном приложении:

          7. Скачав приложение с каталогом каналов (под iOS: TeleBots)

          В самом Telegram:

          8. На каналах о каналах (8.1)
          9. Используя ботов для каналов (9.1)
          10. На каналах о каналах о каналах (10.1)

          … но процесс поиска остаётся далек от совершенства. Без единого источника данных и нормального аналитического инструментария сложно не просто найти, но даже понять:
          1. Насколько каналы распространены в России?
          2. Насколько каналы пользуются популярностью и что такое «популярность» в числах?

          На такие вопросы нужно отвечать цифрами. В интернете удаётся разыскать только разрозненные данные. Что-то есть на Rusbase (тут), в Ведомостях (тут), в Твиттере (тут), но вся эта информация получена не систематически и сложно верифицируема.

          Данная статья посвящена анализу рынка русскоязычных Telegram-каналов. Проделана работа от сбора обобщенного (недостоверно полного) списка русскоязычных каналов до кроулинга их содержимого и построения метрик. Анализировались только те каналы, которые продвигаются в большом интернете, указывая ссылки на себя. Такое поведение – индикатор каналов, создаваемых для большой аудитории.

          Читать дальше →
        • Реклама помогает поддерживать и развивать наши сервисы

          Подробнее
          Реклама
        • N способов использовать Ahrefs при проведении поискового аудита

          Вступление


          – Что он читает? – спросил соседа путник.
          – Вступление для своей книги. Мы собираемся здесь каждое
          воскресенье и показываем наброски.
          – Вы писатели?
          – Мы начинаем.

          Мария Фариса. Авантюрин

          Сервис Ahrefs — незаменимый инструмент в работе SEO-специалиста. Поэтому не удивительно, что описанию его функционала посвящен ряд обзоров. Но, к сожалению, большинство статей ограничивается перечислением основных функций сервиса, которые доступны в справке, без углубления в детали. И тут на ум приходит диалог из «Алисы в стране чудес»: «Знакомьтесь! Алиса, это пудинг! Пудинг, это Алиса!», который можно перефразировать как: «Знакомьтесь! Читатель, это Ahrefs! Ahrefs, это Читатель!». Но как Алисе хотелось отрезать кусочек пудинга и попробовать его, так и сервис хочется именно «опробовать».
           
          Согласитесь, всегда интереснее читать не инструкцию, пусть даже пересказанную своими словами, на блендер/дрель/MozBar/AutoCad/Ahrefs и т.д. (выберите, что ближе), а конкретные «рецепты» использования техники/сервиса/программы. Например, «8 блюд для ребенка, которые можно приготовить при помощи блендера».
           
          В данном обзоре мы хотим поделится опытом применения в компании Укрконтекст Ahrefs для проведения аудита сайтов, как на старте работы с проектами, так и для плановых повторяющихся проверок. В качестве примеров мы приводили характеристики сайтов, которые не продвигаются агентством. Данный сервис мы используем для следующих разделов поискового аудита:

          • съем исходных параметров сайта;
          • проверка ссылочных параметров;
          • подбор семантического ядра;
          • анализ конкурентов.
          Читать дальше →
          • +10
          • 1,9k
          • 4
        • Аналитические инструменты: обзор выгодных предложений

            Суровая реальность такова, что при всем многообразии решений для поисковой оптимизации, аналитики мобильных приложений и трекинга пользовательских действий команды зачастую вынуждены делать свой выбор по принципу «что дешевле». Но даже и при таком подходе можно обзавестись неплохим инструментарием, если повезет поймать момент. Сегодня мы представляем вниманию читателей небольшую подборку аналитических сервисов, которые в данный момент предлагают свои услуги бесплатно или на льготных условиях. В список вошли как совсем молодые проекты, так и крупные, известные игроки на рынке. Не упускайте шанс!



            Megaindex

            О Megaindex знают, пожалуй, все, кому приходилось заниматься продвижением площадки. Этот сервис и в обычных обстоятельствах можно считать подарком для масс — настолько богатый набор инструментов для SEO оптимизации и веб-аналитики он предлагает на бесплатной основе. Однако за пределами даровой досягаемости до сих пор оставался ряд интересных инструментов для сравнительного анализа с конкурентами, работы с поисковыми запросами (топы по запросам, кластеризация), трекинга внешних и исходящих ссылок, выгрузки входящих ссылок на любой сайт, оценки видимости и цитируемости площадок. В данный момент руководители проекта предлагают хабровчанам заманчивую возможность опробовать расширенный пакет услуг без доплаты и на совершенно законных основаниях. Чтобы автоматически подключить тариф Lite на следующий месяц, просто перейдите по волшебной ссылке, зарегестрируйтесь и наслаждайтесь доступом к полному набору приложений от компании.
            Читать дальше →
            • +12
            • 4,8k
            • 1
          • Комплексное руководство по онлайн маркетингу. День 1. Три пути для масштабирования бизнеса

              Позавчера я написал статью, в которой пообещал опубликовать цикл из 60 публикаций о маркетинге и не только. Но как всегда, все самые важные дела я почему-то откладываю на последний момент, поэтому исполнение обещания в очередной раз выпало на ночь.

              Под катом вы найдете вводную, но чрезвычайно важную концепцию, с которой меня познакомили во время стажировки в небольшой американской консалтинговой компании. И несмотря на то, что она основана на 3х приемах для масштабирования бизнеса (а не маркетинга), я убежден, что хороший маркетинг должен формироваться вокруг неё.

              Ах да, еще одно: в прошлой статье меня упрекали за портрет Сталина. Мне казалось, что лучше Сталин, чем все вот эти вот котики, но вы сами попросили.
              image

              P.S. Так как эта публикация вводная — в футере будут публиковаться ссылки на все опубликованные статьи из этого цикла.
              P.P.S. Под катом много картинок.
              Читать дальше →
            • Критично ли влияние скорости на результаты сайта и что с этим можно сделать?

                Нередки случаи, когда, заказывая дизайн сайта для своей компании, Большой Босс перелистывает предложенные варианты, указывает перстом на полюбившийся, и далее разработка становится на жесткие рельсы. Главный критерий — «чтобы красиво, чтобы понравилось». Аналитический ресурс Skilled.co подготовили интереснейшую инфографику о том, что скорость — также действительно очень важна. А сервис мониторинга сайтов ХостТрекер предлагает инструмент для оценки лично Вашей ситуации.


                Читать дальше →
              Самое читаемое