• Основы кодирования аудио с потерями. Тестирование бета-версии Opus 1.3

    image

    0. Об авторе


    Всем привет, меня зовут Максим Логвинов и я студент Харьковского Национального университета радиоэлектроники.

    Меня всегда интересовали звук и музыка. Я сам любил писать электронную танцевальную музыку и мне всегда было интересно, как человеку, который недостаточно хорошо разбирается в высоких материях математики, узнать, что же происходит со звуком в компьютере: как он пишется, сжимается, какие для этого существуют технологии и так далее. Ведь со школьной скамьи и физики я понимал, что звук — он «аналоговый»: его мало того что нужно преобразовать в цифровой (для чего необходимы такие устройства как АЦП), но его нужно как-то сохранить. А ещё лучше, чтобы эта музыка занимала поменьше дискового пространства, чтобы можно было поместить в скупую папку побольше музыки. И чтобы звучала хорошо, без всяких слышимых артефактов сжатия. Музыкант ведь. Натренированное ухо, не лишённое музыкального слуха, достаточно сложно обмануть методами, которые используются для компрессии звука с потерями — по крайней мере, на достаточно низких битрейтах. Ишь, какой привередливый.

    А давайте посмотрим, что из себя представляет звук, как он кодируется и какие инструменты используются для этого самого кодирования. Более того, поэкспериментируем с битрейтами одного из самых продвинутых на сегодняшний день кодеков — Opus и оценим, что и с какими циферками можно закодировать, чтобы и рыбку съесть, и… Собственно, просто почему бы и нет? Почему бы не попытаться описать простым языком не только то, как хранится и кодируется аудио компьютером, но и протестировать один из лучших кодеков на сегодняшний день? Особенно, если речь идёт о сверхнизких битрейтах, где практически все существующие кодеки начинают творить невероятные вещи со звуком в попытках уложиться в малый размер файла. Если хочется отвлечься от рутины и узнать, какие выводы были получены при тестировании нового кодека — добро пожаловать под кат.
    Читать дальше →
  • «Умный» удлинитель с голосовым управлением для гирлянд (esp8266+stm32)

    Привет, Хабр. В прошлом году сделал "умный" удлинитель для управления гирляндами на елочке. Но тогда руки так и не дошли написать об этом статью. Исправляюсь.


    Сама елочка


    image


    На елочке 3 гирлянды, а под ней выводок светящихся белых мишек. Когда гирлянд много, встает вопрос — как ими управлять? Каждый раз залезать под елочку и включать/выключать из розетки нужные гирлянды — сомнительное удовольствие.


    Конечно, продается большое количество "умных розеток" — но с голосовым управлением, и так что бы 4 розетки сразу в одном устройстве, без лишних проводов и блоков питания — таких не встречал.

    Читать дальше →
    • +20
    • 11,6k
    • 9
  • Динамический звук на разрушаемых уровнях Rainbow Six: Siege

    • Перевод

    Привет, меня зовут Луис Филиппе Дион, я главный звукорежиссёр Rainbow Six: Siege и уже семь лет работаю в Ubisoft. До Siege я работал над звуком в таких играх, как Prince of Persia и Splinter Cell. Также я был менеджером по производству собственного звукового движка Ubisoft.

    Прежде чем прийти в игровую индустрию я работал звукорежиссёром нескольких сериалов и фильмов. Сколько себя помню, в качестве хобби я писал музыку и пристрастился к синтезаторам, гитарам и практически ко всему тому, что может издавать звук.

    Меня очень интересовали технические аспекты звука, поэтому я был очень рад тому, что попал в игровую индустрию. Я чувствовал, что в отличие от устоявшейся индустрии кино и телевидения игры дают гораздо больше возможностей в инновациях и технических прорывах. Мы только начинаем раскрывать потенциал интерактивного звука, сведения в реальном времени и новых алгоритмов, и мне не терпится узнать, что же ждёт нас в будущем.
    Читать дальше →
  • Как нарисовать новогоднюю ёлочку в MIDI

    • Tutorial
    Примерно год назад на Youtube стали появляться ролики в стиле MIDI Drawing, в которых ноты используются для рисования. Выглядит это забавно, иногда даже звучит вполне приемлимо.

    Несмотря на кажущуюся сложность, сделать такое по силам даже тем, кто смутно представляет себе отличия септаккорда от трезвучия. Рассмотрим пример создания такого ролика на примере картинки с новогодней ёлочкой:

    image
    Читать дальше →
    • +12
    • 4,9k
    • 9
  • Японская поэзия на службе изучения английского: приложение для запоминания произношения слов



      Одним из самых необычных проектов нашего осеннего хакатона был Skyeng Haiku: медитативное мультимедийное приложение про сбор слов в строчки. Сегодня его авторы расскажут, что это, зачем оно нужно, почему полезно, как они его сделали, ну и дадут ссылку на рабочую версию.
      Читать дальше →
    • Настройка звука в Ubuntu

        У меня есть хобби — написание музыки. Поэтому после установки свежей версии Ubuntu на свой ноутбук мне понадобилось настроить звук чуть более тонко, чем обычным пользователям. К моему сожалению, сделать это у меня не вышло. Тем не менее, я хочу рассказать о шагах, которые немного приблизили меня к результату. Я надеюсь, что кому-то это сэкономит время. А может, с помощью читателей я смогу пройти дальше. Если вы пользуетесь Linux и можете произнести слова sidechain и компрессия в одном осмысленном предложении — Добро пожаловать!


        Читать дальше →
      • AdBlock похитил этот баннер, но баннеры не зубы — отрастут

        Подробнее
        Реклама
      • Как перетасовать песни?

        • Перевод
        Мы здесь в Spotify серьёзно относимся к фидбеку от пользователей. Какое-то время назад мы заметили, что пользователи жалуются на то, что при включенном режиме случайного перемешивания плейлиста порядок песен на самом деле не случаен — например, несколько песен одного и того же исполнителя могут быть воспроизведены одна за другой, при том, что в плейлисте множество песен разных исполнителей. Пользователи спрашивали неужели мы не способны сделать такую простую вещь, как случайный порядок воспроизведения треков? Мы отвечали «Он правда-правда случаен! Мы проверяли!»

        Так кто же был прав — мы или пользователи? Как оказалось — и мы, и они. Ну и вообще дело обстояло значительно серьёзнее, чем казалось на первый взгляд.

        Наш точка зрения


        Ещё в самом первом релизе нашего плеера в нём была функция случайного перемешивания плейлиста. Мы использовали для этого алгоритм Фишера-Йетса — и он давал идеально случайное перемешивание. Но что такое «идеально случайное»? Это значит, например, что мы можем получить один из двух нижеуказанных порядков песен с одинаковой вероятностью (разные цвета означают треки разных исполнителей):

        image
        Читать дальше →
      • Классификация звуков с помощью TensorFlow

        • Tutorial


        Игорь Пантелеев, Software Developer, DataArt

        Для распознавания человеческой речи придумано множество сервисов — достаточно вспомнить Pocketsphinx или Google Speech API. Они способны довольно качественно преобразовать в печатный текст фразы, записанные в виде звукового файла. Но ни одно из этих приложений не может сортировать разные звуки, захваченные микрофоном. Что именно было записано: человеческая речь, крики животных или музыка? Мы столкнулись с необходимостью ответить на этот вопрос. И решили создать пробные проекты для классификации звуков с помощью алгоритмов машинного обучения. В статье описано, какие инструменты мы выбрали, с какими проблемами столкнулись, как обучали модель для TensorFlow, и как запустить наше решение с открытым исходным кодом. Также мы можем загружать результаты распознавания на IoT-платформу DeviceHive, чтобы использовать их в облачных сервисах для сторонних приложений.

        Выбор инструментов и модели для классификации


        Сначала нам нужно было выбрать ПО для работы с нейронными сетями. Первым решением, которое показалось нам подходящим, была библиотека Python Audio Analysis.

        Основная проблема машинного обучения — хороший набор данных. Для распознавания речи и классификации музыки таких наборов очень много. С классификацией случайных звуков дела обстоят не так хорошо, но мы, пусть и не сразу, нашли набор данных с «городскими» звуками.
        Читать дальше →
        • +13
        • 6,5k
        • 5
      • Парсер на PHP-коленке или как я свою музыкальную коллекцию пополнял

        А началось все с чего? А началось все одним домашним, зимним, субботним вечером… Ну и конечно же с проблемы, для которой искалось решение)

        На днях, по своей же глупости, я потерял навеки всю свою коллекцию музыки (Я — DJ, музыкант). Было очень жалко, ведь коллекция была идеально рассортирована, проанализирована на битрейт, тональность и т.д.

        Смирился, думаю ладно, буду заново качать все треки. Качать буду с сайта promodj.com
        Почему «промоднище», а не какой нибудь soundcloud? Первая причина — я сижу на этом сайте гораздо чаще, чем на остальных музыкальных порталах. Вторая причина — там есть очень удобный поиск с фильтрами а-ля «Топовое за январь 2017 с качеством 320kbps, длиной не больше 10 минут и не является мэшапом».

        Как вы сами понимаете, совсем скоро мне настое… надоело нажимать руками кнопочку «Скачать». И тут и началось самое интересное).
        Читать дальше →
      • Обзор дефектов кода музыкального софта. Часть 5. Steinberg SDKs


          Я продолжаю обзор кода музыкальных приложений, и перед нами первый представитель коммерческого программного обеспечения. В комментариях к предыдущим статьям я заметил популярность программы Cubase и решил почитать о ней. Это продукт компании Steinberg, у которой есть несколько программ с закрытым исходным кодом. Случайно на их сайте я нашёл SDK для сторонних разработчиков, и, изучив его, обнаружил множество интересных ошибок.
          Читать дальше →
          • +17
          • 3,6k
          • 4
        Самое читаемое