Бенчмарки, нужны бенчмарки. Этот велосипед насколько быстрее постгрес fts или sphinx? Можно результаты аналогичных запросов? Просто не понятно, а стоит ли повторять подвиг автора.
Я почему спрашиваю, потому что аналогичный велосипед на go сделал, только у меня не fts, а фасеточный поиск )) И, производительностью я доволен. Однако пришлось делать ниразу не универсальный код — все подогнанно компилятором под мою задачу. Но, я получил на редких дурацких запросах прирост 100х относительно mysql. Ну, и в самых популярных, менее 1мс на запрос.
Понятно что это решение не дотягивает до вылизанного fts-поиска в той же постгре или сфинксе, т.е. придется много простых и дурацких вещей руками делать (типа подсветки найденного результата), так же учитывать расстояние между словами. Но, все же, решение имеет право на существование, по сути, во многом, го для этого и был создан — ускорить кастомным решением то, что универсальным тормозит.
Вот это называется настоящий хакер. Заюзать железку так, как никто б не догадался, сэкономить и ваще запилить такое — это технический оргазм разраба. Очень круто!
Я это могу сравнить только с теми риалтеками для приема DVB-T, которые перепрошили и стали юзать как SDR-приемник — оказалось он очень неплох. Производитель явно не ожидал что так можно было )
Согласен, я даже с малинкой накушался багов по самое небалуйся. Не мало часов она моей крови попила, казалось бы, в простых вещах, типа uart, однако… Так что еще больший кастом-девайс я совсем не готов брать… Я лучше переплачу и встречу в инете чувака, у которого тоже что-то не заработало и он нашел способ это починить :) Ну и вайфай — мастхев, блютюс как раз не очень надо, а вот отсутствие вайфая — это прям боль. У меня есть кучка малинок <3 версии и они пылятся на полке только потому что у меня нет под рукой свободного вайфай-юсб свистка.
Вот пример:
у третьей малины, внезапно(!), решили хардварный юарт отдать под блютюс чип, а на место имеющегося в gpio — привязать софтверный. Ну и что вы думаете, он так обалденно работает, мы несколько суток мучались — то шлет данные нормально, то мусор. Пока не подключили осциллограф и не увидели что хоть ты ставишь 57600 скорость (не важно какую) — она достигается только при максимальной частоте процессора, а в режиме энергосбережения частота проца падает и тащит за собой софтверный юарт, и 57600 превращается в 22-35 — хз в общем, логично что ни один девайс на той стороне его не жрет. Так что когда мы шили прошивы с нее в ардуины — знатно повеселились — компиляция занимала проц и он работал на штатной частоте, uart тоже, но когда начиналась прошивка, это не трудоемкий процесс, в середине проц сбрасывал частоты и уарт начинал слать мусор )) (А кто юзал осциллограф — поймут, что это не самая тривиальная задача, поймать багу, которая появляется в середине передачи данных — это еще надо было догадаться сместиться дофига вправо что бы увидеть что в какой-то момент частота поплыла — прошивка ж по сути мусор бинарный — его на глаз не пропалишь что он неправильный )
Ну и второй момент — режим uarta cts и rts просто втупую не работает — я его эмулировал вручную, с осциллографом и таймером, отсчитывая наносекунды (это нужно для rs485 — там полудуплексная шина) — тут я вообще потратил недели(!) на дебаг
И это малина, которая отлично на хардварном уарте работала на версиях ниже 3ойки. А что там на бананах и прочих зверьках за баги — честно говоря не хочется выяснять )
Такова участь хардварщика, ггыг, это только то, с чем я столкнулся — наверняка многие еще багов малины расскажут )
Есть еще одна интересная задача, на которой слоник валится, а хотелось бы что бы не тупил и полетел.
Представьте что у вас есть массив циферок в строчке — разделов. Так вот, если по нему построить составной btree (cats, ctime) — то вы получите все комбинации того, что лежит внутри cats и списки строк отсортированные по ctime, но индекс не будет толком работать при поиске по вхождению в этот индекс: например cats @> array[2] и будет давать full scan, а вот … where cats = array[2] order by ctime даст, через, так называемый sort hint, очень быструю выдачу по вторичному ключу (не забудьте limit).
Если сделать индекс gin (с расширением btree_gin) — то запросы @> заработают, но вот незадача, sort hint, увы, на gin по полю ctime уже не заработает.
Если кто знает как это решить без доп-таблицы и пачки вариаций btree индексов с where cat @> 1,2,3…, поделитесь плиз )
Вы просто не умеете виртуализацию готовить ) mixupload.com/styles/deep-house-2020/tracks
Крутите сколько влезет — страница не начнет тормозить, в сафари, хроме, фоксе — все норм.
И да, у меня богомерзкий jquery, ванила и серверсайд-рендеринг. Просто много дебага и скролл можно себе подчинить.
Го задалбывает приведением типов. И функции которые конвертнут из одного типа в другой всегда болтаются в разных библиотеках. Я был бы счастлив если был бы какой-то единый способ приведения стандартных типов. Есть странные вещи, например в условиях нельзя сравнивать целые и дробные, это очень бесит в циклах.
Часто пользуюсь другой командой — ssh… -L 8080:remote_ip:port. Например посмотреть что там с lte-модемом, смски проверить. Пробрасывается локальный порт туда, куда укажешь. Заходишь на 127.0.0.1:8080 и смотришь че там внутри той сети. И не надо никаких прокси.
Наконец-то! Как я хотел с хабра убрать посты про анализатор сишного кода, прям бесит меня люто эта регулярная реклама. Была б карма — минусовал каждую статью )
Правда на хабре последнее время как-то резко читать стало нечего… :(
Да какая погода. Вы видели что показывает яндекс погода на карте? ) Открываешь центральный регион — погода показывается в 3ех городах: Тверь, Ярославль, Иваново =) Если увеличивать, то вроде начинает показывать, но не в городах, а почему-то везде, но не там где надо… Откройте Европу. Там вообще пусто (не считая Перми) :) Более бестолковой карты погоды я не видел…
Для запасания электроэнергии ветряных и солнечных электростанций, а так же ядерных. В случае последних слышал делают «гидроаккумуляторы», из-за того что выработку ядерной станции быстро нельзя менять — излишки станции в непиковое время закачивают насосами наверх, что бы позже турбинами в пиковое время отдать в сеть. С большими аккумуляторами было бы сильно проще )
Как-то смотрел на теде интересное выступление, там парни нашли дешевый и простой способ создания батарей для альтернативной энергетики — подобрали анод, катод и электролит из жидких компонентов разной плотности, которыми заполняли простой бетонный бассейн. Все компоненты из-за разной плотности встают в нужном порядке и выполняют роль огромного аккума. Простота реализации с лихвой компенсирует не самой большой уровень плотности энергии на кг. www.ted.com/talks/donald_sadoway_the_missing_link_to_renewable_energy?language=ru
Я делал то же самое, только настраивал еще распаралеливание коннектов — через ip firewall => mangle помечал роутинги и распределял по двум провайдерам. В итоге у меня в торрентах удваивалась скорость закачки. Ну и так же через netwatch скрипт прозрачно переключал провайдеры и высылал смс-уведомление если кто-то упал. Более того, у меня два провайдера из одной двойной розетки в коридоре объединялись в одну витуху и разъединялись около микротика :) Могу подробно расписать как это делается, если интересно )
Я делаю очень просто:
1. Gmail, в настройках включаются уведомления только на «важные» письма, т.е. на письма от людей, весь остальной спам распределяется по папкам соцсети, уведомления и прочее — это всегда можно пролистать на компе когда есть время, на мобиле этим письмам не место.
2. Соцсети — отключается звук уведомлений и вибрацию, один чатик вконтакте может вибрацией за 10 минут грохнуть телефон со стола. Все это выключается напрочь.
3. Чаты в ватсапе/телеграме/вайбере — аналогично, включается пожизненный режим не беспокоить. Личные сообщения остаются с уведомлениями.
4. Скайп удалить с телефона напрочь — для него есть компьютер. Причин две — жрет батарею, трындящий телефон рядом с компьютером бесит. :)
В итоге получается что шторку засыпает чатиками, если кто-то там общался, то всегда можно почитать о чем и вступить в разговор если на это есть время. Никто в здравом уме не будет от вас срочно ждать ответа в таком чате — всегда можно написать лично если надо привлечь внимание или позвонить. Важные письма с документами или материалами всегда придут вовремя, а ценное время не распаляется на множество чатиков.
Если мне все равно придется паять плату под этот контроллер, то что мешает мне сразу поставить туда какую-нибудь мегу за 200 рублей и сделать все на ней?
Какой-то сомнительный проект. Вроде микроконтроллер — а удобных ног нету, вместо этого очень плотный коннектор. Для домашних поделок не пойдет — не все готовы печатать такие тоненькие платы и паять к ним 100-контактные разъемы. Wi-Fi на борту это конечно клево, но ничто не мешает воткнуть usb-приемник в малинку и не париться.
Какая стоимость? По любому не меньше малинки. Так что выводы делайте сами.
Я почему спрашиваю, потому что аналогичный велосипед на go сделал, только у меня не fts, а фасеточный поиск )) И, производительностью я доволен. Однако пришлось делать ниразу не универсальный код — все подогнанно компилятором под мою задачу. Но, я получил на редких дурацких запросах прирост 100х относительно mysql. Ну, и в самых популярных, менее 1мс на запрос.
Понятно что это решение не дотягивает до вылизанного fts-поиска в той же постгре или сфинксе, т.е. придется много простых и дурацких вещей руками делать (типа подсветки найденного результата), так же учитывать расстояние между словами. Но, все же, решение имеет право на существование, по сути, во многом, го для этого и был создан — ускорить кастомным решением то, что универсальным тормозит.
Я это могу сравнить только с теми риалтеками для приема DVB-T, которые перепрошили и стали юзать как SDR-приемник — оказалось он очень неплох. Производитель явно не ожидал что так можно было )
Вот пример:
у третьей малины, внезапно(!), решили хардварный юарт отдать под блютюс чип, а на место имеющегося в gpio — привязать софтверный. Ну и что вы думаете, он так обалденно работает, мы несколько суток мучались — то шлет данные нормально, то мусор. Пока не подключили осциллограф и не увидели что хоть ты ставишь 57600 скорость (не важно какую) — она достигается только при максимальной частоте процессора, а в режиме энергосбережения частота проца падает и тащит за собой софтверный юарт, и 57600 превращается в 22-35 — хз в общем, логично что ни один девайс на той стороне его не жрет. Так что когда мы шили прошивы с нее в ардуины — знатно повеселились — компиляция занимала проц и он работал на штатной частоте, uart тоже, но когда начиналась прошивка, это не трудоемкий процесс, в середине проц сбрасывал частоты и уарт начинал слать мусор )) (А кто юзал осциллограф — поймут, что это не самая тривиальная задача, поймать багу, которая появляется в середине передачи данных — это еще надо было догадаться сместиться дофига вправо что бы увидеть что в какой-то момент частота поплыла — прошивка ж по сути мусор бинарный — его на глаз не пропалишь что он неправильный )
Ну и второй момент — режим uarta cts и rts просто втупую не работает — я его эмулировал вручную, с осциллографом и таймером, отсчитывая наносекунды (это нужно для rs485 — там полудуплексная шина) — тут я вообще потратил недели(!) на дебаг
И это малина, которая отлично на хардварном уарте работала на версиях ниже 3ойки. А что там на бананах и прочих зверьках за баги — честно говоря не хочется выяснять )
Такова участь хардварщика, ггыг, это только то, с чем я столкнулся — наверняка многие еще багов малины расскажут )
Представьте что у вас есть массив циферок в строчке — разделов. Так вот, если по нему построить составной btree (cats, ctime) — то вы получите все комбинации того, что лежит внутри cats и списки строк отсортированные по ctime, но индекс не будет толком работать при поиске по вхождению в этот индекс: например cats @> array[2] и будет давать full scan, а вот … where cats = array[2] order by ctime даст, через, так называемый sort hint, очень быструю выдачу по вторичному ключу (не забудьте limit).
Если сделать индекс gin (с расширением btree_gin) — то запросы @> заработают, но вот незадача, sort hint, увы, на gin по полю ctime уже не заработает.
Если кто знает как это решить без доп-таблицы и пачки вариаций btree индексов с where cat @> 1,2,3…, поделитесь плиз )
mixupload.com/styles/deep-house-2020/tracks
Крутите сколько влезет — страница не начнет тормозить, в сафари, хроме, фоксе — все норм.
И да, у меня богомерзкий jquery, ванила и серверсайд-рендеринг. Просто много дебага и скролл можно себе подчинить.
Правда на хабре последнее время как-то резко читать стало нечего… :(
Как-то смотрел на теде интересное выступление, там парни нашли дешевый и простой способ создания батарей для альтернативной энергетики — подобрали анод, катод и электролит из жидких компонентов разной плотности, которыми заполняли простой бетонный бассейн. Все компоненты из-за разной плотности встают в нужном порядке и выполняют роль огромного аккума. Простота реализации с лихвой компенсирует не самой большой уровень плотности энергии на кг.
www.ted.com/talks/donald_sadoway_the_missing_link_to_renewable_energy?language=ru
1. Gmail, в настройках включаются уведомления только на «важные» письма, т.е. на письма от людей, весь остальной спам распределяется по папкам соцсети, уведомления и прочее — это всегда можно пролистать на компе когда есть время, на мобиле этим письмам не место.
2. Соцсети — отключается звук уведомлений и вибрацию, один чатик вконтакте может вибрацией за 10 минут грохнуть телефон со стола. Все это выключается напрочь.
3. Чаты в ватсапе/телеграме/вайбере — аналогично, включается пожизненный режим не беспокоить. Личные сообщения остаются с уведомлениями.
4. Скайп удалить с телефона напрочь — для него есть компьютер. Причин две — жрет батарею, трындящий телефон рядом с компьютером бесит. :)
В итоге получается что шторку засыпает чатиками, если кто-то там общался, то всегда можно почитать о чем и вступить в разговор если на это есть время. Никто в здравом уме не будет от вас срочно ждать ответа в таком чате — всегда можно написать лично если надо привлечь внимание или позвонить. Важные письма с документами или материалами всегда придут вовремя, а ценное время не распаляется на множество чатиков.
Какая стоимость? По любому не меньше малинки. Так что выводы делайте сами.