Pull to refresh
-3
0
Send message

Блокировки в PostgreSQL: 1. Блокировки отношений

Reading time 14 min
Views 82K
Два предыдущих цикла статей были посвящены изоляции и многоверсионности и журналированию.

В этом цикле мы поговорим о блокировках (locks). Я буду придерживаться этого термина, но в литературе может встретиться и другой: замóк.

Цикл будет состоять из четырех частей:

  1. Блокировки отношений (эта статья);
  2. Блокировки строк;
  3. Блокировки других объектов и предикатные блокировки;
  4. Блокировки в оперативной памяти.

Материал всех статей основан на учебных курсах по администрированию, которые делаем мы с Павлом pluzanov, но не повторяет их дословно и предназначен для вдумчивого чтения и самостоятельного экспериментирования.
Читайте и другие серии.

Индексы:

  1. Механизм индексирования;
  2. Интерфейс метода доступа, классы и семейства операторов;
  3. Hash;
  4. B-tree;
  5. GiST;
  6. SP-GiST;
  7. GIN;
  8. RUM;
  9. BRIN;
  10. Bloom.

Изоляция и многоверсионность:

  1. Изоляция, как ее понимают стандарт и PostgreSQL;
  2. Слои, файлы, страницы — что творится на физическом уровне;
  3. Версии строк, виртуальные и вложенные транзакции;
  4. Снимки данных и видимость версий строк, горизонт событий;
  5. Внутристраничная очистка и HOT-обновления;
  6. Обычная очистка (vacuum);
  7. Автоматическая очистка (autovacuum);
  8. Переполнение счетчика транзакций и заморозка.

Журналирование:

  1. Буферный кеш;
  2. Журнал предзаписи — как устроен и как используется при восстановлении;
  3. Контрольная точка и фоновая запись — зачем нужны и как настраиваются;
  4. Настройка журнала — уровни и решаемые задачи, надежность и производительность.


Читать дальше →
Total votes 26: ↑26 and ↓0 +26
Comments 11

Рейтинг площадок дополнительного образования в ИТ: по результатам исследования «Моего круга»

Reading time 6 min
Views 116K


Продолжаем публиковать результаты нашего исследования про образование в ИТ. В первой части мы разбирались с образованием в целом: как оно влияет на трудоустройство и карьеру, в каких сферах специалисты получают допобразование и какими мотивами руководствуются, насколько работодатель содействует такому образованию своих сотрудников.

Мы выяснили, что самой популярной формой допобразования — после самообразования с помощью книг, видео и блогов — являются курсы: 64% специалистов практикуют такой формат. Во второй части исследования мы разберёмся с существующими на отечественном рынке школами допобразования, узнаем самые популярные, что конкретно они дают своим выпускникам, построим их рейтинг.

Надеемся, наше исследование подскажет специалистам, куда лучше идти учиться, а школам поможет понять свои текущие сильные и слабые стороны и стать лучше.
Читать дальше →
Total votes 47: ↑46 and ↓1 +45
Comments 29

Как стать Java разработчиком за 1,5 года

Reading time 10 min
Views 309K

Меня зовут Сергей, мне 40 лет и сейчас я работаю Java разработчиком в немецкой компании. Мы занимаемся разработкой программного обеспечения для пивоварен оценки финансовых и кредитных рисков. Это моя первая работа в качестве разработчика. До этого я работал в сфере IT-поддержки и системной интеграции. Первого февраля 2019 г. закончился мой шестимесячный испытательный срок, и у меня на руках бессрочный контракт. Я хочу поделиться своим опытом, как можно самостоятельно выучить Java так, чтобы получить работу.



Это мой рабочий стол. Пить пиво в рабочее время у нас разрешено, мы же в Германии.


Моя первая статья: «IT-эмиграция с семьей. И особенности поиска работы в маленьком городе Германии, когда ты уже там»

Читать дальше →
Total votes 129: ↑122 and ↓7 +115
Comments 212

«Аполлон» против лунного заговора: что реальнее осуществить?

Reading time 13 min
Views 73K

Пролог


image
Астронавты Олдрин (слева) и Армстронг в Хьюстоне во время тренировки выхода на лунную поверхность (22 апреля 1969 года)

Знаете, кого мне всегда напоминали сторонники теорий заговора? Назойливых шахматистов.

Да-да, бывают такие, которые продолжают ходить королем против вашей ладьи. И вы теряетесь, разинув рот от неожиданности: он что, не читал стандартных эндшпилей и не знает своей судьбы — мат не позднее 16-го хода? Что происходит? Он надеется, что вы забыли, как это делается, что вам станет скучно и вы бросите играть?

А еще они напоминают мне людей, чинящих плотину. Вот вы пробили брешь в их теории там, тут, здесь. Все, вода потекла. Но нет, на каждый такой факт у них есть контраргумент, которыми они затыкают бреши, и вскоре их плотина становится уродливым одеялом заплаток, уже не образующих никакую теорию сами по себе.

Когда у вас в дискуссии рождается такое ощущение — знайте, вы спорите с теорией заговора. А еще знайте — вас берут на изнеможение, а любой неуверенный или слабый факт с вашей стороны трактуется как неспособность отстоять свою точку зрения и победа теории заговора. Увы, это психология таких споров, и для их опровержения нужно, в первую очередь, не заходить в болото, куда вас тянут.

А что же тогда делать? Да все очень просто. Надо замолчать. А затем попросить теоретика заговора рассказать все с начала. Нет-нет, не пересказывать теорию, которая обычно является «сутью произошедшего». А описать. Все. Как было сделано. Подробно. С самого начала.

Давайте так и сделаем на примере лунного заговора, который живуч на фоне миссий LRO, Opportunity, Rosetta и сегодняшних ежедневных снимков все приближающегося Плутона.
Читать дальше →
Total votes 112: ↑106 and ↓6 +100
Comments 352

Хотите вечных светодиодов? Расчехляйте паяльники и напильники. Или домашнее освещение самодельщика

Reading time 8 min
Views 222K


Когда-то давным давно, когда я еще учился в школе, а на дворе был конец перестройки, мой дядя (заронивший в меня интерес к электронике) припер домой сумку вынесенного через проходную завода добра. Собственно, такие сумки он приносил домой вполне регулярно, пополняя запасы, хранившиеся в диване. Диван этот, как вы догадываетесь, манил, и иногда в отсутствии дяди я в него заглядывал с восторгом. Но кое-что из этой сумки в диван не попало, а попало в мои руки. Дядя мне вручил пачку — штук десять — макетных плат, и новенькую нераспечатанную коробку дефицитных, да и не дешевых в то время светодиодов. Причем светодиоды были не простые: вместо привычной маркировки АЛ-что-то там на коробке стоял код из четырех цифр, как я понял — они были экспериментальные. И они были яркие. По сравнению с привычными АЛ307 или АЛ310 — просто ослепительные. И их к тому же было много — штук 50.

Идея «куда это богатство применить» возникла моментально: светодиоды были распаяны на одной из макетниц — сколько влезло (влезли не все), и из них вышел великолепный красный фонарь для печати фотографий, который абсолютно не засвечивал фотобумагу даже в упор. Правда, тут же я узнал о том, что «светодиоды не греются» — это вранье, так что ток пришлось снизить вдвое, с 10 мА на светодиод до 5. А еще через полгода успешной эксплуатации узнал и о том, что «светодиоды не перегорают» — это тоже неправда: первый светодиод в сборке погас, оказался пробит. А со временем и весь фонарь пришел в негодность.

И вот сейчас я снова слышу из каждого утюга про «вечные» светодиодные лампочки, а дома за неполный год перехода на светодиодные лампы перегорела уже третья по счету.
Читать дальше →
Total votes 100: ↑94 and ↓6 +88
Comments 266

Сериал «Марс»: Надуманные аварии и экология вместо космонавтики

Reading time 7 min
Views 25K
В комментариях к обзору сериала «Первые» меня попросили высказать мнение о сериале «Марс» National Geographic. В то время как раз ожидался выход второго сезона, так что я решил посмотреть его, а потом уже писать обзор. Последняя серия вышла 17 декабря. Если очень кратко, первый сезон так себе, второй бодрее, но хуже, а за разбором техники, сюжета и прочих аспектов прошу под кат. Также там спойлеры, но достаточно умеренные.


Постер сериала
Total votes 46: ↑44 and ↓2 +42
Comments 102

Oculus Quest

Reading time 8 min
Views 31K
image

Всё, что нужно знать об Oculus Quest по информации с крупнейшей выставки года по виртуальной реальности.


Если Вы интересуетесь виртуальной реальностью, то наверняка знаете, что в Сан Хосе 26 и 27 сентября прошло одно из самых важных событий года в мире виара — а именно Oculus Connect 5 от компании Facebook. На самом мероприятии мне, в силу финансовых причин, побывать не удалось, но я пролопатил огромное количество источников, так что будьте уверены, что в этой статье вы найдете все самые важные анонсы и новости с ивента, включая, конечно же, всё интересное об oculus Quest.

image

Окулус Квест — звезда прошедшего ивента. Конференция, конечно же, была посвящена множеству аспектов мира виртуальной реальности, но самой важной новостью, которую обсуждали все без исключения крупные VR энтузиасты, был именно анонс новой платформы.

Oculus анонсировали первый в компании автономный комплект виртуальной реальности, включающий контроллеры и отслеживающийся в 6 степенях свободы (далее 6DOF) под названием Oculus Quest. В последние 2 года Вы могли слышать о ходе разработки этого проекта под именем Santa Cruz. Продукт, если говорить упрощенно, представляет собой автономную версию Oculus Rift — Вы просто запускаете и используете его без всякой надобности в компьютере или смартфоне. 6 DOF означает, что Вы можете двигаться как угодно и двигать руками так же, как в реальной жизни, и в виртуальной реальности соответствующие движения будут отражены с высокой точностью и минимальной задержкой. В других, существующих на рынке автономных VR сетах, например Mirage Solo, в Вашем распоряжении только 3 DOF контроллер, означающий, что Вы пользуетесь «пультом», который способен только вращаться. В то время как с Oculus Quest Вам доступны 2 контроллера, аналогичные тем, что используются в Rift и передают почти полное присутствие рук в виртуальном пространстве.

Спецификация


Total votes 13: ↑13 and ↓0 +13
Comments 82

Курс MIT «Безопасность компьютерных систем». Лекция 6: «Возможности», часть 1

Reading time 15 min
Views 6.4K

Массачусетский Технологический институт. Курс лекций #6.858. «Безопасность компьютерных систем». Николай Зельдович, Джеймс Микенс. 2014 год


Computer Systems Security — это курс о разработке и внедрении защищенных компьютерных систем. Лекции охватывают модели угроз, атаки, которые ставят под угрозу безопасность, и методы обеспечения безопасности на основе последних научных работ. Темы включают в себя безопасность операционной системы (ОС), возможности, управление потоками информации, языковую безопасность, сетевые протоколы, аппаратную защиту и безопасность в веб-приложениях.

Лекция 1: «Вступление: модели угроз» Часть 1 / Часть 2 / Часть 3
Лекция 2: «Контроль хакерских атак» Часть 1 / Часть 2 / Часть 3
Лекция 3: «Переполнение буфера: эксплойты и защита» Часть 1 / Часть 2 / Часть 3
Лекция 4: «Разделение привилегий» Часть 1 / Часть 2 / Часть 3
Лекция 5: «Откуда берутся ошибки систем безопасности» Часть 1 / Часть 2
Лекция 6: «Возможности» Часть 1 / Часть 2 / Часть 3
Total votes 22: ↑22 and ↓0 +22
Comments 0

4K-телевизор 2018 года: рекомендации для оптимального выбора

Reading time 13 min
Views 173K
В своем большинстве телевизоры 4K/Ultra HD отличаются от предшественников не только разрешением и ценой. У них есть поддержка HDR с большей глубиной цвета, более высокая частота кадров и еще с десяток других фишек.



В этом посте мы постарались разложить все по полочкам и порекомендовать несколько моделей в разных ценовых сегментах. И сделали это традиционно без привязки к нашему ассортименту.
Читать дальше →
Total votes 43: ↑28 and ↓15 +13
Comments 96

ASH Viewer

Reading time 5 min
Views 21K
Предыстория (2008 г.)

По работе часто приходилось разбираться с производительностью серверов БД Oracle. После выхода Oracle 10g задача по мониторингу и диагностике проблем с производительностью значительно упростилась – с помощью истории активных сессий (Active Session History, ASH) стало возможно узнать, что происходило с БД в прошлом, что творится на сервере в данный момент, и даже прогнозировать, что будет происходить с нагрузкой в будущем.

Но, во-первых, процесс миграции на новую версию достаточно длительный, и некоторые заказчики продолжали использовать старые версии. А во-вторых, средства визуализации истории активных сессий от Oracle, которые имелись в наличии:
  • Требовали некоторых телодвижений по их установке и настройке – это Oracle Enterprise Manager Console (DB Console) или Oracle Enterprise Manager Grid Control (сейчас Oracle Enterprise Manager Cloud Control). DB Console из моей (и не только) практики требовал для установки применения очень сильных админских заклятий. Также в целях экономии ресурсов не все хотят ставить на сервера БД дополнительные сервисы или разворачивать на своей площадке отдельную инфраструктуру для мониторинга;
  • Обладали рядом архитектурных недостатков. К примеру, в случае зависания сервера БД доступ к информации из истории активных сессий посредством Oracle Enterprise Manager Console становился невозможным, и оперативно выяснить, что «что-то пошло не так» (с) было практически нереально;
  • Отсутствовала функциональность в части сохранения данных мониторинга и последующего его анализа на своей площадке.

Из сторонних бесплатных средств, похожая функциональность была реализована в утилите ASHMON за авторством Kyle Hailey. Но функционал был только для просмотра, и работала она под одну платформу – Windows.

В общем, после рассмотрения всех доступных на тот момент вариантов, было принято волевое решение собирать свой «велосипед» из подручных материалов.



Читать дальше →
Total votes 9: ↑8 and ↓1 +7
Comments 11

Автономный способ обхода DPI и эффективный способ обхода блокировок сайтов по IP-адресу

Reading time 7 min
Views 696K
Провайдеры Российской Федерации, в большинстве своем, применяют системы глубокого анализа трафика (DPI, Deep Packet Inspection) для блокировки сайтов, внесенных в реестр запрещенных. Не существует единого стандарта на DPI, есть большое количество реализации от разных поставщиков DPI-решений, отличающихся по типу подключения и типу работы.

Существует два распространенных типа подключения DPI: пассивный и активный.

Пассивный DPI

Пассивный DPI — DPI, подключенный в провайдерскую сеть параллельно (не в разрез) либо через пассивный оптический сплиттер, либо с использованием зеркалирования исходящего от пользователей трафика. Такое подключение не замедляет скорость работы сети провайдера в случае недостаточной производительности DPI, из-за чего применяется у крупных провайдеров. DPI с таким типом подключения технически может только выявлять попытку запроса запрещенного контента, но не пресекать ее. Чтобы обойти это ограничение и заблокировать доступ на запрещенный сайт, DPI отправляет пользователю, запрашивающему заблокированный URL, специально сформированный HTTP-пакет с перенаправлением на страницу-заглушку провайдера, словно такой ответ прислал сам запрашиваемый ресурс (подделывается IP-адрес отправителя и TCP sequence). Из-за того, что DPI физически расположен ближе к пользователю, чем запрашиваемый сайт, подделанный ответ доходит до устройства пользователя быстрее, чем настоящий ответ от сайта.
Читать дальше →
Total votes 212: ↑212 and ↓0 +212
Comments 352

Накраудфандили: лучшие проекты за февраль 2018 года

Reading time 10 min
Views 11K
image

Короткий месяц февраль имеет обыкновение пролетать незаметно. Но шоу должно продолжаться, поэтому краудфандинг не останавливался и под конец календарной зимы. Вот подборка из десяти самых удачных проектов гаджетов, закрывших кампании по сбору средств в феврале. Предупреждение: речь идет именно о финансовом успехе, т.е. об объемах привлеченных средств. Фактически, в наш топ попали те, кто достучался до кошелька бэкеров на Kickstarter.
Читать дальше →
Total votes 17: ↑16 and ↓1 +15
Comments 13

История переезда системного администратора в Германию. Часть первая: поиск работы и виза

Reading time 18 min
Views 47K
Всем привет.

Я решил опубликовать историю своего переезда на работу в Германию, максимально подробно описав все стадии оного — от принятия решения начать поиск работы за рубежом до собственно переезда, поиска жилья и решения многочисленных вопросов на месте. Побудило меня к этому, во-первых, очень малое количество историй успешного поиска работы в Германии именно сисадмином (а в этой области своя специфика, отличная от программирования), а во-вторых — некоторая нестандартность моего случая. Обычно за границу уезжают либо в одиночку, либо с женой-детьми, я же уезжал вместе с сестрой, что добавило очень много нюансов к визовым вопросам.

Это будет длинная история в трех частях, где я постараюсь максимально осветить все грабли, по которым пришлось пройти.
Читать дальше →
Total votes 53: ↑50 and ↓3 +47
Comments 133

Задача о восьми Ферзях на Oracle SQL

Reading time 6 min
Views 11K
Привет, Хабролюди!

В мае месяце в Москве прошла олимпиада IT-Планета, одной из номинаций которой было «Программирование СУБД Oracle». Задания были интересными и сложными, и хотелось бы поделиться решением некоторых из них.
Первая задача, о которой я расскажу — задача о восьми ферзях, решить ее было необходимо используя для этого только SQL и ничего более, сначала я эту задачу просто вычеркнул из списка тех, которые собираюсь решать, но в последний час все-таки ее решил, что принесло мне первое место и диплом из рук министра связи и массовых коммуникаций РФ.
Читать дальше →
Total votes 46: ↑37 and ↓9 +28
Comments 22

Дурят ли нас Черной пятницей?

Reading time 8 min
Views 49K

Приближается то время, когда ритейлеры получают до 40% своей годовой выручки. Черная пятница, Киберпонедельник, Новый год. На это время запланированы самые крупные распродажи, и о них трубят по всему интернету. Но, если присмотреться к ценам, многие скидки окажутся ненастоящими. Пример – недавняя распродажа «Дня холостяка» на AliExpress. По данным пользователя VitaliPA, из 9,8 миллиона предложенных скидок минимум 4,1 млн оказались полностью сфабрикованными.




В этом году Черная пятница будет 24 ноября, и часть распродаж в России и Штатах уже стартовала. Мы с Pochtoy.com разбираемся, какие уловки ждать от магазинов, и как можно получить настоящие большие скидки.

Читать дальше →
Total votes 20: ↑14 and ↓6 +8
Comments 46

Как программисты-самоучки в реальности получают работу

Reading time 4 min
Views 177K

Вопрос с Quora:


Как программисты-самоучки в реальности получают работу?

Мне 17 лет и я занимаюсь программированием с 14-ти. Основной упор на Java, я получил 5 баллов по предмету AP Computer Science. Я довольно хорошо разбираюсь в Java (синтаксис, основные классы, GUI/JFrame и т.д.) и неплохо знаком с HTML5 и CSS3. Кажется, мне не хватает многих знаний, чтобы реально претендовать на работу в индустрии (например, как работают СУБД и какую из них следует использовать), и мне интересно, как другие программисты изучают такие вещи. Я планирую пойти в колледж по специальности «Разработка программного обеспечения», но меня начинает расстраивать мысль, что колледж — необходимое условие, чтобы получить работу. Есть ли какие-то курсы, которые я пропустил, хотя должен был изучить их, или что-то другое, чего я не сделал?


Мой ответ:


Думаю, ты неправильно смотришь на вещи. Ты думаешь, что должен пройти курсы, чтобы кто-то другой дал ответы и научил тебя. С фундаментальной точки зрения программисты-самоучки действуют иначе.

У программиста-самоучки много общего с тем, кто самостоятельно научился игре на гитаре. Не знаю, играл ли ты когда-нибудь на гитаре, так что объясню, как происходит обучение.
Читать дальше →
Total votes 107: ↑97 and ↓10 +87
Comments 562

Необразованная молодёжь. Ответ бизнеса

Reading time 7 min
Views 83K
Тут на Хабре нарисовалась переписка про необразованную молодёжь и высказались студент и преподаватель. Ну ведь явно чего-то не хватает — а именно мнения крайнего в этом процессе — работодателя. Этот пост мы написали буквально за два часа, потому что накипело за предыдущие годы. И это будет не стерилизованная и выверенная статья, а крик души.


Дорога к хорошей работе всегда непростая и требует усилий
Читать дальше →
Total votes 145: ↑126 and ↓19 +107
Comments 1112

Какие электромобили россияне покупали в 2017 году

Reading time 3 min
Views 19K


Разговоры об электрокарах велись еще с 1980-х годов, но первые электрические машины начали появляться на улицах городов совсем недавно.

Мировой тренд на автомобили, использующие экологически чистую энергию, постепенно охватывает и СНГ. В России количество электрокаров исчисляется десятками, но продолжает расти с каждым годом. По данным агентства «АВТОСТАТ», в 2017 году в РФ было продано 39 электромашин. Спрос пусть и медленно, но растет (для сравнения: в 2016-м реализовано 33 единицы).

Предлагаем рассмотреть детально, сколько стоят и какие технические характеристики имеют электромобили, приобретенные россиянами в 2017 году.
Читать дальше →
Total votes 22: ↑19 and ↓3 +16
Comments 201

Reaper FY919. Квадрокоптер с FPV за $50

Reading time 3 min
Views 14K
Речь пойдет о недорогой игрушке, которая при своей стоимости вполне может удивить своей стабильностью и возможностью полетов по FPV через WiFi. В видео можно будет также посмотреть сравнение с «условными одноклассниками». Но самое удивительное в нем это наличие камеры для ориентирования в пространстве.

Речь пойдет вот об этом аппарате:


Читать дальше →
Total votes 17: ↑16 and ↓1 +15
Comments 7

Lenovo, Microsoft и RRC запускают проект лизинга ноутбуков ThinkPad

Reading time 7 min
Views 17K
Компания Lenovo совместно с Bento Cloud, подразделением облачных сервисов компании RRC, решила предложить клиентам достаточно уникальную для России возможность — приобрести ноутбуки в лизинг. Программа охватывает ряд ноутбуков Lenovo с подпиской на ПО Microsoft, причем на все предлагаемые устройства распространяется расширенная трехлетняя гарантия Lenovo. Заказчики также получат возможность обновления парка ноутбуков без необходимости крупных единовременных вложений и затрат на ремонт и обслуживание.



Как утверждают, в настоящее время ИТ-лизинг набирает популярность не только за рубежом, но и в России, однако еще далеко не все отечественные компании осведомлены о его преимуществах. Более того, не все знают о самой возможности взять ИТ-оборудование в лизинг в нашей стране, ведь организаций, предоставляющих такие услуги, немного — их можно пересчитать по пальцам. Тем временем во многих странах ИТ-лизинг уже давно стал стандартом, и на условиях лизинга заключается значительная часть сделок по приобретению/аренде оборудования. Клиентам на выгодных условиях предлагаются различные виды ИТ-лизинга.
Читать дальше →
Total votes 12: ↑9 and ↓3 +6
Comments 28

Information

Rating
Does not participate
Registered
Activity