Скорее всего в вашем примере эти данные буду использоваться несколькими компонентами, поэтому применим другой критерий по частоте использования. Но что-то мне подсказывает, что в данном случае стоит использовать вообще что-то другое, чтобы сохранить производительность на приемлемом уровне, как, например, rx-js в каменте выше.
А что мешает вытащить все урлы сайта и начать по ним активно "ходить"? То есть перебирать все корректные урлы. В этом случае данная проверка только увеличит нагрузку ведь.
Иногда полезно сохранять связку прокси с определённым юзерагентом/кукой. Если я правильно понял, что работает одновременно несколько инстансов фантома, то подскадите, сколько у вас это все потребляет памяти?
По коммерческим тематикам обычно продвигаются такие сайты, на которых и так нужно сделать некоторое количество кликов для достижения своей цели. Например, интернет магазин: надо найти товар, походить по страницам категории, зайти на страницы товара, почитать отзывы, добавить в корзину и т.д. Туристический сайт: поискать туры, почитать про отель, посмотреть отзывы и т.д. То есть в любом случае, если сайт не информативный, а каким-то образом продвинут в топ, то толку от него мало как юзеру, так и владельцу сайта. А так владельцам сайтов будет мотивация делать качественный сайт…
А для других тематик, где например ранжируются сайты, содержащие в основном статьи, то, я думаю, также все хорошо будет за счет ссылок и контента…
В python 3.10 часть assert'ов уже не выполняется.
А что мешает вытащить все урлы сайта и начать по ним активно "ходить"? То есть перебирать все корректные урлы. В этом случае данная проверка только увеличит нагрузку ведь.
А для других тематик, где например ранжируются сайты, содержащие в основном статьи, то, я думаю, также все хорошо будет за счет ссылок и контента…