Список ссылок сайта в реальном времени в браузере при помощи JavaScript

3 Просмотры

Как получить список ссылок сайта в реальном времени, если этого списка нигде нет? Если нет его в /sitemap.xml. Если нет его внутри /robots.txt. В виде...

Дата загрузки:2022-05-07T17:30:12+0000

Издатель
Как получить список ссылок сайта в реальном времени, если этого списка нигде нет? Если нет его в /sitemap.xml. Если нет его внутри /robots.txt.
В видео описан процесс сбора ссылок сайта интернет-магазина. Список страниц сайта пополняется в атоматическом режиме.
Сканер страниц сайта умеет делать главный функционал - получать HTML-разметку, извлекать из неё внутренние ссылки и складывать уникальные экземпляры в набор.
Построение ссылочного профиля производится с интервальными вызовами асинхронной стрелочной функции scaner.
Карта ссылок сайта собирается не в алфавитном порядке, а в порядке появления в HTML-разметки документа.
Сканер стартует с главной страницы сайта, поэтому его можно запускать из любой открытой страницы в браузере.

Если ты не знаешь как подступиться к решению задачи по сбору внутренних ссылок сайта на клиенте, то обязательно посмотри это видео от начала и до конца.
Затрагивается много интересных моментов, которые будут полезны не только начинающим разработчикам, а также SEO-специалистам.
Тебе нужен только ПК, браузер и интернет. В видео подробно рассмотрен вопрос извлечения всех внутренних ссылок с сайта. (практически любого "нормального" сайта)

Таймкоды к видео:

00:00 Что такое sitemap.xml? Зачем нужен? Почему у каких-то сайтов его не видно?
05:42 Что такое Fetch в JavaScript? Зачем нужна выборка? Как её осуществить на клиенте?
18:50 Что такое DOM? Зачем нужен DOM? Как создать ДОКУМЕНТ из строки? Объект DOMParser. Получение всех ссылок из документа.
28:19 Внутренние ссылки сайта. Их извлечение и фильтрация от исходящих.
36:33 Наборы из уникальных внутренних ссылок сайта. Объект Set. Начинаем писать код в файл.
46:01 Таймеры в браузере. Интервальные вызовы JavaScript функций. Запуск и остановка.
01:00:57 Функция Сканера. Переменные. Условия запуска, остановки. Стандартная обработка.
01:16:14 Первый запуск СКАНЕРА страниц сайта!
01:21:02 Стандарт URI. Его компоненты. Первая серьёзная оптимизация сканера.

Благодарю за просмотр!

Публикация на тему: https://efim360.ru/javascript-spisok-ssylok-sajta/

Стандарт Fetch - https://fetch.spec.whatwg.org/
Стандарт DOM - https://dom.spec.whatwg.org/
Стандарт HTML - https://html.spec.whatwg.org/multipage/
Стандарт ECMAScript - https://tc39.es/ecma262/
Стандарт RFC 3986 - https://efim360.ru/rfc-3986-uri-unificzirovannyj-identifikator-resursa-obshhij-sintaksis/
Категория
Создание сайта
Комментариев нет.