Как найти спрятанный контент на сайте?
Я совсем не специалист, но надеюсь, что здесь мне смогут помочь. Прошу прощения, если вопрос «мимо».
Как можно посмотреть все, в том числе и скрытые ссылки на чужом вебсайте и конкретно на одной странице? Есть полученный случайно доступ к некоторым ссылкам со спрятанным контентом, который не отображается ни на странице сайта, ни в поиске по сайту, ни в гугл поиске по содержимому сайту, но прямой доступ по ссылке нет, а в каталоге, в котором эта ссылка должна быть, ее не видно. Хотелось бы посмотреть все скрытые ссылки, но не получается, все сервисы выдают только открытый контент.
- Вопрос задан более трёх лет назад
- 9210 просмотров
Простой 1 комментарий
- Вконтакте
Смотря как и чем » спрятанный»
для ламеров, юзеров и прочих начинающих халявщиков есть несколько (по степени трудоёмкости) вариантов
1 — синтаксис/операторы запроса в поисковой системе
в поисковой строке набрать по следующему шаблону » [содержимое][пробел]site:[адрес домена/сайта]
*пример поиска слова «скидка» по сайту(корневому домену) site.ru — «скидка site:site.ru» данный синтаксис просканирует доступные страницы для просмотра и покажет все страницы в которых присутствует слово «скидка»
*пример поиска файлов с любым названием но только с расширением pdf — «.pdf site:site.ru» как вариант *.pdf всё зависит от конкретной поисковой системы. Как следствие можно играться — «название.» Соответственно будет искать файл с любым расширением но с названием название. так же есть синтаксис который позволяет искать как в названии так и в расширении файла часть этого названия/расширения.
2 — Специализированные программы закачки сайта полностью
так как я понятия не имею о вашей платформе искать вам нужно такими запросами — «site download», «site sucker» site как вариант заменить web
3 — Ну и как тут уже писали ранее, зайти в исходный код страницы, что зависит как от платформы/ОС так и от конкретного браузера.
В принципе если файл вообще существует а не редирект этого файла на каком то ресурсе, файл достать всегда можно. Однако на всякую хитрожо..ую хитрость найдутся методы защиты. Делайте собственный уникальный контент, ибо за кражу, плагиат и копипаст, по рукам будут давать всё чаще и чаще, и просто жалобой уже не отделаетесь.
RTFM. кибер сопляки. RTFM
Халява переоценённый и насквозь утопичный фактор. Так или иначе платить придётся.
Как найти все скрытые элементы на странице
Итак, очередной сайт решил перегородить вам обзор своей никчемной нападайкой. Она должна провисеть на экране 10 секунд и только потом отключиться. Но зачем тратить 10 секунд жизни, если можно отключить нападайку самостоятельно за 8?
Как работают всплывающие нападайки и поп-апы с рекламой
Такие всплывающие окна делаются очень просто:
- Хозяева сайта создают на своей странице объект, который лежит сверху всего, как целлофан на обложке журнала.
- Этому объекту задают ширину во весь экран и высоту во весь экран, чтобы нельзя было дальше кликать и переходить по сайту.
- Затем этому объекту устанавливают затемнённый фон. Так появляется затемнение всего экрана. Именно эта штука с затемнением и мешает нормально пользоваться страницей.
- Внутрь объекта с затемнением кладут ещё один объект — рекламу, баннер, призыв подписаться, предложение оставить свой номер телефона.
- И всё это висит поперёк страницы
Наша задача — отключить оба объекта, чтобы они пропали с глаз долой.
Всё дело — в CSS
Чтобы компьютер понимал, какие элементы есть на странице, используют язык HTML, который говорит: «Тут заголовок, тут ссылка, тут обычный текст, тут картинка». А чтобы было ясно, как эти элементы должны выглядеть и работать, используют специальные правила — их называют стилями. Стили задают цвет и внешний вид всего, что есть на странице, а ещё управляют размером и поведением каждого элемента.
Стили хранятся в таблицах, таблицы называют каскадными, всё вместе называется CSS — cascading style sheets.
Вот больше примеров и практики по CSS:
Именно возможности CSS позволяют рисовать такие нападайки, которые занимают весь экран и мешают читать. Но мы используем свойства CSS против подобных сайтов и перепишем всё под себя. Для этого нам нужно будет найти код элемента, который отвечает за нападайку.
Как найти код нужного элемента
Чтобы увидеть, какой именно кусок кода отвечает за всплывающее окно, будем пользоваться средствами самого браузера — Инспектором. В Хроме он вызывается нажатием клавиш Ctrl+Shift+i, а в Сафари — Cmd+Option+i.
Но есть ещё один способ, который сейчас нам подходит больше:
- Открываем страницу и дожидаемся, пока появится реклама.
- Затем правой кнопкой мыши щёлкаем на картинке в центре, которая мешает просмотру, и выбираем «Просмотреть код» (Inspect Element).
- Инспектор сразу подсветит нужную нам строчку.
Мы нашли участок кода, который отвечает за назойливую рекламу. Теперь пусть браузер сам закроет окно. Для этого используем свойство display — оно решает, показывать этот элемент или нет.
Скрываем элемент со страницы
Чтобы окно не показывалось, нужно написать свойство display:none . Но бывает так, что CSS игнорирует такие команды, если это же свойство задаётся чуть позже в другом месте. Если нужно, чтобы команда выполнилась несмотря ни на что, после команды пишут слово !important — именно так, с восклицательным знаком в начале. Это говорит о том, что у команды приоритет над всеми остальными и её нужно исполнять:
Осталось вставить эту команду в нужное место. Оставляем синюю линию Инспектора на той же строке и переходим на вкладку Styles:
Там как раз прописаны все CSS-стили, которые отвечают за свойства и поведение этого элемента. Находим в самом верху блок element.style , щёлкаем в нём на свободном месте и вставляем нашу команду display:none !important :
Картинка исчезла, но осталось затемнение, которое всё равно мешает читать. Разберёмся и с этим: щёлкаем правой кнопкой мыши в любом месте затемнения, выбираем «Посмотреть код», вставляем в element.style нашу команду — готово.
Это работает только с нападайками?
Этим способом можно скрыть что угодно, поскольку свойство display есть у всего на странице: у новостей ВКонтакте, постов в Facebook или картинок в Instagram.
❗️ Важный момент: всё, что мы делаем таким образом, происходит только внутри нашего браузера и не влияет на отображение сайта у других людей. Если перезагрузить страницу сайта, то сайт может напасть на вас рекламой снова.
Как найти и удалить скрытые ссылки в шаблонах cms-систем
Найти скрытые ссылки — это первоочередная задача любого проекта для которого используются сторонние шаблоны cms-систем и любые другие html-шаблоны.
С точки зрения поисковой оптимизации, наличие внешних не только скрытых ссылок в шаблоне сайта, отрицательно сказываются на развитии вашего проекта, но благоприятно влияют на сайт который указан в этих ссылках.
Через сторонние ссылки, которые у вас будут указаны в шаблоне, поисковые системы могут существенно понизить ваш сайт в поисковой выдаче. И с большей долей вероятности такие сайты, на которых обнаруживаются скрытые ссылки, попадают под санкции поисковых систем.
Чем больше внешних ссылок на сайт, тем лучше для определения ранжирования сайта в поисковых системах. Это одна из основных причин размещения скрытых ссылок в шаблонах популярных cms-систем.
В этом видео я расскажу не только о том как найти скрытые ссылки, но и как сделать скрытую ссылку, как посмотреть скрытую ссылку с помощью сервиса и приложения, а так же как удалить скрытую ссылку.
Теперь по порядку.
Как найти скрытые ссылки
Для поиска воспользуемся одним из популярных сервисов validator.org. Отличная возможность без всяких регистраций, в режиме реального времени, быстро проверить скрытые ссылки в шаблоне.
https://validator.w3.org/checklink.
Данный валидатор поможет найти все видимые и невидимые ссылки. Работает просто, добавляем адрес сайта в поле address и нажимаем кнопку Check. Время проверки зависит от объема информации. Пока нет необходимости разбираться со всеми возможностями сервиса, а нас главным образом интересует информация в конце страницы в поле List of redirects.
Для любого автора проекта такая ссылка сразу бросится в глаза и в случае, когда нет опыта определить, всегда можно понять по внешнему адресу, перейдя по нему, либо по длине самой ссылке. На скриншоте видно такую ссылку, она отличается от всех остальных.
Как удалить видимые и скрытые ссылки
В большинстве случаев главным местом для размещения скрытых ссылок является индексный файл (index.html и index.php) шаблона joomla, wordpress, либо других cms-систем. Хорошо если мы видим стороннюю ссылку, в этом случае у нас есть возможность сократить время на принятие мер.
Найти нужный блок в шаблоне можно с помощью приложения firebug для браузера mozilla firefox и в нем же можно понять как формируется сам блок или отдельно взятая ссылка. Прежде чем редактировать шаблон, необходимо сделать резервную копию сайта или отдельно взятого шаблона.
Все дело в том, что некоторые ссылки нельзя взять просто так и удалить, можно повредить работоспособность всего сайта, или только индексную страницу шаблона. Существует не мало возможностей по «закреплению» ссылок или целых блоков, с помощью web-программирования для того, чтобы нельзя было их удалить.
В первом случае все достаточно просто. Находим блок по идентификатору или классу в шаблоне и удаляем. Но что делать если ссылку удалить нельзя? Можно скрыть ссылку в css-стилях.
В этом случае, с помощью того же приложения firebug, необходимо найти стили видимой или скрытой ссылки, или блока в котором она находится и прописать дополнительное свойство (visibility: hidden;). Данный параметр просто спрячет видимую ссылку.
Можно найти скрытые ссылки и с помощью разных программ и расширений которых достаточно много. В одном из своих видео уроков, ошибка протокола https в wordpress, я рассказывал об одной такой программе Screaming Frog SEO Spider.
Удалить скрытые ссылки я все же советую вручную, без использования программ. Если скрытые ссылки добавлены без возможности удаления, т.есть, намертво, программа может все удалить и потом трудно будет разобраться где и как формировались скрытые ссылки.
В случае обнаружения скрытой ссылки в шаблоне и при невозможности удаления ее, лучше не используйте такие шаблоны, а авторов или адрес ресурсов заносите в черный список.
Как сделать скрытую ссылку
Одним из способов сделать скрытую ссылку на сайте-это добавить в css-стили или непосредственно в стили самой ссылки следующее свойство (z-index:-999px;). Отрицательное значение может быть любым, главное чтобы ссылка находилась за пределами границ самого шаблона, как бы в стороне или за ним.
Вот здесь конечно, никто ее не увидит, но поисковые роботы ее индексируют и воспринимают как внешнюю ссылку ведущую например на сайт производителя шаблона (в лучшем случае), а в худшем-на варезный или порно-сайт с кишащими там вирусами.
Ну а после посещения таких сайтов обычно можно увидеть на весь экран своего компьютера огромную «мартышку» или еще чего.
Видео урок найти скрытые ссылки
Если статья и видео оказались полезными для вас, оставляйте комментарии или отзывы.
Как найти все скрытые элементы на странице
Я совсем не специалист, но надеюсь, что здесь мне смогут помочь. Прошу прощения, если вопрос «мимо».
Как можно посмотреть все, в том числе и скрытые ссылки на чужом вебсайте и конкретно на одной странице? Есть полученный случайно доступ к некоторым ссылкам со спрятанным контентом, который не отображается ни на странице сайта, ни в поиске по сайту, ни в гугл поиске по содержимому сайту, но прямой доступ по ссылке нет, а в каталоге, в котором эта ссылка должна быть, ее не видно. Хотелось бы посмотреть все скрытые ссылки, но не получается, все сервисы выдают только открытый контент.
- Вопрос задан более трёх лет назад
- 8950 просмотров
Простой 1 комментарий
- Вконтакте
Смотря как и чем » спрятанный»
для ламеров, юзеров и прочих начинающих халявщиков есть несколько (по степени трудоёмкости) вариантов
1 — синтаксис/операторы запроса в поисковой системе
в поисковой строке набрать по следующему шаблону » [содержимое][пробел]site:[адрес домена/сайта]
*пример поиска слова «скидка» по сайту(корневому домену) site.ru — «скидка site:site.ru» данный синтаксис просканирует доступные страницы для просмотра и покажет все страницы в которых присутствует слово «скидка»
*пример поиска файлов с любым названием но только с расширением pdf — «.pdf site:site.ru» как вариант *.pdf всё зависит от конкретной поисковой системы. Как следствие можно играться — «название.» Соответственно будет искать файл с любым расширением но с названием название. так же есть синтаксис который позволяет искать как в названии так и в расширении файла часть этого названия/расширения.
2 — Специализированные программы закачки сайта полностью
так как я понятия не имею о вашей платформе искать вам нужно такими запросами — «site download», «site sucker» site как вариант заменить web
3 — Ну и как тут уже писали ранее, зайти в исходный код страницы, что зависит как от платформы/ОС так и от конкретного браузера.
В принципе если файл вообще существует а не редирект этого файла на каком то ресурсе, файл достать всегда можно. Однако на всякую хитрожо..ую хитрость найдутся методы защиты. Делайте собственный уникальный контент, ибо за кражу, плагиат и копипаст, по рукам будут давать всё чаще и чаще, и просто жалобой уже не отделаетесь.
RTFM. кибер сопляки. RTFM
Халява переоценённый и насквозь утопичный фактор. Так или иначе платить придётся.
Как найти скрытые div без поиска в дочерних элементах
Неудивительно, так как ты используешь селектор :hidden . Давай прочитаем, что про него написано в документации:
They have a CSS display value of none.
They are form elements with type=»hidden».
Their width and height are explicitly set to 0.
An ancestor element is hidden, so the element is not shown on the page.
То есть, если элемент c нулевой высотой и шириной, а это может быть потому, что он просто пустой, или же потому, что он еще не успел отрисоваться, будет отвечать этому селектору.
Плюс, ты неверно используешь find() , передавая в него два параметра сразу, в итоге он найдет тебе и все элементы c :hidden , и все div , насколько я понимаю, но тут нужно смотреть код самого JQuery. Тогда как надо искать одним запросом, скажем так, делая find(«div:hidden») .
Но и это будет неверно, так как в итоге он тебе выдаст действительно все вложенные элементы, и нужно будет это как-то фильтровать. Поэтому проще использовать такой код, как ниже — сначала отфильтровать все элементы в массиве через filter(«div:hidden») , а после просто перебрать его через $.each() .
Обрати внимание, у нас скрыты и все вложенные элементы в те, которые ты включаешь в blocks , и один из собственно членов данного массива. В итоге сообщение будет содержать только его.
Как найти скрытый код или текст на странице?
К сожалению, мы не знаем подобных сервисов. Проверку можно осуществлять вручную следующими способами:
- Смотрим исходный код и сверяем с содержанием страницы. Таким образом мы сможем найти, к примеру, скрытый текст, который сливается по цвету с фоном, либо же текст маленького/нулевого размера шрифта. Также полезно будет сверить страницу с ее сохраненной копией в ПС.
- Смотрим, как выглядит страница с отключенными стилями CSS и JavaScript (к примеру, используя надстройку браузера Web Developer).
Так мы найдем скрытые с помощью CSS текстовые блоки, изображения, таблицы. Чаще всего для этого используются свойства “display: none”, “opacity: 0”, “visibility: hidden”, “clip-path: none”, поиск данных элементов можно осуществить вручную в исходном коде.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Чистка кода — как найти скрытые ссылки на сайте и удалить?
Наличие ссылок на внешние ресурсы негативно влияет на вес сайта.
Это значит, что присутствие так называемых линков необходимо контролировать и удалять все ненужные, дабы не оказаться под фильтром могущественных поисковиков.
Проблема в том, что не все ссылки могут быть видны посетителю или владельцу сайта.
Специалисты студии «Медиакод» выработали определенный алгоритм действий по поиску и удалению несанкционированных ссылок на внешние ресурсы. Об этом расскажем в данной статье.
Поиск и анализ ссылок
1. Первым делом открываем сайт с помощью браузера Firefox на котором установлено расширение RDS bar
Даже если такое расширение не установлено, то рекомендуем его установить, в будущем оно еще не раз пригодится.
2. Далее смотрим показатель Links (ссылки, выделены красным)
Например, вот какой результат выдал сайт одного из наших клиентов.
3. Третий этап. Находим заботливо подсвеченные расширением RDS bar ссылки.
Из восьми обнаруженных ранее ссылок четыре ведут к разработчикам установленных на сайте модулей. Они подсвечены красным пунктиром и удаляются в случае необходимости без особого труда. Это делается либо путем настройки соответствующих расширений, либо удалением кода в файлах шаблона. Об этом в глобальной сети написано много.
4. На следующем этапе разбираемся со ссылками, которые оказались невидимыми на экране монитора.
Основная проблема состоит в том, чтобы найти зафиксированные браузером ссылки, которые мы не видим на сайте визуально. Это так называемые ссылки для роботов. Они невидимы для посетителей ресурса, но зашиты в коде страницы, а значит, будут учтены роботами поисковых систем и с большой вероятностью передадут вес с ресурса клиента обладателю ресурса, на который ведет скрытый линк.
Итак, с помощью комбинации клавиш «Ctrl+U» открываем исходный код страницы. Перед нами то, что видят роботы. На странице с кодом набираем комбинацию клавиш «Ctrl+F» и в появившемся окошке вбиваем слово «http:». Далее перебираем все элементы кода, которые содержат внешние ссылки. Вот, что у нас получилось:
Анализируя код делаем вывод, что ссылки зашиты в контейнер «rt-sp».
Данный контейнер находится после контейнера с названием статьи на сайте. Для интереса инспектируем код с помощью расширения Firebug и видим, что для контейнера прописан следующий стиль:
Вот и раскрыта загадка, почему ссылки не были видны нам на экране монитора.
Они смещены на 5000 пикселей — это примерно пять небольших мониторов, а значит находятся за пределами видимости.
Удаление кода
5. А теперь, на пятом этапе начинается самое интересное.
Дело в том, что для удаления указанных ссылок обычный метод поиска искомого кода не дает результатов. А почему так происходит, расскажем далее.
Итак, мы выяснили, что ссылки зашиты в код статьи сайта. Поэтому ищем среди файлов шаблона файл, который отвечает за вывод статьи: default.php. Открываем его с помощью визуального редактора и видим следующий набор символов:
Этот набор символов и будет тем самым кодом скрытой ссылки.
Теперь просто удаляем этот кусок кода, обновляем файл default.php на сервере и проверяем наличие нелегальных ссылок.
Они исчезли, а значит ликвидирована утечка веса с сайта клиента, задача выполнена.
Как найти скрытые ссылки на сайте — теория и практика
В этой статье мы с вами поговорим о скрытых исходящих ссылках на сайте (никто не застрахован от этой напасти), научимся их находить и безболезненно для себя удалять.
Не очень давно, я уже писал о проблематике исходящих ссылок в этой статье. Там же рассмотрены способы их закрытия метатегами и java скриптом.
Но как быть с паразитами, которые пробрались на сайт обманом, скрыты от глаз человека, откуда они вообще берутся, как их найти и ликвидировать.
Чаще всего, эта беда внедряется в бесплатные темы, плагины и модули своими шибко хитрыми разработчиками. Кроме высасывания жизненной силы, такие ссылки почти наверняка не совпадают с тематикой донора — будут иметь коммерческий характер или даже adult направленность. Согласитесь, за такое безобразие поисковики сайт не похвалят.
У вас наверное уже чешутся руки побыстрее приступить к поиску скрытой напасти (или убедиться в ее отсутствии) на сайте и, ликуя, уничтожить пакость. Весь вопрос в том, как это сделать. Для начала узнаем врага поближе.
Какие бывают скрытые ссылки
Рассмотрим и разберем самые распространенные способы сокрытия кровососов, их всего два.
1 С применением стиля «display:none»
Стиль display:none делает ссылку на странице невидимой для посетителей, но не для поисковых роботов в исходном коде — <a style=»display: none;» href=»https://wordpress-book.ru»>Учебник WordPress</a>
2 С дополнительным кодированием в «base64»
В этом случае ссылку, кроме того что она уже невидима, еще и кодируют.
В браузере ее не видно, но только не в исходном коде как и в первом случае. А в одном из сотен файлов, куда ссылка установлена, она будет состоять из такой пугающей конструкции:
<!—?php $str=’PGEgc3R5bGU9ImRpc3BsYXk6IG5vbmU7IiBocmVmPSJodHRwczovL3dvcmRwcmVzcy1ib29rLnJ1Ij7Qo9GH0LXQsdC90LjQuiBXb3JkUHJlc3M8L2E+’; echo base64_decode($str); ?—>
Я вставил вышеуказанный код в footer.php этого блога и вот что получилось:
Делается это для того, чтобы максимально затруднить администратору ресурса обнаружение и поиск гидры.
Чтобы узнать, во что трансформируется такая абракадабра в браузере, можно воспользоваться любым, специальным для этого сервисом по кодировке, например этим — https://www.base64encode.org/.
Просто скопируйте код, заключенный в одинарные кавычки, вставьте его в верхнее окошко формы и нажмите на зеленую кнопку <DECODE>.
Сервис умеет не только раскодировать, но и кодировать ссылки (вкладка Encode).
Черному оптимизатору останется только такую конструкцию вставить в любой элемент распространяемого шаблона, плагина, модуля и т.д.
Между прочим, тем кто защищает контент от копирования посредством скрипта, встраивающего в конец скопированного текста ссылку на источник (в комментариях к статье «Как защитить контент от воровства» я приводил этот скрипт), есть пища для размышлений. Теперь вы знаете как защитить свою ссылку от удаления в скопированном контенте кем-то или чем-то. Не на 100% защита конечно, но лучше чем ничего.
Как найти скрытые исходящие ссылки
Начнем с небольшого предисловия. Когда-то на wordpress-book.ru стоял плагин, выводящий красивое облако меток в сайдбаре. Давным-давно это было очень модно.
Плагин был переведен на русский язык одним деятелем и им же была вставлена ссылка на свой АГС в файл расширения. Пиявка в блоке облака терялась среди множества меток и ее с удовольствием индексировали поисковые машины. Я же обнаружил вампира тогда случайно с помощью одного сервиса (ссылку не привожу, сдал сервис в последнее время). Вот старый скриншот:
А вот повествование давно минувших дней, как я эту ссылку удалял.
Как видим, на блог без приглашения пробрались 3 ссылки, одна из них полностью открыта для индексации.
И следующей задачей будет найти и удалить паразитов. Для этого в вашем файл менеджере (рекомендую Total Commander ) нужно перейти в корень сайта (более подробно я писал об этом в статье- Доступ к сайту через ftp.
- Вызвать окно поиска файлов нажатием кнопки « Поиск файлов » на панели инструментов.
- В поле « Искать файлы » наберите *.*.
- Место поиска пропишется автоматически, это будет корень сайта.
- В поле « С текстом » вставьте текст ссылки, которую нужно найти.
- Нажмите на кнопку « Начать поиск «.
- В поле « Результаты поиска » появится список файлов с адресом их расположения, где была найдена искомая ссылка.
- Нажмите на кнопку « Перейти к файлу «.
В открывшемся файле зловредную ссылку с радостью удаляем.
Невидимые или закодированные ссылки вы найдете точно также, как в примере выше. Только в строку для поиска (пункт 4) вставьте другой искомый текст, в нашем случае display:none или base64.
Следует заметить, что не все найденные конструкции кода, включающие в себя display:none или base64 следует вносить в черный список.
Технологии кодировки в base64 и невидимость при помощи стиля display:none вполне легальны. Их используют разработчики расширений для всех СМС. К примеру, популярный в России плагин «Социальный замок» скрывает контент от посетителя при помощи base64. Будьте внимательны и не нарубите дров в азарте.
С помощью бесплатной программы «Xenu Link Sleuth», вы найдете вообще все ссылки, присутствующие на сайте. Полезно для решения широкого спектра задач по внутренней оптимизации. Ссылка для скачивания и основной функционал программы изложен в статье «Xenu Link Sleuth — Программа для поиска ссылок на сайте«.
Делитесь своими успехами или неудачами в комментариях, буду рад помочь. Желаю удачи!