Хочешь заработать жми на ЭТОТ ТЕКСТ

Любите ли Вы деньги?

А кто их не любит? - ответите Вы! И я с Вами полностью соглашусь!

Хотя мы с Вами прекрасно знаем людей, которые не хотят покупать дорогую иномарку, оправдывая себя тем,
что их чаще угоняют, тем, что они очень дорогие в эксплуатации или тем, что их потом будет трудно продать.


По Джону Гэлбрейту, этот процесс называется «ПРИСПОСОБЛЕНИЕМ К НИЩЕТЕ».

А между тем деньги в буквальном смысле этого слова у вас валяются прямо перед Вами.

Просто ДЕНЬГИ нужно очень захотеть.

Без обмана и нарушения закона Вам МОЖНО и НУЖНО стать богатым.

Перейдите по ссылке, кликнув по картинке, или нажав на текст, и там описан очень интересный способ,
как реально можно поправить своё финансовое положение, не бросая основной работы.

И в тоже время, уделяя своему новому заработку, ровно столько времени, сколько Вы можете себе позволить.



Всё же есть исключения из любых правил и всё же можно реально зарабатывать деньги в интернете.
Но для этого необходимо иметь заботливого учителя, который естественно возьмёт некоторую сумму за свои услуги.
И при тщательном и кропотливом поиске важно найти работающую методику или обучающий курс.
Выше находится ЧЕСТНАЯ ссылка на Авторский курс
для РЕАЛЬНОГО Заработка денег в Интернете.

**********
НИЖЕ находятся материалы, разоблачающие мошенников кидающих ЛОХов.
ОСТОРОЖНО МОШЕННИКИ ! Заработок в Интернете. Всё для Заработка. Инфопродукты. Методики. Курсы. Способы. Действия. Рецепты. Материалы для Обучения. Партнёрские Программы.
Здесь перечислены мошеннические сайты в интернете, на которых невозможно заработать ни копейки денег.
Если бы мошенники изобрели курс или методику заработков денег, то они могли бы стать миллиардерами.
И последнему ЛОХу понятно, что такой секрет быстрого заработка ни один аферист не продаст ни за какие деньги и не расскажет никогда и никому.
Все собранные ниже лохотроны созданы исключительно для развода ЛОХов на деньги.
Не дайте себя обворовать! Не попадитесь на ухищрения мошенников, прощелыг, грабителей, преступников, лохотронщиков, пирамидчиков, обдирал, воров, кидал, плутов, обманщиков, жуликов, пройдох, прохиндеев, проходимцев, прохвостов, хлюстов, проныр, надувал, обирателей, катал, дельцов, шельмецов, темнил и прочих аферистов.

Ваш наставник в мире интернет бизнеса
Ваш наставник в мире интернет бизнеса
Рубрики блога

Самый правильный файл robots.txt для wordpress!


Автор: Автор статей
 / Дата: 2010-11-22 в 18:13
Здравствуйте друзья! WordPress robots.txt — файл ограничения доступа к содержимому на вашем блоге, сайте и т.д. Более подробно об этом вы можете прочитать здесь — ссылка
Этот файл необходимо создать в корне вашего сайта  и прописать в нем некоторые строки. Так как я работаю на движке wordpress я буду писать именно о файле robots.txt для wordpress.
Итак. Если у вас еще нет этого файла на вашем блоге, то создайте его и поместите его в корень вашего блога на сервере.
Когда поисковый робот заходит на ваш блог, он сразу же ищет этот файл, потому что именно он указывает что индексировать на блоге можно, а что нельзя.
Так же он указывает на наличие sitemap.xml на сервере, если у вас нет и sitemap.xml, то это говорит о том, что вы еще новичок в блоговедении и вам следует почитать
.
На блоге wordpress имеется куча папок которые не нужно индексировать поисковикам, поэтому можно сделать так, чтобы поисковик не тратил на них время а индексировал, только самое необходимое. Вы можете подумать, — «Ну и что, не мое же время».
А это очень важный момент, так как робот может устать индексировать всякую хрень и пропустить некоторые важные страницы вашего блога, так что советую придать файлу robots.txt особое внимание.
Как сделать файл robots.txt? Очень просто. Создайте у себя на рабочем столе текстовый файл robots.txt откройте его и пропишите следующее:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
User-agent: * 
Disallow: /cgi-bin 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-content/plugins 
Disallow: /wp-content/cache 
Disallow: /wp-content/themes 
Disallow: /trackback 
Disallow: */trackback 
Disallow: */*/trackback 
 
User-agent: Yandex 
Disallow: /cgi-bin 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-content/plugins 
Disallow: /wp-content/cache 
Disallow: /wp-content/themes 
Host: site.ru 
Sitemap: http://site.ru/sitemap.xml 
 
User-agent: Googlebot-Image 
Allow: /wp-content/uploads/ 
 
User-agent: YandexImages 
Allow: /wp-content/uploads/
User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Host: site.ru Sitemap: http://site.ru/sitemap.xml User-agent: Googlebot-Image Allow: /wp-content/uploads/ User-agent: YandexImages Allow: /wp-content/uploads/
Вместо site.ru — укажите адрес вашего блога. Готово!
Не бойтесь, здесь все составлено четко, ваши посты в безопасности Сами разработчики wordpress рекомендуют такой файл wordpress robots.txt. Ну вот и вы теперь знаете как составить правильный wordpress robots.txt! Успехов!
P.S. Как вам статья? Советую 
, чтобы не пропустить информацию о новых бесплатных видеокурсах и конкурсах блога! C уважением, Автор статей
комментария 123

    Автор статей
    Не возможно сказать. Сложно ответить когда нет доступа к вашему сайту
    2011-03-15 в 10:27 | Ответить
    Дмитрий
    Здравствуйте, подскажите плз. а где взять этот файл, создать текстовый файл и назвать его robots.txt? Если не так, то можно подробней?
    2012-02-02 в 15:55 | Ответить
    Алексей
    Да, всё так и есть.
    2014-11-05 в 12:59 | Ответить
    Петр
    Поясните пожалуйста, как это на Вашем сайте файл robots.txt отличается от того, который Вы называете самым верным??? Вы что, обманываете людей??? Или Ваши знания не достоверны в видеокурсе?? Как поясните такое несовпадение??? Будьте добры, не оставляйте без ответа это сообщение, люди хотят знать правду
    2016-01-10 в 21:10 | Ответить
    Ольга
    Александр, подскажите, а если у меня файл  robots.txt  уже настроен, он немного отличается от этого, следует ли мне его менять на этот? И нужно ли, как поисковый робот, будет заходить на мой сайт, если изменять этот файл? Каковы последствия?
    2011-04-01 в 15:06 | Ответить
    Ольга
    И еще, Александр, Вы не знаете как уменьшить количество внутренних ссылок, чтоб их было меньше 100. Как убрать, так сказать дубликаты, дублирующие ссылки? Может статья у Вас есть? Поис на Вашем блоге, к сожалению, не нашла...(((
    2011-04-01 в 15:58 | Ответить
    Елена
    Здравствуйте, Александр! Не  в  первый раз читаю  об этом файле,но, к моему сожалению, понять не могу."о создайте его и поместите его в корень вашего блога на сервере."  именно эта фраза ставит меня в тупик...
    Вижу, что посылают, но не знаю ( не понимаю) куда.   Где этот кореь находится на сервере ?
    Извините, даже стыдно спрашивать...такая  я непонятливая
    2011-04-27 в 02:00 | Ответить
    Svetlanaot1do3
    Елена, не знаю, актуально ли для вас еще или уже разобрались. Посмотрела у вас на сайте robots.txt, но он у вас странного вида сейчас. Не понятно — вы так планировали или так получилось:)
    В общем, решила вам ответить. Мы ведь с вами выпускницы одной школы:)
    Вы уже почти уже достигли цели. Вы попали в правильное место — в «Файловый менеджере» —  папка /public_html.  Там выбираете файл- загрузить . И выбираете нужный файл. Все просто.
    2011-06-02 в 01:01 | Ответить
    Иван
    Александр, у меня такой вопрос: robots.txt настроен точь в точь как у вас, но по данным программы «site-auditor 2.20+» мне говорят что правила robots.txt препятствуют индексации всего сайта... Может подскажете что не так???
    2011-08-08 в 06:54 | Ответить
    mnemotex
    Александр как мне robots.txt установить в корень сайта
    2011-08-29 в 10:52 | Ответить
    Нина
    Попробовала сделать так как Вы тут пишите:
    на рабочем столе сделала в блокноте этот файл, возник сразу вопрос в 33 строчке, у меня например блог с www, начинается, а как тогда в файле прописывать, с этой приставкой или без? Я поставила без нее. Загрузила в ту папку как Вы сказали. На этом все? И если блог с www. а на сервере робот без этой приставки, это ни на что не повлияет?
    2011-09-10 в 07:24 | Ответить
    Альберт
    Нина здравствуйте. На сервере тоже должно быть  с WWW в файле robots.txt  если не хотите, что бы было зеркало сайта.
    2011-09-18 в 20:53 | Ответить
    Валерий
    Александр, почему файл Robots.txt вашего сайта отличается от того, который вы советуете? Так какой лучше?
    2011-09-19 в 07:57 | Ответить
    Евгений
    Трудно переоценить значение файла robots.txt для сайта.
    Рекомендуемый файл сильно отличается от файла на Вашем сайте.
    Пока объяснений нет, приходится только гадать — почему?
    2011-09-23 в 21:12 | Ответить
    Sanchez
    скажите пожалуйста зачем закрывать теги Disallow: /tag ? они плохо влияют на продвижение? я всё хотел у вас спросить почему вы не ставите облоко тегов и меток ? оно оказывает плохое влияние?
    Спасибо
    2011-10-05 в 21:43 | Ответить
    Михед
    Если не закрывать теги, могут возникать дубли контента. Поисковые роботы отрицательно относятся к дублям.
    2013-06-29 в 23:47 | Ответить
    Валерий
    После последнего апдейта Яндекса из индекса выпали все картинки моего сайта. Стал разбираться, написал в поддержку Яндекса. Мне указали на такую строчку в моем Robots.txt
    Disallow: /wp-content

    Получается, я сам запретил ПС индексировать всю папку с контентом и картинки в частности.
    Эту строку я бездумно скопировал с нового Роботс у Александра.
    Вывод: используйте рекомендованный на этой странице Robots.txt. А если экспериментируете, то делайте это с умом. ??
     
    

    2011-10-22 в 09:07 | Ответить
    Markelo
    Посмотрел robots.txt у Вас на сайте. Немного отличается от приведенного в статье. Я понимаю, что на месте ничего не стоит. Происходят изменения, когда значительные ,а когда и нет.
    Меня больше всего интересует tag Закрывать или не закрывать?
    2011-11-16 в 10:13 | Ответить
    kunet
    Хотелось бы получить ответ от автора поста , какой же роботс использовать?
    2011-11-17 в 06:15 | Ответить
    Автор статей
    Ребята, поменял роботс в статье! Вот это изначально нормальный! Ну результат на лицо. У меня проблем нет раз посещаемость 3000 в сутки! 
    Используйте! Удачи! 
    2011-11-29 в 21:37 | Ответить
    Автор статей
    Нина здесь ни какой рекламы не закрывается. Опять вы что-то выдумываете? 
    Второй код в файле задает правила конкретно для робота Ядекса, а не для партнерки. 
    2011-11-30 в 08:10 | Ответить
    михаил
    наконец нашел! всем  спасибо!
    2011-11-30 в 16:50 | Ответить
    Александр
    Сделал как вы сказали. При проверке в яндекс пишет
    User-agent: *Обнаружена неизвестная директива
    Disallow: /wp-login.php Перед правилом нет директивы User-agent
    что и как ??? 
     
    2011-12-10 в 18:02 | Ответить
    Роман
    Александр, скачайте свой robots.txt на компьютер, откройте не в обычном блокноте, а в Notepad++ в верхнем меню «Кодировки» выберите пункт «Кодировать в UTF-8 (без BOM)», сохраните и залейте обратно в корень сайта. Проверьте в яндекс анализе robots.txt, всё должно быть хорошо. По крайней мере мне помогло.
    2012-08-16 в 04:02 | Ответить
    Денис
    Александр, я конечно не спец в роботс, но предполагаю, что между User-agent: и * нет пробела, судя по всему проблема в этом.
    2011-12-11 в 22:41 | Ответить
    Андрей
    Спасибо за статью, создал robots.txt по вашей статье
    2011-12-20 в 08:54 | Ответить
    Нина
    Подскажите кто нибудь, как запретить в роботе индексировать статьи из рублики новости???
    2011-12-22 в 05:36 | Ответить
    Илья
    Нина, это просто — соответствующая инструкция прописывается в robots.txt, где прописывается путь к рубрике —
    Disallow: /novosti/ 
    и был еще какой-то плагин, для запрета индексирования страниц или статей или рубрик 
    через мета-тег robots

    2011-12-22 в 12:00 | Ответить
    Дмитрий
    Всегда интересовался, а зачем запрещать к индексации комментарии? Disallow: /comment
    2012-01-03 в 18:30 | Ответить
    Fok
    Не для каждого блога полезно вносить в роботс это :
    Disallow: /*?* 
    Disallow: /*?

    2012-01-20 в 00:45 | Ответить
    Сергей Куприянов
    Вообще-то, это одна и та же директива...
    Звёздочка, завершающая описание директивы может не указываться (по правилам составления директив)
    2012-04-30 в 16:46 | Ответить
    Кирилл
    А обязательно ли закрывать категории? Многие пишут, что нужно закрыть все не нужные страницы (метки, архивы, постраничную навигацию), но категории оставить.
    2012-02-07 в 00:19 | Ответить
    Елена Егорова
    Александр, подскажите, пожалуйста, как закрыть пост от индексации. Если я внесу адрес поста в файл Роботс это поможет? Дело в том, что я написала статью для конкурса на другой сайт, она там будет размещена полностью. Но я хочу эту статью и у себя на сайте опубликовать. Не стоит этого делать или все же можно ее спрятать от поисковиков, чтобы они не подумали, что это плагиат?
    2012-02-09 в 23:15 | Ответить
    Дмитрий
    Не будем ничего выдумывать, возьмем ваш вариант. Спасибо, что вы есть!
    2012-02-26 в 16:42 | Ответить
    Николай
    Александр, ну наконец-то...статья про robots.txt.
    Пока не знал об этом файле, естественно ничего в нем и не менял, потому что его просто-напросто не было. Но потом узнал...начал гуглить...как правильно составлять...насоставлял, что в один прекрасный день захожу в вебмастер яндекс и вижу что в индексации всего лишь 5 страниц! Меня всего перехватило Уже месяц-полтора в индексации были 5-15 страниц, причем кол-во постоянно менялось. Сегодня, как какое то чудо, когда прочитал статью Вашу, заходу в вебмастер Яндекс — тадааам — 34 страницы Но дело в том, что я ничего не менял с того момента, как составил robots.
    Просто тогда я был уверен что правильно всё сделал, и надежду давало сообщение:
    «Сайт advisehow.ru не участвует в поиске, так как ранее наш робот получил полный запрет на его индексирование в Вашем файле robots.txt. В настоящий момент запрет отсутствует, сайт уже начал индексироваться и должен появиться в поиске после 1–2 обновлений поисковых баз, после этого сообщение обновится.»
    Вот я ждал, ждал...но это всё равно еще не все страницы...буду надеяться на полное индексирование.
    2012-03-14 в 06:39 | Ответить
    Светлана
    Добрый день!
    у меня есть рукодельный блог!
    подскажите пожалуйста по поводу файла robots.txt. У меня он верно настроен или нет??? я немного в этом не понимаю.
    2012-04-10 в 12:44 | Ответить
    Алина
    Спасибо большое за статью. Еще вчера Яндекс писал, что мой сайт закрыт от индексации мета-тегом noindex. Вечером поменяла файл robots.txt на Ваш и о чудо. Сегодня Яндекс уже проиндексировал часть статей. Я новичок, может это и нормально, но я не ожидала, что так быстро.
    2012-04-25 в 08:01 | Ответить
    Наталья
    Александр, можно ли поменять робот txt, когда сайту уже почти 6 месяцев?
    Не навредит ли ему это?
    Ответе пожалуйста, очень важен ваш ответ.
    2012-04-28 в 04:35 | Ответить
    Сергей Куприянов
    Файл robots.txt можно редактировать, это не зависит от возраста сайта...
    После редактирования нужно терпеливо ждать переиндексации...
    ========
    Лучший исход для сайта, когда в самом начале админ составил и залил свой актуальный файл robots.txt, но о составлении правильных директив новички не знают и практический опыт приобретается со временем. Поисковые системы проведут переиндексацию, они переиндексацию ведут регулярно, но на это нужно время и терпение админа...
    2012-04-30 в 17:20 | Ответить
    Сергей Куприянов
    Такой шаблон файла robots.txt не может быть рекомендован разработчиками движка WordPress (как автор утверждает).
    Директивы, например, 2-3 и 20-21 — это просто абсурд, этими директивами закрываются от индексации страницы входа в админку (зачем такие страницы закрывать от индексации?)
    От индексации админ закрывает дубли доступа авторских страниц и «секретные» станицы...
    Я опубликовал свои советы по составлению актуального файла robots.txt, статья в свежих записях, предлагаю обсудить...
    2012-04-30 в 16:59 | Ответить
    Дмитрий
    Все сделал правильно. Скопировал ваш, заменил ссылки, яндекс вебмастер упорно пишет при проверке внизу-
    1: ?User-agent: *
    Обнаружена неизвестная директива
    2: Disallow: /wp-login.php
    Перед правилом нет директивы User-agent
    Что это такое, не пойму
    2012-05-11 в 10:20 | Ответить
    Оксана
    Не понятно только одно, зачем дважды прописывать User-agent: * (для всех роботов) и User-agent: Yandex (отдельно для Яндекса), по-моему для него отдельного приглашения никогда не требовалось
    2012-05-11 в 17:50 | Ответить
    Сергей Куприянов
    Если обе группы директив «для всех» и «для Яндекса» имеют одинаковый состав директив, то можно оставить только группу директив «для всех» (User-agent: * )
    ============
    пункт №3 инструкции Яндекса по составлению директив для файла robots.txt
    2012-05-12 в 16:40 | Ответить
    Николай Николаевич
    Так и не получил ответ по поводузакрытия\открытия тегов и категорий:- ( Не понятно, закрывать их или открывать? Я просто понимаю так. Записи все начинаю появлятся на главной странице, значит в первую очередь анонсы индексируются с главной, затем робот доходит к тегам и категориям, а там те же анонсы что и на главной! Выходят дубли? А если учесть что дублей не два, а три будет — так это вообще неприемлемо? :- ( Первый дубль с главной, второй с тегов (меток) и третий с категорий. Как быть?
    2012-05-13 в 23:06 | Ответить
    Николай Николаевич
    Кстати у Вас я тоже смотрю дублей хватает, в индексе Яшки 590 страниц, а в гугле 18600. Или это нормально? ??
    2012-05-13 в 23:07 | Ответить
    Серый
    Коментарии зачем прятать от поисковиков — это же автонаполняемый контент !
    2012-05-26 в 20:01 | Ответить
    Vastrale
    Эта Строчка для многих будет лишней.
    Disallow: /webstat/
    Как в моем случае.
    2012-06-21 в 03:29 | Ответить
    Алексей
    Хотелось бы узнать , почему лишней?
    2013-03-08 в 23:54 | Ответить
    Евгений
    Александр, советую Вам в свой роботс.тхт вписать еще такое:
    Disallow: /xmlrpc.php
    Disallow: /template.htm
    Disallow: /cgi-bin
    2012-08-15 в 21:00 | Ответить
    Евгений
    Советую кстати всем еще вот это дописывать:
    User-agent: ia_archiver
    Disallow: /
    Таким образом вы закроете свой сайт от ВебАрхива, и тогда его никто не стырит у Вас. Есть проги, которые частично качают сайт с вебархива.
    2012-08-21 в 17:32 | Ответить
    Вячеслав Балашов
    Подкорректировал свой robots.txt — посмотрим, что буде в ближайшее время
    2012-08-29 в 23:05 | Ответить
    Дмитрий Чернявский
    Ознакомился со статьей, посмотрел robots.txt, впринцепи у меня такой же практически, внес кое-какие корективы, спасибо.
    2012-09-01 в 19:56 | Ответить
    Денис
    Спасибо за статью!
    2012-09-06 в 20:49 | Ответить
    Вячеслав Балашов
    Индексация улучшилась и посещаемость тоже
    Нужно открывать /tag для индексирования
    2012-09-08 в 18:34 | Ответить
    Евгений
    А как именно улучшилась? Боязно как-то открывать теги для индексации.
    2012-09-09 в 10:32 | Ответить
    Вячеслав Балашов
    Как ни странно, улучшилась в Гугле, а Яндекс не особо резво отреагировал.
    Например, у Анфисы Бреус. тоже стоит /tag в индексе.
    Тут только подойдет вариант добровольного эксперимента со своим robots.txt (чтобы никого потом не обвинять )
    2012-09-09 в 10:52 | Ответить
    Юлия
    Здравствуйте,
    помогите разобраться c файлом робота, пож.
    Сделала файл на 26 строк для Яндекса и на 26 для всех остальных. Яндекс при проверке путем загрузки самого файла ошибок не находит и показывает все 26 строк, урлы при этом тоже корректно разрешаются-запрещаются к индексации. При загрузке с сайта видит только 3 строки и только 2 запрета:
    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Та же картина, если файл переделать под запрет индексации вообще или убрать вовсе. Яндекс непреклонен ??
    В настройках приватности WP — Разрешить поисковым системам индексировать содержимое этого сайта (галка стоит).
    Я читала о похожей проблеме, что ВП сам генерит робота.
    Можете подсказать, почему так происходит? Версия — 3.4.2.
    Как сделать, чтобы яндекс видел мой файл? Заранее спасибо вам за помощь
    2012-10-14 в 02:42 | Ответить
    Irina
    У меня яндекс хорошо индексировал все страницы. Потом хлоп! Прихлопнул и пишет, что документ запрещен в файле robots.txt. Прописала так ка вы рекомендуете. Посмотрю, что он мне теперь напишет.
    Спасибо.
    2012-11-14 в 23:07 | Ответить
    Галина
    Почитала комментарии, аж страшно стало. Не дай боже, что-то слетит, я ж никогда в жизни в этой тарабарщине не разберусь. Ладно, когда зарабатываешь уже на блоге, там хоть есть чем заплатить тем, кто починить может. А если лимит вложений на этот месяц уже исчерпан и денег нет, то для меня это будет просто звездец.
    2012-11-16 в 22:55 | Ответить
    Масксим
    Спасибо
    2012-12-13 в 13:59 | Ответить
    Евгений
    Спасибо за подробную инструкцию! То, что искал!
    2013-01-19 в 16:05 | Ответить
    Эльдар
    Здравствуйте, у меня проблема в индексацией, а именно с категориями. я в robots.txt прописал строку Disallow: /category/*/* но вот проблема гугл и яндекс индексируют категории. в чем может быть проблема?
    2013-01-24 в 14:23 | Ответить
    Эльдар
    Оперативный ответ
    2013-01-27 в 22:09 | Ответить
    Александр Шнякин
    Да, без робота никуда. Вроде плагин SEO Ultimate может с ним работать прям из админки блога. Так даже проще.
    2013-01-29 в 18:13 | Ответить
    Эльдар
    Александр, так вы мне и не ответили на вопрос
    Цитирую «Здравствуйте, у меня проблема в индексацией, а именно с категориями. я в robots.txt прописал строку Disallow: /category/*/* но вот проблема гугл и яндекс индексируют категории. в чем может быть проблема?» То есть категории индексируются!
    2013-02-03 в 21:39 | Ответить
    Татьяна Саксон
    Интересно, отличается ли чем-то мой роботс. Пойду проверю...
    2013-02-18 в 14:57 | Ответить
    Карина
    Вот набрела на вашу статью вовремя. У меня сайт проработал месяц, но я не могла избавиться от внешних ссылок с шаблона, при редакции сразу выскакивала синтаксическая ошибка. Теперь я поменяла тему, но при анализе сайта показывает отсутствие файла robot.txt. Но у меня работает карта сайта и проиндексированы 18 страниц. Как быть. Если я удалю и установлю снова мой сайт не пострадает? Помогите пожалуйста! Я только учусь и здорово, что есть знающие люди. Может прислать содержимое файла?
    2013-02-21 в 14:29 | Ответить
    Евгений
    Сделал все так, как Вы сказали. Только вот не знаю, а теги можно оставлять индексировать?
    2013-03-10 в 02:50 | Ответить
    Максим
    Подскажите, пожалуйста, как правильно в robots запретить индексацию страницы, созданной в админке WordPress через пункт «Страницы» ?
    2013-04-06 в 09:12 | Ответить
    Димитрий
    Спасибо за подробную инструкцию! То, что искал у вас нашел то что надо!
    2013-04-11 в 22:57 | Ответить
    Виталий
    Привет этот робот стоит у меня с самого начала и яндекс не индексирует страницы моего сайта кроме 2 , что мне для этого сделать , подскажите пожалуйсто!!! Напишите мне на маил или как вам будет удобнее!
    2013-04-22 в 15:29 | Ответить
    Олег
    По-мойму у вас ошибка в файле robots.txt
    В школе start-up Евгений Ходченко говорил — ЧТО не должно быть пробела вот здесь, ниже смотреть!
    Disallow: /comments
    User-agent: Yandex
    2013-05-01 в 23:03 | Ответить
    Артём
    Полезная статья, особенно новичкам
    2013-06-02 в 17:52 | Ответить
    Влад
    Здравствуйте, Александр! С удовольствием читаю Ваш блог, очень много полезного и качественного материала. Спасибо! Но у меня к Вам вопрос, насчет индексации, и это связано со следующим: я вижу (наверное) у вас на сайте закрыт от индексации сайдбар. Как это сделано? Как закрыть от поисковиков ненужный контент в сайдбаре? Заранее спасибо!
    2013-06-12 в 09:36 | Ответить
    Наталия
    Проверила свой robots и оказалось, что не было указано названия сайта! Поэтому валидатор указывает много дублей?
    2013-06-14 в 18:53 | Ответить
    Василий
    вот блин, а я и забыл о роботсе, надо не только создать его, но и рассказать своим читателям о нем.!
    2013-07-04 в 17:56 | Ответить
    Марат
    Александр, статья Ваша написано давно, и здесь все уже в начале прописали свои тхт, и не понятно ничего,чей тхт правильный, и пойдет ли он на мой блог
    2013-07-05 в 17:09 | Ответить
    Марат
    Уже голова идет кругом, кто то пишет так кто-то вообще по другому, и самое главное все авторитеты, Была не была поставлю как у Вас Александр и пойду дальше, а то почти сутки потерял. я надеюсь он у Вас правильный.
    2013-07-05 в 18:08 | Ответить
    бабуля Марата
    Я тоже сколько не пыталась понять , но не смогла
    2013-07-13 в 17:09 | Ответить
    брат Марата
    Ничего сложного нет , все написано понятным языком, скачиваете робота и кидаете в корневую папку, все!
    2013-07-13 в 17:12 | Ответить
    roman
    блог конечно красивый — и оформлено все здорово у Вас , но копировать сам код — неудобно совсем , вставляется без переходов на новую строку.
    2013-07-19 в 13:56 | Ответить
    Александр Быкадоров
    Все там нормально копируется, уж извините — не сочиняйте )
    2013-08-29 в 01:22 | Ответить
    Евгений
    Если на сайте присутствуют неопубликованные статьи, они могут проиндексироваться ПС? Такой robots.txt как у вас не скрывает такие статьи? Если нет, то тогда как скрыть такие статьи, или даже лучше определённую рубрику, поскольку таких статей может быть несколько и их можно поместить скажем в рубрику «черновик».
    2013-08-25 в 17:23 | Ответить
    Игорь
    Этот робот не правильный
    Что бы закрыть категорию от индексирования нужно прописать Disallow: /категория
    Так же робот настроен на все поисковики, по мне так лучше сделать отдельными кусками
    2013-09-14 в 13:02 | Ответить
    Я не Марат
    У меня тоже не получилось настроить себе на сайт этот роботс.тхт
    2013-09-14 в 19:01 | Ответить
    Артём
    Александр даёт столько полезной информации, и всё это абсолютно беплатно
    Спасибо Саше, что он есть
    2013-09-16 в 18:06 | Ответить
    Марат-2
    А у меня всё получилось с первого раза!
    2013-09-16 в 19:22 | Ответить
    Марат Боярский
    Тысячу чертей! Снимаю шляпу перед автором, господа! Мне очень помогла эта статья!
    2013-09-16 в 20:02 | Ответить
    Эдуард
    Все делаю как написано ТИЦ уже на 10 поднялся, PR 1, а вот с индексацией в Яндекс проблема
    2013-10-08 в 15:13 | Ответить
    Ольга
    Еле дочитала до конца. Мелькающая реклама справа — не лучшее для глаз читателей блога.
    2013-10-31 в 17:03 | Ответить
    Сергей Черняев
    Спасибо! Очень полезная информация, а главное вовремя. Давно искал исчерпывающую информацию о robot.txt в одном месте и конкретно. А также верю что информация достоверная, так как смотрю на показатели ресурса. Просто я тут понастроил robot.txt, что закрыл кучу страниц от индексации. Спасибо Борис, что помогли разгрести эту кашу )
    2014-01-04 в 15:25 | Ответить
    Сергей
    У всех разные мнения.Идеального решения не бывает.
    2014-01-07 в 23:50 | Ответить
    Андрей
    Спасибо, за статью очень полезная информация. А главное всё понятно и доступно!
    2014-02-02 в 18:53 | Ответить
    Александр Василенко
    А у меня почему то картинки не индексируются. Что может быть не так? Робот сделал себе такой же.
    2014-02-08 в 23:22 | Ответить
    Nestor
    Пропишите Allow: /wp-content/uploads/
    2014-05-21 в 13:20 | Ответить
    Александр
    Настройка robots.txt — неотъемлемая часть оптимизации сайта!
    2014-02-13 в 18:02 | Ответить
    Евгений
    Да robots очень важная штука для сайта, надо внимательно отнестись к его настройке!
    2014-04-09 в 09:35 | Ответить
    Евгений
    работает)
    2014-04-14 в 15:43 | Ответить
    Vasiliy
    Здравствуйте Александр! Спасибо за ваш очень полезный блог! Вот провожу ревизию Robots.txt и не только. Скажите пожалуйста тот файл Robots.txt который у вас указан он не устарел? Ничего ли не нужно сейчас добавлять? Я просто случайно удалил свой старый Robots.txt, а теперь заново делаю. Но у меня этот файл побольше был, там теги, комментарии закрыты были, страница "Все статьи" тоже. Яндекс индексировал у меня все страницы и записи, без проблем. Вот сейчас взял ваш вариант, но он покороче.
    Скажите пожалуйста не нужно закрывать отдельно комментарии, теги, категории и т.д.?
    Почему спрашиваю, статья датируется 2010 годом.
    Спасибо!
    2014-07-02 в 17:11 | Ответить
    Сергей
    Поставил ваш правильный РОБОТС и после апа повылазило все лишнее, в особенности Page как это исправить?
    2014-09-14 в 11:13 | Ответить
    Блогозапись
    Александр я хочу спросить у тебя, а этот robots.txt точно правильный, просто ты в одном из постов про дубли написал было там тоже про robots. Ничего не имею просто, хочу узнать которую надо использовать?
    2014-10-22 в 20:50 | Ответить
    Рафис
    Спасибо за короткое и ясное пояснение.
    2014-11-04 в 18:04 | Ответить
    Алексей
    Слежу за вашим блогом совсем недавно. У вас периодически меняется robots.txt. Хотелось бы узнать какой на сегодняшний день robots.txt является самым оптимальным для сайта, сделанного на WordPress?
    2014-11-05 в 13:06 | Ответить
    Константин
    Саня, а почему у тебя стоит совсем другой robots.txt, ты его даешь в статье про дубли реплитуком. Эта статья устарела, или этот robots самый правильный?
    2014-11-17 в 14:00 | Ответить
    Жандос Мукатаев
    Здравствуйте!
    Это старая статья, поэтому вы можете не получить ответа на свой вопрос. Напишите в службу поддержки!
    2014-11-17 в 14:14 | Ответить
    Александр
    Александр добрый день! Могли бы вы посмотреть на моем сайте aleksandrkorotkiy.com файл robots.txt почему то Яндекс все странички с моим контентом который я писал добавил в Исключенные страницы с ошибкой HTTP-статус: Доступ к ресурсу запрещён (403).
    Что это может значить и как это исправить ??
    Я бы вам был очень признателен за ответ.
    Спасибо!
    2015-02-13 в 19:08 | Ответить
    Александр
    А в директиве Host адрес сайта надо прописывать с www. ??
    2015-02-13 в 20:05 | Ответить
    Александр
    незнаю, я стараюсь нетрогать робот, тем более он у меня на дле лежит, вроде автоматом неплохо все идет
    2015-02-26 в 21:25 | Ответить
    Ришат
    В поздних статьях Вы советуете открывать все для поисковых роботов, а здесь все наоборот. Как понять такую не стыковку?
    2015-04-05 в 15:29 | Ответить
    Рашид
    Я так понимаю надо robots.txt делать по новой статье.
    2015-04-07 в 09:59 | Ответить
    Илья
    А почему у вас на сайте он другой? Вы намеренно не самый правильный вариант используете?
    2015-07-23 в 20:15 | Ответить
    Ольга Happy
    Подскажите, пожалуйста, до сегодняшнего дня все было нормально, в роботсе давно не лазила, нчиего не исправляла. Сегодня зашла в гугл-вебмастер и там меня встретила сообщение от 6 сентября :что нет доступа к wp-content/uploads/2015/08/
    что это может значить? нет доступа к картинкам? в роботсе доступ открыт...
    2015-09-08 в 16:10 | Ответить
    Руслан
    РЕБЯТАААА ГЛЯНЬТЕ НА ДАТУ ПОСТА!!!
    2010 год... На самом деле в роботсе добавилось больше строк...
    2016-05-29 в 02:03 | Ответить
    Анатолий
    Здорово! Теперь и у меня будет правильный рообот.тхт на сайте!
    2016-10-24 в 12:55 | Ответить
    Анатолий
    Здорово! Теперь и у меня будет правильный рообот.тхт на сайте!
    2016-10-24 в 13:17 | Ответить
    online Vasiliy
    Ну наконец то я нашёл то что нужно для правильного составления роботс для wp.Здорово что есть люди которые могут помочь.
    2016-11-15 в 17:32 | Ответить
    Константин
    Александр приветствую. У вас же на хостинге есть бесплатный Ssl протокол, сделайте свой сайт с зеленым замочком.
    2017-04-27 в 15:41 | Ответить

Оставить комментарий: ?  Отменить ответ

Следить за комментариями к статье
.