• Добавить отдельную страницу в индекс.
  • 9 идей для рекламного заголовка
  • Работа копирайтера хотелось бы узнать...
  • Только фотографии
  • Новости начинающему · Новые сообщения · Участники · Правила форума · Поиск · RSS
    Страница 1 из 11
    Модератор форума: Newly_made10 
    Форум » Людям с гордым именем - WEB мастера. » SEO оптимизация. » Описание файла robots.txt на uCoz (На uCoz обновился файл robots.txt.)
    Описание файла robots.txt на uCoz
    Newly_made10Дата: Среда, 2015-12-16, 4:29 AM | Сообщение # 1
    умный
    Группа: Администраторы
    Сообщений: 416
    Награды: 4
    Репутация: 101
    Статус: Offline
    На uCoz обновился файл robots.txt. Он еще больше настроен на самую оптимальную работу в системе, запрещает к индексации ненужные, откровенно мусорные страницы и многочисленные дубли страниц, которые система uCoz генерирует в большом количестве. Некоторые не понимая смысла файла и ошибочно считая, что сайт запрещен к индексации, прописывают свой файл, разрешая всё в лучшем случае. В худших случаях пользователи сами ставят правила, не задумываясь о последствиях. В особо извращенных случаях пользователи копируют файлы robots.txt с других систем управления сайтов и ставят на uCoz. И вот, чтобы не было всех этих недоразумений, приведу построчное описание файла robots.txt на uCoz.

    Системный файл robots.txt

    User-agent: *
    Allow: /*?page
    Allow: /*?ref=
    Disallow: /*?
    Disallow: /stat/
    Disallow: /index/1
    Disallow: /index/3
    Disallow: /register
    Disallow: /index/5
    Disallow: /index/7
    Disallow: /index/8
    Disallow: /index/9
    Disallow: /index/sub/
    Disallow: /panel/
    Disallow: /admin/
    Disallow: /informer/
    Disallow: /secure/
    Disallow: /poll/
    Disallow: /search/
    Disallow: /abnl/
    Disallow: /*_escaped_fragment_=
    Disallow: /*-*-*-*-987$
    Disallow: /shop/checkout/
    Disallow: /shop/user/
    Disallow: /*0-*-0-17$
    Disallow: /*-0-0-

    Sitemap: http://адрес сайта/sitemap.xml
    Sitemap: http://адрес сайта/sitemap-forum.xml

    Описание каждой строчки файла robots.txt на uCoz

    User-agent: * общее обращение ко всем сканерам, читающим файл robots.txt
    Allow: /*?page разрешение страниц пагинации на главных страницах модулей
    (связанно со строчкой Disallow: /*? )
    Allow: /*?ref=нужна для правильной переиндексации компонентов социальной
    регистрации
    Disallow: /*?запрет к индексации поисковых запросов, кода безопасности
    на uCoz, проксированных ссылок, компонентов рекламного баннера, дублей
    главной страницы и блога (компоненты кода системы, связанные с сессиями ssid),
    дубли ссылок на изображения в фотоальбомах, других мусорных компонентов системы
    Disallow: /stat/ запрет индексации компонента счетчика статистики (картинка с данными)
    Disallow: /index/1 техническая страница входа
    Disallow: /index/3запрет индексации страницы регистрации (локальная регистрация)
    Disallow: /register запрет индексации страницы регистрации (социальная и uID регистрация)
    Disallow: /index/5запрет к индексации аякс окна напоминания пароля в старой форме входа
    Disallow: /index/7служебная страница выбора аватара из коллекции
    Disallow: /index/8запрет к индексации профилей пользователей (один из способов защиты от спама)
    Disallow: /index/9запрет индексации аякс окна Доступ запрещен
    Disallow: /index/sub/ запрет к индексации локальной авторизации
    (связано со старой формой входа)
    Disallow: /panel/запрет к индексации входа в панель управления
    Disallow: /admin/запрет к индексации входа в панель управления
    Disallow: /informer/запрет к индексации информеров, вставленных скриптом
    (при этом содержимое информеров, вставленных системным кодом $MYINF_х$
    будет индексироваться свободно)
    Disallow: /secure/запрет на индексацию кода безопасности
    (связано со строчкой Disallow: /*?)
    Disallow: /poll/запрет индексации служебной папки опросов
    Disallow: /search/запрет индексации страницы поиска,
    тегов и поисковых запросов (связано со строчкой Disallow: /*?)
    Disallow: /abnl/запрет индексации компонентов системного
    рекламного баннера (для сайтов с не отключенной рекламой)
    Disallow: /*_escaped_fragment_=запрет технического компонента кода
    Disallow: /*-*-*-*-987$ запрет дублей страниц в модулях Новости
    и Блог, связанных с кодом комментариев на странице
    Disallow: /shop/checkout/запрет к индексации корзины и кода
    оформления заказа для Интернет магазина
    Disallow: /shop/user/ запрет к индексации пользователей
    магазина (быстрая регистрация)
    Disallow: /*0-*-0-17$запрет к индексации различных фильтров,
    страниц материалов пользователя, ссылки на последнее сообщение форума, дублей системы и т.д
    Disallow: /*-0-0-запрет к индексации страниц добавления материалов,
    списков материалов пользователей, ленточного варианта форума (некоторые дублирующие URL),
    страниц со списком пользователей (некоторые дублирующие URL), поиска по форуму, правил форума,
    добавления тем на форуме, различные фильтры (с дублями), страницы с редиректами на залитые на сервер файлы
    Sitemap: http://адрес сайта/sitemap.xmlобщая карта сайта
    Sitemap: http://адрес сайта/sitemap-forum.xmlкарта форума
    (оставлять в файле, если активирован модуль форум)
    Sitemap: http://адрес сайта/sitemap-shop.xmlкарта магазина
    (прописывать только, если активирован модуль Интернет магазин)
    Host:адрес сайта без http:// (прописывать, если прикреплен домен
    для определения главного зеркала. дирректива прописывается в
    любом месте роботса, предназначена для Яндекса, при этом
    отдельное обращение к роботам Яндекса не нужно. Google игнорируется)


    Хватит стоять на месте, надо искать следующие тупики.
    Помощь начинающему
    Форум с оплатой
     
    Форум » Людям с гордым именем - WEB мастера. » SEO оптимизация. » Описание файла robots.txt на uCoz (На uCoz обновился файл robots.txt.)
    Страница 1 из 11
    Поиск: