robots.txt для сайта

А чем вам не угодил стандартный роботс.тхт от Wordpress? Возможно, проблема с плагином All in seo pack?

User-agent: Mediapartners-Google 
Disallow:

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /webstat
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: */trackback
Disallow: */feed
Disallow: /feedback/*
Disallow: /author/*
Disallow: /page/*
Disallow: /tag/*
Disallow: /*?*
Disallow: /*?
Disallow: /xmlrpc.php
Disallow: */comments
Disallow: */comment-subscriptions
Disallow: /*replytocom*
Host: smychnyk.name
Sitemap: http://smychnyk.name/sitemap.xml

User-Agent: * 
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /webstat
Disallow: */wp-login.php 
Disallow: */wp-register.php 
Disallow: */wp-admin 
Disallow: */wp-includes 
Disallow: */wp-content/plugins
Disallow: */wp-content/cache
Disallow: */wp-content/themes
Disallow: /wp-trackback
Disallow: */trackback
Disallow: */feed
Disallow: /wp-feed
Disallow: /author/*
Disallow: /page/*
Disallow: /tag/*
Disallow: /*?*
Disallow: /*?
Disallow: /xmlrpc.php
Disallow: */comments
Disallow: */comment-subscriptions
Disallow: /*replytocom*

Sitemap: http://smychnyk.name/sitemap.xml 

Sitemap: http://smychnyk.name/sitemap.xml.gz

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /adv
Disallow: /embed.js
Disallow: */page
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /go.php

Host: darmoid.ru 

Sitemap: http://darmoid.ru/sitemap.xml

Мои блоги спокойно живут в индексе с такими роботсами. Предлагаю выбрать первый вариант и подставить свой домен вместо моего блога. В плагине олл ин сео пак закрыть от индексации теги. Категории можно оставить.

Еще одно в роботс.тхт если прописываете правила для конкретной поисковой системы ставьте её в самом начале. В идеале лучше ставить в начале яндекс, а потом все остальные.

странно, но сайт есть в индексе как гугла так и яндекса

Возможно, какой-то баг в вебмастере. Скрин приложил к теме

Доброго времени суток!

Не торопись с выводами насчет вашего файла, сегодня проблема с яндекс.вебмастером, у меня висит такое сообщение:

И некоторые мои проекты тоже показывают в индексе 0 страниц.Подождите немного, думаю,что проблема в работе самого вебмастера. Удачи!