Не пускаем противных аяксовых роботов

Не понимаю, отчего даже гугль продвигает данную технологию (Совет от Google по созданию AJAX приложений, которые индексируются поисковым ботом).

Я это не применяю в своих проектах, ибо архитектура сделана правильно и все страницы и данные на своих местах (в отличие от тех, кто пытается делать точку входа типа /ajax.php, одну на все ajax-запросы). То есть, двойных страниц с дублирующейся информацией попросту не существует.
То есть, грубо говоря, сайт будет работать без js. А если включить js, то будет работать через ajax, причём внутри это будет как запросы к совершенно тем же url, только информация передаётся в json-формате.

Но оставим технические подробности и вернёмся к нашим баранам.

То есть, можно предположить, что поисковые системы будут пытаться достучаться до адресов с параметром _escaped_fragment_
А так как у нас этот параметр не применяется, то, чтобы не выдавать ничего на странице (как минимум не грузить сервак, как более не создавать дубли в SEO, хотя наверняка поисковые системы настроят так, что это игнорируется), то можно применить вот это правило:

#fucking ajax bots
RewriteCond %{QUERY_STRING} ^_escaped_fragment_=(.*)$
RewriteRule ^.*$ /? [R=404,L]