С осени Google перестанет поддерживать недокументированные и неподдерживаемые правила в Robots Exclusion Protocol. Это значит, что поисковик больше не будет поддерживать директиву noindex в файле robots.txt. Bing под шумок хайпанул и сообщил, что вообще никогда не поддерживал данную директиву.