.. da ich immer wieder nachschaue, poste ich heute mal den Link zu dem Bereich im WordPress Codex, der sich mit Suchmaschinenoptimierung für WordPress Websites beschäftigt und eine Beispiel robots.txt bereitstellt:

https://codex.wordpress.org/Search_Engine_Optimization_for_WordPress