robots.txtは今でも使用します。
書き方は大分シンプルになっています。

user-agent部にクローラー名を入れるか、
ブロックするクローラーがなければ「 * 」にしとけば安心です。

Googleは意味もなくブロックしているコンテンツ嫌います。
理由はブロックする必要があるサイト=SEO目的とされるためです。

robots.txtの下部に
sitemap.xmlを追加するとクロールされやすくなります。

他にもテスト用のフォルダのみクロールされたくない場合は、
robots.txt内に使用ドメイン

サイト全体をブロック

Disallow: /

特定のディレクトリとその中身をすべてブロックするには、ディレクトリ名の後にスラッシュを入力します。
D

isallow: /フォルダ名/

特定のページをブロック

Disallow: /ファイル名.html

画像検索から特定の画像を削除するには

User-agent: Googlebot-Image
Disallow: /images/dogs.jpg

Google 画像検索からサイトのすべての画像を削除

User-agent: Googlebot-Image
Disallow: /

特定の種類のファイル(例: .gif ファイル)をブロック

User-agent: Googlebot
Disallow: /*.gif$

疑問符(?)を含むすべての URL へのアクセスをブロック

User-agent: Googlebot
Disallow: /*?

URL の末尾に一致させるには

User-agent: Googlebot
Disallow: /*.xls$

サーバーに設置する前に確認

クロールされたくないフォルダのURLを指定しましょう。