yamaguchi.txt

東京に帰ってきた情報系東大生です

ブラウザではアクセスできるのにcurlでhtmlが取ってこれない時

curlのUser Agentが弾かれているのかもしれません。ブラウザのUser Agentをホワイトリストにしてそれ以外を弾くようにしているサイトもあるみたいです。
何のUser Agentで通信しているかは、-vオプションを付ければわかります。

$ curl -A "Mozilla/5.0" https://www.example.com

などとしてUser Agentを偽装しましょう。