読者です 読者をやめる 読者になる 読者になる

yamaguchi.txt

開発日記。備忘録代わりだよ。

ブラウザではアクセスできるのにcurlでhtmlが取ってこれない時

curlのUser Agentが弾かれているのかもしれません。ブラウザのUser Agentをホワイトリストにしてそれ以外を弾くようにしているサイトもあるみたいです。
何のUser Agentで通信しているかは、-vオプションを付ければわかります。

$ curl -A "Mozilla/5.0" https://www.example.com

などとしてUser Agentを偽装しましょう。