Site hosted by Gatsby Cloud is not indexed due to x-robots-tag:none
이슈
Gatsby Cloud를 이용하고 있는데, Google Search Console에서 모든 페이지를 크롤링을 못한다고 한다. \
HTTP Header에 "x-robots-tag: noindex" 라고한다.
이유
난 아무것도 건들지 않았는데 왜 이런 Header가 포함되었는지 몰라 Gastby 공식 사이트를 둘러보았다. \
gtsb.io domain 은 Access Control로 관리되고 있어서 크롤링 못하게 막아놓았다고 한다. 이유는 Preview, Pull Request build이기 때문에..
해결 방안
gatsbyjs.io 또는 Custom Domain을 사용하여 해결