웹 파이선 프로그래밍

제가 정보를 가져오고자 하는 사이트가 크롤링이 가능한지 robots.txt를 이용해 확인해 보았는데 disallow라고 되어 있습니다. 작년 예시 영상들에서 youtube나 다른 웹사이트들에서 정보를 가져온 걸 봐서 괜찮을 거라 생각했는데 더 알아보니 불법일 수 있다고 해서요. 상업적 사용이 아니더라도 불법인 건가요? 

그럼 유튜브나 다른 웹사이트의 정보는 사용하지 못하고 open API접근만 가능한 건가요?