내 브라우저로 서버 인터넷 사용하기

데이터셋을 유튜브에서 모으다 보면, 다음과 같은 에러에 직면할 때가 있다.

ERROR: Unable to download webpage: HTTP Error 429: Too Many Requests (caused by ); please report this issue on https://yt-dl.org/bug . Make sure you are using the latest version; see  https://yt-dl.org/update  on how to update. Be sure to call youtube-dl with the --verbose flag and include its complete output.

유튜브가 해당 서버 ip를 밴먹인건데, 다음과 같이 해결할 수 있다.

  1. ssh -D 9999 user@remoteserver을 통해서 서버 접속
  2. 파폭 설정 최하단 네트워크 설정에 가서 SOCKS 프록시 설정
이렇게 설정

3. 그리고 유튜브에 들어가서 아무 비디오나 누르면 다음과 같은 캡챠를 부탁한다.

4. 캡챠 해결후 쿠키 다운로드. cookies-txt 플러그인을 사용해서 cookies.txt를 다운 받은 뒤 서버에 올리자.

5. 이후 youtube-dl 을 사용시 –cookie cookies.txt를 붙혀주면 댐.

6. 참고로 다운 받을 때, 15초 정도의 텀을 두고 youtube-dl을 써주면 밴이 자주 안 걸린다.

7. 물론 이리 해도 다시 밴당함. 그냥 여러 ip 섞어 쓰자.

Posted on Posted in 컴공