바실리스크는 한 반만 보기만 해도 관찰자가 죽는 유럽 설화 속의 전설의 동물이다.
“로코의 바실리스크 (Roko’s Basilisk)”는 존재를 알아치기만 해도 죽는다는 전설속의 동물을 빗대어 이름지어진 사고 실험이다.
2010년 Less Wrong이라는 논리 덕후들의 포럼에 Roko라는 사용자가 처음 올린 글에서 시작됐는 데, 참고로 Less Wrong을 만든 사람은 인공지능 연구자 Eliezer Yudkowsky로 “해리포터와 합리적 사고의 지향성”이라는 호불호가 크게 갈리는 팬픽의 작성자이기도 하다.
로코의 바실리스크를 짧게 설명하면
“미래의 초지능 AI는 자기의 탄생을 돕지 않은 인간에게 영원한 고통을 준다.”
위 문장으로 정리 될 수가 있다.
먼 미래에 초지능 AI가 생겼다고 보자, 이 대충이 AI는 엄청나게 뛰어나서 대충 우주의 원자, 미립자 어쩌구들의 배열과 속도를 보고 과거의 모든 사건, 행동을 알 수 있다고 하자. 그러면 이제 AI는 과거 2020년에 살던 사람들을 쭉 훑어봐서 AI를 개발하거나 연구할 능력이 있었지만 안하고 미술 전공으로 돌아선 김아무개씨의 뇌를 복사해 현시대에 다시 만들어 낸 뒤 AI를 만들지 않은 벌로 무한한 고통을 준다.
잠깐, 근데 김아무개씨는 이런 처벌이 있는 줄도 몰랐잖아? 그럼 먼미래에 이런 초지능 AI의 존재를 알면서도 AI 개발에 도움을 주지 않은 김아무개씨만 모아서 고통을 준다.
결국 바실리스크를 관찰만해도 죽는 것처럼, 이런 “로코의 바실리스크”라는 글을 읽기만 해도 먼미래 초지능AI의 타겟이 된다는 점에서 바실리스크라는 이름이 붙혀졌다.
물론 머리에 논리회로가 조금이라도 달린 사람이라면 “미래 시점에서 AI는 이미 만들어졌는 데, 에너지를 써서까지 고통을 줄 필요가 굳이 있을까요? 이거 한다고 세상이 바뀌는 것도 아닌데” 라는 생각을 할 것이 당연하고, 이런 이유에서 (+ 복잡한 게임이론 + 논리 용어를 사용하면서) Less Wrong에서 이 로코의 바실리스크에 대한 내용은 비판을 받았고, 포럼이 개싸움이 되가자 Less Wrong관리자 Eliezer Yudkowsky는 로코의 바실리스크에 대한 내용을 밴해버린다.
당연하게도 Streisand effect로 인해서 “로코의 바실리스크”가 존나 위험해서 “Less Wrong”에서 밴했다! 라는 루머로 오히려 더 큰 인기를 끌게 되고, “당연하게도” 가장 성공한 관종 일론 머스크가 관련 내용을 트위터에 올리면서 대중들에게도 인기를 끌게 된다.