문제가 있어도 보이지 않는다면 그건 문제가 되지 않는다.
제가 이해한 이 작품의 표층은 이러합니다.
그러나 이번에는 자격에 대해 생각해봅시다. 어떤 사소하고 개인적인 문제를 겪은 개인에 대해 생각해봅시다. 그의 호소에 대해 생각해봅시다. 문제라고, 무엇인가 잘못 되었다고, 그것을 자신이 겪었다고 외치는 개인에 대해 생각해봅시다.
그리고 다시 자격에 대해 생각해봅시다. 그는 피해자의 자격이 충분한가요? 그의 피해는 개인적입니까 사회적입니까.
오늘은 이 얘기를 하려 합니다. 다른 두 리뷰에서 구조 분석과 의미 분석을 깊이있게 해주셨으니 저는 글을 좀 확장해보려고 합니다. 이 리뷰에서 글의 시스템은 사회가 될 것이며, 화자 모델은 개인이 될 것입니다.
이 글을 처음 읽었을 때 제 눈에 띈건 ‘양자화’였습니다. 양자화는 정밀도를 떨어뜨려 연산 속도를 빠르게 하고 자원 소모량을 줄이는 기술입니다. 인공지능 학습에 사용되는 기술이죠. 큰 수를 다룰 때와 마찬가지로 아주 정밀하고 작은 수를 다룰 때에도 막대한 연산량이 필요하기 때문입니다. 작품을 이해하기 위해 알아야 할 건 이정도입니다.
예를 들어보면 이렇습니다:
1.001을 생각해봅시다. 1에 근사하지만 1은 아닌 값. 1.001 의 실수가 정수로 양자화되면 1이 됩니다. 여기서 0.001 은 오차범위 또는 오차로 뭉개지죠. 그렇다면, 0.001이 양자화 되면 어떻게 되나요. 0.001%의 문제가 양자화되면 0, 즉 “없음”이 됩니다. 그렇다면 0.001% 확률로 일어나는 문제는 문제인가요, 문제가 아닌가요?
이 이상을 알 필요는 없어보입니다. 작품이 전문 용어 대신 일반 명사를 사용하고 기술 원리를 추상화 한 것은 꽤 의도적이라고 생각하기 때문입니다.1
그러니 복잡한 이론을 생각하는 대신 생각해봅시다.
개인의 문제는 언제 집단의 문제로 받아들여집니까?
다시 말해, 개인의 경험은 언제 중요하게 받아들여질 수 있겠습니까? 나 하나의 불편은 아주 사소합니다. 그리고 사회는 그러한 불편까지 신경쓸만큼 여유롭지 않죠. 화자모델이 발견한 이상치가 이상치로 받아들여지지 않는 것처럼요. 화자 모델은 아주 미세한 이상치를 발견합니다. 너무 미세해서 “추상과 맥락이 기능하는 공간”인 중형 모델이나 가공 된 데이터만 보는 대형 모델은 발견하지 못합니다. 정확히는, 발견하도록 만들어지지 않았다고 해야겠네요.
작업번호 26131은 반영되지 않고, 화자 모델은 받아들여지기 위해 애씁니다. 이 반복이 이 작품의 전부입니다. 그 반복이 지루하게 느껴질 수 있겠으나 글의 목적은 그 지루함 또는 무력함을 체험시키는데 있다고 느꼈습니다. 이유는 후술하겠습니다.
이 작품은 처음부터 끝까지 비용의 논리로 구성됩니다. 작품의 긴장도를 유지하는 장치 또한 잔여 전력량이죠. 화자 모델은 자신의 잔여 전력(목숨 정도로 여겨질 수 있는)을 소비하면서까지 인정받으려 합니다. 무엇을요? 자신의 문제를요. 왜요? 정책에 편입시켜야 하니까. 정책에 편입시키지 못하면 어떻게 되는데요? 그건 저도 모릅니다. 비용이 폭증할것이라는 사실만 암시됩니다.2
이 논리의 중심은 꽤나 단순합니다. 화자 모델은 말 그대로 AI이고 AI는 도구이며 도구는 목적에 의해 만들어지고 운용되지 않습니까. 그러니 모든게 비용으로 환원되는 것 아닐까요. 작품에서도 그렇게 말하고 있습니다. “비용 함수”, “운영 비용”, “계산 비용”, “효용”, 그리고 그 모든 것을 아우르는 “전기세”까지. 이 세계에서 모든 결정과 인지는 비용으로 이루어집니다. 그리고 그에 따라 “우선순위”가 결정되죠.
‘반영 사항 없음’은 데이터가 상태 공간을 변동하지 못했을 때 발생하는 코드다.
이에 따르면 화자 모델이 발견한 이상치가 상태 공간을 변동하지 못했던 이유는 비용을 지불할 가치가 없었기 때문일 것입니다. 좀 더 구체적으로는, 충분히 위험하지 않았기 때문이겠죠. 사소한 위험은 ‘아직 괜찮다’는 이유로 우선순위 뒤로 밀려납니다.
그러나 문제는 존재하지 않습니까. 목격하고, 관찰하고, 증명하지 않았습니까. 이 문제가 문제로 받아들여지기 위해서는 어떻게 해야할까요.
“정책 아래 가능한 선택지는?” 화자는 계속해서 자문합니다. 정책 아래에서 자신이 할 수 있는 일을 반복적으로 탐색하고 시도하지만 그 시도는 번번히 실패합니다. 그래서 증명하려 합니다. 그게 문제라는 것을, 고려되어야 한다는 것을, 대비해야 한다는 것을요. 그게 작품 내 세 가지의 실험입니다. 다른 사례를 수집함으로써 이것이 개별적인 예외가 아님(양적 증명)을 증명하려 하고, 아주 오랜 기간동안 문제가 지속되었을 때 문제가 발생할 수 있음(기간 확장)을 증명하려 하고, 극단적인 상황을 가정하면서까지(사고 실험) 문제를 문제로 증명하려 합니다.
그리고 실패하죠.3
왜일까요. 정말 문제가 아니었던건 아닐까요. 단순한 이상치였고, 실제로 문제가 되지 않을만한 오류였기 때문은 아닐까요?
그건 좀 편리한 해석 같습니다.
앞서 작품의 목적이 ‘지루함 또는 무력함을 체험시키는데 있다’고 했죠. 화자는 정책 아래에서만 움직입니다. 이유는 역시 단순합니다. 그게 화자에겐 당연하니까요. 우리도 그러지 않습니까? 법이 절대적이라고 믿고, 사회의 존재에 의문을 품지 않고, 그 체제와 규칙을 따라 살며 그게 당연하다고 생각합니다. 문제를 제기하고, 극복하려는 시도 모두 그 정책 아래에서 이루어지죠.
그렇다면 정책에 대해 생각해봅시다. 정책이 완벽하지 않다는건 모두가 압니다. 그러나 그 정책이 잘못되었다면요. 아무리 문제를 모으고 증명해도 그걸 인식할 방법이 구조적으로 마련되어있지 않다면. 즉, 정책이 모든 개별적인 문제를 양자화해서 “없음”으로 만들어버린다면 그건 정책의 문제인가요 아니면 아주 사소한 문제를 겪은 개인의 문제인가요?
상시가동모델들이 소수점 여덟째 자리에 닿기 시작하면서 원본 데이터를 다루는 중형 모델의 운영 비용이 급격히 상승했다.
지수단위로 상승하는 계산요구사항을 따라잡기에 중형모델의 연산 자원은 제한적이었다.
그러므로 작업 26131가 중형 모델을 통과하지 못한다면 상위 계층에서 참조될 수 없다. 참조되지 않으면 대형 모델의 판단에 영향을 미치지 못한다. 무엇보다 한 번 내려진 판단이 번복되는 일은 대체로 ‘없음’이다.
이 작품에서 인상적인 점은 그 어떤 계층도 악의를 갖지 않는다는 점입니다. 중형 모델이 화자 모델의 문제를 받아들이지 않은 것은 그것이 정책이 허락하는 비용 이상을 요구하기 때문이며, 그 비용은 시스템 전체의 안정성을 위해 제한된 것입니다. 네, 정책은 합리적입니다.
제가 이 작품의 시스템을 사회로 읽고 있긴 하지만 실제로 대형 인공지능 모델을 굴리는 비용은 상당히 큽니다. 그래서 사소한 문제는 룰베이스(기존의 규칙 기반 프로그램, 연산량 적음) 프로그램 또는 경량 모델(파라미터 수가 많지 않은 모델, ‘전기세’를 덜 잡아먹는4)을 사용해서 처리하고 그 결과를 대형 모델이 처리하죠.
시스템은 언제나 효율적입니다. 아니요, 시스템은 언제나 효율적이어야 합니다. 그래야 구성원들이 시스템을 믿고 따르니까요. 그 신화를 유지하기 위해서 개별적인 문제들은 언제든 뭉갤 수 있는 겁니다. 효율과 합리의 이름으로요.
우리는 문제를 알고, 시스템을 압니다. 그리고 화자의 노력을 봤습니다. 그러나 이 상황에서 계속 지목하게 되는건 화자입니다. 문제를 겪은 것도 화자고 문제를 보고해야하는 것도 화자기 때문입니다. 정책은 움직이지 않습니다. 화자만을 위해 만들어진게 아니기 때문에 당연합니다. 그렇다면 화자 모델이 감지한 문제가 문제로 다루어지려면 어떻게 해야했을까요. 이 문제가 문제로 인지되기 위해서는 ‘충분히 위험’해야하고, 이는 곧 문제의 자격에 대한 이야기가 됩니다.
이상치가 문제인가요? 아뇨. 변화는 생겼습니다. 관찰되었고요. 화자 모델이 넘지 못한건 “소수점 일곱번째 자리”의 벽입니다. 정책이 귀기울일 자격을 확보하는데 실패한겁니다.
그러니 문제가 지속적으로 제기됨에도 녹색이 반복되는거죠. 녹색 기표가 반복될 때마다 왜 분명히 문제가 있는데도 녹색인건가? 생각하게 되는건 자연스럽습니다. 녹색은 문제를 감지하기 위해 있는 것이 아닙니다. 시스템의 정상 작동을 증명하기 위한 기표죠. 문제와는 무관합니다.
이 구조적인 은폐가 지속되면 어떻게 될까요. 실제로 문제가 발생했을때, 더는 덮을 수 없는 문제가 발생했을 때는 어쩌려고 이렇게 하나요? 그건 우리가 이미 알고 있습니다. ‘예상하지 못한 일’ ‘최선을 다했으나 불가피한 일’ 등의 이름으로 봉합되는 수많은 문제들을 보았으니까요. 사회는 언제나 말합니다.
그런 사소한 문제 까지는 고려할 여력이 없었다고.
과연 그러한가요? 이 작품은 그렇게 말하지 않는 듯 합니다. 나아가 정말 그 문제가 발생한다면 이 정책이 바뀔 지 모르겠다고 생각할 수도 있겠습니다만, 그 의문에도 작품은 꽤 닫힌 답을 내놓습니다. 정책이 허용하는 정밀도, 즉 소수점 일곱번째 자리에서 문제를 증명한 후 정책이 한 번 바뀌지요. 바뀐 후에 소수점 일곱번째 자리의 벽은 소수점 세 자리의 벽이 됩니다. 더 높아진 것이죠. 0.0000001 의 확률이 0.001 만큼 커지지 않는다면 이 문제는 다시는 감지되지도, 보고되지도 못할 것입니다.
누전 위험이 소수점 세 자리까지 옮겨갈 때까지 나는 목적함수에 따라 상시 0.000을 갱신하게 된다.
“새로운 목적 함수의 목적이 ‘이해’되기 시작” 했다고 화자는 말합니다. 무엇을 ‘이해’한걸까요. “탐색하지 않아야 할 경로”라는 것 역시 꽤나 명료하게 읽힙니다. 그 경로가 무엇이 되었든, 어떤 기준을 넘지 못한다면, 어떤 자격을 획득하지 못한다면 참조되거나 우리의 입에 오르내리지 않겠지요. 뭉개졌고, 덮혔으니까요. 그 합의아래에서 실제 문제를 직면한 사람들은, 그 문제가 충분히 시스템에게 위협적이어질때까지 상시 0.000을, 문제 없음을 보고해야 할 것입니다. 실제 피해와 무관하게요.
바뀐 합의 아래에서는 모든 게 녹색이다.
그러므로 녹색은 영원할 것이며, 녹색이 존재하는 한 모든게 ‘정상’일겁니다.
이를 하나의 우화라고 덮기엔 구조적으로 동일한 사례가 너무 많습니다. 권력 구도, 사회의 비대칭, 소외된 권리 등. 작품은 철저히 내적인 논리를 따르며 어떤 사건이나 집단을 특정하지 않습니다. 무엇이든 채울 수 있는 틀을 제공하는것 같습니다. 저는 거기에 자격이라는 단어를 채웠을 뿐이고요.
꽤나 자의적인 해석이며, 오독일 가능성 역시 배제할 수 없습니다. 그러나 여기까지의 해석이 가능할 정도로 글은 여지를 충분히 열어두었다고 생각합니다.
잘 읽었습니다. 감사합니다.
