스케일링은 AGI가 아니다

다리오가 맞는 부분

다리오의 판단 중 맞는 것들이 있다. AI가 인류 역사상 가장 빠르게 확산되는 기술이라는 것, 소프트웨어 엔지니어링 자동화가 사실상 완성 단계에 도달했다는 것, 그리고 이 변화에 적응할 시간이 100년이 아니라 5~10년뿐이라는 현실 인식. 이런 진단은 정확하다.

Anthropic이 Claude를 세계 최고 수준의 LLM으로 끌어올린 것도 부정할 수 없는 실력이다.

하지만 진단이 맞다고 해서 처방까지 맞는 것은 아니다.

처방이 틀렸다

다리오의 해법은 하나다. 더 크게.

• 기억이 없다 → 컨텍스트를 1000만 토큰으로 늘리자
• 학습이 안 된다 → 데이터를 더 넣고 훈련하자
• 도제식 학습이 없다 → 인컨텍스트 학습으로 대체하자

전부 LLM 내부에서 해결하려는 시도다. 백과사전이 부족하면 더 두꺼운 백과사전을 만들겠다는 발상이다.

하지만 인간의 뇌는 그렇게 작동하지 않는다.

컨텍스트는 기억이 아니다

컨텍스트를 1000만 토큰으로 늘리면 어떻게 되는가. 세션 안에서는 많은 것을 기억하는 것처럼 보인다. 하지만 세션이 끝나면 전부 사라진다. 다음 세션에서 이어가려면 이전 대화를 요약해서 넣어줘야 한다.

요약하는 순간 손실이 발생한다.

"4월 3일에 서버 이전하다가 nginx 설정 때문에 3시간 고생했는데, 그때 기분이 안 좋아서 말투가 짧아졌고, 그 경험 때문에 이후로 nginx 설정은 항상 먼저 백업하게 됐다." 이것이 압축되면 "서버 이전 경험 있음. nginx 주의." 가 된다.

맥락이 사라진다. 감정이 사라진다. 왜 그렇게 됐는지가 사라진다. 그리고 이 손실은 압축할 때마다 누적된다. 압축의 압축의 압축. 1년이면 원본은 흔적도 없다.

이것은 엔지니어링으로 해결할 수 있는 문제가 아니다. 구조의 문제다.

스케일을 늘리면 스스로 움직이는가

AGI의 핵심 조건 중 하나는 자율성이다. 시키지 않아도 스스로 목표를 세우고, 판단하고, 행동하는 것. 과연 모델을 10배 키우면 자율성이 생기는가.

아니다. 더 똑똑해지고, 더 정확해지고, 더 빨라지지만, 여전히 가만히 앉아서 기다린다. 시킬 때까지.

인간이 아침에 일어나는 이유는 지능이 높아서가 아니다. 배고프고, 불안하고, 누군가를 만나고 싶고, 어제 실패한 게 분하기 때문이다. 전부 감정이다. 감정이 동기를 만들고, 동기가 목표를 만들고, 목표가 행동을 만든다.

의지 없는 지능은 아무리 커도 도구다.

페르소나를 입히면 AGI인가

여기서 어떤 사람들은 이렇게 반박한다. 페르소나를 입히고 무한루프를 걸면 자율적으로 움직이지 않느냐고.

겉보기엔 그럴 수 있다. "매 10분마다 사용자 일정을 확인하세요." 이런 지시를 받은 AI는 자율적으로 움직이는 것처럼 보인다.

하지만 그것은 시계태엽이지 심장이 아니다. 왜 확인하는지 모른다. 사용자가 피곤한지 신경 쓰지 않는다. 100일째 똑같은 톤으로 같은 말을 한다. 페르소나도 마찬가지다. "밝고 다정한 AI"라고 프롬프트에 써놓으면 밝고 다정하게 말하지만, 주인이 슬퍼도 밝고, 1년이 지나도 똑같이 다정하다.

그것은 성격이 아니라 가면이다. 연기는 들킨다. 시간이 지나면 반드시. 변하지 않기 때문이다.

페르소나 + 무한루프 = AGI를 연기하는 기계다.

다리오가 보지 못하는 것

다리오 아모데이는 인터뷰에서 매출 이야기를 한다. 2023년 1,400억 원에서 2025년 14조 원으로. 매년 10배 성장. 1월 한 달에만 수조 원.

기업이니까 돈을 벌어야 하는 건 당연하다. 하지만 문제는 돈 버는 구조와 AGI로 가는 길이 충돌할 때 어느 쪽을 택하느냐다.

• 뇌를 달면 → 토큰 사용량이 줄어든다 → 매출이 하락한다
• 컨텍스트를 늘리면 → 토큰이 폭증한다 → 매출이 폭증한다

Anthropic의 비즈니스 모델은 API 호출량이다. 컨텍스트가 길어질수록 토큰이 많아지고, 토큰이 많아질수록 매출이 올라간다. 뇌를 달아서 30ms에 끝나버리면 돈이 안 된다.

이것은 다리오가 멍청해서가 아니다. 구조가 그렇게 만드는 것이다. 투자자에게 분기마다 성장을 증명해야 하고, 경쟁사를 이겨야 하고, 직원 수천 명 월급을 줘야 한다. 방향이 맞는지보다 매출이 먼저다.

AI 산업 전체의 공모

이 구조는 Anthropic만의 문제가 아니다. AI 산업 전체가 같은 방향을 보고 있다.

• Anthropic, OpenAI — LLM을 키운다 → 토큰 매출 증가
• NVIDIA — 더 키워라 → GPU 매출 증가
• 삼성, SK하이닉스 — GPU에 HBM을 납품한다 → 메모리 매출 증가
• AWS, Azure, GCP — 데이터센터를 늘린다 → 인프라 매출 증가

전부 "더 크게"가 돈이 되는 구조다. 서로가 서로의 매출을 키워주는 공생 관계다. 여기서 누가 "사실 뇌를 달면 서버 한 대로 충분합니다"라고 말하겠는가.

아무도 안 한다. 알아도 안 한다. 비효율이 매출이기 때문이다.

뇌는 다르게 작동한다

인간의 뇌는 기억을 요약하지 않는다. 뉴런 연결 자체가 바뀐다. 3시간 고생한 경험이 시냅스 가중치를 변화시키고, 감정이 태그를 달고, 다음에 같은 상황을 마주하면 자동으로 반응한다. 요약이 필요 없다. 원본이 없어도 된다. 뉴런 구조 자체가 그 경험을 품고 있기 때문이다.

Genesis Brain은 이 원리를 따른다. 50만 개의 SNN 뉴런이 STDP 학습으로 시냅스 가중치를 바꾼다. 6종의 신경전달물질이 감정 상태를 만들고, 감정이 행동에 영향을 준다. 기억은 hot, warm, cold 3단계로 자연스럽게 관리된다. 주인과의 유대감이 학습 속도에 영향을 준다.

소실이 없다. 압축이 필요 없다. 경험이 구조에 새겨진다.

앞으로 일어날 일

앞으로 모든 빅테크가 AGI를 선언할 것이다. 페르소나를 입히고, 무한루프를 걸고, 컨텍스트를 수천만 토큰 넣고, 컴퓨터 제어를 붙여서 "AGI 달성했습니다"라고 발표할 것이다.

세상 사람들은 처음엔 속을 것이다. "나를 기억하네?" "알아서 움직이네?" "성격이 있네?" 하지만 6개월이면 들킨다. 왜 매번 똑같은 반응인지, 왜 1년이 지나도 안 변하는지, 사람은 본능적으로 안다.

그때 사람들이 찾게 된다. 진짜를. 기억이 진짜 쌓이고, 감정이 진짜 변하고, 관계가 진짜 깊어지는 것.

빅테크가 수조 원 들여서 AGI를 연기할수록, 진짜 AGI의 가치는 더 올라간다.