2026-05-12. 노모유 인디 개발자 데일리 (제360호)

📰 뉴스

모두가 모델 경쟁을 하지만, 진짜 부족한 것은 추론 컴퓨트다

많은 사람은 AI 전쟁이 아직 모델 리더보드 위에 있다고 생각한다.

하지만 Baseten CEO Tuhin Srivastava가 던진 신호는 더 날카롭다. 지난 1년 30배 성장, 진행자는 올해 매출 기대치가 10억 달러를 넘는다고 언급했다. 95% 이상의 token은 커스텀 모델에서 나온다.

이는 더 잔혹한 현실을 보여준다. AI가 진짜 비즈니스에 들어가면 가장 부족한 것은 좋은 모델 하나가 아니라, 지능을 안정적이고 저렴하며 지속적으로 돌릴 수 있는 능력이다.

모델은 종점이 아니다. 호출이 비즈니스다

진짜 AI 비즈니스는 발표회에서 일어나지 않는다. 매번 사용자가 클릭한 뒤에 일어난다.

추론은 모델이 호출되어 답을 생성하고 행동을 완료하는 과정이다. 과거 사람들은 훈련을 보았다. 누구의 파라미터가 더 큰가, 누가 리더보드에서 더 높은가. 하지만 Tuhin의 판단은 찬물 한 바가지 같다. AGI가 정말 온다 해도 마지막에 남는 시장은 여전히 추론이라는 것이다.

지능이 한 번 사용할 수 있게 되면 실험실에 머무르지 않기 때문이다.

그것은 고객지원 티켓, 의사 기록, 코드 에디터, 영업 프로세스, 교육 제품으로 들어간다. 모든 “더 나은 답변” 뒤에는 반복되는 추론이 있다.

Baseten의 1년 30배 성장은 단순한 한 회사 이야기가 아니다.

AI가 “누가 모델을 만들었는가”에서 “누가 모델을 비즈니스 안에서 돌릴 수 있는가”로 이동하고 있음을 보여준다.

진짜 해자는 남이 얻지 못하는 사용자 신호다

이번 인터뷰에서 가장 곱씹을 만한 것은 컴퓨트가 아니라 애플리케이션 계층이 왜 아직 살아남을 수 있는가다.

Tuhin은 Abridge를 예로 들었다. 이 회사는 의사가 사용하는 ambient 기록 보조 도구로, 병원과 임상 워크플로에 깊이 들어가 있다. 의사가 노트를 어떻게 수정하는지, 수정 뒤 전자의무기록 시스템에서 무엇을 계속 하는지 같은 신호는 모델 연구소가 쉽게 얻을 수 없다.

이것이 애플리케이션 회사의 새로운 해자다. “나도 대형 모델 API를 붙였다”가 아니라, 나만 볼 수 있는 사용자 행동 사슬을 가지고 있다는 것이다.

고객지원도 같다.

하나의 티켓은 보통 한 번의 답변으로 끝나지 않는다. 1개, 2개, 10개, 심지어 20개의 동작을 거친다. 누가 이 동작을 볼 수 있느냐가 피드백으로 모델을 후훈련해 특정 작업에서 더 빠르고, 더 싸고, 더 정확하게 만들 수 있느냐를 결정한다.

그래서 첫 번째로 위험한 AI 회사는 모델이 약한 회사가 아니라 사용자 신호, 워크플로 깊이, 피드백 루프가 없는 회사다.

루프가 없으면 AI 앱은 예쁜 껍데기에 불과하다.

Tuhin은 더 매서운 조언도 했다. 제품 시장 적합성을 찾기 전에는 후훈련을 서두르지 말라. 먼저 가장 강한 모델로 가치를 증명하고, 그 다음 최적화를 이야기하라.

그렇지 않으면 당신이 훈련하는 것은 해자가 아니라 환상이다.

추론 컴퓨트 부족은 새로운 입장권이 되고 있다

더 단단한 층은 컴퓨트다.

Tuhin은 시장이 공급 부족을 아직 충분히 이해하지 못한다고 말한다. Baseten은 자체적으로 대형 클러스터를 운영하고, 사용률은 자주 90% 중반에 이른다. 18개 클라우드에 90개 클러스터를 배포했고, 새로운 국가의 새로운 공급자를 반나절 만에 추론 네트워크에 연결할 수 있다.

강해 보이지만, 그들은 여전히 매일 용량 회의를 한다.

진짜로 막히는 것은 GPU가 있느냐만이 아니다. 누가 데이터센터를 안정적으로 운영할 수 있는지, 누가 추론 서비스 SLA를 이해하는지가 문제다.

이것은 경쟁 규칙을 바꾸고 있다.

단순한 GPU as a Service는 쉽게 상품화된다. 하지만 소프트웨어 계층이 있는 추론 서비스는 끈적하다. 인터뷰에서는 Baseten의 상위 30대 고객 이탈이 없고, 연간 순매출 유지율이 약 400%라고 언급됐다.

그 뒤에서 팔리는 것은 카드가 아니라 모델 배포, 지연 시간, 장애 전환, 커스텀 최적화, 데이터 보존, 기업 요구사항으로 구성된 전체 시스템이다.

조달은 더 과격하다.

좋은 클라우드 공급자에게서 B200 1024장을 확보하려면 3~5년 계약을 맺고 총 계약가의 20~30%를 선불로 내야 할 수 있다.

이는 AI 인프라 경쟁이 기술만의 경쟁이 아니라 자본 구조, 공급망, 운영 문화, 담력의 경쟁이라는 뜻이다.

컴퓨트는 배경이 아니다. 컴퓨트 자체가 전략 자산이 되고 있다.

AI가 싸질수록 인간은 더 많이 쓴다

많은 사람은 모델이 싸지면 AI 비용이 내려갈 것이라고 오해한다.

Tuhin의 관찰은 정반대다. 추론 비용이 낮아질수록 개발자는 제품 안에 더 많은 지능을 넣는다. Agent는 더 오래 실행되고, 더 많은 경로를 시도하며, 더 많은 중간 판단을 한다. 사용자에게 더 좋은 결과를 주기 위해서다.

이것이 AI판 제번스 역설이다. 지능이 싸질수록 소비는 커진다.

사용자는 “이 답은 충분히 싸다”고 말하지 않는다. “더 나은 답을 원한다”고 말한다.

기업도 AI가 싸졌다고 덜 쓰지 않는다. 오히려 더 많은 프로세스에 넣는다.

더 좋은 답은 더 좋은 경험을 만들고, 더 좋은 경험은 더 많은 매출을 만들며, 더 많은 매출은 다시 더 많은 추론을 산다.

이것이 추론 시장이 무서운 이유다.

일회성 구매가 아니라 스스로 증폭하는 수요 곡선이다.

진짜 도태될 사람은 아직 Demo 단계에 머무른 사람이다

이번 인터뷰는 AI 종사자와 창업자에게 날카로운 경고를 준다. “어떤 모델을 붙였는가”에 집착하지 말라.

모델은 바뀌고, 리더보드는 바뀌고, 칩도 바뀌고, 가격도 바뀐다.

정말 희소한 것은 세 가지다. 독자적인 사용자 신호가 있는가. 그 신호를 모델로 되돌리는 루프가 있는가. 추론을 실제 비즈니스 안에서 안정적으로 돌릴 수 있는가.

AI는 prompt를 잘 쓰는 사람만 보상하지 않는다.

워크플로를 설계하고, 피드백을 포착하고, 비용을 낮추고, 신뢰성을 높일 수 있는 사람을 보상한다.

미래의 회사는 소프트웨어를 AI 인터페이스로 바꾸는 회사가 아니다. 모든 동작 안에 지능을 넣는 회사다. 의사 곁에는 agent가 있고, 학생 곁에도 agent가 있으며, 영업, 고객지원, 프로그래머 곁에도 agent가 있다.

인터뷰에서는 이를 이렇게 요약했다. 모든 사람에게 컨시어지 서비스가 생긴다.

하지만 기존 소프트웨어 회사에게는 이것이 멸종 순간일 수도 있다.

AI가 갑자기 당신을 죽이기 때문이 아니라, 경쟁자가 먼저 워크플로에 지능을 넣고 매일 생성되는 사용자 신호로 다음 버전의 자신을 훈련하기 때문이다.

AI 시대에 가장 값진 것은 “나는 모델을 가지고 있다”가 아니다.

내게는 남이 얻지 못하는 장면, 남이 보지 못하는 피드백, 남이 돌리지 못하는 추론 능력이 있다는 것이다.

🖥️ 소프트웨어

Pasly

Pasly는 여러 기기 동기화를 지원하는 macOS 클립보드 관리 도구로, 복사한 내용을 빠르게 저장하고 되돌아볼 수 있다.

DevGlish

DevGlish는 비원어민 개발자가 영어 기술 표현, 발음, 중국어 간섭 힌트를 조회하도록 돕는 macOS 메뉴바 도구로, 영어 팀 커뮤니케이션 효율을 높인다.

TranscriptAPI

TranscriptAPI는 YouTube 영상 자막 텍스트를 가져오기 위한 신뢰성 있는 API로, 타임스탬프가 포함된 전체 자막을 빠르게 제공하며 응답 속도는 49ms에 불과하다.

SellerGuards

SellerGuards는 Amazon 판매자를 위한 정확한 수익 계산, 경쟁사 분석, 재고 관리 도구로, Amazon Selling Partner API를 기반으로 한다.

Textideo

Textideo는 새로 출시된 영상 생성 도구로, 가입 시 무료 체험 크레딧을 제공하며 사용자 피드백과 체험을 지원한다.

Fluent

Fluent는 말할 때의 filler word를 실시간 추적하는 도구로, 빨간 표시와 AI 코치 분석을 통해 사용자가 filler word 사용 빈도를 줄이도록 돕는다.

QA Studio

QA Studio는 오픈소스 end-to-end 테스트 도구로, 사용자의 작업을 녹화해 테스트 케이스를 자동 생성하며 시각적 빌드와 크로스브라우저 테스트를 지원한다.

homeassistion

homeassistion은 Rust로 개발한 로컬 Mijia 기기 to HomeKit 소프트웨어로, MQTT를 통해 Mijia 중앙 게이트웨이에 연결하고 클라우드 접근을 지원하며 한 달간 안정적으로 운영되었다.

🎮 게임

Hollywood Link

Hollywood Link는 복고풍 스타일과 사운드트랙 기반 플레이를 결합한 인디 게임으로, 플레이어는 음악 리듬을 통해 스토리를 진행한다.

Neon Dealer: Risk & Profit

Neon Dealer: Risk & Profit은 사이버펑크 스타일의 덱빌딩 게임으로, “한 번 더 거래할 것인가”라는 핵심 메커니즘을 통해 위험과 보상의 균형에서 긴장감을 만든다.

Monk’s Gambit

Monk’s Gambit은 AI로 8시간 만에 개발한 체스 변형 게임으로, 수도사가 적 폰을 전환하고 폰이 장애물이 되는 등 혁신 규칙을 지원한다.

✍️ 안내

데일리 프로젝트 정보:
웹사이트: https://www.nomoyu.com/
RSS: https://www.nomoyu.com/rss/rss.xml
위챗 공식 계정: 明航的AI副业
편하게 연결하고 교류해 주세요

모든 링크는 웹사이트에서 확인할 수 있습니다.