🔥 오늘의 주요 소식
Run a vLLM Server on HF Jobs in One Command
허깅페이스가 단일 명령으로 vLLM 추론 서버를 HF Jobs 인프라 위에 띄우는 방법을 공개했다. hf jobs run은 HF 인프라에서 도는 docker run에 해당하며, 공식 vllm/vllm-openai 이미지를 받아 --flavor로 GPU를, --expose로 포트를 지정하면 OpenAI 호환 엔드포인트가 생성된다. 서버를 따로 프로비저닝하거나 쿠버네티스를 구성할 필요 없이 초 단위로 과금되며, 엔드포인트는 공개가 아니라 HF 토큰으로 게이팅된다(a10g-large 기준 시간당 1.50달러). --tensor-parallel-size로 여러 GPU에 모델을 샤딩하면 122B 규모의 Qwen3.5 MoE 같은 대형 모델도 2x H200에서 서빙할 수 있다. --ssh로 실행 중인 잡에 셸로 접속해 디버깅하거나, Pi 같은 에이전트 하니스의 백엔드로 연결해 자체 호스팅 모델로 코딩 에이전트를 돌릴 수도 있다. 장기 운영과 프로덕션에는 scale-to-zero와 세분화된 접근제어를 제공하는 Inference Endpoints가, 실험이나 일회성 평가, 배치 생성에는 HF Jobs가 적합하다고 정리한다.
💡 왜 중요한가: 전용 GPU 인프라나 K8s 없이 초 단위 과금으로 OpenAI 호환 모델 엔드포인트를 즉석에서 띄울 수 있어, 평가·배치·프로토타이핑의 비용과 리드타임을 크게 줄여준다.
🔗 원문 보기 · Hugging Face
Kubernetes & Cloud Native
Building a Cluster-Aware AI Agent with Kubernetes, Argo CD, and GitOps
CNCF
CNCF 앰배서더 Maryam Tavakkoli가 쿠버네티스 클러스터 안에서 도는 자체 호스팅·읽기 전용 AI 에이전트를 만드는 실전 가이드를 공개했다. 런타임은 로컬 Mistral 7B를 서빙하는 Ollama 파드(11434 포트)와 HTTP API·챗 UI를 노출하는 FastAPI 파드(8000 포트), 모델 가중치를 담는 PVC로 구성되며, 전용 ServiceAccount에 get/list만 허용한 ClusterRole을 묶어 클러스터를 관찰만 하고 변경은 못 하게 했다. 에이전트는 두 모드를 제공하는데, /ask는 LLM 단독 응답이고 /diagnose는 해당 네임스페이스의 파드 상태·최근 이벤트·비정상 파드 로그를 읽어 프롬프트에 주입한 뒤 추론하는 진짜 에이전트(클러스터 상태에 대한 RAG)다. 배포 파이프라인은 GitHub Actions가 멀티아키텍처(amd64+arm64) 이미지를 7자리 커밋 SHA로 빌드하고, Argo CD Image Updater가 2분 간격으로 레지스트리를 폴링해 새 태그를 kustomization.yaml에 커밋하면 Argo CD가 클러스터를 reconcile한다. 시작 시 모델 풀을 제외하면 외부로 나가는 트래픽이 없어 데이터가 클러스터를 떠나지 않는다. 글은 '쓰기 권한 곱하기 환각'의 위험을 피하려 모든 에이전트를 읽기 전용으로 시작하고 권한을 한 동사씩 늘리라고 권한다.
💡 읽기 전용 RBAC로 에이전트 권한을 묶고 모델을 클러스터 내부에서 돌리는 패턴은 데이터 유출과 오작동 리스크를 API 서버 차원에서 봉쇄하므로, 플랫폼 팀이 AIOps를 안전하게 시작하는 출발점으로 쓸 만하다.
AI & ML
Which tokens does a hybrid model predict better?
Hugging Face
Ai2(Allen Institute for AI)가 하이브리드 언어모델이 트랜스포머보다 '어떤 토큰'을 더 잘 예측하는지 토큰 단위로 분석한 연구를 공개했다. 데이터·토크나이저·학습 레시피를 최대한 동일하게 맞춘 자사 7B 트랜스포머(Olmo 3)와 하이브리드(Olmo Hybrid)를 비교해, 차이가 대부분 아키텍처에서 비롯되도록 설계했다. 하이브리드는 소수의 어텐션 레이어만 남기고 나머지를 순환(recurrent) 레이어로 대체해 입력 길이와 무관하게 토큰당 비용이 일정하지만, 메모리가 압축·손실적이라 과거 토큰을 정확히 되짚는 능력은 약하다. 분석 결과 하이브리드는 명사·동사·형용사 같은 의미 보유 토큰과 대명사 지시 대상처럼 맥락 추적이 필요한 토큰에서 더 강했고(내용어 손실 격차 약 0.04 대 기능어 약 0.02), 앞에 그대로 나온 단어를 복사하는 토큰이나 닫는 괄호에서는 우위가 거의 사라졌다(이 영역은 어텐션, 즉 트랜스포머가 강함). 연구진은 특정 토큰 유형에 한정한 '필터링된 손실'을 아키텍처 비교용 평가지표로 제안한다. 자세한 내용은 기술 보고서(arXiv:2606.20936)에 있다.
💡 단일 평균 손실로는 가려지는 아키텍처별 강·약점이 토큰 유형별로 드러나므로, 하이브리드 모델 채택 시 정확한 복사·회수가 중요한 작업(코드·검색 등)에서는 트레이드오프를 따져봐야 한다.
How agents are transforming work
OpenAI
OpenAI가 자사 코딩 에이전트 Codex의 경제적 잠재력을 측정한 새 경제 연구 논문 'The Shift to Agentic AI: Evidence from Codex'를 공개했다. 핵심 주장은 에이전트가 지식노동의 단위를 짧은 단발 대화에서 위임된 장기(long-horizon) 작업으로 바꾼다는 것이다. 2026년 5월 기준 표본 개인 사용자의 80.6%가 사람 기준 30분 이상 걸릴 작업을, 70.2%가 1시간 이상, 25.6%가 8시간 이상 걸릴 작업을 Codex에 한 번 이상 요청했다. OpenAI 내부에서는 엔지니어링뿐 아니라 법무·재무·리크루팅까지 모든 부서가 2026년 4월경 Codex를 주력 AI 도구로 전환했고, Codex가 사내 주간 출력 토큰의 99.8%를 차지하게 됐다. 비개발자 채택이 특히 빠르게 늘어 2025년 8월 대비 개인 사용자 137배, 조직 사용자 189배로 증가했다. 99분위 헤비 사용자는 하루에 여러 병렬 에이전트로 60시간이 넘는 Codex 작업을 돌린다.
💡 에이전트가 수 시간짜리 장기 작업을 병렬로 수행하는 사용 패턴은 토큰 소비·CI 부하·리뷰 병목을 폭증시키므로, 플랫폼·FinOps·코드리뷰 프로세스를 에이전트 규모에 맞게 재설계해야 함을 시사한다.
클라우드 업데이트
STOCKSTAY Another Day: The Latest Addition to Turla’s Intelligence Gathering Apparatus
Google Cloud
구글 위협 인텔리전스 그룹(GTIG)이 러시아 연계 위협 행위자 Turla가 지속적으로 개발·배포해 온 백도어 'STOCKSTAY'를 심층 분석해 공개했다. STOCKSTAY는 본래 주식 시세 조회 도구로 위장하도록 설계되어, 파일 명명 규칙은 물론 임플란트 설정·제어 메시지·응답 데이터 저장 방식에까지 이 위장을 녹였다. 초기 변종은 내부적으로 이 '증권' 테마를 유지했으나, 2025년에는 PDF 뷰어나 계산기 같은 다른 양성 애플리케이션으로 위장한 변종도 확인됐다. 악성코드는 STOCKSTAY.STOCKBROKER, STOCKSTAY.STOCKMARKET 같은 구성요소로 이뤄지며, 암호화된 설정 파일은 스스로를 트레이딩 정보용 앱이라고 거짓 기술한다. GTIG는 이 백도어를 Turla의 첩보 수집 도구 체계에 새로 추가된 요소로 평가한다. 분석에는 멀웨어 아키텍처 개요와 복호화된 설정 포맷 등이 포함됐다.
💡 정상 유틸리티로 위장하고 설정을 암호화하는 국가연계 백도어는 시그니처 탐지를 회피하므로, 방어 측은 행위 기반 탐지와 GTIG가 공개한 IOC·구성 포맷을 활용한 위협 헌팅이 필요하다.
DevOps & 인프라
Deploy Boundary on Kubernetes with official Helm charts
HashiCorp
하시코프가 Boundary를 쿠버네티스에 배포·운영하기 위한 공식 Helm 차트 두 종을 공개했다. 지금까지는 deployment·service·configmap 등 컴포넌트별 매니페스트를 팀이 직접 작성하고 환경마다 일관되게 유지해야 했는데, 이제 컨트롤러 차트와 워커 차트로 Boundary 클러스터의 배포·관리·업그레이드를 단순화할 수 있다. 컨트롤러 차트는 Boundary 컨트롤러를 쿠버네티스에 올리고, 워커 차트는 워커를 배포한다. 워커 차트로 띄운 워커는 HCP 관리형 컨트롤러, VM의 자체 관리 컨트롤러, 쿠버네티스에 올린 컨트롤러 등 어떤 Boundary 컨트롤러에도 연결할 수 있다. 이 차트들은 Boundary 1.0 릴리스의 일부로 함께 발표됐다. Boundary는 본래 분산 시스템으로 설계되어 컨테이너를 포함한 어떤 런타임에서도 동작한다.
💡 손수 짜던 매니페스트를 공식 차트로 대체하면 K8s 위 Boundary의 배포·업그레이드가 표준화되고, 워커를 다양한 컨트롤러에 붙일 수 있어 하이브리드 PAM 구성이 쉬워진다.
“Code should be regenerated, not maintained”: Codeplain makes the case for spec-driven development
The New Stack
The New Stack이 '코드는 유지보수하는 게 아니라 재생성하는 것'이라는 주장을 내세운 Codeplain을 소개했다. AI가 팀이 리뷰할 수 있는 속도보다 빠르게 코드를 쏟아내는 상황에서, 일부 개발자들은 생성된 코드를 손보는 대신 명세(spec)를 단일 진실 공급원으로 삼자고 주장한다. Codeplain의 기반은 Plain이라는 오픈소스 명세 언어로, 소프트웨어가 어떻게 동작해야 하는지를 구조화된 사람이 읽을 수 있는 문서로 기술한다. 무언가 바뀌거나 깨지면 코드가 아니라 명세를 수정하고, Codeplain이 구현을 처음부터 다시 생성한다. 기사에서는 Trello 클라이언트의 Plain 명세와 거기서 생성된 파이썬 코드를 예로 든다. 이는 'AI가 만든 코드를 사람이 유지보수하기 싫다'는 최근 논쟁에 대한 한 가지 답으로 제시된다.
💡 스펙을 단일 진실 공급원으로 두고 구현을 재생성하는 방식은 AI 코드의 유지보수 부채를 비껴가지만, 명세 품질과 재생성의 결정성(determinism)이 새로운 리스크로 떠오른다.
Trust in Rust: Foundation debuts official training to tackle steep learning curve
The New Stack
Rust 재단이 Rust 교육 제공자를 위한 공식 인증 프로그램인 Rust Foundation Trusted Training(RFTT)을 발표했다. 언어 자체를 관리하는 비영리 재단이 직접 보증하는 형태의 공식 인증으로, 빠르게 커진 Rust 교육 시장에 품질 신호를 제공하는 것이 목적이다. 재단 이사이자 CEO인 Dr. Rebecca Rumbul은 '전문가라고 주장하는 사람이 실제로 전문가임을 보장'함으로써 신뢰를 쌓는 프로그램이라고 설명했다. 시스템 프로그래밍·임베디드 개발에서 안전 필수(safety-critical) 인프라까지 Rust 도입이 산업 전반으로 확산되며 교육 수요도 급증했다는 배경이다. 학습자·고용주·개발자 커뮤니티가 교육 품질을 평가할 수 있는 신뢰 가능한 기준을 제시한다. 가파른 학습 곡선이라는 Rust의 오랜 진입장벽을 정면으로 겨냥한 조치다.
💡 안전 필수 영역으로 Rust 채택이 번지는 가운데, 공식 인증은 사내 교육·채용에서 역량 검증의 기준점이 되어 도입 리스크를 줄이는 데 활용할 수 있다.
Template-based data extraction is dead. Here’s what comes next.
The New Stack
The New Stack이 템플릿 기반 추출의 시대가 끝났다며 Amazon Bedrock Data Automation(BDA)을 소개했다. BDA는 AWS의 완전관리형 생성형 AI 서비스로, 문서·이미지·오디오·비디오 등 여러 양식(modality)에 걸친 비정형 데이터의 추출·분류·변환을 자동화한다. 핵심에는 파운데이션 모델(FM)이 있어 콘텐츠를 지능적으로 추출·이해하며, 공통 사용 사례용 표준 출력을 쓰거나 비즈니스에 맞춘 '블루프린트'로 커스텀 추출 로직을 정의할 수 있다. PDF·계약서·스캔 이미지·통화 녹음·회의 영상처럼 표준 형식을 벗어난 데이터가 늘면서, 규칙·템플릿에 의존하던 기존 워크플로가 깨지기 쉽고 비싸졌다는 점을 배경으로 든다. BDA는 확장성·정확성·감사가능성(auditability)을 염두에 두고 설계되어 엔터프라이즈 워크플로에 적합하다고 설명한다. 표준 출력은 데이터 자동화 파이프라인에서 모델의 기본 응답을 그대로 제공한다.
💡 비정형 데이터 파이프라인을 깨지기 쉬운 템플릿에서 FM 기반 관리형 서비스로 옮기면 유지보수 부담은 줄지만, 추출 정확도·감사 추적·단가를 실제 문서 분포로 검증하는 일이 관건이 된다.
How we cut AI costs by 80%
The New Stack
The New Stack 기고에서 한 팀이 엔터프라이즈 AI 에이전트 비용을 약 80% 절감한 방법으로 '컨텍스트 레이크(context lake)' 접근을 제시했다. 핵심 주장은 AI 비용 상승의 원인이 모델 단가만이 아니라, 매 호출마다 컨텍스트 윈도를 어떻게 채우느냐에 있다는 것이다. 여러 데이터 소스를 호출 시점에 즉석에서 조합해 프롬프트에 밀어 넣으면 토큰이 불어나고 비용이 커진다. 대신 미리 조인(pre-joined)해 둔 데이터를 활용하면 컨텍스트 윈도가 단순해지고 토큰 사용이 최적화된다. 그 결과 같은 작업을 훨씬 적은 토큰으로 처리해 비용을 약 80% 낮췄다는 사례다.
💡 에이전트 비용 최적화의 지렛대가 모델 선택보다 '컨텍스트 조립' 단계에 있다는 관점으로, 데이터를 사전 조인해 토큰을 줄이는 것이 FinOps 차원에서 효과적인 레버가 될 수 있다.
Agent Toolkit for AWS includes 20+ agent skills, but your agent might not load them without this one file
The New Stack
The New Stack이 'Agent Toolkit for AWS'가 20개 이상의 에이전트 스킬을 제공하지만, 17줄짜리 규칙(rules) 파일 하나가 에이전트가 그 스킬들을 실제로 쓸지 말지를 좌우한다고 짚었다. 이 툴킷은 5월 6일 출시됐고 Claude Code, Codex, Kiro 등 MCP를 지원하는 어떤 에이전트와도 동작하며 세 개의 계층으로 구성된다. 필자는 README를 끝까지 읽지 않고 곧장 써보다가, 에이전트가 툴을 예측 가능하게 집어 들도록 만드는 핵심 파일인 규칙 파일을 건너뛰었다고 고백한다. 이 규칙 파일이 없으면 20여 개 스킬이 설치돼 있어도 에이전트가 적시에 호출하지 않을 수 있다. 즉 도구를 '제공'하는 것과 에이전트가 그것을 '쓰게' 만드는 것은 별개라는 실무 교훈이다. 작은 설정 파일 하나가 에이전트 동작의 신뢰성을 가르는 사례로 제시된다.
💡 에이전트에 도구를 붙이는 것만으로는 부족하고 규칙/시스템 프롬프트 파일로 호출을 유도해야 한다는 점은, MCP 기반 에이전트 통합에서 흔히 놓치는 운영 포인트다.
Boundary 1.0 releases RDP session recording and improved management
HashiCorp
하시코프가 권한 접근 관리(PAM) 솔루션 Boundary의 1.0 정식 출시를 발표했다. 특정 기능보다 사용자 경험·유스케이스 커버리지·아키텍처 성숙도·프로덕션 검증 측면의 이정표라는 설명이다. 1.0의 대표 신기능은 RDP 세션 레코딩으로, RDP 세션 중 사용자의 모든 인터랙션을 캡처·재생해 규정 준수와 보안 이벤트 분석을 돕는다(향후 쿠버네티스·DB·HTTP로 확대 예정). 그 밖에 쿠버네티스용 Helm 차트 2종, org/project 범위 별칭(scoped aliases), 드롭다운·재사용 템플릿으로 권한 부여(grant)를 돕는 개선된 관리 UI가 포함됐다. 세션 레코딩은 0.13에서 SSH로 처음 도입됐고 0.22에서 RDP 자격증명 주입이 추가된 흐름의 연장선이다. 하시코프(현재 IBM 산하)는 정적 자격증명과 1회성 인가의 한계를 지적하며, AI 에이전트·비인간 식별자(NHI)를 위한 HTTP 자격증명 주입과 단계별 재평가형 인가로 로드맵을 확장하고 있다.
💡 RDP 세션 레코딩과 K8s Helm 차트로 Windows·컨테이너 환경의 감사·배포가 쉬워지고, NHI/에이전트 접근을 겨냥한 로드맵은 머신 식별자가 사람을 추월하는 환경에서 PAM 전략을 재검토하게 만든다.
Scaling without friction: Aliases at project scope in Boundary
HashiCorp
하시코프가 Boundary 1.0과 함께 org·project 범위(scope)의 별칭(alias) 기능을 도입했다. 별칭은 무작위로 생성된 ID 대신 사람이 기억하기 쉬운 DNS 유사 이름으로 타깃에 접속하게 해 주지만, 이름이 Boundary 전체에서 전역적으로 유일해야 한다는 제약이 있었다. 그래서 멀티테넌시 환경에서는 서로 다른 팀이 같은 별칭 이름을 쓸 수 없었다. 이번 기능은 org·project 범위에 따라 별칭에 접미사를 자동으로 붙여, 전역 유일성을 유지하면서도 서로 다른 범위의 팀이 비슷한 이름을 쓸 수 있게 한다(예: mylinuxhost.rnd.dc-canada와 mylinuxhost.marketing.dc-canada). 결과적으로 팀 간 이름 충돌 없이 대규모에서 별칭으로 타깃에 연결할 수 있다. 대규모·다팀 환경의 운영 마찰을 줄이는 개선이다.
💡 전역 유일성 제약을 범위 기반 접미사로 풀어주면 멀티테넌시 환경에서 별칭 네이밍 충돌과 운영 마찰이 줄어, 대규모 팀의 셀프서비스 접근이 수월해진다.
HCP Vault Dedicated introduces cluster disaster recovery (public preview)
HashiCorp
하시코프가 완전관리형 시크릿 관리 서비스 HCP Vault Dedicated에 클러스터 단위 재해 복구(cluster DR)를 퍼블릭 프리뷰로 추가했다. 기존 리전 단위 DR이 클라우드·네트워크 같은 대규모 인프라 장애를 가정하는 반면, cluster DR은 클러스터 자체가 문제인 상황을 겨냥해 클러스터 수준의 페일오버와 DR 훈련(drill)을 가능하게 한다. 프리뷰 동안에는 DR이 활성화된 프로덕션 등급 클러스터에서 쓸 수 있고, 페일오버·페일백은 하시코프 지원을 통해 요청하며 사고 발생 16시간 이내 요청은 온콜 Vault 팀이 처리한다. 침해가 의심될 때 영향받은 클러스터를 격리하고 DR 보조 클러스터를 승격해 서비스 연속성을 통제된 환경에서 복구하는 보안 대응에도 쓸 수 있다. 하시코프는 리전 DR(Vault가 어디서 도는지 보호)과 cluster DR(Vault가 어떻게 동작하는지 보호)을 함께 쓰는 조합을 권한다. 대부분의 장애가 전면적 리전 장애가 아니라 소프트웨어·운영·보안 이슈에서 비롯된다는 현실을 반영한 기능이다.
💡 Vault가 인증·동적 시크릿·암호화의 컨트롤 플레인인 만큼, 클러스터 단위 페일오버 훈련을 미리 돌려 런북과 복구 절차를 검증해 두면 Vault 다운타임이 배포·서비스 연결까지 마비시키는 사태를 줄일 수 있다.
이 다이제스트는 RSS 피드에서 수집한 뒤 AI(Claude)가 요약·정리했습니다. 자세한 내용은 원문 링크를 확인하세요.