AI 서비스에서 답변의 품질만큼 자주 체감하는 요소가 응답 속도입니다. 질문에 대한 답이 화면에 조금씩 나타나는 동안 사용자는 기다립니다. 여러 번 모델을 호출하는 에이전트에서는 이러한 대기가 작업 단계마다 반복됩니다. 더 빠른 응답을 만들려면 모델의 크기나 서버뿐 아니라 텍스트를 생성하는 방식도 살펴볼 필요가 있습니다. 확산형 언어모델(Diffusion Language Model, dLLM)은 여러 위치의 토큰을 병렬로 예측하고 반복적인 정제 과정을 …
AI가 97% 확신한다면, 서버를 격리해도 될까? AI 의사결정의 신뢰성과 보안을 위한 AWS 아키텍처 핵심 메시지: AI가 반환한 확률은 판단을 지원하는 신호이지 실행 권한이 아니다. 신뢰할 수 있는 자동화는 입력의 무결성, 독립적인 검증, 권한 분리, 감사 추적, 사람의 통제를 함께 설계할 때 가능하다. 생성형 AI를 처음 서비스에 도입할 때 고민은 주로 답변의 품질이었다. 질문에 적절히 응답하는가? …
핵심 요약 항목 내용 RTO (Recovery Time Objective) 장애 발생 후 서비스가 복구되기까지 허용 가능한 최대 시간 RPO (Recovery Point Objective) 장애 발생 시 손실을 허용할 수 있는 최대 데이터 양 (시간 단위) 핵심 판단 기준 RTO/RPO가 낮을수록 비용과 복잡도가 높아짐 — 비즈니스 영향도에 따라 티어를 나눠야 함 핵심 메시지 Active/Active가 RPO 0을 보장하지 않고, …
Benchmark Contamination과 Double-Blind Evaluation 새로운 AI 모델이 공개될 때마다 다양한 벤치마크 점수가 함께 발표됩니다. 추론, 수학, 코딩, 안전성 등 모델의 능력을 하나의 숫자로 비교할 수 있기 때문에 벤치마크는 AI 모델의 성능을 판단하는 대표적인 기준으로 활용되고 있습니다. 하지만 모델의 학습 데이터가 점점 방대해지면서 한 가지 질문이 중요해지고 있습니다. 모델이 평가 문제를 이미 본 적이 있다면, 그 …
생성형 AI가 빠르게 발전하면서 IT 업계에서는 자연스럽게 이런 질문이 나오고 있습니다. “AI가 코드를 작성하고 아키텍처까지 제안하는 시대에 클라우드 엔지니어의 역할은 어떻게 달라질까?“ 최근의 AI는 Terraform 코드를 생성하고, Kubernetes Manifest를 작성하며, 로그를 분석하고, AWS 서비스 구성을 제안하는 수준까지 발전했습니다. 하지만 클라우드 엔지니어, 특히 Solutions Architect의 핵심 역할은 원래부터 단순한 구현에 있지 않았습니다. 비즈니스 요구사항을 기술 요구사항으로 …
RAG에서 GraphRAG, AI Agent까지 생성형 AI와 LLM의 활용이 확대되면서 기업이 보유한 데이터를 AI와 연결하는 방법도 빠르게 발전하고 있습니다. 대표적인 방식이 RAG(Retrieval-Augmented Generation)입니다. RAG는 사용자의 질문과 관련된 정보를 검색하고, 검색 결과를 LLM의 Context로 제공하여 보다 정확하고 근거 있는 답변을 생성하도록 합니다. 하지만 실제 기업의 데이터는 문서만으로 구성되어 있지 않습니다. 고객과 계약, 기업과 투자자, 직원과 프로젝트처럼 수많은 …
안녕하세요. 교보DTS입니다.이번 글에서는 SSL/TLS 인증서 유효기간 단축 흐름과 이에 따른 운영 리스크, 그리고 인증서를 안정적으로 관리하기 위한 대응 전략에 대해 살펴보겠습니다.특히 CSP 관리형 인증서 서비스 활용, 외부 인증서 관리 솔루션 도입, 모니터링 및 알림 체계 강화 등 운영 환경에서 현실적으로 검토할 수 있는 방안을 중심으로 정리했습니다. 1. 현재 SSL/TLS 인증서 유효기간 변화 SSL/TLS 인증서는 웹 …
1. AI가 만든 비대칭 지난 글에서 우리는 생성형 AI와 거대언어모델(LLM)이 모의해킹의 생산성을 어떻게 폭발적으로 증가시키고 있는지 살펴보았습니다. 공격 스크립트 자동 생성부터 타겟 시스템의 세부 취약점 분석까지, AI는 이제 공격자의 가장 강력한 무기가 되었습니다. 문제는 여기서 발생합니다. 공격자는 AI라는 고성능 엔진을 달고 실시간으로 무기를 변형하며 밀고 들어오는데, 이를 막아야 하는 방어선은 여전히 과거의 패러다임에 머물러 있다는 …
최근 AI 개발의 흐름은 단순한 “질문과 답변”을 넘어, 스스로 작업을 계획하고 도구를 사용하며 결과물을 만들어내는 AI 에이전트(Agent) 중심으로 빠르게 이동하고 있습니다. 과거에는 “프롬프트를 어떻게 잘 쓰느냐”가 중요했다면, 이제는 “AI가 실제 업무 환경에서 얼마나 안정적으로 일하게 만들 수 있느냐”가 더 중요한 과제가 되고 있습니다. 아무리 성능이 뛰어난 LLM이라도, 어떤 파일을 읽어야 하는지, 어떤 도구를 사용해도 되는지, …
AI 에이전트를 안전하게 움직이게 하는 설계도, ‘하네스 엔지니어링(Harness Engineering)’ 더 보기 »
안녕하세요, 클라우드 기술팀 이샘입니다. 오늘은 2026년 3월 31일 GA(정식 출시) 된 AWS DevOps Agent를 활용하여 CI/CD 파이프라인을 자율적으로 운영하고, 배포 실패가 발생했을 때 근본 원인을 자동으로 찾아내는 방법을 소개해드리겠습니다. 기존의 CI/CD 파이프라인은 “배포가 성공했는가/실패했는가”는 알려주지만, 왜 실패했는지, 어떤 커밋이 원인이었는지, 어떻게 복구해야 하는지는 사람이 직접 로그를 뒤져가며 판단해야 했습니다. AWS DevOps Agent는 이 영역을 자동화하기 위해 AWS가 새로 발표한 Frontier …
