‘AWS re:Invent 2023’ 참관기 #2

셋째날은 오전 8시 30분부터 AWS Data, Gen AI VP인 Swami Sivasubramanian가 ‘데이터, Gen AI, 인간 지능 간의 관계’라는 제목으로 키노트를 시작했습니다.

1. 데이터 및 Gen AI 기술은 인간 지능을 촉진
   • AI의 연산 능력과 데이터 처리 능력은 인간의 독창성을 보완해 다양한 분야에서 획기적인 발전과 효율을 이끌어냄
   • 공생 관계의 시너지 효과를 통해 인간은 맞춤형 소프트웨어 솔루션 개발 가속화부터 의료와 같은 중요한 영역 개선에 이르기까지 다양한 고급 애플리케이션에 AI를 활용할 수 있음 – Pluralsight. Michael Cassidy
     
     
2. Gen AI 애플리케이션 구축의 필수 요소
   • 다양한 기초 모델(FM)에 대한 액세스
   • 데이터를 활용하는 비공개 환경
   • 애플리케이션을 구축하고 배포하기 위해 사용하기 쉬운 도구
   • 목적에 맞게 구축된 ML 인프라
     
     
3. Amazon Titan Image Generator를 사용하여 믿을 만한 AI 생성 이미지 만들기
   • 자연어 프롬프트를 사용해 고품질의 사실적인 이미지를 생성하고 사용자 정의도 가능
   • Titan Image Generator에서 생성된 모든 이미지에는 눈에 보이지 않는 워터마크가 포함되어 있음. 이를 AI 생성 콘텐츠로 식별하고, 잘못된 정보를 줄이고, AI의 책임감 있는 사용을 지원
     
     
4. Amazon Q 통합으로 데이터 관리 단순화
   • 특정 조직 데이터에 맞게 조정할 수 있는 비즈니스용 보안 AI 챗봇
   • AWS 서비스와 통합할 몇 가지 방법
     • Amazon Redshift의 Amazon Q Generative SQL : 일반 영어로 SQL 쿼리 권장 사항 생성
     • AWS Glue의 Amazon Q 데이터 통합 : 사용자 지정 ETL 작업을 단순화하고 자연어를 사용해 데이터를 통합
     • Quicksight의 Amazon Q : 데이터에서 스토리를 생성하고 신속하게 통찰력을 끌어냄
       
       
5. Amazon SageMaker Hyperpod로 모델 훈련 시간 단축
   • 기본 모델 훈련은 데이터를 수집하고, 클러스터를 생성하고, 모델 교육을 배포해야 함. 그런 다음 모델을 검사하고 문제를 해결해야 함. 그리고 하나의 클러스터가 실패하면 전체 훈련 과정이 중단됨
   • Amazon SageMaker Hyperpod는 대규모 분산 교육을 위해 특별히 구축된 인프라를 제공 위의 문제점을 해결. 자동으로 클러스터를 확인하고, 결함이 있는 노드를 교체하고, 체크 포인트에서 훈련 재개 가능
     
     
6. 재교육 혁명: 생성 AI 시대의 소프트 스킬
   • 기조연설에서 나온 주제 중 하나는 AI 및 ML 전문가부터 현장에 처음 입문하는 초보자까지 모든 사람이 AI 도구 및 기술에 접근할 수 있도록 만드는 것의 중요성
   • 이번에 공개된 도구와 사용 사례에 따라 AI 엔지니어, 개발자, 데이터 분석가, 고객 서비스 담당자 모두 AI를 사용해 프로세스를 간소화하고 생산성 향상 가능
   • 모든 사람이 AI와 상호 작용할 것이기 때문에 기술적 능력만이 개발할 수 있는 유일한 기술이 아님
   • 창의성, 윤리성, 적응성과 같은 소프트 스킬이 더욱 중요해질 것
     
     
7. 더 많은 AWS 데이터 및 AI 발표
   • Amazon Titan 다중 모드 임베딩 : 사용자를 위한 보다 정확하고 관련성이 높은 다중 모드 검색 결과를 도출하고 권장 사항을 쉽게 구축
   • Amazon Bedrock의 모델 평가 : 사용 사례에 가장 적합한 기반 모델을 빠르게 평가, 비교, ​​선택
   • Anthropic Claude를 위한 사용자 정의 모델 프로그램: AWS 전문가와 협력해 필요에 맞게 Claude를 사용자 정의
   • AWS Clean Rooms ML : 전체 데이터 세트를 공유할 필요 없이 파트너와 협력해 ML 모델을 구축, 교육, 배포
   • Amazon S3와 Amazon OpenSearch Service zero-ETL 통합: ETL 파이프라인을 생성하지 않고도 한 곳에서 데이터를 원활하게 검색, 분석 및 시각화
   • Amazon OpenSearch Serverless용 벡터 엔진 : 수십억 개의 벡터 임베딩을 저장, 업데이트, 검색
   • Amazon Neptune Analytics : Amazon Neptune용 분석 데이터베이스 엔진과 함께 그래프와 벡터 데이터를 저장합니다.
     
     
8. AI와 클라우드 컴퓨팅의 미래를 준비
   • 생성적 AI 아키텍처 구축 : AWS 전문 서비스 부사장인 Francessca Vasquez는 생성적 AI를 안전하고 경제적이며 책임감 있게 확장하기 위한 아키텍처를 생성하는 방법을 설명함. 궁극적으로 올바른 아키텍처를 통해 조직은 생성 AI 기술의 이점을 최대한 활용할 수 있게 됨.
   • 생성적 AI로 더욱 빠르게 혁신 : AI 및 ML 부문 AWS 부사장인 Bratin Saha 박사는 AI 통찰력에 대해 설명. 그는 고객과 이야기를 나누고 고객이 AI 및 ML을 통해 비즈니스를 혁신시키는 전략과 접근 방식을 알아냄
   • AWS 데이터베이스로 애플리케이션의 미래 보장 : IT 환경이 빠르게 발전하며 미래를 준비하는 것이 대부분 조직의 주요 관심사가 됐음. AWS 데이터베이스 및 마이그레이션 서비스 부사장인 Jeff Carter와 AWS 관계형 데이터베이스 엔진 부사장인 Rahul Pathak은 생성 AI 등 차세대 신기술을 채택할 수 있도록 변화하는 방법에 대해 설명. 민첩성, 적응성을 위한 최적의 데이터베이스를 어떻게 설계하는지 발표.

넷째 날은 Amazon.com VP & CTP인 Werner Vogels이 ‘검소한 건축가’라는 제목으로 키노트를 시작했습니다. 발표에서는 비용 고려와 더불어 지속 가능하고 현대적인 IT아키텍처를 구축하기 위한 간단한 규칙을 안내했습니다.

디자인

1. 비용을 비기능적 요구사항으로 만들기
   • 비용이 수익보다 크지 않도록 지속적으로 비용 영향을 고려
2. 비즈니스에 맞게 비용을 지속적으로 조정하는 시스템
   • 수익이 허용하는 한 규모의 경제를 달성하기 위해 비즈니스 모델의 수익 수단에 맞춰 시스템을 설계
3. 건축은 일련의 절충안
   • 기술 및 비즈니스 균형을 정기적으로 재평가하고 위험 허용 범위와 예산에 맞는 최적의 지점을 찾기

측정

4. 관찰되지 않은 시스템으로 알려지지 않은 비용 발생
   • ‘측정할 수 없으면 관리할 수 없다’라는 격언처럼 지속적인 검사를 통해 초과 지출을 찾아내고 운영을 조정해야 비용을 절감할 수 있음
5. 비용 인식 아키텍처로 비용 제어 구현
   • 절약형 아키텍처의 핵심은 비용 최적화 기능과 결합된 강력한 모니터링. 인프라, 언어, 데이터베이스는 모두 조정 가능해야 함

최적화

6. 점진적인 비용 최적화
   • 비용의 효율성을 추구하는 것은 지속적인 여정. 핵심은 끊임없이 질문하고 더 깊이 파고드는 것
7. 도전받지 않는 성공은 가정으로 이어짐
   • 과거에 효과가 있었던 것이 무엇인지 지속적으로 질문할 것. 이전에 성공했더라도 그 방법과 도구를 다시 살펴보기

마치며

AWS 행사 마지막 날엔 아침 일찍 AWS 본사가 위치한 시애틀로 이동했습니다. 아쉽게도 라스베이거스와는 작별했죠. 4일 동안 AWS re:Invent 행사를 참석하며 클라우드 인프라를 활용한 ‘Gen AI’가 우리 곁에 밀접히 다가왔다고 느꼈습니다.

단순히 고객 응답을 해주는 챗봇 AI부터 인간 수준을 뛰어넘는 개발 AI까지 많은 제품이 출시되는 것을 보며, 이러한 제품들을 보다 잘 활용하는 능력에 초점을 둬야겠다는 생각이 들었습니다.