AWS | re:Invent

re:Invent 2023 Recap - III. AI/ML

이제이라라 2025. 2. 14. 10:46

Generative AI Stack

  • Applications that legerage FMs
  • Tools to build with FMs and LLMs
    • Bedrock
      • Api Service
  • Infrastructure for FM Training & Inference
    • No Code 앱
    • 모델 직접 개발
    • 파인 튜닝
      • 이미 만들어진 모델 미세 조정
    • 머신러닝 특화 인스턴스 - 자체 개발한 칩
      • Trainimum - 트레인 용
      • Inferencia - 추론용
    • 그 외에도 엔비디아 등 여러 인스턴스 많다

Bedrock

  • 베드락이란
    • 6곳의 provider가 제공하는 21개 이상의 동급 최강 FM
    • 엔트로픽의 클로우드 2도 쓸수 있다
    • 여러 모델을 취사 선택할수 있음 (Stable Diffusor 모델도 가능)
    • 모델 선택 후 api 쓰면 되며 모델 빌드, 트레이닝할 필요 없이 쉽게 이용 가능
    • 사용자 데이터로 비공개 모델 커스터마이징
    • 검색 증강 생성 (RAG) 기본 지원
    • Hallucination (환각) 최소화 하는 방법
      • 직접 개발
      • 파인 튜닝
      • 데이터 검색 이후 질문을 던진다.
      • 미리 db 다녀옴 > 데이터 긁어옴 > 정보 기반으로 GenAI 질문
    • Vector Db + 검색 + 리스트 업 + 개발 하는 과정이 간략화됨
    • Ux에서 간단하게 설정 가능함
  • 장점
  • 저렴한 편이며 다양한 모델 사용 가능
    • 스테이블 디뷰전, 라마 툴 / 타이탄 (aws 직접 생산)
    • 임베딩 모델
  • 주요 업데이트 사항
    • 데이터 소스에 안전하게 연결하여 보다 관련성 높은 응답 결과 제공
    • 수집, 검색, 증강을 포함한 완전 관리형 RAG 워크플로
    • Agent 기능
    • Api 몇개를 함께 이용 가능
      • Gen AI + Knowledge AI .. 등등
      • 사내 api 가져와서 결합 Ex)신발 판매 agent구성
  • 시연
    • 모델
    • 언어 설정
    • 설명 잘 써줘야함
    • 람다를 통해 api 호출
    • Api + Json(스펙)
  • Model Evaluation
    • Groundtruth : 사람에게 직접 의뢰
    • 자동화된 평가 리포트 제공
    • 가드레일 베드락에도 있음
    • 유해한 컨텐츠 필터링 가능 (욕)
    • 모델 개발할 필요 없음

PartyRock

  • 공유 가능한 생성형 ai 앱 구축 및 배포 가능
  • 무료
  • 프롬프트 엔지니어링 학습
  • 미니 앱 구축
  • 친구들과 공유 가능

Sagemake

  • ML 모델을 만드는 플랫폼
  • 직접 훈련 또는 파인 튜닝, 디플로이 가능한 통합 개발 환경임
  • 수년 전부터 지원함
  • UX 많이 바뀌었고
  • VS code 지원 강화
  • efs 지원 강화

Canvas

  • Data prep 을 쉬운 환경에서 수행 가능
  • Data Wrangler + Canvas 통합
  • Document DB에 대한 JDBC

CodeWisper

  • Visual Studio Code 결합

Personalize

Transcribe

  • STT
  • 전체 모델이 빌드업돼서 쓸만해점
  • 독성 감지 기능

Amazon Lex

  • Chatbok
  • Gen AI
  • 콘솔에서 코드없이 제작 가능

HealthScribe

  • 의료 기록 요약

Tranium 2

  • H 200 까지 지원하는 인스턴스가 나옴

Q&A 

배드락 이용시 전송 데이터 보관이 잘 될지

  • 고객의 데이터를 훈련에 쓰지 않는다
  • SoC type 2 등 보안 관련 문서 열람 가능

기업의 민감정보 필터링이나 감사로그 적재 사례

  • 한국에는 없음
  • 보안 - 전송(in transit) 저장 영역 모두 필요 하다 공감

람다를 사용한 api 생성형 ai 호환되는 api 가 제공되는지

  • 랭체인과 베드락이 인테그레이션 되어있다
  • 모델별로 다른 프롬프트를 지켜서 쓰면 된다.

Amazon Q (실습위주)

  • 업무용으로 설계된 생성 ai 어시스턴트
    • 기업용으로 고안됨
    • 학습시키면면 문제 해결, 문서화 가능
  • 이용 방법
    • 세일즈포스, 데이터 베이스, 구글 드라이드 등 자료 학습
    • amazon Q와 커텍터로 연결
    • 권한 부여 가능
      • 특정 팀에만 권한 부여
      • App마다 권한, 응답 가능
    • 데이터 소스 연결 (영문자료 위주)
      • 슬랙, 구글 드라이브 가능

Key Feature

  • 출처
  • 대화기록
  • Sso
  • RAG
    • 중간에 데이터베이스를 추가 넣었을 때 포함하여 데이터 찾아서 답변함
  • 컨텐츠 기반으로 답변을 주는 방식