책소개
| 이 책의 구성 |
1부 ‘AI 프로젝트를 시작하며: 기본 점검’
1장 ‘프로젝트가 실패할 확률을 추산해보았나?’에서는 AI 프로젝트가 실패할 확률은 왜 그리도 높은지, 실패를 피하려면 초기에 어떤 부분을 고려해야 하는지를 다룹니다.
2장 ‘생성AI 기술은 절대반지일까?’에서는 생성AI 기술이 모든 것의 해답은 아닐 수도 있다는 점을 짚어봅니다. 특히 기존에 잘 활용해온 규칙기반 시스템이나 머신러닝 시스템이 더 적합한 일들은 무엇이며, 생성AI/LLM이 적합한 일은 무엇인지를 알아봅니다.
3장 ‘업무 노하우와 도메인 지식을 파악해 적용했는가?’에서는 AI를 적용할 각 분야 실무자들의 도메인 지식과 업무 노하우를 어떻게 정리해서 AI 프로덕트에 녹여낼 것인지를 살펴봅니다.
2부 ‘AI 프로젝트의 실제 구축 방안’
4장 ‘우리 비즈니스에 맞는 AI 기술을 제대로 알고 선택했는가?’에서는 현재 해결하고자 하는 문제에 어떤 AI 기술을 선택해서 써야 할지에 대해 알아봅니다. 다양한 기술의 기본 사항과 특장점에 대한 기초 지식을 갖추고자 합니다.
5장 ‘서비스 가능한 AI 프로덕트를 위한 아키텍처 요소를 잘 구성했는가?’에서는 AI 프로덕트가 현실에서 돌아가게 하기 위해 필요한 가드레일, 라우터나 게이트웨이, 프롬프트 템플릿 관리 등을 알아보고, 그 필요성과 의미에 대해서도 살펴봅니다.
6장 ‘데이터는 어떻게 확보했으며, 충분히 준비할 수 있었는가’에서는 데이터를 가져오는 데 방해가 되는 요소들을 피하는 방법, 오픈소스 데이터 활용, 합성 데이터 생성, 개인정보보호 방안을 알아봅니다.
7장 ‘비정형 문서를 제대로 읽어와서 처리했는가?’에서는 다양한 문서에서 비정형 데이터를 가져와 정리하는 방법과 파일 포맷별 문서 파싱 전략을 살펴봅니다.
8장 ‘LLM: 자체 구축할까? API를 활용할까?’에서는 직접 서빙 시 비용을 추산하고 상황에 따라 경제적인 접근 방식을 살펴봅니다.
9장 ‘SLM: 적시에 도입하고 제대로 활용하고 있는가?’에서는 비즈니스에 맞는 SLM을 언제, 어떻게 만들어야 하는지를 지식 증류, 파인튜닝, 양자화를 중심으로 알아봅니다.
10장 ‘비즈니스 문제 해결: LLM 워크플로를 만들까? 에이전트에게 맡길까?’에서는 워크플로와 에이전트의 차이와 선택 기준을 살펴봅니다.
3부 ‘더 완벽한 AI 프로덕트를 향하여: 성능 평가와 최적화, 인적 요소’
11장 ‘적절한 프롬프트를 만들어 우리가 원하는 컨텍스트를 구성했는가?’에서는 직접 활용해 효과적이었던 프롬프트 설계 방법을 ‘컨텍스트 엔지니어링’ 관점에서 정리합니다.
12장 ‘AI 답변 수준을 높이기 위해 RAG 최적화를 했는가?’에서는 청킹, 임베딩, 검색, 재순위, 에이전틱 RAG 등 RAG 최적화 방법을 소개합니다.
13장 ‘RAG 성능을 평가하고 있는가?’
에서는 평가 데이터셋 구성과 LLM 기반 평가 방식인 RAGAS를 알아봅니다.
14장 ‘LLM 모델 성능을 평가하고 있는가?’에서는 목표 설정, 데이터셋 구성, 평가지표 설정과 해석 과정을 살펴봅니다.
15장 ‘에이전트 성능을 평가하고 있는가?’에서는 공개 벤치마크 활용과 자체 벤치마크 및 지표 설계 방법을 알아봅니다.
16장 ‘AI의 거짓말과 환각에 대응하고 있는가?’에서는 환각 현상의 원인과 RAG, 롱 컨텍스트 모델, 가드레일, 출처 명시, 인적 검증 체계 구축 방안을 살펴봅니다.
17장 ‘인재 확보와 관리 전략을 운영하고 있는가?’에서는 조직과 개인의 관점에서 AI 인재 확보와 커리어 전략을 함께 다룹니다.
부록 A ‘오픈 가중치 모델을 선택하기 위한 체크리스트와 추정 항목’에서는 허깅페이스 모델카드 스펙 비교를 통해 제품에 적합한 모델을 판단하는 기준을 살펴봅니다.
부록 B ‘AI 프로덕트를 기획하기 전에 고려할 사항’에서는 프로덕트 기획 방향, 스펙 설정, 경쟁 전략을 점검할 수 있는 항목들을 정리합니다.
저자소개
국민대학교 전자공학과에서 공학학사를, 서강대학교 영상대학원 미디어공학과에서 공학석사를 취득했다. 컴퓨터 비전 분야에서 시작해서 GE헬스케어에서 초음파 진단 장비관련 일을 하다가 카카오엔터테인먼트에서 크로스 플랫폼 3D 렌더링 엔진 개발 업무를 했고, 파라메타에서 블록체인과 클라우드, 티켓플레이스에서 웹서비스와 클라우드 등 다양한 분야에서 소프트웨어 개발을 수행해왔다. 동시에, 애자일 코치로서 소프트웨어 팀이 높은 생산성과 열정을 가지고 일할 수 있도록 개발 조직을 운영하기 위해 노력하고 있다. 현재는 한솔PNS에서 AX 플랫폼인 AI-Atlas를 개발하고 있다.
목차
1부 AI 프로젝트를 시작하며: 기본 점검
01 프로젝트가 실패할 확률을 추산해보았나?
생성AI/LLM를 이용한 프로젝트들이 인기 있는 이유
생성AI/LLM 프로젝트들의 치명적 함정들
생성AI/LLM 프로젝트의 위험성을 줄일 수 있는 방안
정리
02 생성AI 기술은 절대반지일까?
기존 머신러닝/규칙기반 기술이 더 적합한 문제도 있다
생성AI/LLM이 더 적합한 문제도 있을까?
기존 머신러닝/규칙기반 vs 생성AI/LLM 기술의 달라진 개발 순서
정리
03 업무 노하우와 도메인 지식을 파악해 적용했는가?
지식 습득과 생산 비용을 획기적으로 감소시킨 생성AI/LLM
무엇이 우리를 다른 경쟁자들과 다르게 만들까?
도메인 지식과 숨은 업무 노하우를 끌어내는 방법
1단계: 분석할 중요한 사건을 선정하기
2단계: 시간 순서표 만들기
3단계: 깊이 파고들기
4단계: “가정해보는(What if)” 질문하기
도메인 지식과 생성AI/LLM의 융합으로
정리
2부 AI 프로젝트의 실제 구축 방안
04 우리 비즈니스에 맞는 AI 기술을 제대로 알고 선택했는가?
LLM 모델만 이용할 경우
RAG: LLM 모델에 데이터를 붙여서 이용하기
에이전트: LLM모델에 도구와 메모리 붙이기
MCP: 모든 도구들의 ‘사실상 표준’
여러 에이전트들 연결하기: A2A 프로토콜
정리
05 서비스 가능한 AI 프로덕트를 위한 아키텍처 요소를 잘 구성했는가?
1단계: 가드레일 설치
2단계: 라우터와 게이트웨이
3단계: 프롬프트 템플릿 관리
4단계: 캐시로 응답시간 줄이기
5단계: 출력을 입력으로 넣어주기
6단계: 모니터링과 관찰 가능성 추가하기
정리
06 데이터는 어떻게 확보했으며 충분히 준비할 수 있었는가?
생성AI/LLM 앱에는 어떤 데이터가 필요할까?
오픈소스 데이터셋 활용하기
데이터가 쌓이는 구조 설계하기
데이터 증강하기: CRAFT 방법론
데이터 수집이 어렵거나 법적 문제가 있을 경우
데이터를 가져오기 위한 레거시 시스템과의 연동
데이터에서 개인정보보호 방안을 마련했는가?
정리
07 비정형 문서를 제대로 읽어와서 처리했는가?
정형 데이터 vs 비정형 데이터, 무엇이 다른가?
비정형 문서를 데이터로 변환하는 방법
파싱: 문서 파일을 기계가 읽을 수 있는 데이터로 변환하기
문서 포맷별 어려운 점: PDF
그 외 문서 포맷별 어려운 점
‘표준 데이터 형식’ 만들기
청킹: LLM이 한 번에 소화할 수 있게 잘게 나누기
정리
08 LLM: 자체 구축할까? API를 활용할까?
AI 시스템을 자체 구축할 경우?
직접 LLM을 서빙할 때의 비용은 얼마나 드나?
LLM API의 비용은 점점 더 저렴해지고 있다
모든 것에 다 비싼 생성AI/LLM API를 쓰지 않아도 된다
정리
09 SLM: 적시에 도입하고 제대로 활용하고 있는가?
SLM은 언제 도입해야 할까?
SLM은 어떻게 만드는가?
__언어 모델 구조 결정
__지식 증류: 특화된 작업 결정 후 그에 맞는 학습 데이터 준비
__모델 재학습: 파인튜닝
__양자화를 통한 모델 크기 축소
__만들어진 모델의 평가와 서빙
그럼에도, SLM은 성능이 너무 떨어지지 않을까?
정리
10 비즈니스 문제 해결: LLM 워크플로를 만들까? 에이전트에 맡길까?
증강LLM, LLM 워크플로, 에이전트란 무엇인가?
앤스로픽이 제안한 LLM 워크플로 패턴
정말 에이전트를 써야 할 때는 언제일까?
__정형화된 정보의 요약 및 질의응답
__반복 업무 자동화 및 보고서 작성
__외부 도구 및 API 연계를 통한 작업
__코드 생성 및 개발 보조
__대규모 데이터 분석 및 의사결정 보조
에이전트를 쓰지 말아야 할 때는 언제일까?
__직관을 이용해 실시간 대응이 필요한 작업
__복잡한 논리 추론과 인과관계 이해
__장기 기억 및 긴 문맥이 요구되는 작업
__복잡한 다단계 계획 수립 및 새로운 도구 조합
__창의적 발상과 의미 있는 혁신 작업
__사실 검증이 필요한 정확한 지식의 응용
실전 사례: 어느 증권 프로젝트의 전환점
정리
3부 더 완벽한 AI 프로덕트를 향하여: 성능 평가와 최적화, 인적 요소
11 적절한 프롬프트를 만들어 우리가 원하는 컨텍스트를 구성했는가?
프롬프트 엔지니어링은 과연 끝났는가? 6
다른 사람들은 프롬프트를 어떻게 만들까?
프롬프트를 이용한 가드레일 설계
효과가 탁월한 ‘생각의 사슬(CoT)’ 프롬프트 기법
시스템 프롬프트, 사용자 프롬프트, 언어 모델별 프롬프트 작성법
LLM 모델별 프롬프트 작성 방법
LLM을 이용한 프롬프트 최적화
프롬프트를 관리하고 평가하라
컨텍스트 엔지니어링: 전체 맥락을 설계하라
정리
12 AI 답변 수준을 높이기 위해 RAG 최적화를 했는가?
RAG가 질문에 답하는 방법
사용자의 질문이 명확하지 않을 때
청킹: RAG에 넣기 위해 데이터 조각내기
임베딩 모델 선택과 파인튜닝
희소 벡터와 밀집 벡터
벡터DB 및 검색엔진 최적화와 재순위자
지식 그래프를 통해 검색의 정확도를 높인 RAG: 그래프RAG
일반 RAG vs 에이전틱 RAG
정리
13 RAG 성능을 평가하고 있는가?
RAG의 성능을 평가할 수 있는 도구
평가도구 자세히 보기: RAGAS
__1단계: 평가 데이터 준비하기
__2단계: 세 가지 핵심 지표로 평가하기
RAG의 성능 평가는 반복적으로 그리고 주기적으로 해야 한다
정리
14 LLM 모델 성능을 평가하고 있는가?
우선 ‘무엇을 잘하게 만들고 싶은가’부터 정의하라
LLM 평가: 사람과 AI, 누가 더 나은 심판인가?
단일 지표보다는 균형 잡힌 접근
정리
15 에이전트 성능을 평가하고 있는가?
일반적으로 사용하는 에이전트의 성능 평가 지표
평가 접근법의 분류
__종합 실무 능력 평가 방법(1) 가이아
__종합 실무 능력 평가 방법(2) 더에이전트컴퍼니
펑션 콜링 기능 평가하기
벤치마크 점수에 지나치게 몰입하지 않도록
우리 에이전트를 평가하는 고유한 에이전트 벤치마크를 만들자
정리
16 AI의 거짓말과 환각에 대응하고 있는가?
왜 환각 현상은 완전히 제거하기 어려운가?
일반적인 환각 현상 관리 전략
각 분야별 환각 현상 대응 방법
정리
17 인재 확보와 관리 전략을 운영하고 있는가?
기술 격차와 수급 불균형의 문제
그렇다면, 어떤 사람이 필요한가?
일반 소프트웨어 엔지니어가 없으면 AI 서비스를 만들 수 없다
AI 분야의 엔지니어로 취업이나 이직을 고려하고 있다면?
정리
부록A 오픈 가중치 모델을 선택하기 위한 체크리스트와 추정 항목
부록B AI 프로덕트를 기획하기 전에 고려할 사항
