책소개
“데이터를 지배하는 자가 앞으로의 IT 패권을 가져갈 가능성이 높다.”
알리바바의 마윈 회장의 말이다. 현대는 그야말로 데이터의 시대다. 따라서 데이터 과학이 중요해진 이유도 자명하다. 다양한 분야에서 다양한 형태로 많은 양의 데이터가 생성되고 저장되고 있다. 이러한 데이터들을 처리하고 해석하기 위해서는 데이터들을 추출하고 가공하는 코딩 능력과 의미 있는 결론을 끌어낼 수 있는 통계적 능력이 필요하다. ‘프로그래머보다는 통계를 잘하고, 통계학자보다는 코딩을 잘하는’ 데이터 과학자가 필요한 이유일 것이다.
저자소개
저자 : 권재명
데이터 분석이 취미이자 직업인 통계학자 출신의 실리콘밸리 데이터 과학자. 1972년에 서울에서 태어났다. 어려서부터 컴퓨터를 좋아해서 전산학을 공부하고자 서울대학교 계산통계학과에 입학했다(1990년). 하지만 대학 2학년 때 들은 통계수업에 매료되어 통계를 전공하기로 결심하여 서울대 통계학 학사(1994년), 석사(1996년)를 거쳐 버클리대학교(UC Berkeley)에서 박사(2000년) 학위를 받았다. 졸업 후 같은 대학에서 교통 데이터 분석 연구원으로 활동했고, 이후 이스트베이 캘리포니아주립대학교(Cal State East Bay)에서 통계학과 조교수를 지냈다. 2009년부터 지금까지 실리콘밸리의 인터넷, 테크 기업에서 데이터 과학자로, 그리고 분석 팀 리더로 활동 중이다.
목차
1장 데이터 과학이란?
1.1 데이터 과학의 정의
1.2 데이터 과학 프로세스
1.3 데이터 과학자가 갖춰야 할 능력
2장 데이터 분석 환경 구성하기
2.1 데이터 과학의 연장, 컴퓨터, 기타 도구들
2.2 R 설치와 팁
2.3 R 스튜디오 설치와 팁
2.4 R 라이브러리 설치
2.5 파이썬
2.6 서브라임 텍스트
2.7 깃 버전 관리 소프트웨어와 깃허브
2.8 유닉스 활용하기
2.9 구글 독스/스프레드시트/슬라이드
3장 데이터 취득과 데이터 가공: SQL과 dplyr
3.1 데이터 취득과 데이터 가공이란 무엇이며, 왜 중요한가?
3.2 데이터 취득
3.3 데이터 출력
3.4 데이터 가공
3.5 데이터 가공을 위한 도구
3.6 R의 dplyr 패키지
4장 데이터 시각화 I: ggplot2
4.1 시각화의 중요성
4.2 베이스 R 그래픽과 ggplot2
4.3 변수의 종류에 따른 시각화 기법
4.4 시각화 과정의 몇 가지 유용한 원칙
5장 코딩 스타일
5.1 스타일 가이드와 협업
5.2 R 코딩 스타일
5.3 파이썬 스타일 가이드와 도구
5.4 SQL 코딩 스타일
5.5 코딩 스타일 이외의 베스트 프랙티스
6장 통계의 기본 개념 복습
6.1 통계, 올바른 분석을 위한 틀
6.2 첫째, 통계학은 숨겨진 진실을 추구한다
6.3 둘째, 통계학은 불확실성을 인정한다
6.4 셋째, 통계학은 관측된 데이터가 가능한 여러 값 중 하나라고 생각한다
6.5 스튜던트 t-분포와 t-검정이란?
6.6 P-값을 이해하면 통계가 보인다
6.7 P-값의 오해와 남용
6.8 신뢰구간의 의미
6.9 넷째, 통계학은 어렵다
6.10 모집단, 모수, 표본
6.11 모수추정의 정확도는 sqrt(n)에 비례한다
6.12 모든 모형은 틀리지만 일부는 쓸모가 있다
6.13 이 장을 마치며
7장 데이터 종류에 따른 분석 기법
7.1 데이터형, 분석 기법, R 함수
7.2 모든 데이터에 행해야 할 분석
7.3 수량형 변수의 분석
7.4 성공-실패값 범주형 변수의 분석
7.5 설명변수와 반응변수
7.6 수량형 X, 수량형 Y 의 분석
7.7 범주형 x , 수량형 y
7.8 수량형 x, 범주형 y (성공-실패)
7.9 더 복잡한 데이터의 분석, 머신러닝, 데이터 마이닝
8장 빅데이터 분류분석 I: 기본 개념과 로지스틱 모형
8.1 분류분석이란?
8.2 환경 준비
8.3 분류분석 예제: 중산층 여부 예측하기
8.4 훈련, 검증, 테스트세트의 구분
8.5 시각화
8.6 로지스틱 회귀분석
8.7 이 장을 마치며
9장 빅데이터 분류분석 II: 라쏘와 랜덤 포레스트
9.1 glmnet 함수를 통한 라쏘 모형, 능형회귀, 변수 선택
9.2 나무 모형
9.3 랜덤 포레스트
9.4 부스팅
9.5 모형 비교, 최종 모형 선택, 일반화 능력 평가
9.6 우리가 다루지 않은 것들
10장 빅데이터 분류분석 III: 암 예측
10.1 위스콘신 유방암 데이터
10.2 환경 준비와 기초 분석
10.3 데이터의 시각화
10.4 훈련, 검증, 테스트세트의 구분
10.5 로지스틱 회귀분석
10.6 라쏘 모형 적합
10.7 나무 모형
10.8 랜덤 포레스트
10.9 부스팅
10.10 최종 모형 선택과 테스트세트 오차 계산
11장 빅데이터 분류분석 IV: 스팸 메일 예측
11.1 스팸 메일 데이터
11.2 환경 준비와 기초 분석
11.3 데이터의 시각화
11.4 훈련, 검증, 테스트세트의 구분
11.5 로지스틱 회귀분석
11.6 라쏘 모형 적합
11.7 나무 모형
11.8 랜덤 포레스트
11.9 부스팅
11.10 최종 모형 선택과 테스트세트 오차 계산
12장 분석 결과 정리와 공유, R 마크다운
12.1 의미 있는 분석과 시각화
12.2 분석의 타당성
12.3 보고서 작성과 구성
12.4 분석 결과의 공유
12.5 R 마크다운
13장 빅데이터 회귀분석 I: 부동산 가격 예측
13.1 회귀분석이란?
13.2 회귀분석 예제: 부동산 가격 예측
13.3 환경 준비와 기초 분석
13.4 훈련, 검증, 테스트 세트의 구분
13.5 선형회귀 모형
13.6 라쏘 모형 적합
13.7 나무 모형
13.8 랜덤 포레스트
13.9 부스팅
13.10 최종 모형 선택과 테스트세트 오차 계산
14장 빅데이터 회귀분석 II: 와인 품질 예측
14.1 와인 품질 데이터 소개
14.2 환경 준비와 기초 분석
14.3 데이터의 시각화
14.4 훈련, 검증, 테스트세트의 구분
14.5 선형회귀 모형
14.6 라쏘 모형 적합
14.7 나무 모형
14.8 랜덤 포레스트
14.9 부스팅
14.10 최종 모형 선택과 테스트세트 오차 계산
15장 데이터 시각화 II: 단어 구름을 사용한 텍스트 데이터의 시각화
15.1 제퍼디! 질문 데이터
15.2 자연어 처리와 텍스트 마이닝 환경 준비
15.3 단어 구름 그리기
15.4 자연어 처리 예
15.5 고급 텍스트 마이닝을 향하여
15.6 한국어 자연어 처리
16장 실리콘밸리에서 데이터 과학자 되기
16.1 데이터 과학자에게 요구되는 자질들
16.2 데이터 과학자 고용 과정
16.3 인터뷰 준비
16.4 행동질문과 상황질문
16.5 취업의 패러독스
찾아보기
