이보다 시각적이고 직관적인 딥러닝 강의는 없다

챗GPT와 같은 LLM은 마치 마법 같다.
간단한 프롬프트 하나로 시를 생성하거나 코드를 작성해주는 마법은 어떻게 일어나는 걸까? 이 책은 그 배경을 이해하기 쉽도록 개념을 작게 쪼개 직관적인 예시와 명확한 그림으로 보여준다.
신경망과 AI의 기초부터 시작해 이미지 분류, 자연어 처리 등 최신 기술까지 차근차근 알려주며, 주요 개념마다 파이토치 튜토리얼이 함께 제공되어 신경망을 처음부터 코딩하는 방법을 배울 수 있다.
부록에서는 학교에서 배웠지만 지금은 잊어버린 수학 개념을 그림으로 설명한다.

파이토치에서 신경망을 만들 때 가장 기본적인 요소는 텐서(Tensor)야.
텐서는 파이썬 리스트와 비슷하지만, 데이터와 가중치, 편향을 저장하는 데 사용돼.
텐서와 파이썬 리스트의 가장 큰 차이점은, 텐서에서는 모든 값이 같은 데이터 타입을 가져야 한다는 거야.
예를 들어, 정수형 텐서를 만들면 그 안의 모든 값이 정수여야 해.
또한, 텐서는 신경망에서 사용하기 최적화되어 있다는 점도 큰 차이점이야.

--- p.18

역전파는 두 단계로 이루어져 있어.
첫 번째 단계는, 각 최적화할 매개변수에 대해 미분(derivative)을 계산해.
이 미분값들의 집합을 ‘경사(gradient)’라고 불러.
‘역전파’라는 이름은 이 경사를 신경망의 출력층에서 입력층 방향으로 계산하기 때문에 붙여진 거야.
/ 그다음, 두 번째 단계에서는 경사 하강법(gradient descent) 또는 다른 최적화 방법을 사용해 매개변수를 조정해.
이 과정은 반복(iterative)적으로 진행되면서 최적의 값을 찾아가게 돼.
즉, 여러 작은 단계를 거쳐 점진적으로 매개변수를 개선하는 방식이야.

--- p.20

최초의 신경망은 1950년대에 만들어졌는데, 손글씨 숫자와 문자를 인식하도록 설계된 퍼셉트론이었어.
하지만 이 초기 CNN 설계는 데이터셋이 너무 작았고 컴퓨터가 너무 느려서 1990년대까지는 실제로 잘 작동하지 않았지.
그러나 운 좋게도 GPU(그래픽 처리 장치)를 연구하던 사람들이 CNN을 훨씬 빠르게 실행할 수 있다는 것을 알아냈어. GPU는 CNN 속도를 높였고, CNN은 이미지 분류를 잘하게 되었고, 우리가 현재 경험하고 있는 AI 혁명을 시작하게 된 거야.

--- p.128

최초의 인코더-디코더 모델은 LSTM을 사용했고(Sutskever et al.
2018), 입력 및 출력 시퀀스의 길이에 유연성을 허용하도록 펼쳐질 수 있었어… 그리고 숫자가 아닌 입력과 출력을
사용하여 쉽게 훈련할 수 있도록 허용하는 워드 임베딩 네트워크도 사용했지.
시퀀스-투-시퀀스 문제를 해결하기 위해 인코더-디코더 모델을 사용하는 방법을 설명할게.
그럼 같이 영어 구문을 스페인어 구문으로 번역하는 모델을 만들어보자.

--- p.184

이제 인코더-디코더 모델의 세부 사항을 알았으니, 각각 2개의 LSTM을 가진 2개의 레이어를 코딩해보자.
4개의 토큰 각각에 대해 2개의 워드 임베딩값을 생성하는 일은 nn.Embedding()으로 할 수 있어.
우리는 nn.LSTM()으로 LSTM 유닛의 스택과 레이어를 생성할 수 있어.
input_size를 2로 설정하면 워드 임베딩값을 입력으로 모두 사용할 수 있고… 동일한 입력값을 받는 hidden_size를 2로 설정하고 LSTM 유닛의 스택 2개를 생성해.
num_layers를 2로 설정해서 LSTM 유닛의 스택 2개를 생성하고… 마지막으로, nn.Linear()로 완전 연결 레이어를 생성할 수 있어.

--- p.198

단어 순서를 추적하는 것의 중요성을 이해하기 위해, 노말사우르스가 다음과 같이 말했다고 상상해보자… ‘스콰치가 피자를 먹는다.’ 이 경우, 스콰치는 아마 이렇게 말할 거야… “냠!!!” 반대로 노말사우르스가 이렇게 말했다고 상상해보자… ‘피자가 스콰치를 먹는다.’ 이 경우, 스콰치는 아마 이렇게 말할 거야 … “으악!!!” 이 두 문장은 정확히 동일한 단어를 사용하지만, 의미는 매우 달라.
따라서 단어 순서를 추적하는 것은 매우 중요해.
트랜스포머가 위치 인코딩으로 단어 순서를 어떻게 학습하는지 알아보자!

--- p.216