# ハチコロ

> 手を動かして学ぶ、エンジニアのための日本語のオープンな教科書。各ページの Markdown 版と、コースごとのまとめへのリンクです。

## LLM のしくみ（Transformer）

- [コース全体のまとめ（全ページの本文）](/context/llm.md)
- [LLM のしくみ（Transformer）](/llm.md): ChatGPT や Claude の中で何が起きているのかを、手を動かしながら理解するコース
- [1. トークン化](/llm/tokenization.md): 文章をモデルが扱える番号の列に変える。BPE トークナイザを自分で学習させて確かめる
- [2. 埋め込みベクトル](/llm/embedding.md): トークン ID を、意味を持つベクトルに変える。単語をベクトル空間に置いて、距離と方向を確かめる
- [3. Attention](/llm/attention.md): 各トークンが文中のどこから情報を集めるかを決める仕組み。Q・K・V の計算を数値で追う
- [4. Transformer ブロック全体](/llm/transformer-block.md): Attention と MLP を残差接続でつなぎ、何十層も積み重ねる。LLM の骨格の全体像
- [5. 次のトークンを選ぶ](/llm/sampling.md): logits を確率に変え、temperature・top-k・top-p で 1 つ選ぶ。生成の最後の一歩
- [理解度クイズ](/llm/quiz.md): LLM のしくみコースの理解度を、選択式と記述式の問題で確かめる

## はじめに・その他

- [ページが見つかりません](/404.md)
- [用語集](/glossary.md): 教材に出てくる用語の短い解説。本文で点線の下線が付いた用語をクリックすると、ここの解説が出ます
- [AI に質問する](/guide/ai-tutor.md): 教材の分からないところを、AI 向けの引用としてコピーし、自分の AI に質問する方法
- [ハチコロ](/index.md): 手を動かして学ぶ、エンジニアのための教科書
- [マイノート](/notes.md): 教材ページごとに書いたノートの一覧。Markdown で書き出せる
- [プライバシーポリシー](/privacy.md): ハチコロが預かるデータと、その扱い
- [復習と学習記録](/review.md): 忘却曲線に沿って、忘れかけている問題を復習する。学習の記録を振り返る
- [ハチコロを応援する](/support.md): ハチコロは教材を増やしている途中です。寄付で、続きの教材づくりを応援できます