заметки Давида 🌱

Изучаем LLM

AI - не очередной хайп пузырь, LLM - действительно прорывная технология, которую весь мир активно стремится внедрить всюду. Америка запускает проект Stargate с инвестициями в размере 500 миллиардов долларов, а Европа - аналогичный InvestAI, немного скромнее, 200 миллиардов евро.

Изучать эту тему - определенно хорошая идея. Недавно нашел два ресурса, которые могут в этом помочь.

Андрей Карпаты, известный исследователь и сооснователь OpenAI, записал 3,5-часовое видео с глубоким погружением в устройство больших языковых моделей. Он постарался сделать свой рассказ доступным для широкой аудитории.

А Андрей Бурков написал книжку "The Hundred-Page Language Models Book", где в 200 страниц уместил самую актуальную информацию, начиная от математического фундамента (матрицы, градиентный спуск, ...).

OceanofPDF.com the Hundred-... by uakhit.r

Кажется, этих двух материалов мне хватит на много часов изучения.

update: Андрей Карпаты недавно выложил еще и двухчасовое видео, в котором рассказывает, как использует разные LLM