(←) предыдущая запись ; следующая запись (→)
образование, идея, машинное_обучение
tl;dr. Придумал интересный метод обучения путём редактирования-дописывания предзаписанных конспектов и проверки их при помощи LLM.
———
В студенческие годы часть интересующих меня тем я изучал по википедии. Проблема была в том, что статьи по интересующим меня темам были довольно куцыми, непонятными, порой были с ошибками. А иногда и вовсе существовали только на английском языке, который был для меня в те годы сложен к восприятию.
🖖 Тогда у меня появился свой способ учиться: я редактировал статью до состояния, в котором сам начинал её понимать. Не могу сказать, что это дало большой вклад в википедию, но это точно дало немало пользы мне.
Когда я читаю чужие тексты, мне часто хочется, как минимум, опечатки поправить, а то и переписать кусок другими словами. Или вставить в текст какой-то кусок информации, которую я нашёл в процессе исследования темы. Почти любой текст я хотел бы иметь в форме вики-текста. Если не для публики (что было бы идеально), то хотя бы для себя.
Вроде как бывают браузерные плагины для аннотирования текстов, но я не верю, что они могут быть реализованы поверх современного веба, поэтому даже не пробовал.
А недавно мне рассказали, что согласно исследованиям (я поленился их искать, so… take with a grain of salt) самый эффективный способ учиться — иметь под рукой готовый конспект и делать в нём пометки. Это прямо похоже на мою мето́ду.
Я стал думать про инструмент, который можно было бы сделать для того, чтобы учёба стала эффективнее.
В чат-боты для образования я перестал верить с тех пор, как стал ими заниматься, но вот такой синтез мне кажется возможным:
👉 У студента перед глазами есть текст урока (ну или конспект видеолекции). Текст дан исходно, но его можно и нужно редактировать.
Для тестирования знаний в конце урока даётся список вопросов, которые слабо освещались в уроке. От студента требуется так модифицировать урок, чтобы поднятые вопросы были покрыты уроком. При этом урок должен остаться связным; вопрос и ответ на него должны быть логично вплетены в повествование.
Ответы на вопросы, это необходимый минимум. Но дополнять конспект своими заметками поощряется. Получившийся конспект будет чем-то типа учебника с собственноручно сделанными пометками, а также вклеенными или целиком переписанными страницами.
Рядом с текстом статьи висит окошко браузера, поисковика, либо чат-бота, которому можно задавать вопросы. Ответы должно быть легко интегрировать в конспект.
Ретрограды всегда могут игнорировать AI, гугл и википедию, и положиться в вопросе редактирования конспекта на собственные память и логику.
Проверка происходит так: LLM читает итоговый текст и пытается извлечь из него ответы на вопросы к уроку. Если получилось, победа.
Хорошо бы ещё проверить, что материал, который был в тексте исходно, не испортился и не был удалён по пути; это ж всё-таки конспект, и всё важное там надо сохранить. 👈
Например, в уроке даётся такой микро-текст:
LLM читают и генерируют текст последовательно, токен за токеном. Пользователь обычно платит некоторую стоимость за каждый входной токен и чуть большую стоимость за выходной токен.
И набор вопросов:
— Токен — это слово или буква?
— От чего ещё зависит информативность токена?
— Каков масштаб цены за токен на сегодня?
— Как ускорится написание текста при помощи LLM, если поставить две видеокарты вместо одной?
В ответ студент должен написать что-то типа:
LLM читают и генерируют текст токен за токеном. Токен в зависимости от нейросети может быть буквой, слогом, словом или даже несколькими словами. Причём токены разных языков могут нести разное количество информации. Выходные токены пользователю обходятся дороже входных. Например, пользователь ChatGPT-4.0 платит порядка $0.01 за тысячу входных токенов и $0.03 за тысячу выходных токенов (на июль 2025).
Генерируются токены последовательно, поэтому распараллеливание работы LLM в настоящее время невозможно, так что горизонтальное масштабирование числа видеокарт не уменьшает latency.
Возможны и другие варианты заданий. Самый очевидный — найти и исправить ошибку.