AI Safety курс по оценке LLM: подходы, бенчмарки и методология

Создаю инфраструктуру для людей, создающих LLM evals.

Мне интересна софтварная сторона model evaluations. Возможные проекты:

• Что-то улучшить в Inspect AI
• Создать новый продукт в экосистеме Inspect AI, который поможет писать эвалы, запускать их, анализировать результаты и прочее
• То же самое для любого другого evals framework
• С нуля сделать свой evals framework для ситуаций, когда существующие не справляются

Google Scholar

Область интересов:

• Идейно: фундаментальные проблемы AI Safety (~making cognition aimable at all, sharp left turn, diamond problem, shutdown problem, deep deceptiveness) и систематизация моделей угроз.
• Прагматически: генерализация, устойчивость, достоверность AI-систем.

Статьи:

• Emergent Misalignment via In-Context Learning: Narrow in-context examples can produce broadly misaligned LLMs;
• Obfuscated Activations Bypass LLM Latent-Space Defenses.

Область интересов: Дизайн и формализация задач для evaluation, интерпретируемость и систематичность оценок, методология построения бенчмарков, анализ валидности и устойчивости оценочных процедур.

Проект: Мне интересны проекты, связанные с формализацией и обоснованием выбранных задач и метрик для оценки моделей. В частности:

• что именно мы хотим проверять и почему;
• как формализовать проверяемое свойство;
• чем и как его измерять;
• почему выбранная методология считается валидной.

Отдельный фокус — снижение false negative и false positive в оценках, а также повышение робастности бенчмарков и их итоговых результатов.

Ex-физик частиц, десять лет занимался экспериментальной физикой в ЦЕРН. Популяризатор науки, читаю лекции, вел блог ЦЕРНач, сейчас каналы @sexcolliderrock и @ai_research_notes, много что еще.

Мне нравится изучать и узнавать о том, как вокруг все работает - от космоса до политических систем. C начала весны 2024 погрузился в ИИ. Очень хорошо умею в research, посредственно в software и совсем никак в hardware.

Область интересов: alignment, физический AI, робототехника, практические исследования в AI Safety

Я автор одного из популярных авторских каналов про машинное обучение: @boris_again. Сейчас я пишу научпоп книгу про ИИ и машинное обучение. Провожу мок интервью и даю консультации по трудоутсройству в области CS и ML.

• Я бывший Staff Machine Learning Engineer в eBay. В том числе работал там над in-house LLM моделями
• До этого строил компьютерное зрение с нуля в PlanetFarms, был исследователем Yandex (Toloka) и инженером в YC стартапе Mindsdb.
• Преподавал машинное обучение в ВШЭ, ОТУС и Deep Learning School. Иногда делаю обучающие материалы просто так: для чайников, интересующихся и не только. Периодически пишу про стартапы, например про опционы.
• Как эксперт от университета Иннополис консультировал Росстат, Роспатент и ВТБ.
• Самостоятельно консультировал Сбер (Звук), Яков и Партнеры Digital, делал аудит для lava.top.
• Написал научную статью о прогрогнозировании COVID-19 и даже немного попал в новости.
• Имею довольно хороший нетворк в AI/ML. Например, лично знаю людей работающих над META LLama и Google Gemini, делающих стартапы в AI.

В целом я всегда где-то на стыке между инженерией, исследованиями и бизнесом.

Область интересов:
Mechanistic interpretability, Sparse AutoEncoders, LLM alignment (в узком и широком смыслах), области на стыке.

Проект:
Интересно подумать над тем, как использовать техники интерпретируемости для лучших евалсов, в частности хорошо бы получилось использовать пробы, так как они надежны, их легко учить и понимать.

Область интересов:
tldr; Evals, концептуальные исследования в AI Safety, прикольные пет-проекты.
Подробнее про возможные проекты: мне интересны проекты, связанные, например, с анализом дизайнов оценок моделей и их усточивостью.

• Можно приходить с проектами по исследованию ландшафта направлений в safety (например, построению динамической карты изменений за последние н лет или исследованию плотности людей по направлениям).
• А также с пет-проектами, направленными на улучшению личных интуиций в проблеме сейфити через попытки реализации прикольных эффектов (почитайте статью про сов, если еще нет).

Область интересов: концептуальные исследования в AI Safety, методология оценки LLM, дизайн оценок, дизайн экспериментов.

Проект: мне интересны проекты, которые анализируют промптозависмость бенчмарков.

• Это может быть техническое исследование с хорошим дизайном эксперимента.
• Или анализ существующих экспериментов на предмет совпадения/различия их подлежащих моделей.

Область интересов: Interpretability, Cooperative AI, популяризация AI Safety, ставлю мюзикл и делю инди-игру по AI Safety.

Проект: Основное направление - исследование интерпретируемости LLM через анализ падения лосса после небольшого дообучения отдельно на каждом примере из специально построенного Safety датасета. Также интересны проекты, связанные с реакцией AI на эмоционально окрашенные промты, обучение лучше кооперирующихся агентов и интерпретация через прокси-модели.