А.Кустарев "Нужна точность и любовь к тому, что ты делаешь"
все статьи по математическому образованию
Интервью с математиком Андреем Кустаревым, руководителем исследовательской группы «Яндекса»
Андрей Кустарев — кандидат физико-математических наук, руководитель исследовательской группы «Яндекса» и лектор МФТИ, закончил мехмат МГУ, после чего защитил кандидатскую по топологии. Сейчас он вместе с командой математиков занимается тем, чем мы ежедневно пользуемся в сети, улучшает работу поисковых машин. Вангоговская красота математики, машинное обучение и задача ранжирования, будущее поиска и гении в сандалиях — в интервью математика T&P.
— Какое у тебя образование и работа?
— Образование у меня, возможно, не такое, как у всех нормальных людей. Я — математик. Закончил мехмат МГУ, после чего поступил в аспирантуру. Так уж получилось, что во время учебы в аспирантуре я оказался в «Яндексе». Формально это было так — нужно было читать лекции на ФИВТе, новом факультете МФТИ, который сотрудничает с «Яндексом». Так что пришел я как преподаватель и постепенно превратился в руководителя исследовательской группы и менеджера проектов. Задача моей команды — улучшать поиск в интернете.
— Как проходит обучение на мехмате? Трудно учиться?
— Учиться трудно. Есть такой момент: в течение семестра нагружают мало, в сессию жестко спрашивают. Программа хорошая, но не сказать, что слишком современная. На новом факультете — матфаке Вышки — с программой дела обстоят лучше. На физтехе, где я читал лекции, безделье в семестре не прокатит. Там надо посещать и делать все домашние работы, я своим студентам немного завидовал — они работают системно. Ребята сильные — по три часа подряд читал им сверх программы свою топологию, и что-то они понимали. Это профессиональная математическая область.
«Мы все действовали по этому принципу — выучить большой массив знаний в сжатые сроки. А вот чего не умели, так это много работать в течение длительного времени»
— А сам ты следовал этому правилу — от сессии до сессии?
— К сожалению, да. Как ни странно, психологически по мозгам я получил уже в аспирантуре. За пять лет научился много работать в сжатые сроки — это, конечно, было полезно для экзаменов. Мы все действовали по этому принципу — выучить большой массив знаний в сжатые сроки. А вот чего не умели, так это много работать в течение длительного времени.
— Востребована ли у нас профессия математика?
— Профессия востребована, но каждому, кто выпускается, все равно придется выбирать. Если идти в науку, то можно уехать на запад — что, конечно, хороший вариант. Впрочем, в России все в принципе тоже неплохо: хотя все и говорят, что кошмар, утечка мозгов, все уехали из страны, на самом деле все не так худо. Сюда, в Москву, регулярно приезжают почти все великие отечественные математики, многие и работают постоянно. По факту тут все еще очень крутой научный центр. Но я слышал, что по другим наукам хуже. По поводу практического использования математики: любой анализ статистики — классический пример того, где она нужна. Очень активно применяется в финансовых делах. Сложная математика там может даже помешать, а вот какие-то простые модели часто могут натолкнуть на правильные решения, будь то нужный состав портфеля или подходящий момент для продажи/покупки акций.
— Какой вообще образ мыслей должен быть у математика?
— Математик — очень мобильный человек. Есть классический штамп, который образ Григория Перельмана, к сожалению, очень поддержал, но он не имеет никакого отношения к действительности. Математики — чуть ли не самые общительные люди на свете, с легкой аурой. Они много путешествуют, ведут занятия. Работы пишутся в соавторстве, на конференции ты рассказываешь, что сделал, то есть работаешь в сообществе. В одиночку не получается — ты так медленней двигаешься. Есть и странная черта: при всей своей мобильности и позитивности математики реально странно выглядят. Если увидишь такого персонажа в аэропорту — все, это явно мы прилетели с конгресса. А вот на работе у нас не суровые математики, а классные ребята.
— А то, что мы учим в школе, вообще необходимо для глубокого изучения математики?
— Знать базу надо обязательно. Но тебе нужны не просто формулы, которые запоминаешь наизусть, а принцип, по которому эти формулы получаются. Когда есть такое понимание, они уже заучиваются самостоятельно. Пусть ты ничего не помнишь, но ты должен уметь раскрыть любые скобки, привести любые подобные члены. Пусть ты не помнишь формулу суммы квадратов или квадрата суммы — перемножь и получи ее заново. Нужно уметь логически рассуждать, разбивать задачи на составные части.
— В математике всегда есть логика?
— Да. А точнее так — она всегда должна быть, к этому нужно стремиться. Математика может быть не логична в своем развитии, потому как развивают ее живые люди. Наука, с одной стороны, верна и независима (в отличие от гуманитарных наук, где Белковский может весь год писать одно, а потом сказать, что весь год ошибался), с другой стороны, ее все же создают живые люди. Математика логична в том плане, что все ее рассуждения должны быть логически верными. Она отличается от музыки тем, что возможны не любые построения, а только конкретные, математически верные. Если ты суперпрофессиональный математик, то у тебя есть уже интуиция, которая подсказывает, какое утверждение верное, какое нет. Я видел, как математики интуитивно выбирают то, что верно.
«Есть странная черта: при всей своей мобильности и позитивности математики реально омерзительно выглядят. Сандалии с носками — ужасно бесит»
— Примерно как люди, которые интуитивно пишут правильно, не помня правил?
— Русский язык — прекрасная аналогия. Ты можешь не помнить правила, но ты прочитал достаточное количество текстов, выучил много правил и уже чувствуешь, как правильно писать. То же самое и здесь. Научная работа как раз состоит в том, что сначала ты выбираешь утверждение, которое тебе подсказывает интуиция, а потом его доказываешь. Все придумывает интуиция — логика доказывает.
— Какого отношения требует к себе эта наука?
— Скорость не имеет никакого значения. В книге Маши Гессен «Совершенная точность» отмечается очень простая идея — Григорий Перельман, решивший одну из задач тысячелетия, в первую очередь отличался от других не тем, что решал быстро, а тем, что решал точно. Не надо думать, как часто это бывает в школе, что если ты не можешь ничего быстро решить, то ты тупой. Вообще, школьное отношение к математике заслуживает отдельного разговора. Девочка выходит к доске, ей нужно доказать, что какой-то треугольник равнобедренный. Она смотрит на него, и думает: «Ну, видно же, что он равнобедренный». И все это странно: правда, зачем доказывать? Я об этом думал и понял правило, по которому математики в эту игру играют. Но объяснить школьнику или даже взрослому, нормальному человеку, зачем доказывать, что треугольник равнобедренный, если это и так видно — довольно трудно. В чем-то процесс доказательства математических утверждений похож на заполнение документов — делать это надо точно, работа непростая и кропотливая. В математике надо заполнить кучу документов, чтобы тебе открылась вангоговская красота происходящего. Нужна точность и любовь к тому, что ты делаешь.
— Вы применяете только уже существующие формулы, или же сами тоже придумываете?
— И то, и другое. Нет такой магической формулы, которая применяется всегда. Для начала надо нарешать кучу примеров — сперва квадратные уравнения, потом уравнения с параметром, потом интегральные вычисления, потом дифференциальные уравнения. Параллельно с этим как-то учишься писать формулы сам. Если я пишу несколько страниц формул — ошибусь хотя бы один раз. У меня есть знакомые, которые не ошибутся ни разу. В сообществе нередко бывают «математические скандалы» — человек решил задачу, а потом оказывается, что у него ошибка. У меня такой небольшой «скандал» был в аспирантуре. Я вообще по математической специальности геометр, диссертация у меня была по алгебраической топологии.
«В математике надо заполнить кучу документов, чтобы тебе открылась вангоговская красота происходящего. Нужна точность и любовь к тому, что ты делаешь»
— А что изучает эта наука?
— Деформации. Если говорить неформально, топология изучает свойства объектов, не меняющиеся при деформациях и растяжениях. Бублик и чашка с ручкой — это одно и то же, потому что они деформируются друг в друга. Вообще, эта наука снова стала известной за пределами математического сообщества после того, как Григорий Яковлевич Перельман доказал топологическую гипотезу Пуанкаре.
— Как математика помогает тебе в работе, в улучшении поискового процесса?
— Тут основная составляющая, пожалуй, не математическая, а технологическая. Нужно, чтобы за этим не только стояли умные алгоритмы, а чтобы это еще и работало. Когда ты задаешь запрос, он обрабатывается и посылается в базу, то есть по сути в скачанный интернет. Все страницы, которые могут представлять какой-то интерес для пользователя, скачиваются и преобразуются в то, что называется поисковым индексом. После чего, когда ты задаешь запрос, находятся страницы, в которых твои слова запроса содержатся. Осталось теперь их только отранжировать — поставить на первое место то, что больше всего поможет тебе в твоей задаче. Ну, вот скажи мне, какой у тебя был последний запрос?
— Я искала офис «Яндекса».
— Слова «офис» и «Яндекс» находятся вместе в огромной тонне документов в сети. А вот какой из них показать первым — это уже вопрос. Эта задача решается не так просто. Ее решение состоит в том, за что косвенно получают деньги все поисковые компании, и называется она как раз «задачей ранжирования» — то есть какой документ поставить первым по запросу.
— И как это делается?
— Лет 10 назад люди придумывали математическую формулу, которую подбирали на глазок. Эта формула основывалась на близости слов в документе, числе ссылок на документ с этими словами. Оказалось, что такой подход работает не идеально. Последние несколько лет ведущие компании применяют автоматический подбор формул ранжирования. Это очень необычная технология, которая делает вот что: представь себе, что у тебя есть 10 000 запросов, которые вручную размечены. Набирают группу людей, каждому дают, скажем, 1000 запросов. Им нужно выбрать самый релевантный ответ на этот запрос. То есть люди руками нашли самый правильный ответ. На основе этих примеров можно автоматически подобрать формулу. Эта технология называется «машинное обучение». На основе 1 000 000 примеров, когда подобран правильный ответ, можно автоматически подобрать формулу на случай будущих запросов. В «Яндексе» подбор производится с помощью чудной системы под названием «Матрикснет».
«Поиск не будет следить конкретно за твоей личностью, но по тебе, возможно, в будущем смогут работать»
— Какая разница между нынешним поиском и тем, что был раньше?
— В начале поиск был целиком текстовый — по запросу нужно было определить, входят ли эти слова в текст документа, и если да, то как именно. Наивный взгляд — давайте анализировать только текст документа. Считается, что Google первым стал учитывать ссылки, которые есть в интернете — это было где-то в 2000 году. Основатели Google Ларри Пейдж и Сергей Брин изобрели алгоритм под названием PageRank, который на основе ссылок вычисляет важность страницы. Потом поняли, что важен анализ не только документа, но и заголовка документа. Затем пришло понимание того, что запросы вообще бывают разные — для каждого класса запроса нужна своя формула ранжирования, свой алгоритм. Одно дело ты спрашиваешь «офис «Яндекса». Другое дело запрос «что делать, если выпил молоко и закусил огурцами?». Запросы делятся на три типа. Навигационные — когда ты хочешь видеть какой-то конкретный урл, например твиттер. Транзакционные — когда ты хочешь что-то скачать или купить, и тебе не так важно, на какой странице это сделать. И информационные — если ты уже выпил молоко с огурцами, и хочешь знать, что теперь делать. Именно поэтому и пришло понимание, что формулы для каждого класса все равно не годятся — нужно принимать машинное обучение. Когда «Яндекс» запустил машинное обучение, качество поиска сильно улучшилось.
— Поиск достиг совершенства или же требуется еще много работы над ним?
После персонализации поиска, который Google начал применять в декабре прошлого года, западные специалисты по оптимизации провели исследование о влиянии нововведения на SEO. На начальном этапе они пришли к выводу, что персонализация не сильно меняет выдачу. Например, первые 10 результатов всегда остаются в том же наборе, но их очередность может меняться после цепочки запросов. Чем больше запросов задает пользователь на смежные темы, тем больше вероятность, что очередность результатов изменится.
— С одной стороны, поисковые системы давно существуют, а с другой — тот же самый Google развивает не поиск, сейчас все смотрят на социальные сети. Все пойдет на них, на персонализацию. Некий проект персонального поиска. С одной стороны, ты можешь искать конкретную информацию про офис «Яндекса», но с другой, ты можешь искать менее четкую информацию, как «почитать про что-то». И исходя из твоей личности, поиск может попытаться подсунуть более нужные тебе ответы. Поиск не будет следить конкретно за твоей личностью, но по тебе, возможно, в будущем смогут работать. Есть такой комикс: cидит человек на кухне, и читает новости. Там написано «вода кипит», а на другой картинке «кота рвет от плохой пищи». И сидит он, а кастрюля кипит, а кота рвет, и внизу надпись — «Очень местные новости». Парадокс в том, что за этим будущее. Если у тебя есть выбор, что читать, то рано или поздно ты выберешь сервер, который а) дружелюбен к тебе по дизайну и интерфейсу, б) подгоняет тебе информацию, с учетом твоих предпочтений — технологии позволяют такое сделать. Вопрос только в реализации. Google, «Яндекс», Microsoft, Apple, в общем, все ведущие компании, будут сейчас стремиться как-то сыграть на этом.
— В «Яндексе» или другой компании уже начинается работа над этим?
— На уровне обсуждений. Какое-то видение есть. А что касается других компаний, то есть персонализованный Google News, но персонализация там вот на каком уровне — если ты часто читаешь новости про бейсбол, тебе показывают новости про бейсбол. Но я думаю, что надо подходить иначе: если ты не хочешь читать новости про Путина, ставишь крестик, и в следующий раз его тебе вряд ли будут показывать. Это имело бы смысл делать. Сейчас компания на производственном уровне экспериментирует с такими вещами.
«Мне кажется, что каждый пятый человек на земном шаре может раскачаться до большого уровня конкретно в математике, а каждый первый до среднего»
— Чем восхищает математика?
— Есть то, что ты умеешь, а есть то, что что не умеешь, но нравится. Была у меня знакомая веселая девочка, которая не очень-то любила школу, а вот головоломки судоку решала быстрее кого угодно. Мне кажется, что каждый пятый человек на земном шаре может раскачаться до большого уровня конкретно в математике, а каждый первый до среднего.
А вообще пониманию красоты математики можно учить людей, ничего не знающих о ней. Этим кстати занимаются в математических классах. Красота дизайна подобна тому, как мы пытаемся собрать комнату из простейших элементов — тут тоже есть простейшие элементы, которые мы проходим в той же школе или вузе. И на самом деле сложные математические конструкции тоже складываются из простых элементов. Элемент может быть преобразованием системных линейных уравнений, в котором мы добавили одну строку к другой.
Бывают конструкции, которые основаны на проблемах их жизни. Например, в какой-то геометрической теореме человеку может прийти на ум доказательство того, что один объект деформируется в другой — давайте отрежем у этого объекта такой-то кусок, подобно тому, как мы разрезаем батон или бублик на две части. Это как раз типичный пример математического рассуждения — когда человек говорит: «Я исходя из жизни придумал вот такое математическое построение, и сейчас точно обосную его формулами». Вот такая красота абстрактных построений, которая берет мотивацию в реальной жизни, наверное, и привлекает и людей. Все эти люди в носках с сандалиями живут в реальном мире, и все эти конструкции в статьях этим миром и мотивированы.
https://theoryandpractice.ru/posts/2217-intervyu-s-matematikom-andreem-kustarevym-rukovoditelem-issledovatelskoy-gruppy-yandeksa