Письмо в редакцию: Как я проходил стажировку в ЦЕРН и работал над системой обработки данных для адронного коллайдера
В редакцию vc.ru пришло письмо от студента второго курса магистратуры Университета Иннополиса Ильдара Нугралиева. Автор рассказал о том, как проходил летнюю стажировку по направлению Data Science в крупнейшей в мире лаборатории физики высоких энергий - Европейской организации по ядерным исследованиям (ЦЕРН). Нугралиев также поделился деталями жизни в Швейцарии и информацией о том, как можно попасть на такую стажировку.
Меня зовут Ильдар, мне 23 года, я учусь на последнем курсе магистратуры Университета Иннополиса по направлению Data Science. Студенты нашего вуза на лето выбирают место для обязательной стажировки. Для своей практики я рассматривал только крупные международные компании, где бы я смог освоить новые знания, а также применить знание французского и английского языков и свой интерес к Data Science.
Так я обратил внимание на ЦЕРН, «Яндекс» и Facebook. Информацию о стажировке в ЦЕРН я нашел в интернете. Главному центру по изучению физики элементарных частиц в Европе необходимо обрабатывать огромные объемы информации: в результате одного эксперимента ученые получают десятки петабайт информации. Меня это поразило.
Отправить заявку туда оказалось непросто. Пришлось предоставить данные об успеваемости, опыте работы, диплом бакалавра, сканы языковых сертификатов и сертификатов о пройденных курсах повышения квалификации, описание всех проектов, в которых я был вовлечен, с подробной информацией о технологиях и математических аппаратах. Еще оттуда они напрямую запросили три рекомендательных письма - от компании ICL-Services, где я стажировался до этого, будучи студентом третьего курса КФУ, и от преподавателей нашего вуза.
Через два месяца мне позвонили из комитета по отбору и провели собеседование на английском и французском языках. Через две недели я получил письмо о зачислении на стажировку. Вместе со мной приглашение получили по одному представителю из 40 стран мира. Исключением стала только Индия - оттуда пригласили аж пятерых специалистов.
На девять недель я уехал в Европу - работал в Швейцарии, жил во Франции. Жизнь в Швейцарии дороже, поэтому мне показалось самым выгодным вариантом поселиться во Франции рядом со швейцарской границей.
После подтверждения стажировки нам выслали список прошедших отбор людей, я связался с двумя коллегами из Америки и Индии, и мы сняли нормальный номер на троих за €24 в сутки с каждого в 500 метрах от границы в городке Сен-Жени-Пуйи. ЦЕРН также находится на границе Франции со Швейцарией, поэтому каждое утро на арендованных велосипедах мы за 20 минут добирались до работы.
На стажировке меня закрепили за отделом мониторинга центра хранения данных и экспериментов. В 1991 году в ИТ-департаменте ЦЕРН реализовали проект WWW (World-Wide Web), но организация пошла дальше - сейчас там разрабатывают сеть Worldwide LHC Computing GRID, которая сохранит и оперативно обработает огромный поток данных, появляющихся после запуска большого адронного коллайдера.
Это интеллектуальная система мощнейших кластеров по всему миру, распределенная по 170 компьютерным центрам в 42 странах - Швейцария, США, Япония, Россия и другие. Она помогает физикам-теоретикам вычислять емкие задачи для обработки данных экспериментов. После этого алгоритм приступает к исполнению на свободных мощностях на другом конце планеты, если на локальных кластерах не хватает мощностей.
Система GRID располагает очень мощным инструментом мониторинга и логирования, она показывает, кто и какую задачу запустил на определенном кластере, сколько ошибок возникло, выявляет проблемы, показывает в реальном времени передачу данных из одной страны в другую, имеет огромный список разных визуальных фильтров. Система мониторинга очень упрощает и стирает всю сложность, спрятанную под колпаком системы для администраторов и пользователей.
Я переносил решения мониторинга и логирования GRID, написанные самим ЦЕРН, на существующие Open-Source-системы и проводил их сравнение, ускорял процесс автоматизации отчетности для отдела принятия решений - на основе этих отчетов принимается решение об уменьшении обязательных копий некоторых наборов данных, собранных с экспериментов, что приведет к более продуктивному использованию места в центрах хранения данных ATLAS.
На первых порах мне было тяжело справляться с работой, так как я не был знаком с технологиями, которые там применяют. Пришлось очень тщательно планировать свое время, чтобы в короткие сроки осилить ElasticSearch, Kibana 4, Grafana, Hadoop/YARN, Apache PIG, Apache Spark, Apache Zeppelin и Puppet для выполнения поставленных задач по проекту. Благодаря теоретическим знаниям, полученным в Университете Иннополиса, я все равно чувствовал себя уверенно и освоил необходимые технологии.
Кстати, во время стажировки выяснилось, что международные коллеги мало слышали о нашем ИТ-вузе, поэтому попросили провести презентацию, которая вызвала у них живой интерес.
Мои соседи занимались другой работой. Американец Тим Шафер реализовывал систему регистров (кэша) для суперкомпьютера, а индиец Шубхам Губта создавал триггеры под Oracle для сохранения метаданных.
Мы работали, как и везде, по будням с 9 утра до 6 вечера. По дороге домой заезжали в магазин за продуктами, чтобы приготовить ужин и завтрак, обедали в ЦЕРН. Рацион был разнообразный, попробовали местный сыр и колбасу с плесенью. Эти деликатесы мне, кстати, совсем не понравились, колбасу было даже страшно пробовать.
В свободное время мы путешествовали. Добраться от границы до Женевы на общественном транспорте оказалось проще простого. На каждые выходные мы составляли себе план путешествий: удалось посетить Милан, Барселону, Лион, Цюрих и Лозанну. В этих городах мы даже умудрились посмотреть некоторые университеты и ИТ-компании. Поездка вышла дорогая, учитывая все путешествия и расходы на еду, но у нас были специальные стажерские выплаты от организации, которые покрывали все затраты.
За девять недель я успел соскучиться по дому, по сестренке, по Иннополису и по своей машине - без личного транспорта перемещаться было непривычно. Но я не успевал много об этом думать, так как у меня был большой объем работы.
Приятно, что я побывал там, где делают невероятные вещи. Инженеры ЦЕРН сейчас увеличивают магнитную мощность адронного коллайдера для сохранения орбиты движения протона при его ускорениях, в идеале, до скорости света.
В окрестностях ЦЕРН я наткнулся на завод антиматерий, где уже проводятся эксперименты по созданию и сдерживанию антиматерий на доли миллисекунд. В том же здании проводятся эксперименты для медицинских целей: по прожиганию внутренних опухолей сквозь кожу пучком протонов, выпускаемых с коллайдера. Их дальнейшие планы - стабилизировать этот процесс и в будущем прожигать уже антиматериями, так как при их взаимодействии с материей воспроизводится значительно больше энергии и требуется меньше выстрелов.
Главное, во время стажировки я познакомился с невероятными людьми. Эдвард Каравакис - мой наставник, работает в ЦЕРН уже восемь лет, он ведущий разработчик отдела мониторинга экспериментов и GRID. Он сделал первый график, на котором обнаружили Бозон Хиггса.
Побывав на практике в ЦЕРН, я увидел, что разработчики там замотивированы больше, чем в России. Процессы работы в компаниях в нашей стране похожи на процессы работы в ЦЕРН, но там у каждого есть магистерское образование или ученая степень, и они понимают, что работают над сложными и важными проектами. Думаю, уровень ИТ в России можно поднять подобными по масштабу проектами, и считаю, что Big Data будет основным направлением, так как проблема обработки огромных объемов информации обостряется.
