Andrey Smirnov's Blog (рит)

Отзывы на мастер-класс

Andrey — Mon, 09 Jun 2014 19:32:33 GMT

После первого мастер-класса про высокие нагрузки и надежность я получил большое количество отзывов от участников. По 10-балльной шкале средний балл при ответе на вопрос "Ваше общее впечатление от мастер-класса" составил 8,92, что совсем неплохо для первого раза. Подавляющее большинство оставивших отзыв порекомендовало бы мастер-класс своим коллегам и знакомым.

Вот некоторые из отзывов:

«Семинар позволил мне упорядочить знания, получить новые сведения и обратить более пристальное внимание на известные мне проекты.»

—Денис Котляров

«Очень нравится способ подачи материала через постоянный диалог с аудиторией - для меня это очень эффективно.»

—Павел Крюков

«Крайне подробный курс, включающий в себя ровно столько информации, сколько достаточно для аргументированного принятия тех или иных решений. Количество информации в каждой из областей близко к границе понятия "необходимо и достаточно". Лучший неуниверситетский курс, который я когда-либо видел.»

—Евгений Кузовлев

«Всё отлично. Очень много разных тем. При этом все подробно. При этом все что непонятно, быстро и подробно объясняется.»

—Иван Ремизов

Из замечаний к мастер-классу, кроме организационных мелочей, можно выделить пожелание добавить больше практических заданий и совместных занятий. В следующий раз я сокращу теоретическую часть в пользу основного задания - проектирование Twitter-подобного проекта. Мы будем проектировать вместе, а также в группах, пытаясь найти интересные и неудачные места в проектах архитектур. А я постараюсь поделиться своим опытом создания подобных систем.

Приходите на мастер-класс 4-го, 5-го и 6-го июля, будет еще интереснее, чем в первый раз!

Другие материалы в моем блоге о мастер-классе:

отрывки из курса: про хранение данных и про очереди и многозадачность
основные темы практических заданий
как были сделаны практические задания

Практические задания на мастер-классе

Andrey — Thu, 29 May 2014 21:05:41 GMT

Первый мастер-класс о высоких нагрузках и надежности прошел успешно, оказалось, что 900 слайдов на три дня даже слишком много :) В следующий раз теоретическая часть будет немного покороче, а практики будет побольше. На мастер-классе было 7 практических заданий, каждое из которых работало корректно у всех 25 участников на протяжении всех трех дней. Я не ожидал, что не будет ни одной проблем.

Когда я начинал подготовку к мастер-классу, я понимал, что:

задачи не должны зависеть от умения программировать: все знают разные языки программирования, да и сам процесс кодирования может занять много времени;
потребуются различные сервисы в рамках заданий, установить их на ноутбуки участников и обеспечить отсутствие проблем будет сложно;
я буду один на 25 человек, и подойти к каждому и помочь решить проблемы я не смогу.

Поэтому единственным вариантом оставалось подготовить сами задания (код) заранее и запускать их в контролируемом окружении. Можно было выдать всем по образу виртуальной машины, но это опять-таки потребует установки на все ноутбуки участников системы виртуализации, производительность каждой машины будет разной. В результате я решил запустить виртуальные сервера в Amazon EC2, это имеет следующие преимущества:

одинаковое окружение у всех участников (как по составу, так и по производительности);
участникам требуется только ssh;
я могу централизовано управлять виртуальными машинами: готовить к следующему заданию и т.п.

Мастер-класс про высокие нагрузки и надежность: второй заход

Andrey — Fri, 16 May 2014 20:34:18 GMT

До первого мастер-класса о высоких нагрузках и надежности осталась неделя, свободных мест уже давно нет, но можно записаться на второй заход 4-го, 5-го и 6-го июля. Кто еще не собрался в отпуск, приходите, будем вместе разбираться с тем, как построить высоконагруженную и надежную систему.

Я уже публиковал отрывки из курса про хранение данных, сетевой ввод-вывод и очереди. Кроме теоретической части на мастер-классе будет и практическая часть, вот темы основных заданий:

memcached: выделение памяти, каковы накладные расходы;
"битва" моделей сетевого программирования: процессы, нити, асинхронный ввод-вывод;
PostgreSQL vs. Redis: скорость и чем она достигается;
шардирование, консистентное хеширование, что происходит при отказах шард;
влияние алгоритма повтора на клиенте на восстановление работоспособности сервера;
ØMQ на практике: взаимодействие сервисов;
протоколы соглашения и распределенная консистентная конфигурация.

Еще одно задание проходит "красной нитью" через весь курс, оно связано с проектированием Twitter-подобного проекта: от схемы базы данных до архитектуры клиентского приложения, схемы отказоустойчивости и оценок масштабируемости.

aptly: Call for Help

Andrey — Mon, 14 Apr 2014 19:41:26 GMT

In Russian version of this blog there's a post about my talk on aptly at one of the conferences in Moscow. As this won't be that interesting for my non-Russian friends and it isn't significantly different from my previous talk </posts/aptly-02-moscow-devops-meetup.html>, I decided to call for your help with aptly documentation.

As I'm not native English speaker, could you please help me to fix my bad English in two places:

aptly source code, inline command help (manual page is generated from these descriptions as well). Command help is located in files inside cmd/ directory, e.g. https://github.com/smira/aptly/blob/master/cmd/snapshot_pull.go. Usually it's at the bottom of the file in function with name like makeCmdSnapshotPull.
aptly website: it is static HTML, documentation is in index.html.

Please fork and submit pull requests. For website, please submit pull requests against develop branch.

Thanks in advance!

P.S. As PackageCloud has launched, what do you think about aptly launching as a paid service in the cloud with:

API
Package Storage
Web UI
All current features of aptly, including mirroring, snapshotting and local repositories?

Анатомия веб-сервиса (РИТ-2014)

Andrey — Mon, 14 Apr 2014 19:18:11 GMT

Сегодня я выступил на РИТ-2014 с докладом о том, как устроен backend внутри, как он обрабатывает запросы, отправляет запросы в другие сервисы, базы данных и другие хранилища. Я немного поговорил о том, как может быть организована многозадачность и какие выводы можно из этого сделать.

Доклад был небольшой частью моего мастер-класса по высоким нагрузкам и надежности, который я проведу 24-26 мая. Если доклад показался интересным, приходите на мастер-класс. Там мы поговорим обо всем более детально, разберем практические задачи.

P.S. Записывайтесь на мастер-класс скорее, всего будет 20 участников, а мест осталось уже не так много!

Мастер-класс про высокие нагрузки и надежность, РИТ-2014

Andrey — Wed, 02 Apr 2014 09:54:46 GMT

24-26 мая я буду три дня подряд вести мастер-класс о высоких нагрузках и надежности. На мой взгляд, это две достаточно сложные темы, которые вызывают наибольшее количество трудностей при практической реализации. Я не ставлю целью дать набор конкретных практических знаний ("делай так, и все будет хорошо"), потому что не бывает универсальных архитектур, одинаковых проектов и "серебряных пуль". Моя задача - дать такой набор знаний и приемов, чтобы после мастер-класса каждый мог построить подходящую архитектуру самостоятельно. Это не будет курс о тюнинге MySQL или о настройке отказоустойчивого nginx, но мы будем говорить о том, почему MySQL устроен так, как он устроен, какие из этого вытекают характеристики, и, соответственно, что делать, чтобы заставить его работать быстрее.

Теоретический рассказ будет перемешиваться с вопросами, заданиями по проектированию и практическими заданиями на серверах в облаке. Непосредственно писать код не придется, но нужно будет вносить небольшие изменения в существующие программы. На сайте есть полная программа курса, если попытаться сформулировать ее более кратко:

базовая часть любой системы - хранение данных, принципы хранения, от встроенной базы данных до распределенного хранилища;
application server (backend) - организация многозадачности, прикладные frameworkи;
взаимодействие - переход от монолитной архитектуры с сервис-ориентированной, от очередей до RPC и паттернов взаимодействия;
клиентское приложение - сложность мобильного или web-приложения может быть даже выше, чем серверной части; как написать клиента так, чтобы вся система в целом была надежной и масштабируемой?
вопросы тестирования с одной стороны крайне важны, а с другой окружены мифами о том, что они могут решить все проблемы;
когда разработка завершена, осталось все собрать вместе, пришло время эксплуатации и обеспечения отказоустойчивости.

Мастер-класс рассчитан на тех, кто уже занимается разработкой web-приложений и хочет существенно повысить свой уровень. За три дня мы рассмотрим и попробуем решить реальные проблемы, каждый раз последовательно улучшая нашу модельную систему.

В качестве примера привожу небольшую часть курса:

Также в апреле на РИТ-2014 я сделаю два доклада: один про мой open-source проект, aptly, который позволяет обеспечить повторяемый и точно изменяемый набор пакетов на Debian-серверах, а второй будет одной из глав мастер-класса.

Выступление на РИТ: Высокие нагрузки (2008)

Andrey — Sun, 28 Sep 2008 19:39:49 GMT

22-23 сентября в Москве состоялась конференция РИТ: Высокие нагрузки. На ней я представил доклад "Доставка видеоконтента пользователям" (доклад строился на нашем опыте в NetStream по проектированию Smotri.Com).

Ниже вы найдете краткие тезисы доклады, полные тезисы, презентацию, а также видео с конференции.

Краткие тезисы

Цель доклада: познакомить аудиторию с возможными способами организации отдачи статического контента (видеофайлы) и «живых» потоков вещания в условиях высокой нагрузки и географической распределенности.

Аудитория доклада: уровень — средний, может быть интересно широкому классу специалистов.

Постановка проблемы:

Просмотр видео на сайте Flash-видеохостинга требует отдачи с кластера файловых серверов большого количества FLV-файлов значительно размера. Просмотр видео критичен к пропускной способности сети, поэтому файлы должны располагаться как можно ближе к пользователям (географическая распределенность). Организация вещания (трансляции) с большим количеством зрителей также требует географической распределенности, в то же время обработка большого количества подключенных пользователей к одному вещанию требует ретрансляции вещаний (одного сервера недостаточно).

Основные вопросы:

Организация файлового хранилища: доступ к серверам, мониторинг, бэкап данных.
Настройка сервера для FLV-стриминга.
Географическая распределенность (зеркала) «своими руками»: концепция и её реализация.
Применение географической распределенности к файлам видео.
Организация вещаний (трансляций), вещания с большим числом зрителей, ретрансляция. Оптимизация сервера вещаний.
Применение географической распределенности к вещаниям.

Оценка значимости и области применимости:

Данные вопросы интересны как для видеохостинга, так и для произвольных вариантов вещаний через Internet (например, групповые видеочаты). Схожие проблемы могут возникать у любых ресурсов, имеющих контент довольно большого размера и требующих «быстрой» отдачи их пользователям (например, файлохранилища).

Описываемое решение не является полностью уникальным, существуют другие более общие решения для части проблем, например, для файлов это GFS, концепция CDN и т.п. Для вещаний, насколько я знаю, подобные вопросы обсуждаются впервые.

Видео с конференции