Блог Андрея Смирнова (разработка)

Первый вебинар из серии "Разработка надёжных высоконагруженных систем"

Andrey — Sun, 11 Jan 2015 16:25:22 GMT

Серия вебинаров "Разработка надёжных высоконагруженных систем" началась в прошлом 2014 году первым бесплатным вебинаром, на котором мы рассмотрели состав курса, основные темы, а также сделали небольшое введение в мир высоконагруженных и надежных приложений. До старта основной части из шести вебинаров осталось чуть больше недели, самыми сложными будут первые два вебинара про хранение данных 20-21 января. Мы поговорим о том, как устроены базы данных, как они работают, почему так сложно масштабировать хранение данных, и о том, как осуществить это масштабирование. Мы расшифруем "страшные" аббревиатуры ACID и CAP, поговорим об AP, CP и CA-системах. Еще есть время зарегистрироваться и оплатить свое участие!

Все участники получат запись вебинаров, небольшой тест для закрепления полученной информации, а также доступ к практическим заданиям.

Вот запись первого бесплатного вебинара "Введение":

Серия вебинаров "Разработка надёжных высоконагруженных систем"

Andrey — Sun, 14 Dec 2014 18:22:16 GMT

То, о чем многие спрашивали, наконец-то случилось! Мы с Олегом Буниным открыли регистрацию на серию вебинаров "Разработка надёжных высоконагруженных систем". По содержанию вебинары будут на 90% соответстовать мастер-классу, который проходил два раза этим летом. С точки зрения формата вебинар и мастер-класс значительно отличаются:

вебинар проходит по вечерам, начиная с 18:00, нет необходимости решать вопросы с работой;
вебинаров будет семь: шесть основных частей и введение, можно выбрать толькое те темы, которые нужны, или записаться на весь курс;
по сравнению с мастер-классом живого общения будет меньше, это связано с техническими особенностями и количеством участников;
стоимость участия значительно ниже.

Создавая курс "Разработка надежных высоконагруженных систем", я старался ответить на вопрос: что необходимо сделать, чтобы система масштабировалась при увеличении нагрузки в два, десять, сто раз? При условии ограниченности ресурсов этот вопрос далеко не простой, универсального ответа на него не существует, но понимая основные принципы построения архитектур веб-приложений и зная о доступных решениях, можно найти ответ, который подходит для каждой конкретной системы.

Тема надежности находится очень близко к теме высоких нагрузок: это и отказоустойчивость, избыточность, надежность хранения данных, разворачивание системы в нескольких дата-центрах. Моя задача - дать такой набор знаний и приемов, чтобы после серии вебинаров участник мог построить подходящую архитектуру самостоятельно. Это не будет курс о тюнинге MySQL или о настройке отказоустойчивого nginx, но мы будем говорить о том, почему MySQL устроен так, как он устроен, какие из этого вытекают характеристики, и, соответственно, что делать, чтобы заставить его работать быстрее. Мы поговорим о том, почему nginx использует несколько процессов и асинхронный сетевой ввод-вывод, а также о том, как может быть обеспечена отказоустойчивость прокси-сервера без состояния.

Курс ориентирован на разработчиков веб-приложений (серверная часть, предоставляющая API, и клиентская - HTML/JS/Deskop/Mobile). Теоретический рассказ перемешивается с анализом существующих продуктов, примерами архитектур высоконагруженных и отказоустойчивых систем, мы будем вместе решать задачи по проектированию и искать ответы на вопросы.

Деление вебинаров по темам можно отобразить на архитектуре типичной веб-системы следующим образом:

‹ ›

Первый вебинар, "Введение" будет посвящен общим вопросам отказоустойчивости и высоких нагрузок, мы разберем примеры, поговорим о том, как внедрять изменения в команде разработки (или на уровне компании). Участие бесплатно, вебинар пройдет 18-го декабря, необходимо только зарегистрироваться.

Основные шесть вебинаров (данные I+II, приложение, архитектура, клиент и тестирование, эксплуатация) пройдут с 20-го января по 17-е февраля, подробная программа и ссылки на регистрацию опубликованы на сайте вебинара. Сегодня участие в каждом из шести вебинаров стоит 4000 рублей, а все вместе - 16000 рублей (скидка 33%). По мере приближения даты вебинаров цена будет расти, так что торопитесь :)

HighLoad++-2014

Andrey — Sat, 22 Nov 2014 17:41:39 GMT

На Highload++-2014 в этом году я выступал с двумя докладами.

Первый доклад ("Клиентские приложения под нагрузкой") был одним из тех, который открывал конференцию. Он достаточно простой, но, судя по отзывам, нашел отклик в аудитории: с теми проблемами, о которых я говорил в докладе, сталкивались очень и очень многие. Идея доклада пришла от осознания того факта, что клиентские и серверные разработчики часто не могут найти общий язык, не понимая до конца все проблемы и сложность работы друг друга.

Перед докладом показывали шаржи на докладчиков:

Ну и слайды самого доклада:

Второй доклад ("Анатомия веб-сервиса 2.0") был переработанной версией весеннего доклада с РИТ-2014. Основная идея: то, как устроен backend внутри (многозадачность, сетевой ввод-вывод, обработка входящих и исходящих соединений) влияет на характеристики полученного решения.

Слайды:

Golang Meetup July 2014

Andrey — Fri, 25 Jul 2014 12:37:35 GMT

Вчера прошел отличный Golang Moscow Meetup в офисе Google. Было очень много участников, что не может не радовать. Интересный crash course Go от Дмитрия Вьюкова, "секретный" проект по автоматической генерации кода от Алексея Палажченко. Всем большое спасибо!

Выкладываю слайды своего доклада:

Exponential Backoff или как "не завалить сервер"

Andrey — Wed, 11 Jun 2014 16:55:48 GMT

Этот пост был написан по материалам мастер-класса про высокие нагрузки и надежность.

При любом взаимодействии клиента и сервера мы сталкиваемся с необходимостью повторять запросы. Сетевое соединение может быть ненадежно, могут быть проблемы на сервере или любые другие причины, из-за которых необходимо повторить запрос. То же самое касается и взаимодействия backend-сервера с базой данных или любым другим хранилищем данных (другим сервисом).

Мы сегодня поговорим об интервале повторов запроса. Через какой период времени после неудачного запроса можно его повторить? Давайте рассмотрим две стратегии: повтор через фиксированный интервал времени и экспоненциальное откладывание (exponential backoff). Мы увидим на симуляции, что при условии наличия большого числа клиентов повтор через фиксированный интервал может не дать серверу "подняться", а использование exponential backoff позволяет избежать этой проблемы.

Вопрос интервала повторов становится важным при проблемах на сервере. Очень часто сервер способен выдержать нагрузку от клиентов, которые отправляют запросы в некотором "текущем" режиме, распределяя свои запросы во времени случайным образом. Если на сервере происходит отказ, все клиенты обнаруживают его и начинают повторять запросы через некоторый интервал. Может оказаться, что частота таких запросов превышает тот предел, который сервер может обрабатывать.

Еще одним важным моментом является то, что клиент часто не может отличить проблемы на сервере от проблем с сетевым соединением на стороне клиента: если ответ на запрос не приходит в заданный интервал времени, клиент не может сделать заключение о том, в чем именно проблема. И поведение клиента (повтор запроса, интервал повтора) будут одинаковыми в обоих ситуациях.

Читать далее… (5 минут чтения осталось)

Отзывы на мастер-класс

Andrey — Mon, 09 Jun 2014 19:32:33 GMT

После первого мастер-класса про высокие нагрузки и надежность я получил большое количество отзывов от участников. По 10-балльной шкале средний балл при ответе на вопрос "Ваше общее впечатление от мастер-класса" составил 8,92, что совсем неплохо для первого раза. Подавляющее большинство оставивших отзыв порекомендовало бы мастер-класс своим коллегам и знакомым.

Вот некоторые из отзывов:

«Семинар позволил мне упорядочить знания, получить новые сведения и обратить более пристальное внимание на известные мне проекты.»

—Денис Котляров

«Очень нравится способ подачи материала через постоянный диалог с аудиторией - для меня это очень эффективно.»

—Павел Крюков

«Крайне подробный курс, включающий в себя ровно столько информации, сколько достаточно для аргументированного принятия тех или иных решений. Количество информации в каждой из областей близко к границе понятия "необходимо и достаточно". Лучший неуниверситетский курс, который я когда-либо видел.»

—Евгений Кузовлев

«Всё отлично. Очень много разных тем. При этом все подробно. При этом все что непонятно, быстро и подробно объясняется.»

—Иван Ремизов

Из замечаний к мастер-классу, кроме организационных мелочей, можно выделить пожелание добавить больше практических заданий и совместных занятий. В следующий раз я сокращу теоретическую часть в пользу основного задания - проектирование Twitter-подобного проекта. Мы будем проектировать вместе, а также в группах, пытаясь найти интересные и неудачные места в проектах архитектур. А я постараюсь поделиться своим опытом создания подобных систем.

Приходите на мастер-класс 4-го, 5-го и 6-го июля, будет еще интереснее, чем в первый раз!

Другие материалы в моем блоге о мастер-классе:

отрывки из курса: про хранение данных и про очереди и многозадачность
основные темы практических заданий
как были сделаны практические задания

Практические задания на мастер-классе

Andrey — Thu, 29 May 2014 21:05:41 GMT

Первый мастер-класс о высоких нагрузках и надежности прошел успешно, оказалось, что 900 слайдов на три дня даже слишком много :) В следующий раз теоретическая часть будет немного покороче, а практики будет побольше. На мастер-классе было 7 практических заданий, каждое из которых работало корректно у всех 25 участников на протяжении всех трех дней. Я не ожидал, что не будет ни одной проблем.

Когда я начинал подготовку к мастер-классу, я понимал, что:

задачи не должны зависеть от умения программировать: все знают разные языки программирования, да и сам процесс кодирования может занять много времени;
потребуются различные сервисы в рамках заданий, установить их на ноутбуки участников и обеспечить отсутствие проблем будет сложно;
я буду один на 25 человек, и подойти к каждому и помочь решить проблемы я не смогу.

Поэтому единственным вариантом оставалось подготовить сами задания (код) заранее и запускать их в контролируемом окружении. Можно было выдать всем по образу виртуальной машины, но это опять-таки потребует установки на все ноутбуки участников системы виртуализации, производительность каждой машины будет разной. В результате я решил запустить виртуальные сервера в Amazon EC2, это имеет следующие преимущества:

одинаковое окружение у всех участников (как по составу, так и по производительности);
участникам требуется только ssh;
я могу централизовано управлять виртуальными машинами: готовить к следующему заданию и т.п.

Читать далее… (3 минут чтения осталось)

Мастер-класс про высокие нагрузки и надежность: второй заход

Andrey — Fri, 16 May 2014 20:34:18 GMT

До первого мастер-класса о высоких нагрузках и надежности осталась неделя, свободных мест уже давно нет, но можно записаться на второй заход 4-го, 5-го и 6-го июля. Кто еще не собрался в отпуск, приходите, будем вместе разбираться с тем, как построить высоконагруженную и надежную систему.

Я уже публиковал отрывки из курса про хранение данных, сетевой ввод-вывод и очереди. Кроме теоретической части на мастер-классе будет и практическая часть, вот темы основных заданий:

memcached: выделение памяти, каковы накладные расходы;
"битва" моделей сетевого программирования: процессы, нити, асинхронный ввод-вывод;
PostgreSQL vs. Redis: скорость и чем она достигается;
шардирование, консистентное хеширование, что происходит при отказах шард;
влияние алгоритма повтора на клиенте на восстановление работоспособности сервера;
ØMQ на практике: взаимодействие сервисов;
протоколы соглашения и распределенная консистентная конфигурация.

Еще одно задание проходит "красной нитью" через весь курс, оно связано с проектированием Twitter-подобного проекта: от схемы базы данных до архитектуры клиентского приложения, схемы отказоустойчивости и оценок масштабируемости.

Мастер-класс: высокие нагрузки и надежность

Andrey — Thu, 24 Apr 2014 19:30:49 GMT

На мой мастер-класс про высокие нагрузки и надежность 24-26 мая осталось совсем мало мест! Выкладываю еще два небольших отрывка курса.

Выбор языка программирования, фреймворка, на котором будет написан backend - дело непростое, необходимо взвесить большое количество факторов и принять правильное решение. Одним из таких факторов является сетевая архитектура backendа. Здесь тесно переплетаются два вопроса: организация сетевого ввода-вывода и многозадачная обработка запросов. Backend по сути представляет из себя "сложный прокси-сервер", который принимает HTTP-запросы, выполняет запросы к базе данных, другим хранилищам и сервисам, связывая их бизнес логикой, и формирует ответ. Это означает, что вопрос обработки соединений, переключение между обработкой конкурентных соединений играет важную роль в общей производительности приложения. Особенно ярко эти факторы проявляются при обслуживании долгих запросов (Websocket, long-polling, ...). Каждый язык программирования и фреймворк предоставляет (или не предоставляет) выбор механизмов многозадачности и сетевого ввода-вывода, мы поговорим подробно о Javascript, PHP, Java, Python, Ruby, Go и Erlang.

Читать далее… (1 минут чтения осталось)

Анатомия веб-сервиса (РИТ-2014)

Andrey — Mon, 14 Apr 2014 19:18:11 GMT

Сегодня я выступил на РИТ-2014 с докладом о том, как устроен backend внутри, как он обрабатывает запросы, отправляет запросы в другие сервисы, базы данных и другие хранилища. Я немного поговорил о том, как может быть организована многозадачность и какие выводы можно из этого сделать.

Доклад был небольшой частью моего мастер-класса по высоким нагрузкам и надежности, который я проведу 24-26 мая. Если доклад показался интересным, приходите на мастер-класс. Там мы поговорим обо всем более детально, разберем практические задачи.

P.S. Записывайтесь на мастер-класс скорее, всего будет 20 участников, а мест осталось уже не так много!