Brainwashing про Go

Andrey — Wed, 12 Mar 2014 08:18:37 GMT

UPDATE: курс был отменен.

17 и 18-го мая на платформе Brainwashing мы (я, Леша Палажченко и Кир Шатров) собирались два дня вместе c вами разбираться с Go и пробовать его на практике. Вначале я воспринял язык Go как "еще один модный язык", но, присмотревшись поближе, я полностью изменил свое мнение. Go для меня заполнил нишу между Python и С. Я всегда любил Python, но мучался угрызениями совести: то, что я написал, могло работать на C гораздо быстрее. С другой стороны, на C я бы подобное не написал за такое же количество времени. Go оказался ровно посередине: с одной стороны, это небольшой язык программирования, спецификацию которого можно прочитать за пару часов, а с другой стороны то, что я на нем напишу, работает быстро.

Я никогда не любил Java за ее выдуманную сложность, я преподавал студентам C++ и чувствовал, что издеваюсь над ними, когда мы разбираем связь private/protected/public с friend, наследованием и перегрузкой. Go тщательностью выбора минимального множества конструкций языка напомнил последнюю работу Вирта, язык Оберон.

Когда я начинал писать на Go, я думал, что буду одним из первопроходцев, мне придется написать самому кучу библиотек, но я был удивлен, обнаружив огромное количество качественных Go библиотек в самых разных областях. Это уже похоже на питоновский "with batteries", то есть Go уже идет с батарейками в комплекте. Одним из хороших примеров производительности Go является то, что он делит первое место с C и Java в Web Performance Benchmark.

Вы хотите научиться писать на Go высокопроизводительные Web-сервисы? Тогда записывайтесь на Brainwashing про Go, а мы постараемся сделать так, что бы в эти два дня вы получили максимум знаний и практических навыков. Приходите сами или записывайте всю команду разработки, скучно не будет!

UPDATE: курс был отменен.

Оптимизация использования памяти в aptly

Andrey — Wed, 05 Mar 2014 13:21:41 GMT

В следующей версии (0.4) aptly использование памяти в самых частых операциях сократится в три раза благодаря несложным оптимизациям. Т.к. aptly написана на Go, это будет короткая история об оптимизации использования памяти программами на Go.

Когда я начинал разрабатывать aptly, я подозревал, что использование памяти будет далеко не оптимальным, т.к. aptly "переваривает" большое количество метаданных пакетов (например, зеркало Debian репозитория может содержать информацию о 30 тыс. пакетов). Я не замечал, что aptly использует много памяти до того, как не начал тестировать на виртуалке с 512 Мб памяти. aptly работала крайне медленно из-за постоянного свопирования. Я такого никак не ожидал: почему используется столько памяти?

Для начала я применил тривиальные оптимизации:

некоторые долгие операции (например, зеркалирование репозитория), происходят в рамках выполнения одной функции, и некоторые структуры данных становятся ненужными до окончания работы функции. Так, обнуляя (присваивая nil) переменные, можено дать возможноть garbage collectorу освободить ненужную память до окончания выполнения функции.
повторное использование буферов для сериализации структур (это безопасно, т.к. нет конкурентного доступа, а результат сериализации немедленно копируется).

Вместо того, чтобы создавать буфер каждый раз...

// Encode does msgpack encoding of Package
func (p *Package) Encode() []byte {
    var buf bytes.Buffer

    encoder := codec.NewEncoder(&buf, &codec.MsgpackHandle{})
    encoder.Encode(p)

    return buf.Bytes()
}

... можно использовать его повторно:

// Internal buffer reused by all Package.Encode operations
var encodeBuf bytes.Buffer

// Encode does msgpack encoding of Package, []byte should be copied, as buffer would
// be used for the next call to Encode
func (p *Package) Encode() []byte {
    encodeBuf.Reset()

    encoder := codec.NewEncoder(&encodeBuf, &codec.MsgpackHandle{})
    encoder.Encode(p)

    return encodeBuf.Bytes()
}

Во-вторых, необходимо начать измерять то, что мы пытаемся оптимизировать: использование памяти. С помощью поста в блоге CloudFlare это сделать совсем несложно. Вот что я обнаружил:

Читать далее… (1 минут чтения осталось)

Блог Андрея Смирнова (go)

Brainwashing про Go

Оптимизация использования памяти в aptly