Brainwashing про Go

Andrey — Wed, 12 Mar 2014 08:18:37 GMT

UPDATE: курс был отменен.

17 и 18-го мая на платформе Brainwashing мы (я, Леша Палажченко и Кир Шатров) собирались два дня вместе c вами разбираться с Go и пробовать его на практике. Вначале я воспринял язык Go как "еще один модный язык", но, присмотревшись поближе, я полностью изменил свое мнение. Go для меня заполнил нишу между Python и С. Я всегда любил Python, но мучался угрызениями совести: то, что я написал, могло работать на C гораздо быстрее. С другой стороны, на C я бы подобное не написал за такое же количество времени. Go оказался ровно посередине: с одной стороны, это небольшой язык программирования, спецификацию которого можно прочитать за пару часов, а с другой стороны то, что я на нем напишу, работает быстро.

Я никогда не любил Java за ее выдуманную сложность, я преподавал студентам C++ и чувствовал, что издеваюсь над ними, когда мы разбираем связь private/protected/public с friend, наследованием и перегрузкой. Go тщательностью выбора минимального множества конструкций языка напомнил последнюю работу Вирта, язык Оберон.

Когда я начинал писать на Go, я думал, что буду одним из первопроходцев, мне придется написать самому кучу библиотек, но я был удивлен, обнаружив огромное количество качественных Go библиотек в самых разных областях. Это уже похоже на питоновский "with batteries", то есть Go уже идет с батарейками в комплекте. Одним из хороших примеров производительности Go является то, что он делит первое место с C и Java в Web Performance Benchmark.

Вы хотите научиться писать на Go высокопроизводительные Web-сервисы? Тогда записывайтесь на Brainwashing про Go, а мы постараемся сделать так, что бы в эти два дня вы получили максимум знаний и практических навыков. Приходите сами или записывайте всю команду разработки, скучно не будет!

UPDATE: курс был отменен.

aptly Memory Usage Optimization

Andrey — Wed, 05 Mar 2014 13:21:41 GMT

Next aptly version (0.4) would contain some changes to lower memory requirements while doing general operations: memory usage will be decreased by factor of 3. aptly is written in Go language, so this is a short story of optimizing Go program memory usage.

When I have been developing aptly, I suspected that memory usage would be not optimal, as aptly is processing huge amounts of package metadata (for example, when mirroring upstream Debian repositories consisting of 30000 packages). Memory usage went unnoticed until I was testing aptly in virtual machine with just 512 MB of memory, aptly was performing poorly because Linux was busy in swapping. This was something completely unexpected: so much memory? how could that be?

First I applied some general optimizations which were trivial:

some long operations (like mirroring) were happening in single function and some big data structures weren't required full time during function execution. So assigning nil to them allowed Go's garbage collector to reclaim unused memory faster.
reusing buffers for structure encoding (this is safe, as there're no concurrent operations and resulting byte slice is copied immediately).

Instead of creating buffer every time...

// Encode does msgpack encoding of Package
func (p *Package) Encode() []byte {
    var buf bytes.Buffer

    encoder := codec.NewEncoder(&buf, &codec.MsgpackHandle{})
    encoder.Encode(p)

    return buf.Bytes()
}

... re-use buffer:

// Internal buffer reused by all Package.Encode operations
var encodeBuf bytes.Buffer

// Encode does msgpack encoding of Package, []byte should be copied, as buffer would
// be used for the next call to Encode
func (p *Package) Encode() []byte {
    encodeBuf.Reset()

    encoder := codec.NewEncoder(&encodeBuf, &codec.MsgpackHandle{})
    encoder.Encode(p)

    return encodeBuf.Bytes()
}

Second, I had to find reliable way to measure memory consumption, that was easy thanks to CloudFlare blog post. What I discovered first was:

Andrey Smirnov's Blog (go)

Brainwashing про Go

aptly Memory Usage Optimization