около минуты для добавления 10 записей к существующим 100

А на чём это работает? Я как-то с трудом могу себе представить, что нужно сделать, чтобы такого добиться.
Или записи ОЧЕНЬ большие?

Это работает на движке, ориентированном на обработку петабайт данных

это кластер из 10к машин, который изначально проектировался под мапредьюс.

Ну тогда может и норм.

Записи где-то по паре килобайт. Проблема в том, что там накладные расходы, которые не заметны, когда у тебя мапредьюс неделю считает и очень ощутимы, когда у тебя таска на миллисекунду.

Ещё одна особенность: все компоненты этот сервиса написаны на питоне. И только этот кусок - на плюсах.

А зачем вы его так используете? Положите себе sqlite-файлик на nfs-шару и норм будет

на плюсах их переписали, потому что скорее всего пришли админы кластера и настучали по голове за питон.

Глядя на то, как некоторые пишут на плюсах, я всё ещё думаю, что лучше бы они писали на питоне :(

С чего бы, когда вся нирвана на питоне

Я вообще не знаю зачем он тут! В крайнем случае можно было завести динамическую таблицу и обновлять построчно

ну яхз, просто в каком-то году в этушке был срач по этому поводу. возможно тимлид его прочитал и сказал переписать этот кусочек на плюсах в учебных целях.

Tishka17, ощущение, что вы пытаетесь с помощью ректалтных манипуляций давить прыщи на носу

Tishka17, а чому не переписать, выкинух кху ям весь оверхед?

У меня тоже такое ощущение

Да я только на днях понял как это работает. И в очередной раз оху^W удивился