Ребята из Twitter выложили на GitHub свой фреймворк для управления шардингом, написанным на Scala. Пишут, что поддерживает не только реляционные базы данных, но и Lucene, Redis и "все что вы можете себе представить".