THE LATIN VOX (9 de agosto del 2025).- Por Daniela Medina.
Cloudflare anunció una transformación radical en Quicksilver, su sistema interno de almacenamiento clave-valor (key-value store), al adoptar una arquitectura de caché multinivel que mejora su eficiencia, escala y latencia global. La revelación fue publicada en InfoQ, destacando cómo la empresa moderniza una infraestructura crítica sin sacrificar rendimiento.
El antes y el después: de replicación total a caché jerárquica
- Quicksilver v1 replicaba todo el conjunto de datos en cada servidor de su red global. Aunque sencillo, era insostenible; el volumen creció un 50 %, alcanzando 1,6 TB, y empezaba a colapsar la capacidad de almacenamiento.
- La transición comenzó con v1.5, introduciendo dos nuevos roles:
- Réplicas completas que guardan toda la base de datos.
- Proxies, que actúan como caché persistente, almacenando solo partes populares del dataset y liberando espacio disco.
Este cambio redujo el uso de disco en zonas limitadas hasta un 50 %.
Arquitectura moderna: Quicksilver v2 en acción
- La nueva versión integra caché local por servidor, caché compartido a nivel de centro de datos y servidores especializados para datos completos.
- Emplea RocksDB para almacenamiento persistente en lugar de memoria volátil, y utiliza filtros de compactación para administrar qué datos conservar según qué tan recientes o frecuentes fueron accedidos.
El equipo de ingeniería de Cloudflare compartió recientemente cómo migraron Quicksilver, su almacén de clave-valor global interno, a una arquitectura de caché por niveles. Describieron su proceso progresivo, desde almacenar todo en todas partes hasta adoptar un sistema de caché distribuido, mejorando la eficiencia del almacenamiento y preservando las garantías de consistencia y las lecturas de baja latencia en el borde.
En los últimos años, Cloudflare pasó de lo que ahora se conoce como Quicksilver V1, donde todos los datos se almacenaban en cada servidor, a un nuevo sistema de caché por niveles, Quicksilver V2, donde solo unos pocos servidores almacenan datos. Esta serie de dos articulos describe cómo lograron la arquitectura de caché por niveles, un proceso que requirió que el equipo migrara cientos de miles de bases de datos activas mientras atendía miles de millones de solicitudes por segundo.
Quicksilver es un almacén de clave-valor desarrollado internamente por Cloudflare para permitir una replicación global rápida y un acceso de baja latencia en sus centros de datos globales. Diseñado originalmente como un sistema de distribución global para configuraciones, con el tiempo se ha convertido en el sistema de almacenamiento fundamental para muchos servicios y productos de Cloudflare, incluyendo su DNS, CDN y WAF.
Quicksilver v1 almacenó el conjunto de datos completo en todos los servidores del mundo, lo que resultó en un uso insostenible del espacio en disco, ya que el conjunto de datos de 1,6 TB creció un 50 % en tan solo un año, amenazando con agotar el almacenamiento disponible en la red de Cloudflare. La transición comenzó con Quicksilver v1.5, una solución que introdujo roles de servidor proxy y réplica, lo que resultó en una reducción del 50 % en el uso del disco.
En la última implementación de la versión 2, Cloudflare introdujo una estrategia de almacenamiento en caché multinivel. La arquitectura más reciente incluye cachés locales por servidor, cachés fragmentadas en todo el centro de datos y réplicas completas de conjuntos de datos en nodos de almacenamiento especializados, con precarga reactiva que distribuye los fallos de caché entre los servidores. La preocupación por el uso de memoria y la caché fría llevó a Cloudflare a optar por el almacenamiento persistente con RocksDB en lugar del almacenamiento en caché basado en memoria, con expulsiones basadas en los filtros de compactación del motor.
Fuente: Renato Losio www.infoq.com
Foto:Fuente: Blog de Cloudflare