Infraestructura

FOSCAR aborda el cuello de botella de la atención de decodificación con cachés KV cuantizadas: en lugar de aplicar escala y offset a cada valor, los pliega sobre el otro operando o la salida del producto matricial, reduciendo esas operaciones hasta dos órdenes de magnitud sin alterar el resultado en aritmética exacta. Los kernels INT2/INT4 logran aceleraciones de 2,3x a 3,36x sobre FlashInfer BF16 en H100 y B200, y su integración en SGLang eleva el throughput agregado hasta un 170% frente a la base de 2 bits. La librería se publica como código abierto.

Un usuario de r/LocalLLaMA documenta su servidor de inferencia multiusuario con cuatro Radeon AI PRO R9700, EPYC 7402P y 128 GB de RAM, usando ROCm 10.1 y el servidor Radiance con Qwen 3.8 Flash Next cuantizado. Los datos muestran que el prefill se mantiene en torno a 6.800 tok/s independientemente de la concurrencia, mientras que los turnos con caché de prefijo responden en menos de 2,5 s y escriben a 80-225 tok/s por usuario. El caso peor, ocho prompts fríos de 128K simultáneos, tarda unos 2,5 minutos en el primer token.

Un usuario compara una Intel Arc Pro B70 de 32GB (1.299$) con una RTX 5090 en inferencia local de Qwen, logrando aproximadamente la mitad de velocidad de generación y un tercio en prefill tras ajustar kernel, Mesa, ReBAR y pasar a llama.cpp con backend SYCL. Detalla qué configuraciones (Vulkan vs SYCL, KV cache f16 vs cuantizada, MTP) marcan diferencias enormes y ofrece cifras concretas de tokens por segundo y coste por GB de VRAM.

Un experimento de cuantización por niveles de los expertos MoE de un modelo de 2.8T parámetros, reduciendo el peso de 1.77 TB a 775 GB con pérdida mínima en AIME y LiveCodeBench. Incluye un motor de offloading en tres niveles (VRAM, RAM fijada, NVMe) con prefetch basado en el router y kernels Triton fusionados para descomprimir en SRAM, con cifras de rendimiento medidas en una sola Blackwell.

Un usuario comparte un montaje de 6 GPUs (4 Radeon AI PRO R9700 y 2 RTX 3090) conectadas a un único slot PCIe x16 mediante un switch PCIe, orientado a inferencia local. Es un caso práctico de virtualización de PCIe para densificar hardware de cómputo en un solo host.

Un desarrollador implementó la inferencia completa de Qwen3.5-0.8B en ensamblador puro, sin libc ni Python en tiempo de ejecución, logrando 6.51 tok/s frente a 4.34 de Transformers en un solo hilo de EPYC. Los 32 tokens generados coinciden exactamente con la referencia, y el código está publicado. Es un experimento de optimización extrema de inferencia local en CPU.

Proyecto que afirma ejecutar un MoE de 284B (DeepSeek-V4-Flash) en 64 GB de RAM sin GPU mediante compresión Hessiana, transcodificación Fractal-64 y tiling por niveles de caché, además de un MoE de 30B a velocidades de GPU en CPU pura. Incluye binario precompilado, CLI unificado y un tipo GGUF personalizado (Q2_0) incompatible con llama.cpp estándar. Los resultados son llamativos pero provienen de un repositorio único sin validación independiente.

Un sysadmin describe cómo monta un homelab completo en un OpenStick de 10 USD (ARM, 512 MB RAM, Debian con Podman), ejecutando servicios ligeros como AdGuard Home, Beszel, Gatus, Dozzle, Shiori y un agente de IA llamado Zeroclaw. Lo más relevante es el uso de Zeroclaw como harness de agente con acceso root limitado al dispositivo para monitorizarlo vía Telegram, con notas sobre su bajo consumo (~3 MB en reposo) frente a alternativas más pesadas.

Un PR de llama.cpp introduce una caché de expertos MoE que ejecuta en CPU los expertos que no caben en VRAM, con un script de tuning para ajustar el comportamiento. Esto mejora notablemente el rendimiento del offloading de modelos MoE en equipos con poca memoria gráfica.

OpenAI describe Pando, un backend compatible con Git que construyeron para soportar el volumen de desarrollo que genera Codex. El artículo aborda cómo escalar la infraestructura de control de versiones cuando los agentes de código producen cambios a un ritmo muy superior al humano. Es interesante para quien gestiona repositorios y automatización, aunque el detalle técnico disponible en el extracto es limitado.