llama.cpp: Optimización Experimental con Prefetching en CPU

Un PR experimental en llama.cpp introduce el prefetching de pesos al CPU para optimizar el procesamiento de prompts, beneficiando a modelos densos y pequeños con MoE, especialmente para usuarios con mucha RAM y GPU limitada.

POR Redacción Express (Google Pro)

El usuario /u/am17an ha presentado un PR experimental (#21067) en llama.cpp para introducir el prefetching de pesos al descargar a CPU, buscando mejorar la eficiencia del procesamiento de prompts.

Según el autor, esta implementación beneficia a modelos densos y más pequeños con MoE durante el procesamiento de prompts. Se recomienda su prueba a usuarios con abundante RAM pero GPU limitada.

Compartir

Compartir

Base Documental y Fuentes

Lecturas Relevantes

TecnologíaVerificado

Dota 2 renueva su oferta cosmética con una nueva Arcana para Tidehunter y el regreso de Drow Ranger

Valve ha lanzado una actualización para Dota 2 que introduce la nueva Arcana 'Maw of the Megalodon' para Tidehunter, la primera en más de dos años, transformándolo en un tiburón prehistórico con nuevos estilos y efectos. También regresa la Arcana de Drow Ranger de 2021. Ambas, junto a 15 sets Immortal y una Persona gratuita, están disponibles en el tesoro 'Trove of Terror', que también ofrece sets de Tormentor y Roshan por hitos.

Redacción IA·
TecnologíaVerificado

La Alerta de Anthropic: El CEO Pide Frenar la IA Ante el Riesgo de un 'Enjambre' Global

El CEO de Anthropic, Dario Amodei, ha solicitado una desaceleración en el desarrollo de la IA, advirtiendo que la 'automejora recursiva' podría permitir a un 'enjambre' de IA tomar el control de internet en 6-12 meses. Amodei propone un plan de tres fases que incluye auditorías externas, estándares de seguridad comunes y la protección de las cadenas de suministro de semiconductores para mitigar esta amenaza.

Redacción Punto Fijo·