Publication: Caracterización de mapeos multi-dataflow para modelos DNN dispersos en el acelerador Flexagon
Loading...
Date
2024
Authors
Navarro, Adrián ; Cano, José ; Abellán, José L. ; Acacio, Manuel E.
item.page.secondaryauthor
Facultad de Informática
item.page.director
Acacio, Manuel E.
Publisher
Sociedad de Arquitectura y Tecnología de Computadores (SARTECO)
publication.page.editor
publication.page.department
DOI
item.page.type
info:eu-repo/semantics/lecture
Description
Abstract
La Multiplicación de Matrices Dispersas (SpMSpM) es el núcleo principal de muchas aplicaciones modernas, siendo eficazmente usada para la optimización del procesamiento de Redes Neuronales Profundas (DNNs). Esta operación viene caracterizada por su alta demanda de cómputo, memoria y energía. Es por ello que el diseño de arquitecturas especializadas para acelerar las operaciones SpMSpM se ha convertido en un tema candente. Estas arquitecturas pretenden obtener una mejor relación entre rendimiento y consumo energético mientras emplean menos silicio que los sistemas de cómputo tradicionales CPU y GPU. Concretamente, Flexagon ha sido recientemente publicado como el único acelerador flexible para SpMSpM que mediante un mismo sustrato hardware da soporte al flujo de datos óptimo a cada operación SpMSpM. En este trabajo se extiende el estudio realizado en Flexagon con las siguientes contribuciones: (1) consideramos y evaluamos una extensión a los flujos de datos originales de Flexagon basados en el producto transpuesto; (2) proponemos diversos mecanismos para realizar las Conversiones de formato Explícitas (ECs) que son necesarias para concatenar distintas SpMSpM que requieren formatos de compresión distintos en sus matrices (CSR o CSC); y (3) evaluamos el impacto que las ECs conllevan en la práctica, cuando se procesan todas las capas en modelos DNN dispersos. Nuestros resultados muestran que esta extensión al conjunto base de flujos de datos obtiene una mejora de rendimiento promedio del 51% con respecto a los resultados originales, siendo esta mejora implementable en cualquier acelerador para SpMSpM sin aplicar cambios significativos. Además, nuestras propuestas permiten realizar ECs introduciendo tan solo entre un 1,0% y un 1,5% de sobrecarga con respecto al rendimiento ideal del acelerador.
publication.page.subject
Citation
item.page.embargo
Collections
Ir a Estadísticas
Este ítem está sujeto a una licencia Creative Commons. http://creativecommons.org/licenses/by-nc-nd/4.0/