El Cuartel de Infantería, o de las Veintiocho Columnas, considerado como la construcción militar más importante en esta ciudad, ocupaba una manzana que forman hoy las calles Vicente García, 24 de Febrero, Lucas Ortiz y 13 de Octubre, de gran tamaño y solidez, de mampostería ordinaria y techo de azotea y por el fondo (calle Lucas Ortiz) se encontraba protegido por dos tambores, uno en cada esquina.

Este Cuartel fue quemado y destruido en el asalto a la ciudad por las tropas de Calixto García en 1897, quedando en el lugar huellas de sus cimientos y un pequeño tramo de una de las columnas, identificado con una tarja.