הארמון נבנה בעיצוב גותי מפואר, קשתות גבוהות ורחבות והיה שייך לדייגו קולומבוס – בנו של המצביא המפורסם כריסטופר קולומבוס, ואשתו של דייגו, מריה דה טולדו שהייתה אחייניתו של מלך ספרד דאז.
המבנה נבנה על צוקים המשקיפים אל נהר אוזמה – Rio Ozama, שמעבר לנופים היפים שהמיקום מקנה למבנה, ישנו יתרון אסטרטגי משמעותי כנגד פיראטים ופולשי ים המגיעים מכיוון הים אל האי.
אלקאזר דה קולון נבנה בין השנים 1511-1515, כנראה בהשראת מבנים עתיקים הנמצאים בספרד.
שמו של האדריכל שהיה אחראי על הבניה של המבנה הייחודי לא ידוע ועל כן נשאר כתעלומה מסתורית בהיסטוריה.
לאלקזאר דה קולון ישנם מאפיינים אדריכלים ייחודים, בעליי השראה מסגנון גותי ומתקופת הרנסנס.
הבניין נבנה באמצעות בניה מסלעי אלמוג, הייחודית לבניה הספרדית באי היספניולה.
בעבר, היו במעון המפואר לא פחות מ 55 חדרים, אך כיום לאחר עבודות שחזור רבות הצליחו לשמר רק 22 חדרים מהם.

אלקאזר דה קולון ידוע כארמון המבוצר הראשון שנבנה אי פעם בתקופה הספרדית הקולוניאלית בעולם החדש – יבשת אמריקה.

הארמון הינו בית המגורים הידוע היחידי של כל בני משפחת קולומבוס, כל ילדיו של דון דייגו קולון, בנו הבכור של כריסטופר קולומבוס ואשתו, דוניה מריה אלווארז דה טולדו, נולדו בארמון המפואר. 

האחוזה תפסה מקום חשוב בדפי ההיסטוריה, תוככנו בין קירות האחוזה משלחות כיבוש וחקר רבות לכל רחבי יבשת אמריקה, קירות הארמון, היו עדים לפגישות החשובות ביותר של כובשים רבים כמו קולומבוס, קורטס, ולסקז, בלבואה, שדנו בדברים כמו יישוב מקסיקו, פרו, קובה ועוד.. שיחות ודיונים שכיום ניתן לראות כמה שינו את כל פני ההיסטוריה כולה.

דייגו קולו, מת בספרד בשנת 1526, אך אלמנתו, מריה דה טולדו, נשארה בארמון אלקאזאר עד יום מותה בשנת 1549.
למעשה, שלושה דורות שלמים של משפחת קולון – דה טולדו, חיו שם בארמון עד בערך שנת 1577.

מעמדו של הרכוש הנותר בארמון לאחר נטישת המשפחה לא היה ברור במשך כמעט 200 שנה.
משוער שבשנת 1586, הפיראט האנגלי פרנסיס דרייק, במהלך פלישתו לאי היספניולה, הרס ולקח חפצי ערך ואמנות רבים מביתם לשעבר של דייגו קולון ומריה דה טולדנו.

עם הזמן, המבנה ננטש, ונהרס כמעט כליל, בשנת 1776 המבנה היה חורבות והועלתה הצעה לחדש את המבנה ולהשמיש אותו כבית כלא ציבורי – פרוייקט זה לא יצא לפועל אך הזיז דברים בכדי לחדש את המבנה.

בשנת 1779 החלו גגותיו של המבנה העתיק להתמוטט.
ישנן עדויות המתעדות שעד 1783 שימשו חורבות ביתם של דייגו ומריה לכליאת בעלי חיים.
בשנת 1870, בכדי להגן על חורבותיו של המבנה, הוכרז המבנה כאנדרטה לאומית ע"י אונסק"ו.

כיום, לאחר שיפוץ רחב ומושקע שנערך במבנה בין השנים 1955-1957 בפקודת הממשלה הדומיניקנית ובוצע על ידי האדריכל הספרדי חוויאר בארוסו, המבנה הינו אתר תיירותי ייחודי, המציג היסטוריה עתיקה ומרתקת על תחילתו של העולם החדש באמריקה הלטינית ועל משפחתו וחייו הפרטיים של הכובש הגדול ביותר בהיסטוריה.
למעשה מהווה המבנה כיום כמוזיאון והאתר ההיסטורי הנפוץ ביותר בקרב המטיילים בסנטו דומינגו והרפובליקה הדומיניקנית כולה.

המוזיאון מציג רהיטים, אמנות, כלי נגינה וכלי נשק מהמאה ה-16.

בנוסף הארמון מציג אוסף שטיחי קיר מהמאות 15-17 עתיק וייחודי ביותר ומציג שטיחים ויצירות עבודת יד עתיקה.