זקני השבט בוודאי זוכרים את שטר 50 השקלים עם דמותו של דוד בן גוריון. ברקע הדיוקן נראה מבנה, שהוא כיום מבנה המכון למורשת בן-גוריון. הוא הוקם כספרייה, והפך לסמל המזוהה עם בן-גוריון.
בשנת 1953 עלה דוד בן-גוריון לנגב והתיישב בשדה בוקר. ב-1954 יזם הקמת קריה חינוכית - מרכז ללימוד ומחקר מדעי של הנגב. בעקבות זאת, בשנת 1962, החליטה 'קרן הנגב' על בניית והקמת מדרשת שדה בוקר שבתחילה כונתה "בית ברל שבנגב". חלק גדול מהתקציב להקמת המדרשה גויס באמצעות יהדות ארצות הברית וקרן רוטשילד, בין השאר לצורך בלילת כביש וחיבור למקורות מים. תכנון המדרשה כלל מספר בניינים, ובהם מוסד לימוד ופנימייה, אולם, מטבח וחדר אוכל.
הבולט בין המבנים המתוכננים היה ספרייה גדולה לאזור, שיועדה לקלוט 100,000 ספרים, חלקם של בן-גוריון. הספרייה תוכננה כמבנה מרשים, בגובה כשלוש קומות, שמיקומו על שפת המצוק מול נופה המרהיב של בקעת צין, יוסיף לנוכחותו הייחודית במרחב. הספרייה נתפסה מלכתחילה כגולת הכותרת של המוסד. על תכנונה הופקדו האדריכלים יוחנן רטנר ומרדכי שושני, במגמה לבניה חדשנית ומותאמת לאקלים המדברי, לפי רצונו של בן-גוריון. רטנר בחר בבנייה בעלת קווים נקיים בסגנון 'מודרניזם מאופק' וברמיזה להקשר הישראלי והממלכתי באמצעות חיפוי האבן הירושלמית המשמשת לבניה בבירה.
בצמוד למבנה הספרייה, באגף המערבי של הבניין, תוכננה יחידת מגורים, אשר במקור נועדה לשמש את משפחת בן-גוריון. היחידה כללה חדרי מגורים, חדרי אירוח, מטבח, שירותים וחצר קטנה. בשני החדרים הפונים לצד דרום היו פתחים רחבים לנוף ובחזית הדרומית מרפסת מקורה.
בתאריך 6.10.1963 התקיים טקס הנחת אבן הפינה לבניין הספרייה. התאריך סימן, מכאן ואילך, את תאריך היווסדה של מדרשת שדה בוקר, שקיבלה בינואר 2003 מעמד של ישוב קהילתי בשם מדרשת בן-גוריון. החל משנת 1965 שימש המבנה כספרייה של ספרי בן-גוריון וכתביו. בחלל המרכזי התקיימו מפגשי חוג התנ"ך של בן-גוריון, ובו צולם הראיון המופיע בסרט 'בן-גוריון, אפילוג'. דוד ופולה בן-גוריון בחרו שלא לעבור להתגורר ביחידת המגורים ונשארו בצריף בשדה בוקר.
בשנת 1968 נפטרה פולה ובן-גוריון בחר למקם את קברה ליד בניין הספרייה, למול הנוף. בשנת 1973 נפטר בן-גוריון. לאחר מותו שימש המבנה לריכוז וקטלוג של ספרייתו ולהקמת הארכיון לכתביו. בשנת 1976 הוקם המכון למורשת בן-גוריון ומקום מושבו נקבע במבנה. במהלך השנים שימש המקום כספרייה, כארכיון, כאולם ובו חזיון אור קולי, כמשרדי המכון וככתות לימוד. עם חלוף הזמן נוספו למבנה אגפים שונים והאגף המערבי עבר בשנות ה-90 של המאה ה-20 שיפוץ ע"י משרד האדר' אירית אקסלרוד, שאף בנה בניין נוסף מול רחבת הכניסה.