Ο Πύργος Νεμπόισα αποτελεί το μοναδικό καλοδιατηρημένο μεσαιωνικό κτίριο μέσα στο Φρούριο του Βελιγραδίου. Χτίστηκε γύρω στο 1460 και ανήκει στο παλαιότερο είδος των οχυρωματικών πύργων με κανόνια. Όταν χτίστηκε αντιπροσώπευε ένα σημαντικό επίτευγμα για την αρχιτεκτονική της εποχής. Κτίστηκε με σκοπό να υπερασπιστεί την πόλη από τους Τούρκους. Με μία ευρύτερη έννοια αντιπροσώπευε τμήμα του αμυντικού συστήματος – «το προπύργιο της Χριστιανοσύνης» που είχε για δεκαετίες με επιτυχία σταματήσει τις Τουρκικές εισβολές στην Κεντρική Ευρώπη. Λίγους αιώνες αργότερα, όταν έχασε την στρατιωτική του σημασία μετατράπηκε σε μπουντρούμι. Στο τέλος του 18ου αιώνα και τις πρώτες δεκαετίες του 19ου αιώνα αποτελούσε ένα σύμβολο της τουρκικής καταπίεσης και μια τοποθεσία αφανισμού χριστιανών πολεμιστών από τα Βαλκάνια κατά τη διάρκεια της μακραίωνης οθωμανικής κυριαρχίας.
Το καλοκαίρι του 1521 κατά τη διάρκεια της τουρκικής πολιορκίας, το Βελιγράδι είχε με επιτυχία υπερασπιστεί για πολύ καιρό με κανόνια από τον Πύργο Νεμπόισα. Μόνο όταν ο πύργος πυρπολήθηκε κατάφεραν να εισέλθουν οι Τούρκοι στην πολιορκημένη πόλη.
Ο χρονικογράφος της τουρκικής πολιορκίας έγραψε για το γεγονός: «Στην κατώτερη οχύρωση του Βελιγραδίου στον Δούναβη προς τη θέση Μουσταφά Πασά, υπήρχε ένας πύργος. Ο Πύργος αυτός χρησιμοποιήθηκε ως οχυρό από τους άπιστους (χριστιανούς). Εμπόδιζε την επίθεση. Όταν έγινε επίθεση χτες, πολλοί από αυτούς σκοτώθηκαν από κανόνια από τον πύργο. Μετά την καταστροφή, αυτός ο πύργος πυρολύθηκε σήμερα από έναν κατακτητή.
Οι άπιστοι ξυλοκοπήθηκαν και παραδόθηκαν. Από τη θέση Μουσταφά Πασά κατ’ αυτό τον τρόπο δημιουργήθηκε μια ευκαιρία για επίθεση»
Μετά την τουρκική κατοχή του Βελιγραδίου, ο Πύργος ανοικοδομήθηκε εκτελώντας την εντολή του σουλτάνου Σουλεϊμάν. Εκείνη την εποχή ονομαζόταν Λευκός Πύργος και με αυτή την ονομασία εμφανίστηκε στην περιγραφή του απεσταλμένου του τσάρου David Ungdad κατά το έτος 1572.
Αργότερα αναφέρεται επίσης ως Πύργος Τιμισοάρα. Έλαβε το πραγματικό όνομα του στις αρχές του 18ου αιώνα, στη μνήμη του πρώην διάσημου Νεμπόισα του Βελιγραδίου – κεντρικού πύργου του κάστρου του δεσπότη Stefan Lazarevic, ο οποίος καταστράφηκε σε μία από τις πολιορκίες της πόλης, το φθινόπωρο του 1690.
Κατά τη διάρκεια της Αυστριακής κυριαρχίας 1717-1739, το Βελιγράδι υποτίθεται ότι θα γινόταν μια μπαρόκ οχυρωμένη πόλη και κέντρο για περαιτέρω στρατιωτικές επιχειρήσεις εναντίον των Τούρκων. Το Φρούριο του Βελιγραδίου ανακατασκευάστηκε και νέα προκεχωρημένα οχυρά χτίστηκαν. Σε εκείνη την περίοδο ο Πύργος Νεμπόισα επίσης ανακατασκευάστηκε. Το παλιό άνω μέρος του πύργου κατεδαφίστηκε και ένας νέος θολωτός όροφος χτίστηκε. Τα πρώην ανοίγματα για τα κανόνια εντοιχίστηκαν και νέα, πολύ μεγαλύτερα έγιναν. Οπλισμένος με νέα κανόνια, ο Πύργος εκ νέου υπερασπιζόταν την είσοδο στη θύρα πολέμου του Βελιγραδίου.
Μετά που έχασε τη σημασία του, οι Τούρκοι έκλεισαν το λιμάνι του Δούναβη και ταυτόχρονα, μετέτρεψαν τον Πύργος Νεμπόισα στο πιο διάσημο μπουντρούμι του Φρουρίου του Βελιγραδίου. Εξαιτίας αυτού του ρόλου, ο Πύργος Νεμπόισα έγινε ένα από τα πιο σκοτεινα σύμβολα του Βελιγραδίου. Ο πιο διάσημος αιχμάλωτος του Πύργου Νεμπόισα ήταν ο Ρήγας Φεραίος, ένας Έλληνας επαναστάτης, που σκοτώθηκε στον Πύργο Νεμπόισα το 1798. Ένα άλλο πρόσωπο που έχασε τη ζωή του στον Πύργο ήταν ο Μητροπολίτης Βελιγραδίου Μεθόδιος, ο οποίος σκοτώθηκε το 1800. Όχι πολύ καιρό αργότερα, ο Jevrem Obrenovic, αδελφός του Knez Milos και ο πρώτος δήμαρχος του Βελιγραδίου, επίσης φυλακίστηκε.