Zu den Initiatoren des Evangelischen Kollegs zählen die Kaufleute Nicolaus Pemer (1528–1610), Johann Baptist Haintzel (1524–1581), Martin Zobel (1530–1584) sowie der Prediger von St. Anna, Dr. Georg Miller/Mylius (1548–1607). Mit Hilfe eines Strohmanns gelang es, das Anwesen des verstorbenen Christoph Fugger (1520–1579) in der Annagasse (heute Annastraße 14, ehem. Woolworth) zu erwerben. Am 16. März 1581 erkannte der Rat die Stiftung an. Die Einweihung des Neubaus fand am 3. Dezember 1582 mit 32 Kollegiaten statt. Sie besuchten das nahe gelegene Gymnasium bei St. Anna und erhielten zusätzlich noch Unterricht im Kolleg. In der reichsstädtischen Zeit bot das Internat insgesamt zehn Freiplätze für Stipendiaten, die auch mit Kleidung, Bettwäsche und Schreibmaterialien versorgt wurden, weitere 22 Kollegiaten (Convictores) entrichteten Schulgeld.
Unter den Schülern schrieben einige ihrerseits Bildungsgeschichte, so der Mathematiker, Astronom und Kartograph Johann Matthias Haas/Hase (1684–1742), der als Professor in Wittenberg Karriere machte, oder der Theologe und Philosophiehistoriker Jakob Brucker (1696–1770), u.a. Mitglied der königlichen Wissenschaften zu Berlin und zuletzt Pfarrer von Hl. Kreuz. Die lokale Karriereleiter erklommen z.B. Philipp David Kräuter (1690–1741), seit 1720 „Director musices“ der evangelischen Kirchenmusik, und Marx Christoph Koch von Gailenbach (1699–1768), Stadtpfleger von 1751 bis 1768.