Ursprünglich bestand es aus einem fünfgeschossigen Mauerbau mit einem in den Baukubus integrierten Treppenturm. Es diente Kaspar von Stockalper als Familiensitz. Er liess das Haus renovieren und um einen Saalbau mit vorgebauten Arkaden, mit einer Kapelle, sowie einem geschlossenen kleinen Hof erweitern. In der Hauskapelle zu den drei hl. Königen steht der Silberaltar des Augsburger Silberschmieds Samuel Hornung. Ein zweigeschossiger Arkadenlaufgang bildet das Verbindungsstück zum grossen Handelshaus, dem Stockalperpalast, welches er zwischen 1651 und 1671 erbauen liess.
Heute befindet sich in den Räumlichkeiten des alten Stockalperhauses das Restaurant Schlosskeller.