1921 entstand das erste Gebäude (heute Elsterweg 16). Außerdem gab es noch die Wohnung des Haltestellenvorstands, das Erholungsheim ‚Gut Ruh am See‘, die Gärtnerei Haug und die Wirtschaft ‚zum Waldeck‘. Nach und nach kamen weitere Siedler hinzu.
1929 entschied sich die Gesamtkolonie (damaliger Name) auf den gemeinsamen Namen Silberberg.
Die Siedlung gehörte zur Gemeinde Eltingen, die jedoch kein Interesse am Bau einer Infrastruktur im Bezug auf ‚Wasser, Licht und Weg‘ hatte. Die Häuser waren nur unzureichend angeschlossen und Pumpenausfälle waren nichts Außergewöhnliches. Bei kalter Witterung war es möglich, dass die Wasserleitung einfror, das Wasser musste dann aus einer 1 km entfernten Quelle beim Wasserbach geholt werden. Auch von Rutesheim gab es keine Unterstützung bei der Wasserversorgung, da daran eine Eingemeindung verknüpft gewesen wäre. Nun versuchten die Siedler in den dreißiger Jahren eine Eingemeindung nach Eltingen. Dies erledigte sich jedoch von selbst, da Eltingen 1938 nach Leonberg eingemeindet wurde.
Das Gasthaus Waldeck war der kulturelle Mittelpunkt der Siedlung. Bereits in den 30er Jahren entstand eine Gesangsgruppe. Im Gasthaus wurden neben Wahlen, Versammlungen, Theater auch Gottesdienste und Taufen abgehalten. Dabei konnte es vorkommen, dass die Wirtin zu den Gästen sagen musste: “Send au ruig, nebedra isch Kirch“.
Gegenüber dem Gasthaus – im ehemaligen Postgebäude Klingel befand sich das Café „Sautter“. Mitte 1935 wurde der Silberberg postalisch von Rutesheim abgetrennt und in eine Poststelle mit Leonberger Zuständigkeit umgewandelt.
Mitte der 30er Jahre wurde auch die Autobahn Stuttgart-Karlsruhe gebaut.
Nach dem Krieg ging es mit der Besiedelung aufwärts und die Baulücken zwischen den einzelnen Häusern wurden geschlossen und Straßen angelegt. Die einst auf Renninger Gebiet liegenden Häuser kamen nach einer Grenzkorrektur nach Leonberg. Die Grenzen zwischen Rutesheim und Leonberg blieben unverändert.
1968 entstand der Kindergarten und die Thomaskirche, finanziert durch beide Nachbarorte.
1963 wurde der Bürgerverein Leonberg-Silberberg gegründet.
1974 wurden die Paulinenstraße und der Finkenweg ausgebaut.
1978 wurde der S-Bahn-Verkehr aufgenommen. Mit der Aufnahme des S-Bahn-Verkehrs musste der beschrankte Bahnübergang beseitigt werden. Die Stadt Leonberg befürwortete eine Überführung der Bahngleise. Nach einer Unterschriftensammelaktion mit knappen 5000 Unterschriften der Bevölkerung konnte dies abgewandt werden und Silberberg bekam eine Unterführung.