Miejscowość posiada zabudowę małomiasteczkową, rozciągniętą wzdłuż stromej doliny. Położona jest na wysokości od około 400 m n.p.m. do około 600 m n.p.m. (najwyższe wzniesienie - Góra warowna 686 m n.p.m.) w głębokiej, wąskiej dolinie oddzielającej Góry Sowie od Gór Bardzkich, gdzie od początku XVIII wieku wydobywano srebro.
Miejscowość powstała w XIV wieku jako osada górnicza wykorzystująca okoliczne złoża srebra. Prawa miejskie uzyskała 25 czerwca 1536 r. na mocy przywileju książąt ziębickich - Joachima,Henryka, Jana i Jerzego II. Po rozkwicie miasta na początku XVI wieku eksploatacja złóż zaczęła być nieopłacalna, w związku z czym po wojnie trzydziestoletniej zaniechano jej, a samo miasto podupadło.
W rezultacie porażki Austrii w pierwszej wojnie śląskiej miasteczko wraz z większością Śląska weszło w skład Prus, a pobliska przełęcz uzyskała pierwszorzędne znaczenie strategiczne dla obrony prowincji przed ewentualnym rewanżem austriackim. W 1765 rozpoczęto tu budowę górskiej twierdzy wraz z koszarami, ukończoną w 1778 r.. Polskojęzyczny dokument z 1750 r. wymienia miejscowość pod nazwą Sylberberga. Również Słownik geograficzny Królestwa Polskiego podaje jedynie nazwę Silberberg, bez słowiańskiego odpowiednika, za to z nazwą łacińską Argyrium. Polską nazwę Srebrna Góra w książce "Krótki rys jeografii Szląska dla nauki początkowej" wydanej w Głogówku w 1847 wymienił śląski pisarz Józef Lompa.
W 1900 r. miasteczko uzyskało dostęp do Kolei Sowiogórskiej, a w 1908 r. do Ząbkowickiej Kolei Powiatowej.
W 1945 r. miejscowość została włączona do Polski. Początkowo nazwano ją Srebrnogóra, potem ustalono nazwę Srebrna Góra, co stanowiło tłumaczenie dotychczasowej nazwy niemieckiej. Nowa administracja zakwalifikowała niewielkie miasteczko do rzędu wsi. W latach 1975-1998 miejscowość położona była w województwie wałbrzyskim.
W 2015 odkryto wejście do nieczynnej sztolni dawnej kopalni srebra.