Název obce Vysoká Srbská se odvozuje od potoka Srbská, který je poprvé připomínán v roce 1254, kdy tvořil hranici mezi polickým panstvím a panstvím rytíře Hrona z Náchoda. Dle jedné verze pochází toto označení od lužických Srbů, dle druhé od srpu, který se používal při kosení zdejších strání. Samotná ves se v pramenech objevuje v roce 1406 jako součást polického panství řádu benediktinů. V této době se ovšem rozeznávala tzv. Malá neboli Menší Srbská, která byla oddělena potokem Srbskou a náležela k polickému panství. Tato osada později splynula s Vysokou Srbskou. V 15. století byla obec sídlem manství, což potvrdil v roce 1494 kníže Jindřich Minstrberský. Ten listinou z 28. července 1494 obnovil držení manství pro Matěje Šubíře z Chobyně, jehož rod v Srbské hospodařil až do roku 1636. Od 16. století patřila již Srbská kompletně k náchodskému panství. Na přelomu 16. a 17. století Vysoká Srbská čítala 7 statků a 13 zahrad. Třicetiletá válka napáchala v obci značné škody, které způsobily i značný úbytek obyvatelstva. Po válce probíhala ve zdejším kraji rekatolizace. Obec patřila pod obvod fary v Hronově. Období druhé poloviny 17. století a první poloviny 18. století bylo pro místní obyvatele dobou zvýšeného útlaku ze strany náchodské vrchnosti, což vedlo k řadě menších povstání. Obec zasáhla i sedmiletá válka, kdy v roce 1758 Srbskou protáhl se svým vojskem pruský král Bedřich. Roku 1794 čítala Vysoká Srbská 45 domů a 344 obyvatel, přičleněná obec Sedmákovice 10 domů a 45 obyvatel, Zlíčko pak 15 domů a 130 obyvatel. Srbská byla přiškolena k obci Žďárky, v roce 1793 se však obyvatelům Vysoké Srbské podařilo prosadit, aby učitel vyučoval půl dne ve Žďárkách a půl dne v Srbské za poplatek od místních obyvatel.
Revoluční události roku 1848 způsobily rozpad starého feudálního systému panství v Rakouském císařství, takže se Vysoká Srbská stala v roce 1849 samostatnou obcí s vlastním úřadem. Územně podléhala v letech 1850 až 1938 okresnímu úřadu Broumov, jen v letech 1855-1868 spadala pod smíšený okresní úřad Police nad Metují.
Válka v roce 1866 se Srbské příliš nedotkla, pouze zpočátku procházely obcí menší oddíly rakouské armády, které konaly hlídkovou službu na hranicích s Kladskem. Od 70. let 19. století se kraj začal industrializovat, zejména díky budování železniční trati Choceň – Broumov v letech 1873-1875, jejíž stavba byla dle kroniky pro místní zajímavou atrakcí. Nicméně samotné obce se průmyslový rozvoj příliš nedotkl a pouze malá část obyvatel nalezla zaměstnání v rodícím se textilním průmyslu, který se rozvíjel v nedalekém Hronově a přilehlých obcích. V roce 1882 byl v obci založen sbor dobrovolných hasičů. Byla pořízena přenosná stříkačka a dvě pumpy. Sbor se však potýkal s nekázní členů a neochotou účastnit se pravidelných cvičení. Roku 1902 hrozil spolku úplný zánik, neboť měl pouze pět členů. Roku 1904 zachvátil obec veliký požár, kterému padlo za oběť 7 domů. Jedním z nich byl i dům čp. 32, ve kterém bydlel starosta Martinec. Ten s velkou obětavostí zachránil před zničením obecní archív a nejstarší obecní knihy. Toto neštěstí se stalo impulzem k novému rozvoji hasičského sboru, který prokázal svoji důležitost při ochraně obce, pod vedením řídícího učitele Václava Chmelaře.
Pro posílení českého národního povědomí v oblasti pohraničí byl v roce 1901 založen v obci místní odbor Národní jednoty Severočeské. Tento odbor se stal pořadatelem společenských událostí (zejména ochotnických divadelních představení), které se odehrávaly v místním hostinci na improvizovaném jevišti. Kromě toho pořádal odbor také výlety a oblíbené taneční zábavy a masopustní merendy. V roce 1913 byl v obci založen místní odbor TJ Sokol, který kromě tělovýchovné práce dbal i na vybudování obecní knihovny. Tento zdárný vývoj spolkového života v obci byl přerušen vypuknutím I. světové války, kdy byla řada členů Sokola odvedena na frontu. Po válce byla činnost spolků obnovena a nastal nový rozvoj společenského života v obci. Odbor Národní jednoty Severočeské dokonce v roce 1929 uspořádal divadelní představení v přírodě, členové Sokola pro změnu organizovali vzdělávací přednášky a v roce 1927 v obci uspořádali župní sokolský slet.
Kvůli pohnutým událostem roku 1938 a zejména kvůli odtržení československého pohraničí mnichovským diktátem byla obec vzhledem k tomu, že zde nebylo žádné německé obyvatelstvo, přičleněna k okresu Náchod. Následovalo tragických šest let nacistické okupace. V květnu 1945 se na výzvy českého rozhlasu přihlásilo ve Vysoké Srbské 26 dobrovolníků na pomoc českému povstání. Jejich činnost se však omezila na hlídkovou službu v nedalekém Hronově a přímo do osvobozovacích bojů přes obrovské nadšení nezasáhli. V květnu 1945 byl také ustaven místní národní výbor s působností pro Vysokou Srbskou, Sedmákovice a Závrchy. Po válce z obce v rámci dosídlení odešlo do pohraničí 75 osob. Na druhou stranu do Vysoké Srbské přišla řada uprchlíků z Kladska. Obec byla po válce přičleněna zpět k okresu Broumov, od 1. 2. 1949 byla ke spokojenosti většiny občanů přičleněna definitivně k okresu Náchod. V roce 1957 bylo v obci založeno JZD.