Karjalan Sotilassoittokunta perustettiin Polkupyöräpataljoona 2:n soittokunnaksi 1.2.1922 Raivolassa Karjalan kannaksella. Alkuvaiheessa soittokunta oli kooltaan melko pieni ja se koostui lähinnä soitto-oppilaista. Soittokunnan toiminta katkesi pian, kun se vuonna 1928 lakkautettiin monen pienen soittokunnan tavoin sotaväen organisaatiomuutoksen seurauksena.

Polkupyöräpataljoona 2:n soittokunta perustettiin uudelleen Valkjärvellä vuonna 1930 ja sen nimi vaihtui Jääkäripataljoona 2:n soittokunnaksi toukokuussa 1936, kun suomalaiset polkupyöräpataljoonat nimitettiin jääkäripataljooniksi. Soittokunnan toimintaa ennen sotia ja sotien jälkeenkin vaivasi ammattitaitoisen soittaja-alipäällystön puute. Ensimmäiset kapitulantit soittokunta sai vuonna 1934 lakkautetulta Kenttätykistörykmentti 2:n soittokunnalta. Soittokunta oli sijoitettu Valkjärvelle talvisodan alkuun asti, mutta sotatoimien alettua se toimi lyhyitä aikoja mm. Juvalla, Mikkelissä, Pieksämäellä, Kankaanpäässä ja Jyväskylässä.

Välirauhan aikana soittokunta matkasi Jyväskylästä Kuopioon ja sieltä Nurmekseen, jossa siitä tehtiin 10. prikaatin soittokunta helmikuussa 1941. Tämän nimisenä soittokunta toimi koko jatkosodan ajan. Eri alistusten mukaan soittokunta toimi sodan aikana eri puolilla Suomea mm. Repolassa, Suurt-Tiksissä, Vaasassa, Leinissä, Humalaisessa ja lopulta Riihimäellä. Loppusyksyn 1944 soittokunta oli sijoitettu Immolaan, jossa sen nimeksi tuli Jalkaväkirykmentti 7:n soittokunta. Saman vuoden joulukuussa tuli vielä siirto Nurmekseen Jalkaväkirykmentti 3:n soittokunnaksi.

Nurmeksessa soittokuntaa alettiin kutsua Nurmeksen varuskunnan soittokunnaksi ja tämän nimen käyttämistä jatkettiin vielä senkin jälkeen, kun vuonna 1945 rykmentti muutti soittokuntineen Kontiorannan varuskuntaan Kontiolahdelle.
 
Keväällä 1952 jalkaväkirykmentti 3:n soittokunnasta tehtiin erillinen perusyksikkö ja sen nimeksi tuli Kontiolahden varuskuntasoittokunta. Vuoden 1990 alussa soittokunta sai nykyisen nimensä Karjalan sotilassoittokunta, kun varuskuntasoittokunnat alistettiin jälleen joukko-osastoille. Tuolloin karjalan sotilassoittokunnasta tuli osa Pohjois-Karjalan prikaatia.

Karjalan sotilassoittokunnan toiminta Kontiorannassa päättyi Pohjois-Karjalan prikaatin lakkautuksen yhteydessä 31.12.2013 ja sen perinteet siirtyivät Lappeenrannassa toimivan Rakuunasoittokunnan vaalittaviksi.

Jukka Vuolion aineiston pohjalta koonnut Juha Tiensuu

Grigori Jegoroff 1922 - 1924

Robert Rissanen  1924 - 1928

Onni Palomäki 1930

Martti Parantainen 1935 - 1936

Arvo Uro 1936 - 1937

Sulo Lehmuskallio (vs.) 1937 - 1938

Robert Savolainen 1938 - 1945

Armas Nuortti  1944 - 1952

Sulo Lehmuskallio  1952 - 1965

Toivo Liesirova 1965 - 1972

Sauli Junno (vs.) 1972 - 1974

Pekka Repo  1974 - 1979

Sauli Junno (vs.)  1979 - 1981

Eino Härkönen (vs.) 1981 - 1983

Raimo Maaranen  1983 - 1995

Juha Tiensuu  1995 - 2005

Raimo Maaranen   2005 - 2007

Esa Lehtinen (vs.)  2007 - 2009

Petri Junna   2009 - 2013