Karl Roos stammte aus Surburg im Niederelsass. Nach dem Studium der Germanistik und dem Doktorat der Philosophie nahm er am Ersten Weltkrieg teil, in dem er die zweite Klasse des Eisernen Kreuzes erwarb.
Nach seiner Rückkehr ins Elsass wurde er 1924 zum Inspektor für die neu eingerichteten französischen Domanialschulen im Saargebiet ernannt. Diese Schulen galten im unter Völkerbund-Verwaltung stehenden Saargebiet als Hauptwaffe der französischen Assimilierungspolitik.
Ab 1926 war Roos Mitarbeiter der in Zabern erscheinenden autonomistischen Zeitung „Die Zukunft. Unabhängige Wochenschrift zur Verteidigung der elsaß-lothringischen Heimat- und Volksrechte“, die von Eugen Ricklin gegründet worden war.
1927 wurde er Generalsekretär des „Elsaß-Lothringischen Heimatbundes“ und gründete mit anderen die „Autonomistische Landespartei für das Elsass“. Diese forderte eine elsass-lothringische Volksvertretung mit gesetzgebenden Befugnissen, wie sie Elsass-Lothringen ab 1911 als deutsches Reichsland besessen hatte.
Im sogenannten Colmarer Komplott-Prozess wurde er 1928 einer Verschwörung gegen die Staatssicherheit bezichtigt und in Abwesenheit zu 15 Jahren Haft verurteilt. Nach seiner Rückkehr ins Elsass wurde er verhaftet. Noch während der Untersuchungshaft wurde Roos über die „Heimatfront“ in den Straßburger Stadtrat gewählt und dieser wählte ihn zum Bürgermeister. Er verzichtete jedoch zugunsten des Kommunisten und Autonomisten Charles Hueber auf dieses Amt. In einem Revisionsprozess wurde Roos vom Vorwurf des Hochverrats freigesprochen.
Roos setzte sich zusammen mit dem Herausgeber der „Zukunft“ und Gründungsvorsitzenden des Elsaß-Lothringischen Heimatbunds Eugen Ricklin in den 1920er und 30er Jahren für die Autonomie seiner elsässischen Heimat und gegen die zentralistischen und laizistischen Bestrebungen der französischen Regierung ein und konnte die Beibehaltung des Konkordats erreichen.
Nach dem Münchner Abkommen von 1938 wurde Roos am 4. Februar 1939 verhaftet und in das Militärgefängnis von Nancy gebracht. Er wurde denunziert, Unterstützungszahlungen aus Deutschland erhalten zu haben, am 26. Oktober von einem Militärgericht wegen Hochverrats zum Tode verurteilt und am 7. Februar 1940 bei Nancy exekutiert. Beweise gab es keine.
