Jeho pôvod by sme mohli hľadať v latinských molosoch, ktoré ako bojovné psy prišli spolu s rímskymi légiami na územie Nemecka v čase rozširovania Rímskej ríše. Využitie mali ako strážne a vedúce psy pre veľké stáda dobytka, či kôz, ktoré so sebou na veľké záťahy brali. Rímske légie vo veľkých počtoch mužov sa nespoliehali na obživu na mieste, ale brali si mäso so sebou. Psov, ktorí mali silu a výborné schopnosti s udržiavaním zvierat privážali z východných oblastí, ktoré boli typické pre výskyt molosoidných mohutných a svalnatých psov. Aspoň to píše odborná literatúra, ktorá má na šťastie v histórii tohto plemena jasno.
Tieto psy sa dobre krížili s miestnymi pastierskymi psami. Výborné bojovné gény s dobrou stavbou tela a k tomu gény miestnych psov asimilovaných na podmienky hôr s inštinktami psa pomáhajúceho pri práci a ohľaduplného. Ešte počas stredoveku nebolo ničím neobvyklým využívať rotvajlera na lov medveďov. Mohutné medvede so silou v rotvajleroch nevedeli celkom poradiť, no samozrejme trpeli aj zvieratá. Pôvodne sa novo vzniknuté plemeno volalo dobytkárskym psom, no keďže ku kríženiu a v podstate tak šľachteniu nastalo v okolí mesta Rottweil v nemeckom Wurtenbergu, získal tento názov začiatkom minulého storočia. Jeho súčasný názov je skrátenina označenia mesta ako aj pojmu „mäsiar“. Od toho bolo aj zastaralé označenie „mäsiarsky pes“. Práve v tom období sa aj z neho stal oficiálny policajný pes, plemeno použiteľné pri policajnej práci a na útok. Stalo sa tak v roku 1910 a najväčšiu slávu si rotvajler získal keď pomáhal pri zatknutí skupiny námorníkov, ktorí sa v krčme nevedeli vpratať do kože. Ich zadržanie pri ktorom výrazne pomohol práve rotvajler sa stalo dobovou senzáciou a o rotvajlerov zrazu stúpol záujem.V súčasnosti je Rottweiler a teda Rotvajler zaradený aj medzi bojovné plemená pre jeho nesmiernu silu a stavbu tela, z ktorého ide rešpekt už na pohľad. Pes si tento rešpekt uvedomuje. Najčastejšie ho vyhľadávajú mladí a ambiciózni chovatelia, majetnejší ľudia, ktorí sa snažia svoj vlastný rešpekt doplniť tým psím. Vo filmoch si ho súčasná tvorba uvedomuje len ako bezohľadné, alebo hlúpe plemeno.
Pred druhou svetovou vojnou bolo toto plemeno stále menej známe. Nacisti ich používali menej ako ovčiakov. Do Poľska sa napríklad rotvajler dostával len veľmi pomaly. Choval sa len výnimočne a ojedinele. V sedemdesiatych rokoch sa do krajiny dostali prvé „papierové“ psy na oficiálny chov a tento trend ďalej pokračuje aj v rámci celej Európy. Aj do Československa, kde sa rotvajler objavil skôr než v Poľsku, prichádzali z Nemecka a tešili sa už za socializmu ojedinelej ale za to intenzívnej popularite.
Prvé kluby združujúce chovateľov a rotvajlery
Prvý klub chovateľov rotvajlera vznikol v Nemecku v januári roku 1907 pod názvom Deutscher Rottweiler Klub, čiže Nemecký rotvajler klub s 500 psami. O tri mesiace neskôr vznikol Juhonemecký rotvajler klub s 3000 psami. V roku 1935 plemeno uznal aj Americký kynologický klub.