Dalszy rozwój miasta przerwał wybuch II wojny światowej. Rybnik i cały powiat rybnicki stanowiły pierwszy cel okupanta, gdyż “wcinał” się on w głąb Trzeciej Rzeszy. Rybnika broniły kompanie kapitana Kotucza i Ogrodowskiego dysponujące karabinami maszynowymi. Miasto nie mogło liczyć na pomoc z zewnątrz, gdyż w godzinach południowych całe miasto zostało już otoczone przez Niemców, a obrońcy zostali wzięci do niewoli. Duża część ludności Rybnika już pierwszego dnia wojny zmieniła język polski na niemiecki (który w owych czasach był doskonale znany - Górny Śląsk dopiero od kilku lat był w Polsce), polskie flagi zmieniano na hitlerowskie swastyki. Niemniej jednak w czasie II wojny światowej w powiecie rybnickim oraz okolicach działały tajne organizacje niepodległościowe: Śląska Chorągiew Harcerstwa Polskiego, Organizacja Orła Białego, Polska Organizacja Powstańcza, Polska Tajna Organizacja Powstańcza, Tajna Organizacja Niepodległościowa oraz największa z nich Służba Zwycięstwu Polski (SZP). Na bazie SZP powołano w 1940 Związek Walki Zbrojnej, który w lutym 1942 przemianowano na Armię Krajową.
W Rybniku powstał Inspektorat Armii Krajowej podzielony na obwody: Rybnik, Pszczyna, Wodzisław Śląski i obwód zewnętrzny raciborsko-kozielski. Od marca 1942 inspektoratowi w Rybniku, został podporządkowany podinspektorat w Cieszynie z obwodami: Cieszyn, Jabłonków i Karwina. W inspektoracie zajmowano się działalnością wywiadowczą, działalnością dywersyjno-sabotażową, kolportowaniem tajnych pism tj. “Zew Wolności”, “Nad Odrą czuwa straż”. Partyzantkę w Inspektoracie w głównej mierze tworzyły osoby, którym okupant zagrażał: powstańcy śląscy, dezerterzy z armii niemieckiej, uciekinierzy z obozów jenieckich, robót przymusowych, więzień i obozów koncentracyjnych.
Dzięki siatce wywiadowczej Inspektoratu o kryptonimie “August” uzyskiwano informacje na temat działalności wojskowej oraz cywilnej okupanta. W obwodzie raciborsko-kozielskim dokonano rozpoznania obrony przeciwlotniczej i produkcji zakładów. Informacje te zostały przekazane aliantom. Siatka działała od marca 1942. W styczniu 1943 została rozbita - hitlerowcy aresztowali 97 osób. Rybnicki Inspektorat Armii Krajowej działał, aż do kwietnia 1945, kiedy zakończono działania wojenne na terenach Śląska.
Na początku 1945 Wehrmacht tracąc swe pozycje na Górnym Śląsku i przewidując walki ewakuował mieszkańców Rybnika w stronę Raciborza. Armia Czerwona rozpoczęła natarcie na Rybnik 11 marca 1945. Po wyzwoleniu mieszkańcy wracali do miasta dopiero 30 marca 1945, natomiast rybniccy Niemcy osiedlili się w Niemczech. Zniszczone było 25% zabudowy miasta.