L'arrivée au pouvoir des nazis en l'Allemagne et la deuxième guerre mondiale ont été la pire période pour les Rroma. Rroma et juifs ont été les seuls groupes ethniques que les nazis allemands ont voué à l'extermination totale. En 1938, Heinrich Himmler a passé une loi appelée « Bekämpfung der Zigeunerplague », littéralement, « bataille contre la peste Tsigane ». Déjà plus tôt, les Allemands avaient arrêté les Rroma allemand, pour la plupart des Sinti, et les avaient expédiés dans des camps de concentration. En Autriche, après l’Anschluss de 1938, beaucoup de Rroma du Burgenland, où ils avaient été forcé de s’établir par Marie-Thérèse ont été également envoyés aux KZs. Ils ont été enfermés dans des camps comme ceux de Dachau, Buchenwald et Ravensbrück en Allemagne, de Mauthausen, de Lackenbach et à Salzbourg en Autriche. Ces Rroma ont été voués à une mort lente par famine et travaux forcés ou simplement supprimés. En 1939, Hitler a envahi la Pologne et en 1941 l'URSS. Beaucoup Rroma vivaient dans ces pays. Les nazis, face a une population beaucoup plus élevée, aussi bien pour les Rroma que les Juifs, ont développé une autre méthode pour s’en débarrasser.
Les « Einsatztruppen » (troupes spéciales) ont simplement assassiné les Rroma la où ils vivaient, dans les villages, les villes, sur la route ou dans les bois. Au contraire des camps de concentration, ces troupes n'ont laissé aucune évidence derrière eux, aucun registre documentant les exécutions. Il est donc très difficile de savoir combien de Rroma ont été tués par ces Komandos. En Pologne occupée, pratiquement immédiatement, les Allemands ont créé de nouveaux camps d’extermination (Vernichtungslager). Dans le plus connu, Auschwitz Birkenau, un Zigeunerlager, camp spécial pour les Tsiganes a été ouvert dès le début. Bon nombre des premiers Rroma qui y sont arrivés ont bâti le camp principal d’Auschwitz. Les Rroma ont aussi été déportés dans le ghetto de Litzmannstadt, un ghetto juif dans la ville polonaise de Lodz. Inutile de dire que dans tous ces camps, plusieurs milliers de Rroma ont été assassinés.
Dans le camp Tsigane à Auschwitz-Birkenau, les registrent fournissent des informations sur les Rroma qui y ont été assassinés : Ils venaient d'Autriche, de Tchécoslovaquie, de France, d'Allemagne, de Hongrie, de Moravie, de Pologne, de Russie entre autres, en bref, de toute les régions occupées par les nazis. Le registre d’Auschwitz contient les noms et d'autres informations sur 20'943 Rroma. Beaucoup d’autres, comme il est maintenant connu, ont été simplement envoyés aux chambres à gaz dès leur arrivée dans le camp sans y être enregistré. Les Rroma polonais chantent encore une chanson au sujet de ces horreurs :
Ils fait rentrer par la porte
Ils nous ont fait sortir par la cheminée.
Les Rroma ont été assassinés aussi dans d'autres camps. Les alliés des nazis, tel que les fascistes croates, les « ustasha » ont suivi l’example allemand. Dans leur camp de concentration de Jasenovac, ils ont exterminé des milliers Rroma de toute la Yougoslavie. En Roumanie, une déportation massive, toujours connue chez les Rroma comme le « transfert » a été entreprise. Les Rroma ont été déportés en Transnistria un territoire ukrainien sous domination roumaine à cette époque, et voués à une mort lente par le travail et la famine. En Bulgarie, beaucoup de Rroma ont été arrêtés dans les villages et les villes et ont été internés dans des camps, côte à côte avec des juifs. Il faut toutefois noter que ces camps étaient des camps d’internement et non d’extermination.
Les chercheurs et historiens qui ont analysé l'holocauste des Rroma durant
la deuxième guerre mondiale disent maintenant qu'un minimum de 500'000 Rroma
ont été assassinés. D'autres avancent le nombre plus élevé de 2'500'000
victimes. La vérité ne sera jamais connue. L’analyse des registres (camps,
exhumations, par exemple dans les pays baltes etc.), rapportent un nombre très
faible de victimes (autour de 200'000). Cette même différence entre le nombre
réel de victimes et le nombre de victimes enregistrées existe aussi dans le cas
des Juifs. Simplement, dans le cas des Juifs, la population d'avant-guerre
était connue, alors que dans beaucoup de pays, un peut seulement deviner la
population Tsigane d'avant-guerre. La chose la plus importante ne devrait pas
être obscurcie par une polémique sur des nombres : Les Rroma ont été assassinés
pour leur appartenance ethnique, de mêmes que des Juifs. Même maintenant, peu
de personnes savent ou ont entendu parler de cet holocauste des Rroma. Il n’y a
plus que quelque Rroma qui ont survécu aux horreurs des camps de concentration
et la plupart d’entre eux ne veulent pas parler de cette période.