Koncentrační tábor Lety byl zřízen na okraji stejnojmenné obce v okrese Písek na základě vládního nařízení č. 72 o kárných pracovních táborech ze dne 2. března 1939, tedy dva týdny před obsazením republiky, nařízením ministra vnitra protektorátní vlády Josefa Ježka ze dne 15. července 1940. Stavba tábora začala 17. července, dodatečné svolení ke zřízení tábora dal říšský protektor von Neurath 27. července. Později k Letům přibyl cikánský tábor v Hodoníně u Kunštátu. Tábory podléhaly kriminálním ústřednám v Praze a v Brně, velitelem Letů byl jmenován četník Josef Janovský, personál sestával z českých četníků a úředníků a z dozorců rekrutovaných z přilehlých obcí. Svědci shodně vypovídají, že se Němci v táboře s výjimkou přípravy deportace do Osvětimi nevyskytovali.
24. června 1942 nařídil protektorátní ministr vnitra Richart Bienert provedení soupisu českých a moravských Cikánů na základě soupisu „potulných cikánů“, provedeného již mezi 1. červencem 1928 a 15. srpnem 1929, a jejich deportaci do táborů v Letech a Hodoníně. Soupis a deportace proběhly v průběhu prvních dnů srpna 1942. Odsud vede jen cesta do nebe, vítal zde deportované Josef Janovský půl roku předtím, než se k fyzické likvidaci Romů rozhodla berlínská vláda.
Internací v Letech prošlo celkem 1309 registrovaných osob, dalších více než 1300 prošlo táborem v Hodoníně u Kunštátu. Podmínky v táborech byly mimořádně nelidské a řada svědků je charakterizuje jako horší než v Osvětimi. Týrání hladem, zimou a bitím až k smrti bylo výslovně nařízeno českým ministerstvem vnitra. V Letech zemřelo či bylo ubito nejméně 326 osob, v Hodoníně 194, z toho část v důsledku tyfové epidemie, způsobené katastrofálními hygienickými podmínkami a vysílením. Z 30 evidovaných, v táboře narozených dětí přežilo osm, podle některých svědectví byla novorozeňata hned po narození topena v kádi s vodou a vyhazována do táborové latríny.
V prosinci 1942 rozhodla berlínská vláda postavit Cikány na stejnou úroveň s Židy a 16. prosince 1942 Himmler nařídil deportace cikánských míšenců, romských cikánů a příslušníků balkánských cikánských kmenů neněmecké krve. Prvních 94 dospělých bylo deportováno 3. prosince ještě podle vládního nařízení o prevenci kriminality, další deportace zdržela tyfová epidemie. Na zásah Jiřího Letova z protektorátního ministerstva vnitra a německých policejních orgánů byl Josef Janovský pro neudržitelnost poměrů v táboře odvolán a nahrazen Štefanem Blahynkou z tábora v Hodoníně. V březnu až květnu 1943 se uskutečnily deportace do Osvětimi-Březinky, kde byla většina deportovaných v noci z 2. na 3. srpna 1944 zplynována. Zbylých asi 200 osob bylo z Letů propuštěno či přemístěno do jiných zařízení.
6. srpna 1943 byl tábor Lety oficiálně uzavřen.
Genocida českých a moravských Romů a Sinti byla pravděpodobně nejdůsledněji provedenou genocidou 2. světové války. Z internovaných v Letech ji přežilo asi 300 osob. Bezprostředně po válce se stala předmětem několika trestních řízení. Jejich výsledkem bylo potrestání nejsurovějšího dozorce Josefa Lunáčka důtkou. Po únoru 1948 bylo vyvraždění Romů a Sinti postupně zapomenuto a v 70. letech byla na místě tábora zřízena velkovýkrmna vepřů.
Historii tábora Lety v roce 1992 náhodně objevil americký genealog Paul Polansky a na jistou dobu tím vyvolal bouřlivou diskusi, jejímž výsledkem bylo odkrytí památníčku 13. května 1995 za účasti prezidenta Václava Havlaa vyplacení malého odškodného dosud žijícím obětem. V roce 1997 vydalo nakladatelství G plus G historii tábora A nikdo vám nebude věřit od německého historika Murkuse Pape a v roce 1998 knihu rozhovorů od Paula Polanskyho se svědky a přeživšími Tíživé mlčení, jedno z nejúděsnějších svědectví o zločinech z období války. V české interpretaci, reprezentované především historikem Ctiborem Nečasem, byly Lety nacistickým pracovním táborem a ti, kteří zde nezemřeli na tyfus, byli deportováni do Osvětimi.
Češi mají velký památník v Lidicích pro jejich mrtvé z války. To je proto, že chtějí mít památník proti Němcům. Ale my nemáme žádný náš památník, protože nás nezabíjeli Němci. Nás zabíjeli Češi. – Eduard Čermák, syn vězňů, kteří Lety přežili.
Velkovýkrmna vepřů stojí na místě tábora v Letech dodnes.
