La Shoah rappresenta per Grossman non solo un'esperienza traumatica cruciale sul piano biografico, che ha segnato lo scrittore in modo indelebile (l'uccisione della madre dai nazisti assieme a migliaia di ebrei della città ucraina di Berdicev), ma anche un elemento fondamentale sul piano poetico-letterario, che assume un'assoluta centralità nella produzione narrativa a partire dagli anni quaranta: la Shoah viene descritta a partire dal racconto Staryj ucitel' (Il vecchio maestro, 1943); negli articoli Ukraina bez evreev (Ucraina senza ebrei,1943) e Ukraina (1943); nel celebre saggio letterario Treblinski j ad (L'inferno di Treblinka, 1944); nei diversi contributi e nella prefazione scritti da Grossman per Cernaja kniga (Libra nero,1944-1947, i ed.1980), il volume di testimonianze e di denuncia dei crimini nazisti nei territori dell'Unione sovietica e nei campi di sterminio in Polonia, curato dallo stesso Grossman e da Il'ja Erenburg; nel racconto Sistinskaja Madonna (La Madonna Sistina, 1955); infine, nel romanzo Vita e destino (1950-1960, i ed. 1980), del quale costituisce uno dei nuclei narrativi più importanti, all'interno di una complessa e articolata architettura narrativa che si salda sull'asse portante del parallelismo tra nazismo e stalinismo, e sull'analisi delle dinamiche profonde dei due totalitarismi. Ma i riferimenti alla Shoah non si limitano a queste opere, sono molto più diffusi e pervadono interamente l'opera di Grossman, con una fitta rete di riprese e rimandi presente fino alle ultime opere degli anni sessanta (basti pensare a Vsë tecet [Tutto scorre] e Dobro Vam! [Il bene sia con voi!]). La rappresentazione della Shoah non solo costituisce il nucleo di partenza delle riflessioni sul totalitarismo, ma nel corso degli anni assume anche un ruolo cruciale nel loro percorso di sviluppo. Per comprenderne l'evoluzione, tuttavia, è necessario considerare il contesto sovietico nel quale si manifesta l'impegno di Grossman per la denuncia dello sterminio nazista, un contesto segnato, da un'informazione lacunosa, quando non da un vero e proprio oblio. Durante la guerra le notizie sullo sterminio nei media sovietici erano presenti - sia pure con notevoli variazioni da un periodo all'altro, in relazione ai canali d'informazione e alle diverse lingue - ma molto spesso in una forma distorta, funzionale all'intenzione di non riconoscere la specificità della sorte riservata dai nazisti agli ebrei. Ol'ga Gerstenzon ha sintetizzato i meccanismi nella rappresentazione della Shoah nella cinematografia e ha identificato due strategie principali proprie dell'approccio sovietico: l'universalizzazione, in base alla quale era necessario non enfatizzare la specificità dello sterminio degli ebrei rispetto alle altre violenze compiute dall'esercito tedesco nei confronti della popolazione civile in Urss, e l'esternalizzazione, ovvero una descrizione della Shoah avvenuta fuori dai territori sovietici. Un altro elemento tabù (in realtà comune alle diverse realtà nazionali) era il collaborazionismo: era necessario mettere in rilievo la solidarietà tra i popoli durante l'occupazione e non menzionare il ruolo della popolazione locale nello sterminio degli ebrei in territorio sovietico. Una forma di occultamento più o meno marcato che contemplava diversi artifici, come la sostituzione della parola "ebreo" con l'espressione mirnoe naselenie (popolazione civile), e che è possibile ricostruire innanzitutto analizzando le tracce testuali delle travagliate vicende del Libro nero, progettato durante la guerra, ma proibito nel 1947 dopo complesse vicissitudini redazionali e un serrato confronto con la censura (sarà pubblicato per la prima volta in Israele nel 1980). I segni di una difficile lotta con simili criteri di descrizione, fatta di concessioni, omissioni e abili strategie di elusione, è riconoscibile nei testi di Grossman di tutti gli anni Quaranta.

Nelle opere di quel periodo l'autore utilizza più volte la prospettiva universalizzante, per conformare i suoi scritti di denuncia alla "linea" ufficiale. L'articolo Ukraina, pubblicato in Krasnaja zvezda nel 1943 e poi inserito nella raccolta Godyvojny (Anni di guerra) può essere un esempio di approccio sovietico: vi sono descritte le violenze naziste e la fiera opposizione del popolo ucraino, ma è contenuto un solo, unico cenno alla Shoah nel finale. Solitamente a questo testo viene contrapposto Ucraina senza ebrei - scritto sempre nel 1943, e la cui prima parte è uscita nel giornale Eynikeyt tradotta in yiddish, mentre il testo è stato pubblicato interamente solo nel 1990 sulla base del manoscritto - nel quale invece lo sterminio degli ebrei ucraini rappresenta il tema centrale e la rappresentazione della Shoah (in particolare nelle lunghe elencazioni delle vittime, che procedono con un ritmo dal respiro biblico) sembra anticipare le descrizioni presenti nell'Inferno di Treblinka e, in seguito, in Vita e destino. Se si considerano attentamente i due testi, tuttavia, si scopre che il confronto con l'impostazione sovietica avviene in modo più complesso. In Ukraina, dopo aver aderito nella sua descrizione al quadro interpretativo ufficiale di negazione della specificità ebraica dello sterminio, Grossman conclude però ricordando il celebre massacro di Babij Jar (fra il 29 e il 30 settembre del 1941 furono uccisi a Babij Jar, allora nei dintorni di Kiev, 33.771 ebrei; l'autore ha solo notizie indirette, poiché il luogo nell'ottobre del 1943 è ancora occupato dall'esercito nazista), che diventerà in seguito il simbolo della Shoah in Urss e della lotta contro la rimozione della memoria. L'articolo si chiude con l'immagine del rogo dei corpi di Babij Jar, che acquisisce in modo inaspettato un'assoluta rilevanza nel testo: "Le persone venute da Kiev raccontano che i tedeschi hanno circondato con un cordone militare l'enorme fossa di Babij Jar, dove vennero gettati i corpi dei 50.000 ebrei uccisi a Kiev alla fine di settembre del 1941. I tedeschi diseppelliscono febbrilmente i cadaveri, li bruciano. Davvero sono così pazzi da sperare di coprire la propria spaventosa traccia? Questa traccia è marchiata per sempre con le lacrime e il sangue dell'Ucraina. Arde nella notte più nera". In modo per certi versi complementare, in Ucraina senza ebrei la denuncia della Shoah, pur evidente, sembra almeno in parte legarsi alla narrazione ufficiale, attraverso l'inserzione di un brano che descrive la distruzione del paese di Kozary e il massacro dei suoi abitanti, sospettati di aver aiutato i partigiani: "Ma ci sono in Ucraina paesi dove non si sentono lamenti, dove non si vedono occhi che piangono, dove regnano il silenzio e la pace. In uno di questi paesi sono andato due volte: la prima volta il 26 settembre, la seconda volta il 17 ottobre del 1943. E' il paese di Kozary, sulla vecchia strada di Kiev tra Nelinyj e Kozelec. La prima volta ci sono stato di giorno, la seconda in una triste sera d'autunno. Ed entrambe le volte il silenzio e la pace regnavano a Kozary - la pace e il silenzio della morte. Settecentocinquanta case sono state bruciate qui dai tedeschi prima di Pasqua, settecentocinquanta famiglie sono state bruciate in quelle case. Nessuno è sopravvissuto al fuoco, né un bambino, né una vecchia, nessuno è uscito vivo dal fuoco. Così i fascisti hanno punito un paese che aveva offerto riparo ai partigiani. Nel luogo dell'incendio sono cresciute alte erbacce polverose, i pozzi si sono riempiti di sabbia, gli orti si sono coperti di piante selvatiche, e solo qua e là fa capolino tra le erbacce un fiore da giardino ormai quasi appassito. E mi è venuto in mente che proprio così come tace Kozary, tacciono in Ucraina gli ebrei. In Ucraina sono scomparsi".

Il brano presenta evidenti analogie con L'inferno di Treblinka, in particolare nella descrizione della vegetazione che ricopre ciò che rimane del lager e rivela come l'adesione formale alla linea ufficiale nasconda in questo caso un coinvolgimento emotivo autentico, sottolineato dalla profonda consonanza anche nel ritmo e nel respiro biblico (ad esempio nelle ripetizioni anaforiche) del tutto in linea con la descrizione della Shoah nell'articolo. Anche in Ukraina viene ricordato l'episodio, ma in modo decisamente più asciutto: "Ho visto il paese di Kozary, tra Nelinyj e Kozelec, dove sulla cenere nera si ergono delle croci. Qui vennero condotti a forza nelle izbe e bruciati migliaia di vecchi, donne e bambini. Le croci sono state piantate dai parenti nei luoghi degli incendi, dove giacciono i resti bruciati delle vittime". In nome dell'impegno di raccontare al lettore sovietico la Shoah, Grossman si confronta abilmente con i limiti della narrazione ufficiale, non solo scendendo a compromessi, ma anche elaborando sapienti strategie di aggiramento dei limiti imposti. Nel caso del Libro nero, il confronto diventa una vera e propria lotta con gli organi di censura per ottenere l'autorizzazione alla pubblicazione. Grossman, evidentemente consapevole che nei saggi del Libro nero erano contenuti riferimenti ad argomenti tabù - il libro in sé è riferito allo sterminio degli ebrei e non a quello di tutti popoli sovietici, e vi sono narrati diversi episodi di collaborazionismo - scrive una prefazione che contiene una sorta di sintesi della linea ufficiale sovietica sulla Shoah: il disegno di sterminio dei nazisti non riguardava solo gli ebrei, ma tutte le popolazioni sovietiche; l'auctoritas citata per riportare una definizione di antisemitismo è lo stesso Stalin. La strategia dello scrittore, va detto, non avrà comunque successo, ma il (re)censore del volume, G.F. Aleksandrov, vicedirettore del Dipartimento agitazione e propaganda del Comitato centrale, nella sua relazione a Zdanov sul Libro nero del 3 febbraio 1947 si sofferma espressamente sul testo di Grossman e sembra riconoscerne almeno in parte il merito: "Nella prefazione scritta da Grossman si afferma che l'annientamento degli ebrei rispondeva a una particolare politica di provocazione, che i tedeschi avevano stabilito di procedere allo sterminio dei popoli dell'Unione sovietica in una certa sequenza. Tuttavia, il contenuto del libro non conferma questo". Prendendo come riferimento il tema del collaborazionismo, è possibile ad esempio riconoscere nel corso degli anni una precisa evoluzione nei testi grossmaniani sulla Shoah. Se negli articoli Ukraina e Ucraina senza ebrei manca un riferimento al collaborazionismo, nel racconto Il vecchio maestro, il tema è invece presente, ma declinato sul piano ideologico. Il giovane Jaka Michajljuk, che diventerà uno dei poliziotti ucraini al servizio dei nazisti, è raffigurato come un nemico sociale; è infatti il figlio di un kulak e un disertore, che esce dal suo nascondiglio appena arrivano i tedeschi: "Poi Jaka, ubriaco, decise di ripulire il suo appartamento; fino al 1936, infatti, tutto il piano inferiore era occupato dai Michajljuk.

Dopo la deportazione di suo padre, due camere erano state occupate da Voronenko con la moglie, e durante la guerra il Soviet cittadino aveva trasferito nella terza stanza la famiglia del sottotenente Vajsman, evacuata da Zitomir". Malgrado lo schematismo ideologico, il racconto ha un'importanza cruciale, è una delle prime rappresentazioni delle fucilazioni di massa degli ebrei nei territori dell'ex Urss e contiene sia pure in nuce alcuni temi e riflessioni che si discostano dall'orientamento ufficiale e che si possono riconoscere nelle opere successive (basti pensare alle analogie tra il protagonista del racconto, l'anziano maestro Boris Rozental' e Anna Strum in Vita e destino). Nell'Inferno di Treblinka, invece non si fa cenno alle guardie ucraine del lager, sono menzionati solo i tedeschi, con l'eccezione di un unico riferimento, connotato attraverso l'utilizzo del criterio della nazionalità: Sviderskij, un carnefice del campo, viene definito come "tedesco di Odessa". Nel saggio Ubijstvo evreev v Berdiceve (L'uccisione degli ebrei a Berdicev) contenuto nel Libro nero, Grossman, descrive apertamente il tema del collaborazionismo nella scena in cui gli ebrei attraversano la città dirigendosi verso l'aerodromo, luogo del massacro: "La scena di questo movimento di una folla formata da migliaia di donne, bambini, vecchie e vecchi, era così terribile che ancora oggi i testimoni, quando raccontano e ricordano, impallidiscono e piangono. La moglie del sacerdote Gurin, che abitava con il marito in una casa situata proprio sulla strada lungo la quale le persone venivano condotte all'esecuzione, quando vide queste migliaia di donne, bambini, vecchie e vecchi che chiedevano aiuto, e riconobbe tra loro decine di suoi conoscenti, perse la ragione e per alcuni mesi rimase in stato di shock. Ma allo stesso tempo c'erano persone indegne e criminali, che ricavavano vantaggi materiali dall'immane tragedia, persone assetate di guadagno, pronte ad arricchirsi a spese delle vittime dei tedeschi. I poliziotti, i membri delle loro famiglie, le amanti dei soldati tedeschi e altre persone indegne si precipitarono a saccheggiare gli appartamenti abbandonati". La seconda parte del brano sarà poi eliminata nel 1947 assieme ad altri riferimenti analoghi nel tentativo di far passare il volume attraverso le maglie della censura. Il tema del collaborazionismo troverà invece ampio spazio in Vita e destino, con riferimento sia al ruolo della popolazione locale di fronte alle fucilazioni di massa degli ebrei nei territori sovietici, sia alle guardie del lager. Nella celebre lettera al figlio Viktor di Anna Strum, rinchiusa nel ghetto dai nazisti, sono contenuti molti riferimenti all'antisemitismo e al collaborazionismo nelle sue diverse forme: "Quella stessa mattina i tedeschi mi hanno ricordato ciò che avevo dimenticato negli anni del potere sovietico: che sono ebrea. I tedeschi passavano sui camion e gridavano: 'Juden Kaputt!'. Poi me lo hanno ricordato anche alcuni vicini. La moglie del portinaio stava sotto la mia finestra e diceva a una vicina: `Grazie a Dio, per i giudei è la fine'. Com'è possibile? Suo figlio è sposato con un'ebrea, e la vecchia andava a trovarli, mi raccontava dei nipoti...".