Uvodni esej romana govori o autorovom rodnom gradu - Salemu, o njegovim precima - puritanskim fanaticima, njegovom radu u salemskim običajima i ljudima s kojima se tamo morao suočiti. "Ni ulazna ni stražnja vrata običaja ne vode u raj", a služenje u ovoj ustanovi ne doprinosi procvatu dobrih sklonosti ljudi. Jednom je, kopajući po papirima nakupljenim u ogromnoj sobi na trećem katu carine, autor pronašao rukopis izvjesnog Jonathana Pugha, koji je umro prije osamdeset godina. Bila je to biografija Esther Prien, koja je živjela krajem 17. stoljeća. Crveni krpa bio je zadržan na papirima, nakon podrobnijeg pregleda pokazalo se da je nevjerojatno izvezen slovom „A“; kad ga je autor stavio na prsa, učinilo mu se da osjeća opekotinu. Otpušten nakon pobjede Whigha, autor se vratio književnim studijama, za koje su mu plodovi rada gospodina Pugha bili vrlo korisni.

Iz bostonskog zatvora dolazi Esther Prien s bebom u naručju. U prekrasnoj haljini koju je sama šivala u zatvoru, na prsima mu je grimizni vez u obliku slova „A“ - prvo slovo riječi Preljubnica (preljubnica). Svi osuđuju Esterino ponašanje i njezinu prkosnu odjeću. Vodi je na tržni trg do platforme, gdje će morati ustati do jedan popodne pod neprijateljskim pogledima gomile - takvu kaznu joj je donio sud zbog njezinog grijeha i zbog odbijanja davanja imena oca svojoj novorođenoj kćeri. Stojeći na stupu, Esther se prisjeća svog prošlog života, djetinjstva u staroj Engleskoj, znanstvenika srednje dobi u lovu s kojim je povezala svoju sudbinu. Gledajući okolo gomilu, ona primjećuje u stražnjim redovima čovjeka koji odmah zavlada njezinim mislima. Ovaj čovjek nije mlad, ima prodoran pogled istraživača i ukočeno leđa neumornog radnika. Pita druge o tome tko je. Iznenađeni su što nije čuo ništa o njoj. Ali on objašnjava da nije ovdje, dugo je porobljen kod pogana, a sada ga je Indijanac doveo u Boston kako bi primio otkupninu. Za njega se priča da je Esther Prien supruga engleskog znanstvenika koji se odlučio preseliti u Novu Englesku. Poslao je svoju ženu naprijed i ostao je u Europi. Tijekom svoje dvije godine u Bostonu, Esther nije primila nikakve vijesti od njega: vjerojatno je umrla. Sudijući sud je uzeo u obzir sve olakšavajuće okolnosti i nije osudio padnu ženu na smrt, već ga je osudio da samo tri sata stoji na peronu kod sramotnog stupa, a zatim nosi znak nečasnosti na svojim prsima do kraja života. Ali svi su ogorčeni što ona nije imenovala sudionika grijeha. Najstariji bostonski svećenik John Wilson nagovara Esther da otkrije ime zavodnika, a slijedi ga mladi pastor Dimsdale, čiji je župnik i bio, razgovarajući s njom prekidanim glasom. Ali mlada žena tvrdoglavo šuti, čvrsto držeći dijete za prsa.

Kad se Ester vrati u zatvor, dolazi joj onaj isti stranac kojeg je vidjela na trgu. On je liječnik i sebe naziva Roger Chillingworth. Prvo smiruje dijete, a zatim daje lijek Ester. Boji se da će je otrovati, ali liječnik obećava da se neće osvetiti ni mladoj ženi ni bebi. Bilo mu je previše samozadovoljno da bi se oženio mladom lijepom djevojkom i čekao da od nje dobije uzajamni osjećaj. Esther je uvijek bila iskrena prema njemu i nije se pretvarala da ga voli. Dakle, obojica su učinili štetu jedni drugima pa čak i. Ali Chillingworth želi znati ime svoje voljene Ester, ime osobe koja je obojici učinila zlo. Ester ga odbija imenovati. Chillingworth se zaklinje da nikome neće otkriti njegovo pravo ime i njenu vezu s njim. Neka svi vjeruju da je njen muž mrtav. On odlučuje, na bilo koji način, otkriti s kime je Ester sagriješila i osvetiti se ljubavniku.

Nakon izlaska iz zatvora, Esther se smjestila u napuštenoj kući na periferiji Bostona i zarađuje za život kao rukomet. Ona je tako vješti vezista da kupcima nema kraja. Sama kupuje samo nužne potrepštine, a ostatak novca dijeli siromašnima, često čujući uvrede umjesto zahvalnosti zauzvrat. Njena kćer Pearl je lijepa, ali ima strastveni i promjenjivi raspoloženje, pa Ester nije lako s njom. Pearl se ne želi pridržavati nijednog pravila. Njezin prvi svjesni dojam bilo je grimizno slovo na Esterinim prsima.

Pečat odbacivanja leži na djevojčici: ona nije poput druge djece, ne igra se s njima. Vidjevši čudnoća djevojčice i očajnicu da sazna tko joj je otac, neki građani smatraju je vražjim mrijestilom. Ester se nikad ne rastaje sa kćerkom i vodi je sa sobom sa sobom. Jednog dana dođu guverneru da vrate na sebe par ceremonijalno izvezenih rukavica. Guvernera nije kod kuće, a čekaju ga u vrtu. Guverner se vraća sa svećenicima Wilsonom i Dimsdaleom. Na putu su razgovarali o tome da je Pearl dijete grijeha i trebalo bi je uzeti od majke i prenijeti u druge ruke. Kad to prijave Esther, ona ne pristaje odustati od svoje kćeri. Pastor Wilson odlučuje otkriti podiže li je Estera u kršćanskom duhu. Pearl, koja zna čak i više od onoga što bi trebalo biti u njenoj dobi, tvrdoglavo i odgovara na pitanje tko ju je stvorio, odgovara da je nitko nije stvorio, majka ju je upravo našla u grmu ruže na vratima zatvora. Pobožna gospoda užasnuta su: djevojka ima već tri godine, a ne zna tko ju je stvorio. Odluče uzeti Pearl od majke, a ona uspijeva zadržati kćer kod kuće samo zahvaljujući zagovoru pastora Dimsdalea.

Znanje medicine i pobožnost stekli su poštovanje ljudi iz Bostona prema Chillingworthu. Ubrzo nakon dolaska izabrao je velečasnog Dimsdalea za svog duhovnog oca. Svi župljani visoko su cijenili mladog teologa i bili su zabrinuti za njegovo zdravlje, koje se posljednjih godina naglo pogoršalo. Ljudi su vidjeli prst Providnosti kad je došao njihov vješt liječnik i inzistirali su da se gospodin Dimsdale obrati za pomoć. Kao rezultat toga, mladi svećenik i stari liječnik sprijateljili su se, a onda se čak i zajedno nastanili. Chillingworth, koji je krenuo u istraživanje Estherinih tajni strogom nepristrasnošću suca, sve više pada pod moć jednog jedinog osjećaja - osvete, kojem se oduzeo cijeli život. Osjetivši žarku prirodu mladog svećenika, želi prodrijeti u skrivene dubine svoje duše i za to se ne zaustavi ni pred čim. Chillingworth cijelo vrijeme provocira Dimsdalea, govoreći mu o nepokorenim grešnicima. Tvrdi da se Dimsdaleova tjelesna bolest temelji na mentalnoj rani i nagovara svećenika da otkrije njemu, liječniku, uzrok njegove emocionalne patnje. Dimsdale uzvikne: "Tko si ti da <...> stojiš između oboljelog i njegova Gospodara?" Ali jednom kad mladi svećenik tijekom dana zaspi u stolici i ne probudi se čak ni kad Chillingworth uđe u sobu. Starica mu priđe, stavi mu ruku na prsa i otkopča odjeću koju Dimsdale nikada nije skinuo u nazočnosti liječnika. Chillingworth pobjeđuje - "tako se Sotona ponaša kad je uvjeren da je dragocjena ljudska duša izgubljena za nebo i pobjeda za pakao." Dimsdale osjeća neprijateljstvo prema Chillingworthu i zamjera sebi zbog nje, ne nalazeći za to razloga, a Chillingworth - "bijedno, usamljeno stvorenje, još jadnije od svoje žrtve" - ​​svim silama pokušava pogoršati Dimsdalelove mentalne muke.

Jedne noći Dimsdale se šeće tržnicom i stoji na stupu. U zoru prolaze Esther Prien i Pearl. Svećenik ih zove, oni se penju na platformu i stoje kraj njega. Pearl pita Dimsdalea hoće li sutra ovdje popodne stajati s njima, ali on odgovara da će na Dan posljednjeg suda svi troje stajati pred prijestoljem velikog suca, ali sada nije vrijeme i danje svjetlo ne bi ih trebalo vidjeti troje. Iznenada zasvijetli tamno nebo - vjerojatno je ovo svjetlost meteora. Oni vide nedaleko od platforme Chillingworth-a koji ih nerazdvojno gleda. Dimsdale kaže Ester da osjeća neizreciv užas pred ovim čovjekom, ali Esther, vezana zakletvom, ne otkriva mu tajne Chillingworth-a.

Godine prolaze. Pearl ima sedam godina. Savršeno ponašanje Ester i njezina nezainteresirana pomoć oboljelima dovode do činjenice da se stanovnici grada počinju odnositi prema njoj s nekom vrstom poštovanja. Čak se i oskudno pismo čini ne simbolom grijeha, nego unutarnje snage. Jednom, dok šeta Pearlom, Esther upoznaje Chillingworth i zadivljena je promjenom koja se u njemu dogodila posljednjih godina. Mirno, mudro lice znanstvenika dobilo je grabežljiv, okrutan izraz, osmijeh ga gleda grimasom. Ester mu govori, ovo je njihov prvi razgovor još od vremena kada je od nje položio zakletvu da ne otkrije njegovo pravo ime. Esther ga moli da ne muči Dimsdalea: patnja koja ga podnosi Chillingworth gora je od smrti. Osim toga, muče ga oči zakletog neprijatelja, čak i ne znajući tko je. Esther pita zašto se Chillingworth ne osvećuje; on odgovara da mu se osvetilo oskudno pismo. Ester moli Chillingwortha da se predomisli, još uvijek se može spasiti, jer ga je ta mržnja od mudre, pravedne osobe pretvorila u vraga. U njegovoj je moći da oprosti, oprost ljudi koji su ga uvrijedili bit će njegov spas. Ali Chillingworth ne može oprostiti, njegova je sudbina mržnja i osveta.

Esther odluči otkriti Dimsdaleu da je Chillingworth njezin suprug. Ona traži sastanak sa svećenikom. Napokon ga upoznaje u šumi. Dimsdale joj govori kako pati od činjenice da ga svi smatraju čistim i besprijekornim, dok se obojao grijehom. Okružen je lažima, prazninom, smrću. Ester otkriva onome koji se krije pod imenom Chillingworth. Dimsdale je bijesan: po Esterinoj krivici on je „ogolio svoju nemoćnu zločinačku dušu pred pogledom onoga koji ju je potajno ismijavao“. Ali oprašta Ester. Oboje vjeruju da je grijeh Chillingworth-a još gori od njihovog grijeha: posegnuo je za svetištem ljudskog srca. Oni razumiju - Chillingworth, znajući da će Esther otkriti Dimsdaleu njegovu tajnu, izmišlja nove spletke. Esther nudi Dimsdaleu da trči i započne novi život. Ona se slaže sa brodom koji otplovi do Bristola da će on ukrcati dvije odrasle osobe i dijete.

Brod bi trebao isploviti za tri dana, a uoči Dimsdalea sprema se pročitati propovijed na dan izbora. Ali osjeća kako mu se um zamaglio. Chillingworth mu nudi svoju pomoć, ali Dimsdale to odbija. Ljudi se okupljaju na pijaci kako bi čuli Dimsdaleovu poruku. Esther u gomili susreće skipera broda Bristol i on je obavještava da će i Chillingworth ploviti s njima. Ona vidi s druge strane Trga Chillingworth koji joj se zlobno smiješi. Dimsdale donosi sjajnu propovijed. Svečana povorka započinje, Dimsdale se odlučuje pokajati ljudima. Chillingworth, shvativši da će to olakšati muke oboljelog, i osjećajući kako se žrtva sklizne s njega, potrči prema njemu moleći ga da ne postidi sramotu zbog njegovog svetog dostojanstva. Dimsdale moli Ester da mu pomogne da se popne na platformu. Stoji na stupu i pokaje se za svoj grijeh pred ljudima. Zaključno, on otkida svećenički šal i izloži prsa. Pogled mu blijedi, umire, njegove posljednje riječi - hvala Svemogućem. Gradom se kreću različite glasine: neki kažu da je na prsima svećenika bilo grimizno pismo - tačna sličnost onoj koju je nosila Esther Prien. Drugi, naprotiv, tvrde da su svećenička prsa bila čista, ali osjećajući približavanje smrti, želio se odreći duha u naručju poginule žene kako bi svijetu pokazao koliko je sumnjiva pravednost većine besprijekorne ljudi.

Nakon Dimsdaleove smrti, Chillingworth, koji je izgubio smisao života, odmah je postao osakaćen, a njegova duhovna i fizička snaga napustile su ga odjednom. Nije prošla ni godina prije nego što je umro. Zavjestio je svo veliko bogatstvo malom Perlu. Nakon smrti starog liječnika, Ester i njezina kći nestale su, a priča o Esther postala je legenda. Mnogo godina kasnije Esther se vratila i opet dobrovoljno stavila amblem srama. Živi sama u svojoj staroj kući na periferiji Bostona. Pearl se, očito, sretno udala, sjetila se majke, pisala joj, slala poklone i bilo bi joj drago kad bi Ester živjela s njom. Ali Esther je željela živjeti tamo gdje se dogodio njezin grijeh - vjerovala je da se i tu treba izvršiti pomirenje. Kad je umrla, sahranjena je pored pastora Dimsdalea, ali između dva groba ostavljen je jaz, kao da čak ni nakon smrti pepeo ove dvojice nije imao pravo da se miješa.