Suure luuletaja Jeffrey Asperni teadlane tuleb Veneetsiasse kohtuma oma endise väljavalitu Juliana Borderoga, kes elab oma vallalise õetütre Tiinaga suures majas ega suhtle kellegagi. Julianal on Asperni kirju, mida loo kangelane tahab haarata, kuid ta varjab neid kõigi eest ja nurjab kõik Asperni biograafide ja austajate katsed teda tundma õppida. Teades, et ta elab vaesuses, otsustab kangelane rentida temalt mitu tuba. Kirjade hankimise ideest kinnisideeks on ta eesmärgi saavutamiseks valmis end vennatütre taha lohistama. Tema vana sõber proua Perst, kellega ta oma plaane kontrollib, hüüatab: "Oh, vaata teda kõigepealt!" Et mitte Juliana kahtlust äratada, ilmub kangelane majja ameeriklasest rändurina, kes soovib aiaga korterit üürida, Veneetsias on aed haruldus. Tina aktsepteerib teda pelgliku hämminguga, kuid kangelase viisakus, tema enesekindlus ja lubadus aed korda seada viivad neiu tädiga rääkima. Uppuva südamega ootab kangelane kohtumist legendaarse Julianaga, kelleks osutub kahtlane ja ahne vana naine, keda raha kõige rohkem huvitab. Ta nõuab kangelaselt tubade eest ülikalli lõivu ja ta isegi kardab, et sellega nõustudes reedab ta ennast: ükski tavaline rändur ei maksa nii palju. Kuid veendudes, et rahast rääkides unustab Juliana kõik maailma, unistab kangelane. Juliana demonstreerib uhkusega oma võimet ettevõtlusele ebapraktilise ja abituse Tina ees. Ta pühendab Tiinale raha, jumaldades teda ja hoolitsedes tema eest ustavalt. Õetütar on kangelasele sümpaatne ja ta loodab leida temast abilise. Kangelane astub elama Juliana juurde, kuid poolteist kuud elust majas näeb ta Tiinat vaid korra - kui ta raha toob, kuid ei näe kunagi Julianat. Ta palkab aedniku ja loodab maja perenaised kätte saada, saates neile lillekimpe. Kord, sobival tunnil koju naastes, kohtub ta aias Tiinaga. Kangelane kardab, et ta häbistas teda oma välimusega, kuid tal on teda hea meel näha, ja see osutub ootamatult väga jutukaks. Ta proovib Tiinalt Asperni kohta küsida ja tunnistab lõpuks, et tegeleb oma tööga ja otsib tema kohta uusi materjale. Tina lahkub ehmunult. Sellest ajast alates on ta kangelast vältinud. Siis aga kohtub ta ühel päeval Tiinaga suures saalis ja naine kutsub ta Julianaga vestlema. Kangelane on mures, kuid Tina sõnul ei öelnud ta Julianale tema huvi Asperni vastu midagi. Juliana tänab kangelast lillede eest ja ta lubab neid nüüdsest saata. Kangelane üritab alati ahnetes vanades naistes endise Juliana - Asperni inspireerija - nägu välja ajada, kuid näeb ainult vana vana naist, kes varjab silmi koleda rohelise visiiri all. Juliana soovib, et kangelane lõbutseks õetütart ja ta on nõus meelsasti temaga linna peal jalutama. Ei ole rikutud Tina tähelepanu poolt kangelasele üha enam. Ta räägib talle ausalt kõike, mida ta Asperni kirjadest teab, kuid teab ainult, et need on olemas. Ta pole nõus Juliana kirju võtma ja kangelasele andma - sest see tähendaks tädi reetmist. Kangelane kardab, et Juliana ei hävitaks kirja. Juliana pakub kangelasele nende majas viibimise pikendamist, kuid ta on juba nii palju raha kulutanud, et ei saa enam nii kallilt eluaseme eest maksta. Ta nõustub mõistliku hinnaga, kuid kangelane ei taha kuus kuud ette maksta ja lubab maksta igakuiselt. Justkui kangelase kiusamiseks näitab Juliana talle miniatuurset portree Aspernist, kes peaks väidetavalt müüma. Kangelane teeskleb teadvat, et ei tea, kes see on, kuid talle meeldib kunstniku oskus. Juliana ütleb uhkusega, et kunstnik on tema isa, kinnitades sellega kangelase kahtlust tema päritolu kohta. Ta ütleb, et vähem kui tuhande naela eest ei jaga ta portreega. Kangelasel pole sellist raha, lisaks kahtlustab ta, et tegelikult ei kavatsnud ta portree müüa.
Mõni tund hiljem haigestub Juliana ja Tina kardab, et ta sureb. Kangelane üritab Tiinalt teada saada, kus Juliana Asperni kirju hoiab, kuid Tiinas võitlevad kaks tunnet - kaastunne kangelasele ja pühendumus tädile. Ta otsis kirju, kuid ei leidnud ja kui ta seda ka tegi, ei tea ta ise, kas ta oleks need kangelasele andnud: ta ei taha Julianat petta. Õhtul, nähes, et Juliana toa uks on lahti, siseneb kangelane ja ulatub sekretäri juurde, kus, nagu talle tundub, saab kirju hoida, kuid viimasel hetkel vaatab ta ringi ja märkab koduuksel seisvat Julianit. Sel hetkel näeb ta esimest korda tema silmi ebaharilikult. Ta hõikab raevukalt: "Kurikuulus kritseldaja!" - ja langeb õigeks ajaks saabunud õetütre kätte. Järgmisel hommikul lahkub kangelane Veneetsiast ja naaseb alles kaheteistkümne päeva pärast. Juliana suri ja ta oli juba maetud. Kangelane lohutab Tiinat, küsib temalt tulevikuplaanide kohta. Tina on kahjumis ega ole veel midagi otsustanud. Ta annab kangelasele Asperni portree. Kangelane küsib oma kirjade kohta. Ta saab teada, et Tina takistas Julianal neid põletamast. Tiinal on need nüüd olemas, kuid ta ei julge neid kangelasele kinkida - valvas ju Juliana neid nii armukadedalt uudishimulike pilkude eest. Tina vihjab kangelasele pelglikult, et kui ta poleks võõras, kui ta oleks pereliige, siis võiks naine talle kirju anda. Kangelane mõistab äkki, et see kohmakas vana neiu armastab teda ja tahaks saada tema naiseks. Ta tormab majast välja ega saa mingil viisil talle meelde tulla: selgub, et ta inspireeris tahtmatult vaest naist lootustega, et ta ei suuda seda täita. "Ma ei saa abielluda õnnetu, absurdse ja vana provintsiga hunniku kulunud kirjade pärast," otsustab ta. Kuid öösel mõistab ta, et ei saa keelduda aardest, millest ta nii kaua unistas, ja hommikul tundub Tina talle noorem ja uhkem. Ta on valmis temaga abielluma. Kuid enne, kui ta Tiinale seda öelda saab, teatab Tina, et ta põletas kõik tähed, leht pärast lehte. Kangelasel läheb silmis pimedaks. Meelele tulles hajub loits ja ta näeb jälle tema ees lihtsat, kottis riietatud eakat naist. Kangelane lahkub. Ta kirjutab Tiinale, et müüs Asperni portree ja saadab üsna suure summa, millest ta ei saanud abi, kui ta tõesti tahab seda müüa. Tegelikult jätab ta portree enda teada ja talle otsa vaadates valutab ta süda mõttest, mille ta on kaotanud - muidugi on mõeldud Asperni kirju.