Loo “Sign of Four” sündmused leiavad aset Londonis 1888. aastal. Tellimuste puudumise tõttu sunnitud jõudeoleku ajal kirjeldab tuntud detektiivikonsultant Sherlock Holmes, kes elab Baker Streetil 221-6 koos oma sõbra dr Watsoniga, olemust. tema deduktiivne meetod, mida ta kasutab kuritegude lahendamisel. Sherlock Holmes on veendunud, et tähelepanelik inimene suudab Atlandi ookeani ja Niagara juga olemasolu tõestada loogiliste järeldustega, isegi kui ta poleks neid kunagi varem näinud ega kuulnud neist midagi. Arvestada tuleb väikseimate üksikasjade ja faktidega, kuna need on võimelised andma hindamatu panuse sündmuste, isiku olemuse ja kuriteo asjaolude tervikpildi rekonstrueerimisel.
Kuna tegemist on geniaalse detektiiviga, omab Sherlock Holmes entsüklopeedilisi teadmisi krimikroonika ja keemia alal, mängib hästi viiulit, tal on suurepärased vehklemis- ja poksimisoskused, ta on hästi kursis geoloogia, anatoomia, botaanikaga, tal on erakordne näitlejatalent, kuid kirjanduse valdkonnas filosoofia, astronoomia, tema teadmised on null. Tundidel, mil tal pole midagi teha, haarab teda surmav tüdimus ja ta leiab lohutust morfiinist ja kokaiinist.
Dr Watson, Sherlock Holmesi sõber ja kaaslane, endine sõjaväearst, kes teenis Inglise sõjaväes India sõjas Afganistani ja sai selles sõjas haavata, elab Holmesiga samas korteris ja on kõigi nende sõprade avaldatud juhtumite kroonik.
Sherlock Holmesi suureks rõõmuks katkestab tema ajutise jõudeoleku teatav, kahekümne seitsmeaastane preili Morsten, kes on spirituaalse ja lahke näoga, mis annab tunnistust hinge õilsusest ja kaastundest. Ta räägib detektiivile tema elus hiljuti juhtunud kummalistest sündmustest ja palub temalt abi. Lapsepõlves kaotas ta oma ema. Indias ohvitserina töötanud isa saatis tütre Inglismaa pansionaati. 1878. aastal, see tähendab kümme aastat tagasi, saabus ta Inglismaale, nagu varem teatati telegrammis. Kui preili Morsten hotelli jõudis, sai naine teada, et isa oli järsku kadunud. Ta ei naasnud järgmisel päeval ega naasnud enam kunagi. Seejärel, alates 1882. aastast, hakkas ta ootamatult kelleltki igal aastal saama ühe väga ilusa ja suure pärli. Ja Holmesi visiidi päeval sai ta kirja, milles tal paluti õhtul tulla Lütseumi teatrisse, kus öeldi, et teda on koheldud ebaõiglaselt ja keegi soovib seda ebaõiglust parandada.
Sherlock Holmes ja dr Watson lähevad koos temaga näidatud kohta. Enne lahkumist näitab ta Holmesile kadunud Morsteni asjadest leiduvat kummalist sedelit, millel oli kujutatud mõne toa plaan, kus samas kohas on rida ritta maalitud neli risti, risttaladega üksteisega kokkupuutel ja pretensioonika allkirjaga: "märk neljast". Inimene, kellega nad kohtusid, viib nad kabiini Lõuna-Londonisse. Seal kohtub nad läikiva kiilaka peaga väikese punase juustega mehega. Selgub, et ta on üks kuus aastat tagasi surnud major Sholto, Tadeusz Sholto, kaksikutest poegadest. Tema isa ja isa Miss Morsten teenisid kunagi Indias koloniaaljõudude koosseisus. Seal astus salapäraselt jõukas major Sholto üksteist aastat tagasi tagasi ja naasis Inglismaale rikkaliku idamaiste harulduste kollektsiooni ja terve hulga põliselanikega. Major ei paljastanud aarde omandamise saladust ja seda, kus neid kuni tema surmani hoiti. Tundnud naise lähenemist, kutsus ta tema juurde oma pojad ja rääkis neile, kuidas suri kapten Morsten. Selgus, et kui ta kümme aastat tagasi Londonisse jõudis, tuli ta Sholto juurde ja neil oli vaidlus aarete jagamise üle, millest Morsten teadis ja millest pooled olid tingitud temast. Valu südame käes kannatanut ründas ta. Siis ta kukkus ja, tabanud pea aardekirstu nurgale, suri. Kartes, et teda mõrvas süüdistatakse, peitis Sholto kapteni surnukeha ega öelnud tütrele midagi, kui ta mõni päev hiljem oma kadunud isa otsima tuli tema majja. Enne surma soovis ta oma poegadele ka paljastada, kus puusärk ise oli peidus, kuid kohutav nägu akna taga takistas teda seda tegemast. Ta suri, viies saladuse endaga hauda. Tema pojad tundsid kohustust preili Morsteni ees ja tahtsid teda vähemalt vajadusest vabastada, hakkasid talle saatma igal aastal ühe pärlmutterhelme, mille isa kord puusärgist eemaldas. Tadeusz Sholto ja tema vend Bartholomew ei teadnud esialgu isegi seda, kus rikkused ise peidus olid. Kuid päev varem, pärast aastaid kestnud ebaõnnestunud otsinguid, leidis Bartholomew nad oma maja pööningult, salajasest seinaga ruumist. Ta teatas sellest Tadeuszile. Hoolimata oma vennast, kes pärandas oma isaduse oma nõmetele, otsustas ta jagada aardeid preili Morsteniga. Kõik neli lähevad Bartholomewile. Siiski avastavad nad, et ta tappis kaela visatud mürgine okas, et aarded varastati ja kuriteopaigale oli jäetud paberitükk, millel oli märk “neli”.
Väikesed detailid panevad Sherlock Holmesit arvama, et kurjategijad on kaks inimest - põgenenud süüdimõistetud nimega Jonathan Small, kellel parema jala asemel on puust protees, ja Andamani saartelt pärit metslane Number One on väike, väga vihane ja krapsakas. Pärast seda, kui ta aitas Väikesel koos puusärgiga trossi alt aknast alla saada, sulges ta aknaluugid seestpoolt ja pääses välja pööningult. Jooksmise ajal määras ta jala kreosooti sisse ja Holmes jälgis nuusutamiskoera Toby abiga tema jälgedes jõe äärde. Seal sai ta teada, et kurjategijad sisenesid renditud Aurora paati. Kui Holmesi plaan palgatud poistegrupi abil paat üles tabada, laguneb ta vanaks madruseks riietunud mees, otsib Aurorot ja proovib teda dokkidelt üles leida. Tal õnnestub. Ta kutsub abi Scotland Yard inspektor Ethelny Jonesi jaoks, kes uurib mõrva. Nad jälitavad koos dr Watsoniga politseipaati ja püüavad kurjategijad puusärgiga kinni. Metslase jälitamisel tuleb ta tappa, sest ta hakkab oma mürgiste okkidega jälitajaid tulistama. Dr Watson viib puusärgi preili Morsteni juurde, kuid lõpuks selgub, et ta on tühi, mille üle arst on ülimalt õnnelik, sest kaob barjäär, mis on tema arvates tema ja noore naise vahel tekkinud tema väidetava rikkuse tõttu. Nüüd võib ta oma armastust vabalt tunnistada ja oma kätt ja südant pakkuda. Preili Morsten peab oma pakkumist väga atraktiivseks. Väike, mõistes, et temast paratamatult kinni püütakse, viskas ehted Thamesi, sest ta ei tahtnud lasta kellelgi teisel seda hankida. Bartholomew Sholto surm ei kuulunud tema plaanidesse ja ta ei tapnud teda, vaid kurja metslast ilma Väikese teadmata. Sherlock Holmesi ja Ethelney Jonesi selles veenmiseks räägib ta neile oma elu loo. Nooruses värbas ta rügemendis sõdurina, saadeti Indiasse. Peagi pidi ta aga teenistusest lahku minema: kui ta Tangas suples, hammustas krokodill jalast põlve kohal ja temast sai abitu kurjategija. Siis, kui ta töötas istanduses järelevaatajana, algas riigis äkki mäss. Väike kiirustas Agrasse ja liitus Agra kindluses peidus oleva Briti üksusega. Talle usaldati ühe kindluse sissepääsude valvamine ja talle anti kaks sikhi. Kolmandal õhtul vallutasid sikhid Väikese ja tabasid teda valiku ees: olla nende juures või olla igavesti vait. Nad rääkisid talle oma plaanist: põhjapoolsetes provintsides elas üks väga rikas raja. Ta käskis osa oma varandusest sulase Akhmeti varjata Agra kindluses kuni sõja lõpuni, nii et võidu korral päästaksid britid vähemalt selle rinna. Sikhid ja Akhmeti kaaslane, nende kaasosaline, tahtsid teda tappa ja puusärgi enda valdusesse võtta. Small otsustas nendega liituda ja vandus neile truudust. Kõik neli täitsid oma plaani. Nad peitsid mõrvatud Akhmeti ühe vana kindluse saali, kuhu keegi polnud kunagi sisenenud. Rinnaosa tapeeti sama saali seina sisse. Igaüks neist sai plaani märkusega, mis sümboliseeris üksteise truudust “nelja märgiga”. Hiljem mõisteti neile mõrva eest eluaegne vanglakaristus. Karistuse kandmise ajal ei saanud nad oma rikkust kasutada. Siis leppis Small kokku vanglat valvavate Sholto ja Morsteniga, et ta ütleks neile, kus puusärk peideti, nad saaksid oma osa ja vastutasuks korraldaksid nad neile neli vangi põgenemise. Puusärk läinud Sholto pettis kõiki ja naasis üksi Inglismaale. Sellest ajast peale hakkas Väike elama ainult kättemaksu mõttega. Ta pääses vanglast sõbra - põliselaniku nimega Tongo - abiga. Inglismaal võttis ta ühendust ühe major Sholto teenriga ja ootas õiget hetke. See oli väike, kes vaatas aknast välja surevale majorile. Tiibadesse oodates varastas ta aarded. Bartholomewi surma jaoks avas ta Tongo köiega. See oli lugu Jonathan Small'ist.
Aarded ei läinud kellelegi korda. Dr Watsonile anti miss Morsteni naine Ethelney Jones - kuriteo eest kuulsus ja Holmes oli rahul kokaiini ampulliga.