Hashes

Hashes

Hash

Ensinnäkin käydään läpi perusasiat ja tutustutaan sellaiseen käsitteeseen kuin hash!

Hash-algoritmi on matemaattinen funktio, joka ottaa vastaan kaikenkokoisia tietoja ja tuottaa tulosteen nimeltä a hash or viestin tiivistelmä. Tulos on yksilöllinen esitys syöttötiedoista, jonka avulla voidaan varmistaa, että dataa ei ole peukaloitu. Hash-algoritmeja käytetään varmistamaan tietojen eheys ja aitous.

Yksinkertaisesti sanottuna hash on ainutlaatuinen digitaalinen sormenjälki tiedosta. Se on kuin koodi, joka edustaa dataa. Koodi generoi matemaattinen funktio nimeltä a hash-toiminto. Jos tiedot muuttuvat edes vähän, hash on erilainen.

Hashilla on tärkeimmät avainominaisuudet:

  1. Deterministinen: Hajautusfunktion tulee aina tuottaa sama tulos tietylle tulolle. Tämä tarkoittaa, että jos tiivistät samat tiedot kahdesti, sinun pitäisi saada sama hash-arvo molemmilla kerroilla.
  2. Peruuttamattomuus: Alkuperäisen syöttödatan rekonstruoimisen hajautusarvosta pitäisi olla laskennallisesti mahdotonta. Tämä ominaisuus on tärkeä turvallisuuden kannalta, koska se suojaa alkuperäisiä tietoja hyökkääjiltä, ​​joilla on pääsy vain hash-arvoon.
  3. Yhdenmukaisuus: Hajautusfunktion tulisi tuottaa tasainen hajautusarvojen jakautuminen kaikille mahdollisille syötteille. Tämä tarkoittaa, että jokaisen hash-arvon tulee olla yhtä todennäköinen, eikä hash-arvojen jakaumassa saa olla kaavoja tai harhoja.
  4. Ennalta-arvaamattomuus: Tulon hajautusarvon ennustaminen muiden syötteiden tiivistearvojen tai itse hash-funktion ominaisuuksien perusteella pitäisi olla laskennallisesti mahdotonta. Tämä ominaisuus on tärkeä turvallisuuden kannalta, koska se tekee hyökkääjien vaikeaksi luoda törmäystä (kaksi eri syötettä, jotka tuottavat saman hash-arvon).
  5. Vastustuskyky törmäyshyökkäyksille: Hajautusfunktion tulee kestää törmäyshyökkäyksiä, joissa etsitään kaksi eri syötettä, jotka tuottavat saman hash-arvon. Törmäyshyökkäyksillä voidaan luoda vilpillisiä digitaalisia allekirjoituksia tai ohittaa pääsynhallinta, joten on tärkeää, että hash-toiminto on suunniteltu vastustamaan niitä.

Muita hasheiden ominaisuuksia löydät Wikipedia-sivulta:https://en.wikipedia.org/wiki/Hash\_function

Tietojen vahvistus. Musta lista ja valkoinen lista.

Virustorjuntaohjelmiston yhteydessä hajautusalgoritmeja käytetään haittaohjelmien havaitsemiseen tai väärien positiivisten hälytysten poissulkemiseen. Virustorjuntaohjelmisto ylläpitää tietokantaa tunnetuista haittaohjelmatiivisteistä (blacklist) ja luotettujen ohjelmistojen tiivisteet (whitelist). Kun tiedosto tarkistetaan, sen tiivistettä verrataan tietokannan tiivisteisiin.

Yleisimmin käytetyt hajautusalgoritmit tietojen todentamiseen ovat MD5, SHA-1, SHA-256 and SHA-512.

Hajautusten käyttö virustentorjuntamustissa ja valkoisissa listoissa auttaa nopeuttamaan tarkistusprosessia, koska virustentorjuntaohjelman ei tarvitse suorittaa yksityiskohtaista analyysiä jokaisesta tiedostosta määrittääkseen, onko se haitallinen vai ei. Sen sijaan se voi verrata tiedostojen hajautusarvoja mustalla/valkoisella listalla oleviin arvoihin tunnistaakseen nopeasti tunnetut uhat tai luotetut sovellukset.

Musta lista

Kyberturvallisuuden ja virustentorjuntaohjelmiston yhteydessä musta lista on luettelo tunnetuista haitallisista tiedostoista tai näiden tiedostojen osista. Kun virustorjuntaohjelma tarkistaa tietokoneen tai verkon, se vertaa kohtaamiaan tiedostoja ja entiteettejä mustaan ​​listaan ​​mahdollisten uhkien tunnistamiseksi. Jos tiedosto tai entiteetti vastaa mustalla listalla olevaa merkintää, virustentorjuntaohjelma poistaa sen tai asettaa sen karanteeniin estääkseen sen aiheuttamasta haittaa.

Vaikka mustat listat voivat olla hyödyllisiä tunnettujen uhkien havaitsemisessa ja estämisessä, ne eivät aina ole tehokkaita suojaamaan uusia ja tuntemattomia uhkia vastaan. Hyökkääjät voivat käyttää erilaisia ​​tekniikoita, kuten hämärtämistä tai polymorfismia, muokatakseen tiedoston tai kokonaisuuden koodia tai käyttäytymistä välttääkseen virustorjuntaohjelmien havaitsemisen.

Siksi virustorjuntaohjelmat käyttävät usein tekniikoiden yhdistelmää, kuten whitelisting ja käyttäytymiseen perustuva havaitseminen täydentämään mustien listojen käyttöä ja tarjoamaan kattavamman suojan monenlaisia uhkia vastaan.

Valkoinen lista

Kyberturvallisuuden ja virustentorjuntaohjelmiston yhteydessä sallittujen luettelo on luettelo luotetuista tiedostoista, joiden tiedetään olevan turvallisia. Jos tiedosto tai entiteetti vastaa sallittujen luettelon merkintää, virustorjuntaohjelma sallii sen avautua/ajoa ilman mitään toimenpiteitä, koska sitä pidetään turvallisena.

Valkoiset listat ovat hyödyllisiä virustorjunta- ja tietoturvaohjelmien väärien positiivisten tulosten estämisessä. Vääriä positiivisia tuloksia ilmenee, kun ohjelma tai tiedosto on merkitty haitalliseksi tai haitalliseksi, kun se on todella turvallinen. Käyttämällä sallittua luetteloa tietoturvaohjelmat voivat ohittaa nämä väärät positiiviset tulokset, mikä voi säästää aikaa ja estää tarpeettomat hälytykset.

Hajautusten ja mustien/valkoisten listojen käyttö voi olla tehokas tapa suojautua tunnetuilta uhilta ja estää vääriä positiivisia tuloksia virustorjunta- ja tietoturvaohjelmissa.

Miksi virustorjuntaohjelmat käyttävät useita hajautusalgoritmeja?

Virustorjuntaohjelmat käyttävät useita hajautusalgoritmeja useista syistä:

  1. TörmäyshyökkäyskestävyysVaikka mustat listat voivat olla tehokkaita tunnettujen uhkien havaitsemisessa ja estämisessä, ne eivät ole idioottivarmoja. Hyökkääjät voivat käyttää erilaisia ​​tekniikoita välttääkseen havaitsemisen, kuten muokkaamalla tietoja välttääkseen mustalla listalla olevia allekirjoituksia. Näitä tekniikoita kutsutaan "törmäyshyökkäyksiksi". <br> Törmäyshyökkäys on salaushyökkäyksen tyyppi, jossa hyökkääjä yrittää löytää kahta eri syötettä, kuten tiedostoja tai viestejä, jotka tuottavat saman hash-arvon, kun ne suoritetaan hash-funktion läpi (törmäys). Törmäyshyökkäyksen tavoitteena on luoda syötepari, jota voidaan käyttää hajautusarvojen, kuten digitaalisten allekirjoitusten, salasanan todentamisen tai tietojen eheystarkistuksen, eheyteen perustuvan järjestelmän horjuttamiseen. Jos hyökkääjä löytää törmäyksen, hän voi käyttää sitä ohittaakseen hajautustoimintoon perustuvat turvatoimenpiteet. <br> Vähentääkseen törmäyshyökkäysten riskiä virustentorjuntaohjelmat käyttävät vahvoja hajautustoimintoja, jotka kestävät hyökkäyksiä ja käyttävät useita hash-funktioita samanaikaisesti. Jos virustentorjuntaohjelma esimerkiksi käytti vain MD5-hajautusalgoritmia, hyökkääjä voi mahdollisesti luoda haitallisen tiedoston, jossa on sama MD5-tiiviste kuin laillisessa tiedostossa, ja huijata virustentorjuntaohjelman käsittelemään haitallista tiedostoa turvallisena. Useiden hajautusalgoritmien, kuten MD5, SHA-1 ja SHA-256, käyttö tekee kuitenkin hyökkääjän vaikeammaksi luoda törmäyshyökkäystä, joka toimisi kaikkia algoritmeja vastaan ​​samanaikaisesti.
  2. TehokkuusEri hash-algoritmeilla on erilaiset laskentavaatimukset, ja jotkut voivat olla tehokkaampia kuin toiset tiedoston koosta, tyypistä tai muista tekijöistä riippuen. Useita hajautusalgoritmeja käyttämällä virustorjuntaohjelmat voivat valita sopivimman algoritmin tiettyyn tilanteeseen, mikä voi säästää aikaa ja käsittelytehoa. Esimerkiksi SHA-256 voi olla laskentaintensiivisempi kuin MD5, joten virustorjuntaohjelma voi käyttää MD5:tä pienempiin tiedostoihin ja SHA-256:ta suurempiin tiedostoihin.
  3. JoustavuusErilaisia hash-algoritmeja on suunniteltu erilaisiin käyttötapauksiin ja sovelluksiin. Useita hajautusalgoritmeja käyttämällä virustentorjuntaohjelmat voivat mukautua erilaisiin tarpeisiin ja skenaarioihin, kuten haittaohjelmien havaitsemiseen, tiedostojen eheyden tarkistamiseen tai peukaloinnin tai muokkauksen havaitsemiseen. Esimerkiksi rikostekninen tutkija voi käyttää eri hash-algoritmia kuin virustorjuntaohjelma varmistaakseen, ettei tietoja ole muutettu tutkimuksen aikana.

Useiden hajautusalgoritmien käyttäminen on paras käytäntö kyberturvallisuus- ja virustorjuntaohjelmistojen kehittämisessä, koska se tarjoaa vankuutta, yhteensopivuutta, tehokkuutta ja joustavuutta kyberuhkien havaitsemisessa ja estämisessä.

Kuinka virustorjuntaohjelmat tunnistavat samankaltaiset mutta eivät identtiset tiedot ja tiedostot?

Samankaltaiset mutta eivät identtiset tiedostot voivat olla ongelma kyberturvallisuudessa, koska hyökkääjät voivat käyttää niitä välttääkseen virustentorjuntaohjelmiston havaitsemisen.

Hyökkääjä voi esimerkiksi ottaa tunnetun haittaohjelmatiedoston ja tehdä pieniä muutoksia sen koodiin tai rakenteeseen, kuten muuttaa muuttujien nimiä tai järjestellä ohjeita. Nämä muutokset voivat riittää luomaan uuden tiedoston, joka on samanlainen, mutta ei identtinen alkuperäisen haittaohjelmatiedoston kanssa ja jota perinteisiin hash-pohjaisiin tunnistusmenetelmiin perustuva virustorjuntaohjelmisto ei välttämättä havaitse.

Lisäksi hyökkääjät voivat käyttää samanlaisia, mutta eivät identtisiä tiedostoja luodakseen polymorfisia haittaohjelmia, jotka voivat muuttaa koodiaan tai rakennettaan jokaisen tartunnan yhteydessä havaitsemisen välttämiseksi. Polymorfisia haittaohjelmia voi olla erittäin vaikea havaita käyttämällä perinteisiä virustentorjuntatekniikoita, jotka perustuvat tiettyjen kuvioiden tai allekirjoitusten tunnistamiseen haittaohjelmakoodissa.

Tämän ongelman ratkaisemiseksi käytetään virustorjuntaohjelmia sumeat tiivisteet.

Sumea hajautus on tekniikka, jota jotkut virustorjuntaohjelmistot käyttävät samanlaisten mutta ei identtisten tiedostojen havaitsemiseen, mukaan lukien polymorfiset haittaohjelmat. Jakamalla tiedoston pienempiin osiin ja vertaamalla näiden osien tiivisteitä muiden tiedostojen tiivisteisiin, sumea hajautus voi tunnistaa tiedostot, joilla on samanlainen koodi tai rakenne, vaikka ne eivät olisi identtisiä.

Sumea hajautus toimii tunnistamalla tiedostossa usein esiintyviä tavusarjoja. Nämä sekvenssit, jotka tunnetaan myös nimellä "palaset", tiivistetään sitten käyttämällä kryptografista hajautusfunktiota hajautusarvon luomiseksi. Palojen hajautusarvoja verrataan sitten muiden tiedostojen arvoihin samankaltaisten kappaleiden tunnistamiseksi.

Sumean hajautusjärjestelmän etuna on, että se voi havaita yhtäläisyyksiä myös silloin, kun tiedostoja on muokattu tai hämärtynyt, mikä tekee siitä tehokkaan työkalun tunnettujen haittaohjelmien muunnelmien tunnistamiseen. Jos hyökkääjä esimerkiksi muokkaa tunnettua haittaohjelmatiedostoa muuttamalla muuttujien tai funktioiden nimiä, perinteiset hash-pohjaiset tunnistusmenetelmät eivät välttämättä havaitse muokattua tiedostoa. Sumea hajautus voi kuitenkin havaita muokatun tiedoston tunnistamalla paloja, jotka ovat samanlaisia ​​kuin alkuperäisessä haittaohjelmatiedostossa.

Toisin kuin kryptografiset hajautusalgoritmit, kuten MD5, SHA-1 tai SHA-512, sumeat hajautusalgoritmit tuottavat muuttuvan pituisia hajautusarvoja, jotka perustuvat syöttötietojen samanlaisuuteen.

Sumeiden tiivisteiden edut

  1. Vastaavien tiedostojen tunnistus: Sumeat tiivisteet voivat havaita samanlaisia tiedostoja, vaikka niitä olisi hieman muokattu, mikä on hyödyllistä tunnettujen haittaohjelmien muunnelmien tunnistamisessa.
  2. Vähentynyt vääriä positiivisia: Sumeat tiivisteet voivat vähentää perinteisten hajautusmenetelmien luomien väärien positiivisten tulosten määrää. Tämä johtuu siitä, että sumeat tiivisteet voivat havaita tiedostoja, jotka ovat samankaltaisia ​​mutta eivät identtisiä tunnettujen haittaohjelmien kanssa.
  3. Kestävyys hämärtymistä vastaan: Sumeat tiivisteet ovat kestävämpiä hämärätekniikoille, joita hyökkääjät käyttävät havaitsemisen välttämiseksi. Tämä johtuu siitä, että sumea hajautusalgoritmi hajottaa tiedoston pienempiin osiin ja luo tiivisteet kullekin palalle, jolloin hyökkääjän on vaikeampaa muokata tiedostoa havaitsemisen välttävällä tavalla.

Sumean tiivistyksen rajoitukset

  • Vääriä positiivisia: Sumea hajautus voi tuottaa vääriä positiivisia tuloksia, joissa lailliset tiedostot merkitään haitallisiksi, koska niillä on samanlainen koodi tai rakenne kuin tunnetuilla haittaohjelmilla. Tämä voi tapahtua, jos tiedostot jakavat yhteisiä kirjastoja tai puitteita.
  • Suorituskyky: Sumea hajautus voi olla laskennallisesti intensiivistä, etenkin suurille tiedostoille. Tämä voi hidastaa tarkistusprosessia ja vaikuttaa järjestelmän suorituskykyyn.
  • Kokorajoitukset: Sumea hajautus ei välttämättä toimi hyvin pienissä tiedostoissa tai tiedostoissa, joilla on alhainen entropia, koska yksittäisiä paloja ei välttämättä ole tarpeeksi merkityksellisten hajautusten luomiseen.
  • Peukalointi: Sumea hajautus ei välttämättä ole tehokasta, jos hyökkääjä erityisesti kohdistaa sen ja muokkaa tiedostoa havaitsemisen välttämiseksi. Hyökkääjä voi esimerkiksi tarkoituksella muuttaa tiedoston rakennetta estääkseen sen tunnistamisen sumean hajautusjärjestelmän avulla.

Mitä eroa on kryptografisten hajautusalgoritmien ja sumeiden hajautusalgoritmien välillä?

Sekä kryptografisia hajautusalgoritmeja että sumeita hajautusalgoritmeja käytetään kyberturvallisuudessa, mutta niillä on erilaiset tarkoitukset ja ominaisuudet.

Kryptografiset hajautusalgoritmit, kuten SHA-256 ja MD5, on suunniteltu tarjoamaan tietojen eheys ja aitous luomalla kiinteäpituisia, ainutlaatuisia hajautusarvoja, joita on lähes mahdotonta kääntää uudelleen. Tietojen eheyden tarkistamiseen käytetään kryptografisia hajautusalgoritmeja.

Sumeat hash-algoritmit, kuten SSDEEP, on suunniteltu tunnistamaan samankaltaiset, mutta eivät identtiset tiedot, kuten tiedostot, joita haittaohjelmien tekijät ovat muokanneet tai pakkaaneet uudelleen. Sumea hajautus käyttää liukuvan ikkunan tekniikkaa tietojen jakamiseen pieniksi paloiksi ja muuttuvan pituisten todennäköisyyspohjaisten tiivisteiden luomiseen, joita verrataan tunnettujen haittaohjelmatiivisteiden tietokantaan mahdollisten haitallisten tiedostojen tunnistamiseksi.

Kryptografiset hajautusalgoritmit on suunniteltu törmäyskestäviksi, mikä tarkoittaa, että on erittäin vaikea löytää kahta tuloa, jotka tuottavat saman hash-tulosteen. Sumeiden hajautusalgoritmien ei tarvitse olla törmäyskestäviä, koska ne on suunniteltu havaitsemaan tiedostojen väliset yhtäläisyydet sen sijaan, että ne tuottaisivat ainutlaatuisia hash-tulosteita.

Suurin ero kryptografisten hajautusalgoritmien ja sumeiden hajautusalgoritmien välillä on niiden determinismin taso. Kryptografiset hajautusalgoritmit tuottavat kiinteäpituisia, deterministisiä tiivisteitä, jotka ovat ainutlaatuisia jokaiselle syötteelle, kun taas sumeat hajautusalgoritmit tuottavat muuttuvapituisia todennäköisyyspohjaisia ​​tiivisteitä, jotka ovat samanlaisia ​​samankaltaisille syötteille.

Mitä sumeita hajautusalgoritmeja käytämme ratkaisussamme?

Ratkaisussamme aiomme käyttää SSDEEP:tä ja TLSH:ta.

ssdeep on sumea hajautusalgoritmi, jota käytetään tunnistamaan samanlaisia mutta ei identtisiä tietoja, kuten haittaohjelmien muunnelmia. Se toimii luomalla hajautusarvon, joka edustaa syötetyn tiedon samankaltaisuutta, eikä yksilöllistä tunnistetta, kuten kryptografisia hajautusfunktioita. Ssdeep-tulostus on muuttuvapituinen ja todennäköisyyspohjainen, joten se havaitsee pienetkin erot kahden tiedoston välillä. ssdeepiä käytetään yleisesti haittaohjelmien analysoinnissa ja havaitsemisessa, ja se on myös integroitu erilaisiin tietoturvatyökaluihin ja virustorjuntaohjelmistoihin.

TLSH (Trend Micro Locality Sensitive Hash) on sumea hajautusalgoritmi, jota käytetään samanlaisten mutta ei identtisten tietojen, kuten haittaohjelmien muunnelmien, tunnistamiseen. Se toimii luomalla hash-arvon, joka kaappaa syötetietojen ainutlaatuiset ominaisuudet, kuten tavutaajuuden ja järjestyksen. TLSH:n lähtö on muuttuvapituinen ja todennäköisyyspohjainen, mikä mahdollistaa samankaltaisuuksien havaitsemisen, vaikka syöttödataa olisi muokattu tai hämärtynyt. TLSH:ta käytetään yleisesti haittaohjelmien analysoinnissa ja havaitsemisessa, ja se on myös integroitu erilaisiin tietoturvatyökaluihin ja virustorjuntaohjelmistoihin.

ssdeep ja TLSH käyttävät molemmat etäisyysmittauksia määrittääkseen samankaltaisuuden kahden hajautusarvon välillä. Ssdeepin ja TLSH:n käyttämät etäisyysmittarit ovat kuitenkin erilaisia.

ssdeep käyttää "fuzzy hash distance" -metriikkaa laskeakseen kahden hajautusarvon välisen etäisyyden. Tämä etäisyysmittari perustuu kahden tiivisteen välisten yhteensopivien ja ei-vastaavien lohkojen lukumäärään sekä tiivisteiden kokoon. Etäisyysmittari on prosenttiarvo, joka vaihtelee välillä 0–100, jossa 0 tarkoittaa, että kaksi tiivistettä ovat identtisiä, ja 100 tarkoittaa, että kaksi tiivistettä ovat täysin erilaisia.

TLSH puolestaan käyttää "total diff" -metriikkaa laskeakseen kahden hajautusarvon välisen etäisyyden. Tämä etäisyysmetriikka perustuu kahden syötetietojoukon paikkaherkkien ominaisuuksien väliseen eroon. "Total diff" -mittarin tulos on arvo välillä 0 - 1000, jossa 0 tarkoittaa, että kaksi hash-arvoa ovat identtisiä ja 1000 tarkoittaa, että kaksi hash-arvoa ovat täysin erilaisia.

Hajautusmoduulin rakentaminen

Ratkaisussamme käytämme avoimen lähdekoodin kirjastoja:

  1. PolarSSL: https://polarssl.org/PolarSSL on ilmainen ja avoimen lähdekoodin ohjelmistokirjasto salausprotokollien toteuttamiseen, kuten Transport Layer Security (TLS), Secure Sockets Layer (SSL), Datagram Transport Layer Security (DTLS). Se tarjoaa erilaisia ​​salausalgoritmeja ja protokollia, mukaan lukien hash-toiminnot, symmetrisen ja epäsymmetrisen salauksen, digitaaliset allekirjoitukset ja avaintenvaihtoalgoritmit. PolarSSL on suunniteltu kevyeksi ja tehokkaaksi, joten se soveltuu käytettäväksi resurssirajoitteisissa ympäristöissä.
  2. ssdeep: http://ssdeep.sf.net/
  3. TLSH: https://github.com/trendmicro/tlsh/

Kun kirjastot on otettu käyttöön projektissa, lisäämme yksinkertaisen koodin:

struct HashData
{
 BYTE md5[16];
 BYTE sha1[20];
 BYTE sha512[64];
 std::string ssdeep;
 std::string tlsh;
};

HashData hash(const void* buff, uint64_t size)
{
 HashData snap = {};

 hashes::md5(buff, size, snap.md5);
 hashes::sha1(buff, size, snap.sha1);
 hashes::sha4(buff, size, snap.sha512);

 snap.ssdeep = hashes::ssdeepHash(buff, size);
 snap.tlsh = hashes::tlshHash(buff, size);

 return snap;
}

Tarkistetaan hajautusmoduulia

On aika testata hajautusmoduulia! Tätä varten luomme tekstitiedoston, jonka sisältö on seuraava:

All the World`s a Stage by William Shakespeare
All the world`s a stage,
And all the men and women merely players;
They have their exits and their entrances,
And one man in his time plays many parts,
His acts being seven ages. At first, the infant,
Mewling and puking in the nurse`s arms.
Then the whining schoolboy, with his satchel
And shining morning face, creeping like snail
Unwillingly to school. And then the lover,
Sighing like furnace, with a woeful ballad
Made to his mistress` eyebrow. Then a soldier,
Full of strange oaths and bearded like the pard,
Jealous in honor, sudden and quick in quarrel,
Seeking the bubble reputation
Even in the cannon`s mouth. And then the justice,
In fair round belly with good capon lined,
With eyes severe and beard of formal cut,
Full of wise saws and modern instances;
And so he plays his part. The sixth age shifts
Into the lean and slippered pantaloon,
With spectacles on nose and pouch on side;
His youthful hose, well saved, a world too wide
For his shrunk shank, and his big manly voice,
Turning again toward childish treble, pipes
And whistles in his sound. Last scene of all,
That ends this strange eventful history,
Is second childishness and mere oblivion,
Sans teeth, sans eyes, sans taste, sans everything.

TESTI 1: luo kaksi identtistä tiedostoa, joilla on sama sisältö (teksti yllä) ja laske tiivisteet.

SSDEEP sanoo, että tiedostot ovat 100% identtisiä. TLSH sanoo, että tiedostojen välillä on 0 % eroja.

TESTI 2: Luo kaksi identtistä tiedostoa, joilla on sama sisältö, tee muutokset toiseen tiedostoon ja laske tiivisteet

Toisen tiedoston sisältö:

All the World`s a Stage by William Shakespeare
O lovely maidens, fall in love,
But not with Muscovites,
For Muscovites are foreign folk,
They do not treat you right.
A Muscovite will love for sport,
And laughing go away;
They have their exits and their entrances,
And one man in his time plays many parts,
His acts being seven ages. At first, the infant,
Mewling and puking in the nurse`s arms.
Then the whining schoolboy, with his satchel
And shining morning face, creeping like snail
Unwillingly to school. And then the lover,
Sighing like furnace, with a woeful ballad
Made to his mistress` eyebrow. Then a soldier,
Full of strange oaths and bearded like the pard,
Jealous in honor, sudden and quick in quarrel,
Seeking the bubble reputation
Even in the cannon`s mouth. And then the justice,
In fair round belly with good capon lined,
With eyes severe and beard of formal cut,
Full of wise saws and modern instances;
And so he plays his part. The sixth age shifts
Into the lean and slippered pantaloon,
With spectacles on nose and pouch on side;
His youthful hose, well saved, a world too wide
For his shrunk shank, and his big manly voice,
Turning again toward childish treble, pipes
And whistles in his sound. Last scene of all,
That ends this strange eventful history,
Is second childishness and mere oblivion,
Sans teeth, sans eyes, sans taste, sans everything.

SSDEEP sanoo, että tiedostot ovat 88% identtisiä. TLSH sanoo, että tiedostojen välillä on 4,7 % eroja.

TESTI 3: laske tiivisteet kahdelle täysin erilaiselle tekstitiedostolle

Toisen tiedoston sisältö:

"Katerina", poem of Taras Shevchenko
(translated by John Weir)

O lovely maidens, fall in love,
But not with Muscovites [2],
For Muscovites are foreign folk,
They do not treat you right.
A Muscovite will love for sport,
And laughing go away;
He`ll go back to his Moscow land
And leave the maid a prey
To grief and shame...
It could be borne
If she were all alone,
But scorn is also heaped upon
Her mother frail and old.
The heart e`en languishing can sing –
For it knows how to wait;
But this the people do not see:
“A strumpet!“ they will say.
O lovely maidens, fall in love,
But not with Muscovites,
For Muscovites are foreign folk,
They leave you in a plight.
Young Katerina did not heed
Her parent`s warning words,
She fell in love with all her heart,
Forgetting all the world.

The orchard was their trysting-place;
She went there in the night
To meet her handsome Muscovite,
And thus she ruined her life.
Her anxious mother called and called
Her daughter home in vain;
There where her lover she caressed,
The whole night she remained.
Thus many nights she kissed her love
With passion strong and true,
The village gossips meanwhile hissed:
“A girl of ill repute!”
Let people talk, let gossips prate,
She does not even hear:
She is in love, that`s all she cares,
Nor feels disaster near.
Bad tidings came of strife with Turks,
The bugles blew one morn:
Her Muscovite went off to war,
And she remained at home.
A kerchief o`er her braids they placed
To show she`s not a maid,
But Katerina does not mind,
Her lover she awaits.
He promised her that he’d return
If he was left alive,
That he`d come back after the war –
And then she`d be his wife,
An army bride, a Muscovite
Herself, her ills forgot,
And if in meantime people prate,
Well, let the people talk!
She does not worry, not a bit –
The reason that she weeps
Is that the girls at sundown sing
Without her on the streets.
No, Katerina does not fret –
And jet her eyelids swell,
And she at midnight goes to fetch

The water from the well
So that she won`t by foes be seen;
When to the well she comes,
She stands beneath the snowball-tree
And sings such mournful songs,
Such songs of misery and grief,
The rose .itself must weep.
Then she comes home - content that she
By neighbours was not seen.
No, Katerina does not fret.
She`s carefree as can be -
With her new kerchief on her head
She looks out on the street.
So at the window day by day
Six months she sat in vain....
With sickness then was overcome,
Her body racked with pain.
Her illness very grievous proved.
She barely breathed for days ...
When it was over - by the stove
She rocked her tiny babe.
The gossips` tongues now got free rein.
The other mothers jibed
That soldiers marching home again
At her house spent the night.
“Oh, you have reared a daughter fair.
And not alone beside
The stove she sits - she`s drilling there
A little Muscovite.
She found herself a brown-eyed son...
You must have taught her how!...
Oh fie on ye, ye prattle tongues,
I hope yourselves you`ll feel
Someday such pains as she who bore
A son that you should jeer!
Oh, Katerina, my poor dear!
How cruel a fate is thine!

SSDEEP sanoo, että tiedostot ovat täysin erilaisia, ja 0% vastaavuuksia. TLSH sanoo kuitenkin, että tiedostot ovat vain 27,1 % erilaisia.

Miksi näin on? Loppujen lopuksi harkitsemme kahden täysin erilaisen tekstitiedoston välistä etäisyyttä, eikö niin?

Asia on, että kuten edellä totesimme, TLSH-algoritmi ottaa huomioon taajuudet. Huolimatta siitä, että tekstit ovat erilaisia, ne on silti kirjoitettu samalla kielellä, käyttävät samaa aakkosta ja niissä on useita samoja sanoja. Tämä hajautusalgoritmin ominaisuus auttaa havaitsemaan haitallisten tiedostojen muutokset.

TESTI 4: vertaa kahta Windows-järjestelmätiedostoa

SSDEEP sanoo, että tiedostot ovat täysin erilaisia, ja 0% vastaavuuksia. TLSH-algoritmi sanoo kuitenkin, että tiedostot eroavat vain 14,5%. Tämä johtuu osittain siitä, että todennäköisimmin tiedostot on rakentanut sama kääntäjä, sama yritys, mahdollisesti käyttämällä samoja koodimalleja. Tiedostoilla on samanlaiset VERSION_INFO- ja MZ-otsikot.

TESTI 5: vertaa kahta järjestelmätiedostoa ja meidän hashpair.exe-tiedostoa

SSDEEP sanoo, että tiedostot ovat täysin erilaisia, ja 0% vastaavuuksia. TLSH-algoritmi sanoo, että tiedostot eroavat toisistaan ​​merkittävästi, 73,3%. Nämä tiedostot ovat koonneet eri yritykset eri kirjastoja ja kääntäjiä käyttäen. Näillä tiedostoilla on eri VERSION_INFO- ja eri MZ-otsikot. Siten TLSH-algoritmin avulla voit luokitella suoritettavat tiedostot, mikä auttaa tunnistamaan samanlaiset haitalliset tiedostot tai samaan perheeseen kuuluvat haitalliset tiedostot.

Luettelo käytetyistä työkaluista

  1. WinMerge: https://winmerge.orgWinMerge on avoimen lähdekoodin erottelu- ja yhdistämistyökalu Windows:lle. WinMerge voi verrata sekä kansioita että tiedostoja ja esittää eroja visuaalisessa tekstimuodossa, jota on helppo ymmärtää ja käsitellä.
  2. Muistio++: https://notepad-plus-plus.org/downloadsNotepad++ on ilmainen (kuten sananvapaus ja myös ilmaisolut) lähdekoodieditori ja Notepad-korvaus, joka tukee useita kieliä. Se toimii MS Windows-ympäristössä, ja sen käyttöä säätelee GNU General Public License.

GITHUB

Löydät koko projektin koodin githubistamme:https://github.com/SToFU-Systems/DSAVE

MITÄ ON SEURAAVANA?

Arvostamme tukeasi ja odotamme jatkuvaa sitoutumistasi yhteisöömme.

Seuraavassa artikkelissa kirjoitamme kanssasi yksinkertaisimman PE-resurssin jäsentimen.

Kaikki artikkelin tekijöiden kysymykset voi lähettää sähköpostitse: articles@stofu.io

Kiitos huomiosta ja mukavaa päivää!

Takaisin Blogeihin

Ota yhteyttä

Aloita keskustelu

Muutama selkeä rivi riittää. Kuvaile järjestelmä, paine ja päätös, joka on jumissa. Tai kirjoita suoraan osoitteeseen midgard@stofu.io.

0 / 10000
Tiedostoa ei ole valittu