Cybersäkerhetsexpert ny WASP-gästprofessor vid Örebro universitet

Våren 2023 annonserade WASP en investering på 200 miljoner kronor i cybersäkerhet. En del av investeringen har avsatts för rekrytering. Nu har Mauro Conti tillträtt som Wallenberg-gästprofessor i cybersäkerhet och kommer att spendera deltid vid Örebro universitet under fem år. Han är professor i datavetenskap vid universitetet i Padua, där han specialiserar sig på cybersäkerhet och dataintegritet.

– Mitt mål är att hjälpa till att etablera en cybersäkerhetsgrupp och främja internationaliseringen av Sverige inom detta område, säger Mauro Conti.

”AI kan förbättra säkerheten – men också utnyttjas för attacker”

Hans forskning fokuserar på cybersäkerhet i mobiltelefoner, blockkedjeteknik, uppkopplade hushållsapparater och smarta städer. Artificiell intelligens är ett återkommande tema i hans studier.

– AI kan förbättra säkerheten i applikationer och andra digitala miljöer, men kan också utnyttjas för att utföra attacker. Dessutom är cybersäkerheten för AI i sig själv en stor oro. Till exempel kan man påverka ett AI-systems beslut genom att påverka dess inlärningsprocess, säger Mauro Conti.

– Eftersom det är utmanande för människor att förstå hur systemen fungerar, är systemen också lättmanipulerade.

Bakdörrar kan användas för att manipulera system

Som exempel kan man tänka sig ett sjukhus som använder djupinlärningstekniker för automatiserad cancerdiagnostik. AI-modellen tränas på ett dataset av biopsi-bilder, märkta som godartade eller elakartade, för att analysera nya histopatologiska bilder. En angripare kan försöka manipulera modellen för att få den att felklassificera bilder av elakartade biopsier som godartade.

Detta kan göras genom att tillföra en liten, knappt märkbar modifiering av cellstrukturen i bilderna av godartade biopsier under träningsfasen. Om denna lilla modifiering introduceras i tillräckligt många prover, lär sig modellen att associera den med en godartad bild. Senare, om samma modifiering finns i bilden av en elakartad biopsi, kommer modellen felaktigt att klassificera bilden som godartad.

– Det är en så kallad bakdörr som kan införas i systemet. På samma sätt kan du manipulera system i den fysiska världen. Tänk dig att ett papper av en speciell färg placeras ovanpå en stoppskylt och lurar självkörande bilar att tro att det är en hastighetsbegränsning – detta kan få allvarliga konsekvenser, förklarar Mauro Conti.

Komplext arbete att motverka attacker mot AI-system

Det finns olika strategier för att utföra cyberattacker på AI-system. Vissa tekniker, kallade smutsiga etikett-attacker, utförs genom att en liten andel data med felaktiga etiketter tillförs till träningsdatan. Andra attacker, såsom den i exemplet med cancerdiagnostik, utnyttjar införande av dolda mönster som styr modellens beslutsprocess; dessa kallas rena etikett-attacker.

Andra strategier går ut på att direkt manipulera själva AI-modellen genom att ändra neuronernas vikter i neuronnätet, eller att manipulera dess indata, så kallade adversariala attacker. Dessa exempel ger en bild av hur attacker kan utföras mot AI-system på olika sätt och hur komplext det är att identifiera och motverka dem.

Lyckades snappa upp lösenord genom tangenternas ljud

I tidigare studier har Mauro Conti forskat på hur man förhindrar ”man-in-the-middle-attacker” där en angripare i hemlighet positionerar sig mellan två kommunicerande parter. Angriparen kan förutom att avlyssna också ändra kommunikationen mellan parterna. En annan tidigare studie uppmärksammades av tidningen Forbes. En reporter från tidningen deltog i ett experiment där Conti med kollegor lyckades komma över ett lösenord som reportern skrev på sin dator under ett videosamtal.

Mauro Conti beskriver: “Varje tangent på en laptop avger ett unikt ljud. Det är därför ganska enkelt att avgöra vad de skriver om tangenttryckningarna är hörbara under videosamtalet.”

Mauro Contis gästprofessur finansieras av WASP (Wallenberg AI, Autonomous Systems and Software Program). Förutom en femårig gästprofessur bekostar WASP rekryteringen av en biträdande professor och två doktorander, och Örebro universitet bidrar med kostnaden för rekrytering av tre postdoktorer och en doktorand.