Masterarbeit: Mechanistic Interpretability mit Singulärwertzerlegungen

Hintergrund und Motivation Aktivierungsfunktionen sind ein grundlegender Teil des maschinellen Lernens, da durch sie eine nichtlineare Komponente eingefügt wird und somit eine beliebige Funktion approximiert werden kann. In der Praxis können diese Funktionen pro Schicht eines neuronalen Netzes mehrere Millionen Dimensionen haben, die durch Linearkombinationen und die anschließende Aktivierung Schicht für Schicht zur Modellvorhersage führen. Algebraisch und numerisch ist es zudem möglich, die Matrizen so umzuformen, dass die Produkte zwar gleich bleiben, die Multiplikanden aber geschickt gewählt sind und dementsprechend einzelne Features stärker betont werden können. Ziel Die Arbeit soll untersuchen, wie genau Verfahren der Mechanistic Interpretability mit den Vektorräumen der Aktivierungen zusammenhängen und ob sich beispielsweise Sicherheitsfeatures durch geschickte Umformung der Matrizen verstärken oder abschwächen lassen. Ergebnisse Die Arbeit soll zeigen, ob manuelle Transformationen der Parameter grundsätzlich möglich sind und ob sich durch eine geschickte Wahl der Basen, beispielsweise durch Orthogonalisierung, Linearkombinationen ergeben, mit denen sich einzelne Fähigkeiten gezielt beeinflussen lassen.