Koller studierte zunächst Jazzgitarre am Kärntner Landeskonservatorium Klagenfurt. In Boston setzte er sein Studium am Berklee College of Music bei Gary Burton, George Garzone und anderen fort, hatte Privatunterricht bei Mick Goodrick und schloss in „professional music“ mit summa cum laude ab. Schwerpunkte seiner Arbeit liegen in der Umsetzung aktueller Strömungen in seinen Kompositionen, zunächst mit der 1994 gegründeten Third Movement (mit Gerald Preinfalk). 1999 gewann er den „Hans Koller Preis“ in 2 Kategorien: Newcomer of the year & Album des Jahres mit „Right Now“. Diesen Weg setzte er mit Musikern wie und Terri Lyne Carrington und der zum Quartett erweiterten Formation Martin Koller´s Third Movement und mit Strange Balls of Fire (mit Jojo Mayer und Patrice Moret) fort. Er arbeitete auch mit Nils Petter Molvær, DJ Soul Slinger, Rebekka Bakken, Will Calhoun, George Garzone, Jamey Haddad, Matthieu Michel, Matt Garrison, etc. und war langjähriges Mitglied des Vienna Art Orchestras. Koller trat auf zahlreichen namhaften internationalen Jazzfestivals auf, darunter dem Montreux Jazz Festival, dem North Sea Jazz Festival, dem Internationalen Jazzfestival Saalfelden, dem Festival International de Jazz de Montreal, Jazzfest Wien, Jazzfestival Willisau und dem London Jazzfestival.