В 1993 году солист Серж Танкян и гитарист Дарон Малакян основывают группу «Soil». В 1995 группа распадается, а Серж и Дарон создают новую группу, в которую они приглашают Шаво Одаджяна. Он посещал ту же частную школу в Калифорнии, что и Танкян и Малакян, и поэтому был хорошо знаком с обоими музыкантами. Сначала он должен был стать менеджером группы, но получилось так, что именно он восполнил пустующее амплуа бас-гитариста. Название группы «System of a Down» происходит от названия поэмы, написанной Дароном Малакяном, которая называется «Victims of the Down».
В том же 1995 они записывают свою первую демо-запись "Demo Tape 1", в последствии, в 1996 будет записана Demo Tape 2 и в 1997 Demo Tape 3. На ударных играл Энди Хачатурян, покинувший коллектив в 1997 году, чтобы петь в группе The Apex Theory. Тогда же на смену Энди пришел Джон Долмаян. В этом же году музыканты получают контракт на выпуск альбома от известного музыкального продюсера Рика Рубина и приступают к записи своего первого альбома «System of a Down». Этот альбом представляется в первый раз на концерте Slayer, где System of a Down выступают в качестве «разогревочной» группы. Следующий альбом музыканты выпускают через 3 года после их дебютной пластинки. «Toxicity» по стилю мало отличается от первого альбома и продолжает музыкальную философию коллектива. Слушателям нравятся контрастные, но, тем не менее, гармонично звучащие переходы от быстрых пассажей к медленным и от громких мелодий к тихим. На этом базируется музыка группы — и это становится визитной карточкой System of a Down, которые стремительно завоевывают новых поклонников как в США, так и за рубежом. В 2002 году выходит в свет третий альбом — Steal This Album!, который содержит песни, изначально написанные для Toxicity, но не опубликованные на нем. Как и в предыдущих альбомах, речь в текстах песен идет о политике американского правительства, которое подвергается жесткой критике, а также об общественных проблемах.
Вновь проходит три года после предыдущего альбома, после чего выходит следующая пластинка. В 2005 году System of a Down выпускают альбом Mezmerize. Он пользуется огромным коммерческим успехом и на протяжении длительного времени занимает 1-е место в хит-парадах 11-и стран. Но Mezmerize — лишь часть музыкального проекта группы, состоящего из двух альбомов. Вместе с вышедшим 18 ноября 2005 года альбомом «Hypnotize» он образует единое целое, как в музыкальном плане, так и в плане содержания. По словам музыкантов, они разделили эти два альбома, чтобы дать время слушателям ознакомиться с первой частью их песен, перед выпуском второй половины.
В 2007 году приняли участие в создании фильма Карлы Гарапедян «Кричащие» («Screamers»), рассказывающем о геноциде армян.
В 2007 году Серж Танкян выпустил свой первый сольный альбом Elect The Dead. Дарон Малакян и Джон Долмаян создали свою собственную группу «Scars on Broadway» (также «Scars» или сокращённо SOB).
24 февраля 2009 Доминик Кифарелли, басист группы, объявил в интервью, что группа распалась. Проходивший в это время тур отменили полностью. Шаво Одаджян, RZA (Wu-Tang Clan) и еще несколько музыкантов организовали сольный Хип-хоп проект под названием AchoZen, который предположительно выйдет в сентябре 2009 года
