Виникло внаслідок переоформлення слова гармоніка, запозиченого з німецької або англійської, а походить від грецького harmonia – “гармонія”.
Згідно з дослідженнями мистецтвознавця Мірека, перша гармонь з’явилася в Санкт-Петербурзі 1783 року стараннями чеського органного майстра Франтішека Кіршника (він вигадав новий спосіб видобування звуку – за допомогою металевого язичка, що коливається під дією потоку повітря).
Гармонь, мабуть, можна по праву вважати найнароднішим інструментом, нерозривно пов’язаним з російським фольклором. Такі інструменти, як акордеон, баян, гармонь є різновидами ручних гармонік, які відрізняються зовнішнім виглядом і звучанням, але мають схожу конструкцію і спосіб звуковидобування.