有关军乐起源的历史记载并不完善，但在有限的资料中，我们幸运地发现黄帝时期的一些记载，可视为军乐的最早形态。

当时，我们的老祖先——黄帝和炎帝就是靠着当时本民族独一无二的简单军乐，战胜了外族的侵略，史称涿鹿之战。涿鹿之战是历史上的一个小插曲，也是我们中国军乐史的开端。伴随黄帝用军乐的胜利，在以后的历史中，发生了无数次以军乐取胜的故事。

楚军十万大军中了韩信的十面埋伏，损兵大半。半夜，项羽的妻子虞姬叫项羽快快醒来，因为她听到汉营中有人唱楚歌，并且歌声越来越响、越来越高。项羽醒后大惊，以为西楚失陷了。原来，汉军中有九江兵会唱楚歌，然后教会了汉兵。听到家乡的歌声后，楚军开始动摇，纷纷出逃，军营中只剩下八百子弟兵。刘邦借机大举进攻。乌江岸边，走投无路的楚霸王项羽引剑自刎。这就是被后人称之为“四面楚歌”的故事。

早在三千年前的西周初年，我国便有了相当规模的军乐歌舞的创作表演队伍。为了庆祝武王伐纣的胜利，创作了大型乐舞《大武》，这便是我国有史记载的第一部大型军乐舞剧。西周初年，贵族阶级喜欢举行射箭竞赛表演集会，即所谓“大射仪”，每逢“大射仪”都要安排乐队为集会壮威。从史书上看，当时已经非常讲究乐队的排列层次对音响效果的作用，把歌唱的乐工和音量最小的弹弦乐器“瑟”放在离听众(贵族们)最近的地方;而音量最大的打击乐器如建鼓、编钟、编磬、钹等就安置在远一些的地方。这也说明，早在三千多年前，我国已经拥有了专事礼仪的大型军乐队了。

汉代是我国军乐发展的繁荣时期，汉军的军乐体制已初具规模，通过不断完善和发展，形成了一种固定的军乐种类，称为“鼓吹乐”。

到了隋、唐、宋朝，鼓吹军乐有了更大的的进步。乐器的种类也大大地丰富了。音乐配属也清晰地分出若干吹奏声部，并在阵列礼仪等方面有了一整套的统一规则。到了明清更为声势浩大,明代将军戚继光的中军旗鼓阵便是中国古代军乐发展的最辉煌壮丽的时刻。

鼓吹军乐的成功出现，使它牢牢占领东方军乐阵地达2000多年之久。现代，尽管西洋的吹奏乐器已取代了中国的排箫、竹笛、唢呐，但我国军乐无论是在历史悠久方面，还是在乐队规模方面，抑或是在创作水平方面，在世界军乐史上都占有重要的地位，是值得中华民族引以为荣的。