伯牙是先秦时期一位优秀的民间音乐家。其姓伯名牙。明末冯梦龙在其所编话本集子《警世通言》中给伯牙名字前加了一个字——俞，是谓“俞伯牙”，这是不确的。
伯牙是一位造诣颇深的音乐家，他不仅琴弹得好，也会作曲。但他的成就不是一毗而就的，而是“积学”的结果。
伯牙为了提高自己的琴艺和作曲，就师于成连先生，但是学习三年成效甚微，更谈不上琴与情的紧密结合、浑然一体了，于是成连先生便对伯牙说:“我带你去见我的老师方子春先生吧，也许他能更好地教你。”他们来到东海中的蓬莱山，成连佯称去找先生就把伯牙一人留在那里。在这茫茫的大海边，伯牙听到是海水汹涌澎湃的涛声、海鸟的鸣叫声，看见的只能是山林深远的景象。在这与世隔绝的日子里，伯牙只能把心思完全倾注在琴艺上，他一边练琴，一边等待成连老师和方子春先生的到来。
日复一日，仍不见老师们的到来，伯牙恍然大悟:“啊!先生将移我情”，他更加专心地体察大自然的启迪，更加专心地弹琴，弹到琴与情的相融，心与神而合，真正悟出了琴学的真谛。过了一些天，成连老师回来了，看到伯牙的进步而欣慰地笑了，于是师徒二人整装而归，从此“伯牙遂为天下妙矣”，成为当时第一流的琴家。
琴艺高雅，知音难觅。所以“伯牙遇知音”的事就成为历史的一则美谈:
钟子期，姓钟名期是伯牙的好友。每每伯牙弹琴时，子期总是在一旁专心致志地凝神聆听，从不多言。久而久之，子期的理解能力不断提高。而伯牙经过成连先生的调教，技艺精湛、随心应手，对技巧与情感的掌握已达到了炉火纯青的地步。
一日，朋友相聚，以琴会友，寒暄即毕，少不得又要听伯牙弹琴了。伯牙今日兴致特浓，不仅弹琴，又要即兴作曲，稍思片刻，信手弹了一段音乐，钟子期听了就说:“善哉乎鼓琴，巍巍乎太山”，伯牙兴奋不已连连说:“啊!你说的跟我想的完全一样”。伯牙稍事思索又信手弹了一段音乐，子期说:“善哉乎鼓琴，汤汤乎若流水，”伯牙又惊奇又兴奋，紧紧握住子期的手说:“吾遇知音也!吾遇知音也!!”从此二人结成莫逆之交，形影不离。
是日他们携手游泰山，在北上坡突遇暴雨，二人躲在岩下避雨，伯牙见此情心绪不宁，顿感凄凉乃操琴，正是“囊琴未发弦未奏，已觉流水声洋洋”，初为“霖雨”，琴声象滴水般地丝丝细雨，后为谤沱大雨如“崩山之音”，在一旁听琴的子期总能体察琴中的情趣。伯牙感慨地说:“我们俩的心是相通的，我要表现什么是瞒不过你的。”
后子期逝，伯牙痛失挚友与知音，正如后人李白在题为《月夜听卢子顺弹琴》一诗中所说的那样:“钟期久已没，世上无知音”。伯牙悲痛至极，心想我的琴声还有谁能理解?我要琴还有何用?于是扯断琴弦，摔碎瑶琴，从此再也不弹琴了。这就是流传千古的“伯牙弹琴遇知音”的故事。