光纤激光器和其他激光器一样，由增益介质、光学谐振腔和泵浦源三部分组成，增益介质能产生光子，光学谐振腔能使光子得到反馈，泵浦源能激励光子跃迁。
为了说明光纤激光器的基本原理，以纵向泵浦的光纤激光器为例进行介绍。一段掺杂稀土金属离子的光纤被放置在两个反射率经过选择的腔镜之间，泵浦光从左面腔镜耦合进入光纤，左面腔镜对于泵浦光全部透射并对于激光全反射，以便有效地利用泵浦光，并防止泵浦光产生谐振而造成输出光不稳定。右面腔镜对于激光部分透过，以便形成激光束的反馈和获得激光输出。这种结构实际上就是法布里-伯罗谐振腔结构，泵浦波长上的光子被介质吸收，形成粒子数反转，最后在掺杂光纤介质中产生受激发射而输出激光。