Tihle týpci se nedali dohromady za účelem vydělávat perachy a být kapelou s hromadou koncertů a turné, ale aby si odpočinuly od jejich hlavních hudebních projektů, které jim zaberou většinu času. Nic je netlačí, ničeho nelitují, nedělají turné. Jsou tu, aby si užili srandu a znovu prožili dny, kdy jsou jen garážová kapela.
Bubeník Aaron Cometbus vzpomíná na počátky kapely :
"Bill a Mike byli v jedné z kapel, která zkoušela v mém starém domě, když jsem se pokoušel spát. Měli plné ruce práce hraní v téhle a jedné nebo dvou dalších kapelách, ale nepřestali mě štvát s tím, že bysme mohli dělat muziku spolu. Takže pozdě v noci, po všech zkouškách jejich dalších kapel, jsme začali pracovat na vlastní hudbě. Ne za účelem založit novou kapelu, ale jenom jako uvolnění, bez nějakých starostí nebo omezení. To bylo někdy v roce 1990 v East Bay. Byla to doba nové energie a znovuzrození. Vpodstatě rok 1989 zničil všechno a lidi začali znovu dávat to všechno dohromady.
V té době jsem neměl nějakou stálou kapelu. Čekal jsem na svou příležitost, svůj čas jsem zaplňoval hraním na bicí v Billieho kapele, když to jejich normální bubeník nestihl, občas jsem hrál v The Blatz, kde hrál Billie druhou kytaru. Když pak Billieho kapela odjela na turné, staral jsem se o přepravu aparatury. Pak jsem začal hledat ve městě Arcata lidi na start nové kapely. Problém s kapelou v East Bay byl ten, že každý hrál ještě v pěti dalších kapelách, kromě toho jsem pořád opouštěl město, takže byl problém s něčím stálejším. Problém mít kapelu kdekoliv jinde byl, že nikdo neměl styl a smysl pro hudbu jako lidi v East Bay. Moje kapela v Arcatě se nikdy nemohla dohodnout na jméně. Já ji chtěl pojmenovat "Pinhead Gunpowder", po hodně hustým zeleným čaji ze zdejšího obchodu. Oni jí chtěli dát jméno "50 Foot Hesher". Taky jsme se pořád hádali ohledně songů.
Na jaře 1991, po několika měsících zkoušení a jednom katastrofálním koncertu, jsem nechal kapely v Arcatě. Šel jsem do Berkeley a shromáždil kandidáty na členy v kapele. Byli to Bill, Mike a Billie, parta lidí, kteří pořád chodily na nějaký koncerty, pořád pařili a potloukali se společně. Dost nadšení na to, aby dali všechnu svou energii do kapely, ale zároveň tolik zaměstnaní jejich dalšími projekty a cestováním. Věděli jsme, že PG může fungovat jen několikrát, dvakrát nebo třikrát do roka a jen na pár měsíců.
A takhle to taky bylo, je a bude. Dali jsme se dohromady, abysme pracovali a nahrávali nový songy, hráli pár koncertů, udělali turné po západním pobřeží nebo prostě jen abysme zkoušeli. Kapela je jediná věc, která zůstala, i přes všechny jiný změny, stejná. Je to sranda, když jsme začínali, skoro jsme se neznali, a těď, přestože spolu netrávíme moc času, jsme si daleko blíž. Jediná velká změna v kapele byla, když Mike sám odešel a místo něj nastoupil Jason. Tehdy hrál v kapele s Billem, žil na turné a byl ještě ve dvou kapelách..."

Se svými texty, rychlým a energickým pop-punkem, natočili v době 1991-1993 spousty EP a songů na různých labelech. Nakonec vyšly všechny jejich skladby v roce 1994 pod vydavatelstvím Lookout Records pod názvem "Jump Salty". Stále si udržujíc jejich cíl hrát jako garážová kapela, vyšlo v roce 1995 EP "Carry the Banner". Tehdejšího kytaristu Mika Kirsche (z kapely Fuel) zde poprvé nahradil Jason White. V roce 1996 vyšlo jejich oficiálně první full-lenght album "Goodbye Ellston Avenue". O tři roky později vyšlo na Adeline Records album "Shoot The Moon", po něm zase následovala kupa EPček a různých splitů a kompilací.
