Toshiko Akiyoshis japanische Familie lebte in der Mandschurei, als sie auf die Welt kam, und kehrte erst nach dem Zweiten Weltkrieg nach Japan zurück. Akiyoshi erlernte das Klavierspiel mit sieben Jahren und unterhielt mit 16 Jahren amerikanische G.I.s in Beppu. Die Platten von Teddy Wilson begründeten ihre Liebe zum Jazz, das Improvisieren brachte sie sich durch Zuhören selbst bei. Mit 23 Jahren spielte sie in ihrer eigenen Band, durch die der amerikanische Jazz-Pianist Oscar Peterson auf sie aufmerksam wurde. Dieser empfahl sie seinem Produzenten und 1953 erschien ihre erste Platte, Toshiko’s Piano.
Sie studierte von 1955 bis 1959 mit einem Stipendium am Berkeley College of Music, spielte in verschiedenen Bands und trat 1956 auf dem Newport Jazz Festival auf. Als sie das Studium abgeschlossen hatte, heiratete sie ihren Musikerkollegen Charlie Mariano, die Ehe hielt bis 1967. Die beiden spielten gemeinsam in verschiedenen Formierungen, in den frühen 1960er Jahren lebten und tourten sie in Japan.
Nach einer Tätigkeit bei einem Radiosender in New York ging sie 1972 mit ihrem zweiten Ehemann Lew Tabackin nach Los Angeles. Dort gründeten die beiden eine Big Band, für die Akiyoshi bestehende Stücke arrangierte und eigene komponierte. Ihr erstes Album im Jahr 1974 hieß Kogun, in etwa „Ein-Mann-Armee“ auf Japanisch, wozu Akiyoshi inspiriert wurde von der Geschichte des japanischen Soldaten, der im Dschungel verloren ging und für 30 Jahre nicht erfuhr, dass der Krieg beendet wurde.
Sie befasste sich mit traditioneller japanischer Musik und deren Instrumenten und ließ diese in ihre Kompositionen einfließen. Mit ihrer Big Band konnte sie keine Plattenverträge, sie spielte jedoch in diversen kleineren Formationen und veröffentlichte auch als Solokünstlerin.
Sie schrieb 1999 eine Suite zum Jahrestag des Abwurfs der Atombombe über Hiroshima. Der buddhistische Mönch Kyudo Nakagawa war mit der Bitte darum an sie herangetreten und hatte ihr einige Bilder von den direkten Nachwirkungen der Bombe gezeigt. Akiyoshi war zunächst erschüttert und wusste nicht, wie sie Musik schreiben sollte, die diesem Grauen gerecht würde. Dann sah sie das Bild einer jungen Frau, die aus einem Bombenschutzbunker herauskam und ein verhaltenes Lächeln zeigte, und verstand, dass es bei der Feierlichkeit zum Jahrestag und in ihrer Komposition um Hoffnung gehen sollte. Am 6. August 2001 wurde die Suite uraufgeführt, 2002 erschien sie als Album.
In einem Interview mit Toshiko Akiyoshi und Lew Tabackin bei Jazz.com (englisch) gibt Akiyoshi selbst Einblicke in ihre Biografie.