Le premier contact du peuple japonais avec cet art d’origine chinois a eu lieu au cours de la période Asuka (592-710 bien que les dates puissent varier, si différents événements historiques sont pris en compte) et Nara (710-794). Une seconde vague arriva lors des périodes Heian (794-1185) et Kamakura (1185-1333). Le Sumi-e atteint son apogée dans la période Muromachi (1338-1573) avec des maîtres tels que Sesshū, dont les paysages sont typiquement japonais, et Sesson Shukei, qui a travaillé dans l'extrême nord-est du Japon. On identifie Takuma Shôga  au XII siècle comme le premier peintre à l’encre japonais. Bien que généralement on copiait des modèles chinoises, les artistes japonais commençant à exceller également dans le domaine du portrait et de la peinture figurative.

Cette forme d'art de peinture au pinceau japonais est spirituellement enracinée dans le bouddhisme zen. L'utilisation audacieuse du geste au lavis noir a permis aux artistes Sumi-é d'éliminer de leurs peintures tout sauf le caractère essentiel de leur sujet, dans le but étroitement liée à la poursuite du bouddhisme zen. Ce qui fait sa différence avec la peinture chinoise.

Les premiers pratiquants de Sumi-e étaient des moines très disciplinés, formés dans l'art de la concentration, la clarté et la simplicité. Ces premiers maîtres Zen  se consacraient à cette forme d'art avec une intensité spirituelle aux longues années de réflexion sérieuse et de discipline stricte. Le respect des exigences de Sumi-e formaient leur direction esthétique. Les enseignements du Zen affirment que grâce à la méditation, l'auto-conscience et l'autodiscipline on est capable d'atteindre l'illumination (japonais: satori), où l'on voit la vraie nature des choses tel qu'elles le sont.

Les moines respectaient  un programme rigoureux de méditation pour préparer la peinture. La saisie d'un état contemplatif profonde était au cœur du processus créatif: la préparation de la pierre à encre, le broyage du sumi, le chargement du pinceau, la libération du tracé du pinceau sur le papier de riz ou du rouleau de soie. Maîtriser les nuances du sumi noire étant plus difficile que la peinture avec des couleurs, une habileté consommée était nécessaire. L'art de la peinture à l'encre doit être créé, sans retouche. Le tout en synchronie étroite avec la respiration.