Le calcaire fin et tendre extrait localement est connu sous le nom de "pierre de Taillebourg". Les carrières de Saint-Vaize et du Douhet sont exploitées dès l'Antiquité et il est probable que des pierres ont été transportées par voie d'eau dès cette époque depuis ce lieu. Cette pierre, utilisée aussi bien pour la construction que pour la sculpture, fait l’objet de nombreux marchés depuis le 15^e siècle. Son transport est effectué par voie fluviale vers l'amont et surtout vers l'aval, jusqu'à La Rochelle, Bordeaux et au-delà. Elle est par exemple attestée au 16^e siècle dans la construction du portail de la cathédrale de Bordeaux, d’un caveau d’une chapelle de la cathédrale de Rennes, de quais à Saint-Gilles en Vendée et du phare de Cordouan…

La renommée de ces carrières est telle qu’elles sont mentionnées sur la carte du cours de la Charente datée de 1689 qui n'indique pas le port. En revanche, celle de Claude Masse du "49^e quaré de la généralle des costes du Bas-Poitou, païs d'Aunis et Saintonge", levée en 1718, mentionne à la fois les carrières et le port. Christian Barbier, dans son étude sur Saint-Vaize à la veille de la Révolution, fondée sur les registres paroissiaux, qualifie Port-la-Pierre de centre économique de la commune.

Au 19^e siècle, ce terrain bordant la Charente appartient à la commune, qui procède, en 1872, à l'adjudication du fermage "des port ou cales d'embarquement au lieu-dit Port-la-Pierre". Une trentaine de carriers sont alors adjudicataires de parcelles de 2 à 20 mètres, et la commune continue de jouir du reste du terrain en front de fleuve. Si le port est essentiellement dédié à l’embarquement de pierres, des chargements de bois y sont également effectués. Malgré l’intense activité portuaire, aucun aménagement spécifique ne semble exister. L’embarquement se fait grâce à des madriers disposés sur la berge et sur le plat-bord du bateau.

L'ouverture des voies ferrées, de Rochefort à Angoulême en 1867, et de Saint-Jean-d'Angély à Saintes en 1911, facilite l'expédition des bois de chauffage et des pierres. Toutefois, le transport fluvial est encore privilégié pour les matériaux lourds. Aussi, dans les années 1880, l'administration choisit-elle Port-la-Pierre pour aménager un mur de quai afin de faciliter l'expédition des pierres, entre plusieurs lieux des communes de Bussac, Port-d'Envaux et Saint-Vaize, et sur des demandes répétées de la municipalité de Saint-Vaize.

Les travaux sont différés et il faut attendre 1893 pour qu’un mur de 110 mètres de longueur soit construit par le service des ponts et chaussées. Gédéon Marchat, entrepreneur de travaux publics à Saintes, est l'adjudicataire des travaux de construction, réalisés sous le contrôle de l'ingénieur en chef Modelski. Ces aménagements servent peu de temps, puisque peu à peu, les carrières de Saint-Vaize et du Douhet sont abandonnées et le transport fluvial de pierre cesse.

La bonne accessibilité du port entraîne, vers 1938, l'installation de l'usine "Comptoir des minéraux et matières premières" de l'autre côté de la route. Cette succursale d’une usine d’Aulnay-sous-Bois (Seine-Saint-Denis) est créée par l’ingénieur Pierre-Gabriel Bourcier. Elle est destinée au traitement – broyage, défibrage et cardage – d'amiante bleue d’Afrique du Sud pour la défense nationale, qui s’en sert dans la fabrication des bacs d’accumulateurs. L'approvisionnement en minerai ayant cessé dès le début de la guerre, des matériaux de remplacement sont recherchés et essayés. En 1940, l'usine teste avec succès la fabrication de fibre d'aiguilles de pin maritime de la forêt de la Coubre. Les aiguilles sont acheminées par gabares depuis La Tremblade jusqu’au Port-la-Pierre, où un débarcadère surélevé est édifié pour permettre leur déchargement sur des wagonnets.

En l'absence d'importation de coton pendant la guerre, M. Bourcier a également l'idée de fabriquer une matière textile à base de genêt, en s'inspirant du traitement du lin. En 1946, deux bassins en ciment armé, destinés au lavage des genêts, sont aménagés sur le terre-plein du port. L'usine, qui emploie une quarantaine de personnes, se trouve à l'étroit entre la voie ferrée et la route départementale. Elle s'étend en 1947 dans une ancienne carrière de l’autre côté de la voie ferrée, mais aussi sur le port grâce à une autorisation d'occupation temporaire du domaine public.

La fermeture de l'usine au début des années 1950 et le déclassement de la voie d'eau en 1957 provoquent l'abandon progressif du port.

Auteur : Pascale Moisdon, novembre 2019.