Postgresql on 张同的博客

蓝象十日谈·第三日_3.1数据库系统的关系代数

Wed, 14 Jan 2026 23:07:00 +0800

数据库系统的关系代数

关系代数的全部对象与运算，本质上都可以理解为：对元组集合做集合运算。因此理解关系代数前需要先理解集合论。

集合论

集合的概念和描述

集合set是一些对象的汇集，可以表示如下：

A = \a,b,c\

某个元素是否属于集合，用 \in或 \notin( in / notin)表示:

蓝象十日谈·第二日_2.5Postgresql的查询执行架构

Sun, 28 Dec 2025 20:19:00 +0800

SQL语句的生命周期

前面的内存架构，物理架构，进程架构偏向静态系统架构，有哪些部件，长什么样子，谁负责干什么。

现在可以通过描述一条SQL语句的生命周期将上面的各部分串起来，是一个偏动态的查询架构。一个SQL语句可以分为以下五部分：Parser → Analyzer → Rewriter → Planner → Executor。

从客户端报文到 `exec_simple_query`

这是语句生命的起始，客户端发送一条 Simple Query（文本协议）时，大致流程是：

蓝象十日谈·第二日_2.4Postgresql的物理架构

Tue, 16 Dec 2025 23:33:00 +0800

PG的存储和文件系统

PG的目录结构

PG的目录结构这里分为两类，一类是源代码目录结构，就是git clone 下来的那棵树。还有一类就是数据目录结构（PGDATA）,就是在初始化实例的时候生成的。

源代码目录结构

官方仓库 postgres/,其顶层大致如下

postgres/
 configure      # 配置脚本
 src/           # 所有代码的主战场
 doc/           # 文档
 contrib/       # 扩展、示例模块
 config/        # 各种模板配置
 ...

官方使用doxygen 工具把 src/ 列成了一个目录树。核心子目录包括：backend/、bin/、common/、fe_utils/、include/、interfaces/、pl/、port/、test/、tools/、timezone/、tutorial/ 等。

蓝象十日谈·第二日_2.3Postgresql的内存架构

Tue, 16 Dec 2025 21:15:00 +0800

Postgresql的内存架构

内存作为磁盘和CPU之间的中间层，是系统性能的重要部分，了解PG的内存架构，有助于数据库的性能分析。

一个PG实例的内存主要分为两大部分，共享内存及每个后端进程的专有内存。

后端进程的内存

需要注意的是，上面图中的 temp_buffers,work_mem,maintaince_work_mem,这些都是参数（GUNS）,是每个后端进程中都有可能使用到的按照任务类型进行分类的内存使用种类，它们之间并没有物理隔离。

在操作系统看来，一个 backend 本质就是一个 Linux 进程，典型内存布局大概是：

上面几个内存概念都是同一个 backend 进程的虚拟地址空间里的不同区域。在OS看来，后端进程的内存就是进程+映射进来的共享内存+其他内存种类。

PG后端进程有自己的内存上下文结构，这意味着和其他程序可以随意malloc/free不同，PG里的内存操作，就要按照PG的规则来，具体而言，PG提供了MemoryContext 层次结构，一棵树状的内存池。

其核心的头文件有两个 memutils.h和palloc.h。而实现则主要在mcxt.c（MemoryContext 通用框架）和aset.c(申请内存)

蓝象十日谈·第二日_2.2Postgresql的进程架构

Mon, 15 Dec 2025 20:02:00 +0800

Postgresql进程架构

进程作为操作系统中的重要概念，包含了程序代码以及相关的运行环境。每个进程在操作系统中都是独立的，具有自己的地址空间，并可以运行。Postgresql采用多进程架构，进程之间相互隔离，提高了安全性和稳定性。下面逐一介绍各种进程。

主进程（Postmaster）

Postgresql的主进程传统上被称作Postmaster。就像这个形象的名称一样，作为PG的大boss，该进程是绝对不会干刷脏，复制这类蓝领工作的。postmaster主要负责以下工作:

蓝象十日谈·第二日_2.1Postgresql逻辑架构

Wed, 10 Dec 2025 06:40:00 +0800

Posgresql逻辑架构

database cluster

与oracle的多租户等不同，Postgresql允许你通过监听端口来区别数据库簇（database cluster）实例。一个数据库簇，或者叫数据库集群下面可以存放各种数据库（database）,数据库簇之间是物理隔离的，即base目录是严格区分的，而一个数据库簇下的各个数据库的物理文件则是按照编号存放在$PGDATA/base目录下的，这个后面的物理架构会详细描述。数据库之间的逻辑是隔离的，也就是说，即使是在同一个数据库簇下，彼此是不能直接调用的，这点和MYSQL不太一样。

蓝象十日谈·第一日_1.3Postgresql客户端工具

Wed, 10 Dec 2025 06:37:00 +0800

客户端

Postgresql的客户端工具有很多种，DataGrid，pgAdmin,Navicate等等。比起更人性化，返回结果更容易操作，编写sql有高亮有自动提示的这些工具，作为DBA的我，更推荐原生的psql。

psql - 最好的客户端工具

psql采用的是双命令行工具设计（Dual-mode Command-line Interface）。

连接数据库：psql -h localhost -p 5432 database_name
获得psql的帮助：\
获得语法的帮助：\h STATEMENT
在shell中执行命令：psql -c “STATEMENT”
通过psql执行sql文件：psql < f.sql

psql用法_转储

psql的轻便和易用往往超乎你的想象，比如你需要将某个节点上的表同步到其他节点上，如果用其他工具，你需要打开同步界面-选择节点信息-然后再在可视化页面里面寻找表格，然后再一直下一步直到同步完成。而上述这些操作，在psql这里只需要一行命令

pg_dump -h SRC -p 5432 -U USR -d SRCDB -t sch.tbl --no-owner --no-privileges \
| psql -h DST -p 5432 -U USR -d DSTDB

psql用法_自定义psqlrc文件

除此之外，你可以创建.psqlrc文件来定义命令行环境和快捷命令。

vim ~.psqlrc
\set activeprocess 'select pid,usename,query from pg_stat_activity where state = ''active'';'

然后你就可以在命令行中调用它了

postgres=# :activeprocess
   pid   | usename |                                 query                                  
---------+----------+------------------------------------------------------------------------
 2942409 | postgres | select pid,usename,query from pg_stat_activity where state = 'active';

类似的，你可以在.psqlrc中定义输出配置，常用的元信息查询等等。

psql用法_批量执行查询结果

作为DBA，有些操作需要拼接元信息形成新的操作命令，然后再进行操作。通常我们只是复制这些结果，再进行粘贴执行一次操作。在psql中，被\gexec命令简化。把查询结果当成 SQL 执行，做批量 DDL 神器。

-- 批量重建 bloated 索引（只是示例）
SELECT format('REINDEX INDEX %I.%I;', schemaname, indexrelname) FROM pg_stat_all_indexes WHERE idx_scan=0
\gexec

psql用法_监控

我们直到linux中有watch命令进行定义监控，一样的，pg也有这样的watch命令。

蓝象十日谈·第一日_1.2Postgresql数据库的安装

Sun, 07 Dec 2025 12:44:00 +0800

Postgresql数据库的安装

仓库安装

仓库安装可以参考官方的download页面。在这里可以选择操作系统，需要安装的Postgresql版本号，快捷的进行安装和部署。

如果需要离线安装，那么推荐首先进行创建离线仓库，包括base,update,epel,pgdg等等的分类仓库创建，方便日后升级和扩展。如果是容器部署可以参考Postgres offical image。

大型项目除了数据库本身，还需要安装数据库周边的一些软件，依赖复杂度高，所以推荐仓库安装。

蓝象十日谈·第一日_1.1数据库的发展历程

Sun, 07 Dec 2025 11:36:00 +0800

蓝象十日谈·第01日_数据库的发展历程

数据库的发展历程

滚滚长江东逝水，浪花淘尽英雄。数据库系统的发展历程波澜壮阔，血脉丛横交错。每个年代都有各自的佼佼者和里程碑。主线脉络我这里分为8条：

IBM 系统 R → DB2

1970s 的 System R 奠定了 SQL 与商用 RDBMS 的起点，随后发展为 DB2，并衍生出多条企业级分支（如 OS/400、Mainframe 等）。
Ingres/POSTGRES → PostgreSQL

伯克利 Ingres 一脉演化到 POSTGRES、Postgres95，最终成为 PostgreSQL。这条线上你会看到：

Postgresql应急手册-膨胀

Fri, 09 May 2025 11:25:43 +0800

Postgresql应急手册结构性内容来自xiongcc的pg应急一图

PostgreSQL 膨胀问题技术指南

摘要： PostgreSQL 数据库在长时间运行、频繁更新的情况下，容易出现“膨胀（Bloat）”问题。膨胀指的是表、索引、WAL 日志或系统目录占用了不必要的大量空间，可能导致性能下降。本文将分别讨论 表膨胀、索引膨胀、WAL 日志膨胀 和 系统表膨胀，分析成因、检测方法，并提供解决方案和示例脚本。通过合理的监控和维护，可有效控制膨胀现象，提高数据库性能和稳定性。

Postgresql应急手册-事务ID回卷

Fri, 09 May 2025 11:23:10 +0800

postgresql应急手册骨干内容源自xiongcc的应急脑图，结合GPT深入研究得出结果。本人校核。

PostgreSQL 事务ID回卷异常及处理方案

1. 事务ID回卷异常的表现

概念说明： PostgreSQL使用32位事务ID（Transaction ID, XID）标识事务，每个新事务都会消耗一个XID (How to fix transaction wraparound in PostgreSQL? possible Txids))。由于32位整数最大约为42亿，XID会在约21亿（2^31）时触发“回卷”（wraparound）机制，从0重新计数。为了防止旧事务的数据可见性错误，PostgreSQL要求在接近XID耗尽时冻结（freeze）老事务ID。如果未及时冻结，数据库将采取保护措施，包括强制只读甚至停止服务，以避免数据丢失 (Overcoming VACUUM WRAPAROUND)。

Postgresql IO

Wed, 11 Dec 2024 11:30:00 +0800

I/O Patterns

Dinesh & Rakesh
March 1, 2024

演讲人介绍

Dinesh Kumar

Principal Architect @ Tessell
Active contributor to Opensource tools around PostgreSQL
Author of two PostgreSQL books

Rakesh

Solutions Architect @ Tessell
Extensively built products & platforms with PostgreSQL

What is I/O?

从高层次来看，I/O 操作是请求从磁盘读取数据（“输入”）或向磁盘写入数据（“输出”)的操作，通常以每秒操作数来衡量。

这张图是关于 PostgreSQL 数据库中的 I/O（输入/输出）流程的高级视图。下面是每个部分的分析：

Postgresql MVCC -2 锁

Mon, 05 Aug 2024 11:36:03 +0800

Postgresql MVCC -2 锁

了解完postgresql中的事务隔离级别，剩下的就是锁机制了。

显式锁 Explicit Locking

PostgreSQL提供了多种锁模式来控制对表中数据的并发访问。在MVCC未提供所需行为的情况下，这些模式可用于应用程序控制的锁定。此外，大多数PostgreSQL命令会自动获取适当模式的锁，以确保在命令执行时不会以不兼容的方式删除或修改引用的表。（例如， TRUNCATE不能安全地与同一表上的其他操作同时执行，因此它会在表上获取ACCESS EXCLUSIVE锁来强制执行。）

Table-Level Locks

ACCESS SHARE (AccessShareLock)

SELECT命令在引用的表上获取此模式的锁。一般来说，任何只读取表而不修改表的查询都会获取这种锁模式。
ROW SHARE (RowShareLock)

SELECT命令在指定了FOR UPDATE 、 FOR NO KEY UPDATE 、 FOR SHARE或FOR KEY SHARE选项之一的所有表上获取此模式的锁（除了在没有引用的任何其他表上的ACCESS SHARE锁之外）任何显式的FOR ...锁定选项）。
- 注意，虽然名字中含有row，但是这类锁不是还是表锁，不是行锁
1. 关于select for 锁定子句
  1. FOR UPDATE
    - 锁定选定的行以进行更新。这些行不能被其他事务修改，直到当前事务完成。
    - 示例：
      
      BEGIN; SELECT * FROM employees WHERE department_id = 10 FOR UPDATE; -- 这里，你可以对结果集中的行进行更新操作 UPDATE employees SET salary = salary * 1.1 WHERE department_id = 10; COMMIT;
  2. FOR NO KEY UPDATE

Postgresql MVCC -1 隔离级别

Thu, 01 Aug 2024 18:31:13 +0800

Postgresql MVCC -1 隔离级别

MVCC是什么

MVCC,英文Multi-Version Concurrency Control ，多版本并发控制。

这是目前所有主流关系型数据库都具备的并发控制机制。

本文不深入讨论二段锁机制，MVCC机制等，只阐述postgresql的MVCC实现和特性。（深入部分会单开一篇具体讨论）

Postgresql数据库维护须知

Wed, 31 Jul 2024 17:28:06 +0800

Postgresql数据库维护须知

本文翻译自Everything you need to know about PostgreSQL Database Maintenance

作者 Nishchay Kothari

介绍

我们经常听到“数据库维护”这个术语。那么它到底是什么呢？所有事物都需要有效的维护，包括您的数据库。定期维护有助于数据库正常运行并高效执行，以满足您的业务期望。数据库维护描述了一组旨在改进数据库的任务。这些常规任务旨在提高性能、释放磁盘空间、检查数据错误、硬件故障、更新内部统计数据以及许多其他不明显（但通常重要）的事项。

数据库维护在日常PostgreSQL操作中是一个高度被忽视的话题。虽然人们普遍认为数据库备份需要定期和基本地进行，但只有少数用户意识到额外的工作。一种主要的原因是，许多人没有深入了解SQL本身，并且无法有效地执行这些任务。

有时，数据库维护如果做得不当可能不会引起注意，但当数据库性能受到影响时，就会变成一个真正的问题。

这本白皮书将带您了解常见的Postgresql数据库维护任务。

关键要点：

Vacuum 过程 在 PostgreSQL 中，vacuum 负责清理死行或死元组的工作。这类似于对死行/元组进行碎片整理的活动，通常被称为膨胀bloat。
版本控制 PostgreSQL 通过 MVCC（多版本并发控制）维护旧元组的版本控制，以在事务中实现可见性。因此，它不会立即删除这些数据版本，而是保持这些版本，除非有人指示其删除。

postgresql HA框架对比

Thu, 30 May 2024 17:57:00 +0800

文章内容来自Managing High Availability in PostgreSQL® – Part III: Patroni

Patroni 对于 PostgreSQL 数据库管理员（DBA）来说是一个宝贵的工具，因为它执行 PostgreSQL 集群的端到端设置和监控。选择分布式一致性服务（DCS）和备用创建的灵活性对最终用户来说是一个优势，因为他们可以选择自己熟悉的方法。

Postgresql数据库调优

Thu, 18 Jan 2024 16:03:07 +0800

参考连接:

An Introduction to PostgreSQL Performance Tuning and Optimization

本文档介绍如何调整 PostgreSQL 和 EDB Postgres Advanced Server (EPAS)（版本 10 至 13）

所使用的系统是 RHEL 系列 linux version 8。这些只是一般指南，实际调整细节会因工作负载而异，但它们应能为大多数部署提供一个良好的起点。

调优时,我们从硬件开始，然后逐级向上，最后完成应用程序的 SQL 查询。

随着堆栈的不断升级，与工作负载相关的调优方面也会越来越高，因此我们会从最普通的方面开始，然后再到与工作负载最相关的方面

1. 规划机器

数据库部署的服务器类型如下：

bare metal 裸金属服务器

virtualized machines 虚拟机

containerized 容器化

本文档侧重裸金属和虚拟机

1.1 裸金属

在为 PostgreSQL 设计裸机服务器时，需要考虑一些因素。这些因素包括 CPU、内存、磁盘，少数情况下还包括网卡

Postgresql on 张同的博客

蓝象十日谈·第三日_3.1数据库系统的关系代数

数据库系统的关系代数

集合论

集合的概念和描述

蓝象十日谈·第二日_2.5Postgresql的查询执行架构

SQL语句的生命周期

从客户端报文到 exec_simple_query

蓝象十日谈·第二日_2.4Postgresql的物理架构

PG的存储和文件系统

PG的目录结构

源代码目录结构

蓝象十日谈·第二日_2.3Postgresql的内存架构

Postgresql的内存架构

后端进程的内存

蓝象十日谈·第二日_2.2Postgresql的进程架构

Postgresql进程架构

主进程（Postmaster）

蓝象十日谈·第二日_2.1Postgresql逻辑架构

Posgresql逻辑架构

database cluster

蓝象十日谈·第一日_1.3Postgresql客户端工具

客户端

psql用法_转储

psql用法_自定义psqlrc文件

psql用法_批量执行查询结果

psql用法_监控

蓝象十日谈·第一日_1.2Postgresql数据库的安装

Postgresql数据库的安装

仓库安装

蓝象十日谈·第一日_1.1数据库的发展历程

蓝象十日谈·第01日_数据库的发展历程

数据库的发展历程

Postgresql应急手册-膨胀

PostgreSQL 膨胀问题技术指南

Postgresql应急手册-事务ID回卷

PostgreSQL 事务ID回卷异常及处理方案

1. 事务ID回卷异常的表现

Postgresql IO

I/O Patterns

演讲人介绍

Dinesh Kumar

Rakesh

What is I/O?

Postgresql MVCC -2 锁

Postgresql MVCC -2 锁

显式锁 Explicit Locking

Table-Level Locks

Postgresql MVCC -1 隔离级别

Postgresql MVCC -1 隔离级别

MVCC是什么

Postgresql数据库维护须知

Postgresql数据库维护须知

介绍

关键要点：

postgresql HA框架对比

Postgresql数据库调优

1. 规划机器

1.1 裸金属

从客户端报文到 `exec_simple_query`