Java工程 Linux环境下 Too Many Files 问题排查

遇到Linux文件句柄过多的问题，需要从多个角度排查和修复。以下是详细的排查和修复流程：

一、快速确认问题

1. 查看系统句柄使用情况

# 查看系统整体句柄使用情况
cat /proc/sys/fs/file-nr
# 输出三个数字：已分配 未使用 最大限制

# 查看系统最大句柄限制
cat /proc/sys/fs/file-max

# 查看进程级别的限制
ulimit -n
ulimit -Sn  # 软限制
ulimit -Hn  # 硬限制

2. 找出Java进程

# 查找Java进程
jps -l
# 或
ps aux | grep java

# 查看Java进程打开的文件数
ls -l /proc/<PID>/fd | wc -l

# 查看进程句柄使用详情
lsof -p <PID> | wc -l

二、定位问题根源

1. 分析Java进程打开的文件

# 查看Java进程打开的所有文件类型
lsof -p <PID> | awk '{print $5}' | sort | uniq -c | sort -rn

# 查看具体打开了哪些文件
lsof -p <PID> | head -100

# 按类型筛选查看
lsof -p <PID> -i  # 查看网络连接
lsof -p <PID> -a -d txt  # 查看文本文件

2. 使用Java内置工具

# 使用jcmd查看线程信息（可能包含文件操作）
jcmd <PID> Thread.print

# 使用jstack查看线程堆栈
jstack <PID> > thread_dump.txt

# 使用jmap生成堆转储（分析对象引用）
jmap -dump:live,format=b,file=heapdump.hprof <PID>

3. 在线排查工具

// 在Java代码中添加诊断
import java.lang.management.ManagementFactory;
import com.sun.management.UnixOperatingSystemMXBean;

public class FDDiagnose {
    public static void printFDInfo() {
        UnixOperatingSystemMXBean os = 
            (UnixOperatingSystemMXBean) ManagementFactory.getOperatingSystemMXBean();
        System.out.println("打开文件数: " + os.getOpenFileDescriptorCount());
        System.out.println("最大文件数: " + os.getMaxFileDescriptorCount());
    }
}

三、常见原因及修复方案

1. 资源未正确关闭

问题代码示例：

// 错误示例
try {
    FileInputStream fis = new FileInputStream(file);
    // 忘记关闭
} catch (IOException e) {
    e.printStackTrace();
}

// 正确示例
try (FileInputStream fis = new FileInputStream(file);
     BufferedInputStream bis = new BufferedInputStream(fis)) {
    // 自动关闭
} catch (IOException e) {
    log.error("Error reading file", e);
}

2. 连接池配置问题

# 数据库连接池配置（以HikariCP为例）
spring:
  datasource:
    hikari:
      maximum-pool-size: 20        # 控制连接数
      connection-timeout: 30000
      idle-timeout: 600000
      max-lifetime: 1800000
      leak-detection-threshold: 60000  # 检测连接泄漏

3. 网络连接未关闭

// HttpClient连接管理
CloseableHttpClient httpClient = HttpClients.custom()
    .setMaxConnTotal(100)          // 最大总连接数
    .setMaxConnPerRoute(20)        // 每个路由最大连接数
    .evictIdleConnections(30, TimeUnit.SECONDS)
    .build();

4. 文件流处理优化

// 使用NIO Files API，自动管理资源
Files.lines(Paths.get("file.txt"))
     .forEach(System.out::println);

// 或使用try-with-resources确保关闭
try (Stream<String> lines = Files.lines(Paths.get("file.txt"))) {
    lines.forEach(System.out::println);
}

四、系统级别优化

1. 调整系统参数

# 临时调整
ulimit -n 65536

# 永久调整
# 编辑 /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536

# 编辑 /etc/sysctl.conf
fs.file-max = 2097152
fs.nr_open = 2097152

# 生效配置
sysctl -p

2. 调整JVM参数

# 在JVM启动参数中添加
-XX:-MaxFDLimit  # 关闭JVM的文件描述符限制
-XX:MaxDirectMemorySize=256m  # 限制直接内存使用

五、监控和预防

1. 添加监控

// 使用Micrometer监控
@Bean
public MeterRegistryCustomizer<MeterRegistry> metricsCommonTags() {
    return registry -> {
        registry.gauge("process.files.open", 
            ManagementFactory.getPlatformMBeanServer(),
            mbs -> {
                try {
                    ObjectName name = new ObjectName(
                        "java.lang:type=OperatingSystem");
                    return (Long) mbs.getAttribute(name, "OpenFileDescriptorCount");
                } catch (Exception e) {
                    return 0L;
                }
            });
    };
}

2. 使用APM工具

Arthas: 动态诊断工具

# 启动Arthas
java -jar arthas-boot.jar

# 监控文件描述符
dashboard  # 查看系统信息
thread -b  # 找出阻塞线程

SkyWalking/Pinpoint: 分布式追踪，监控资源使用

3. 定期健康检查

@Component
public class FDHealthCheck implements HealthIndicator {
    
    @Override
    public Health health() {
        long openFD = getOpenFileDescriptorCount();
        long maxFD = getMaxFileDescriptorCount();
        double usage = (double) openFD / maxFD;
        
        if (usage > 0.8) {
            return Health.down()
                .withDetail("open_fd", openFD)
                .withDetail("max_fd", maxFD)
                .withDetail("usage", String.format("%.2f%%", usage * 100))
                .build();
        }
        return Health.up()
            .withDetail("open_fd", openFD)
            .withDetail("usage", String.format("%.2f%%", usage * 100))
            .build();
    }
}

六、紧急处理步骤

立即增加句柄数

# 临时增加进程限制
prlimit --pid <PID> --nofile=65536:65536

# 重启应用
systemctl restart application

转储分析

# 收集句柄信息
ls -la /proc/<PID>/fd > fd_list_$(date +%Y%m%d_%H%M%S).txt
lsof -p <PID> > lsof_$(date +%Y%m%d_%H%M%S).txt

# 生成线程转储
jstack <PID> > thread_dump_$(date +%Y%m%d_%H%M%S).txt

考虑优雅重启

# 如果有连接泄漏，考虑滚动重启
kubectl rollout restart deployment/your-app  # K8s环境

七、最佳实践

使用连接池：数据库、HTTP客户端等
try-with-resources：Java 7+ 确保资源关闭
定期清理：定时清理临时文件、缓存
监控告警：设置文件句柄使用率告警（>80%）
代码审查：重点关注I/O操作和网络连接代码
压力测试：提前发现资源泄漏问题

通过以上方法，可以系统地排查和解决Linux文件句柄过多的问题，同时建立预防机制避免问题再次发生。