HDF5 (Hierarchical Data Format 5)
HDF5 เป็นรูปแบบไฟล์และไลบรารีสำหรับจัดเก็บและจัดการชุดข้อมูลทางวิทยาศาสตร์ขนาดใหญ่ รองรับโครงสร้างกลุ่ม/ชุดข้อมูลแบบลำดับชั้นพร้อมเมตาดาต้าที่ครอบคลุม
ประเภท MIME
application/x-hdf5
ประเภท
ไบนารี
การบีบอัด
ไม่สูญเสียคุณภาพ
ข้อดี
- + Handles datasets from kilobytes to exabytes
- + Hierarchical structure organizes complex data
- + Built-in compression and chunked storage for performance
- + Parallel I/O support for HPC clusters
ข้อเสีย
- − Complex API with a steep learning curve
- − Not suited for simple tabular data (use Parquet or CSV)
- − File corruption risk with concurrent writes without locks
เมื่อใดควรใช้ .HDF5
ใช้ HDF5 สำหรับชุดข้อมูลทางวิทยาศาสตร์ขนาดใหญ่ อาร์เรย์หลายมิติ และข้อมูลที่ต้องการการจัดระเบียบแบบลำดับชั้นพร้อมเมตาดาต้า
รายละเอียดทางเทคนิค
ไฟล์ HDF5 จัดระเบียบข้อมูลในกลุ่ม (ไดเรกทอรี) และชุดข้อมูล (อาร์เรย์หลายมิติ) พร้อมแอตทริบิวต์เมตาดาต้า รองรับ chunking สำหรับ I/O ที่มีประสิทธิภาพ การบีบอัด (gzip, SZIP, LZF) และ I/O แบบขนาน
ประวัติ
HDF Group (เดิมที่ NCSA มหาวิทยาลัยอิลลินอยส์) สร้าง HDF ในปลายทศวรรษ 1980 HDF5 เผยแพร่ในปี 1998 เป็นการออกแบบใหม่ที่สมบูรณ์ รองรับชุดข้อมูลหลายมิติและการเข้าถึงแบบขนาน