Arts

这篇文章Understanding Linux filesystems: ext4 and beyond 是出自opensource opensource.com 作者 Jim Salter 文章主要介绍ext简要历史，ext4一些特性及问题， 以及其他一些文件系统. ext发展过程 ext主要经历了MINIX文件系统, ext，ext2, ext3, ext几个阶段。 Minix文件系统 Andrew Tannenbaum 为了教学的目的而开发了MINIX，并于 1987 年发布。Minix有自己的文件系统, 不过比较简单最多只能处理14个字符的文件名，并且只能处理64MB的存储空间。 ext ext是由一名发过软件开发人员 Rémy Card 1992 年实现，同时他也设计了ext2, ext使用VFS抽象层，并且能够支持2G存储，以及255长度的文件名。关于时间戳，ext只有一个. ext2 Rémy Card 发现了ext的局限性，一年后也就是1993年他便设计出了ext2， ext2支持到GB级别文件大小和TB级别的文件系统大小， 但是磁盘碎片， 数据写入安全性上尚存在不足，比如： 如果在将数据写入磁盘时系统崩溃或断电，则容易发生灾难性损坏. ext3 1998年， Stephen Tweedie 改进ext2， 2001合并如2.4.25内核版本主线。ext3实现了日志来解决异常情况下数据写入不一致问题。 像之前的ext2一样，ext3使用16位内部寻址。 这意味着块大小为4K时，它可以处理的最大文件大小为2 TiB，最大文件系统大小为16 TiB。 ext4 Theodore Ts’o ， 中文名曹子德 ext3主要开发人员。 2006年，发布ext4， 两年后加入 2.6.28 内核主线。 ext4比较ext3有很多新的特征：可以参见以下链接， https://ext4.wiki.kernel.org/index.php/New_ext4_features 作者文章发表的时候计划开发特征已经实现， 比如Metadata Checksums 3.1 Multiblock Allocation 3.2 Delayed Allocation 3.3 Exceed 32000 subdirectory limit 3.4 directory Inodes reservation 3.5 nsec timestamps 3.6 inode version on disk 3.7 uninitialized block groups 3.8 journal checksumming 3.9 persistent preallocation (fallocate) 3.10 Online Defragmentation 3.11 First Class Quota Support 3.12 Big Allocation Blocks 3.13 Metadata Checksums 3.14 Large file support 3.15 Large directory support ...

inode定义 1 2 3 4 5 The inode (index node) is a data structure in a Unix-style file system that describes a file-system object such as a file or a directory. Each inode stores the attributes and disk block locations of the object's data. File-system object attributes may include metadata (times of last change,[2] access, modification), as well as owner and permission data.[3] from inode wiki inode数据结构用于描述文件系统中的文件、目录等, 每一个inode保存了文件系统系统对象memdata如修改时间，访问时间以及权限等。Dennis Ritchie对于inode中i可能代表index,而被访问的文件列表，被组织为存放存放在磁盘上的一维数组。 环境准备 Linux Distributions: CentOS 7 通过fdisk划出一个10M分区, 格式化为ext4 1 2 3 4 5 6 7 8 9 $ fdisk /dev/sdb ... # Start End Size Type Name 1 2048 8390655 4G Linux filesyste 2 8390656 8411135 10M Linux filesyste [root@centosgpt ~]# $ mkfs.ext4 /dev/sdb2 $ mount /dev/sdb2 /root/inode inode查看 ls ls -i 文件名or目录 参数为目录的话,会显示出所有文件inode编号 1 2 3 $ echo hello world > text.txt $ ls -i test.txt 34942335 text.txt debugfs 针对ext2/ext3/ext4 ...

简介 Donald E. Porter 教授的 CSE 506: Operating Systems 教材 VFS 部分中提到Linux文件操作使用的一个标识 1 2 CLOSE_ON_EXEC – a bit that prevents file inheritance if a new binary is exec’ed (set by open or fcntl) 这个标识位支持exec执行前关闭其从父进程继承来的文件描述符 使用 设置方法: 通过fcntl 设置FD_CLOEXEC 1 2 3 int flags = fcntl(connfd, F_GETFD); flags |= FD_CLOEXEC; fcntl(connfd, F_SETFD, flags); 通过O_CLOEXEC 1 2 3 4 5 open(path, O_CLOEXEC | flags) socket(DOMAIN, SOCK_CLOEXEC | type, PROTOCOL) accept4(int sockfd, struct sockaddr *addr, \ socklen_t *addrlen, SOCK_CLOEXEC | flags); fopen(path, "re") 可以在以下这种模式下使用, fork后还是dup了父进程的文件描述符，exec后将自动关闭. 1 2 3 4 5 pid_t pid; pid = fork(); if (pid == 0) { exec(...) }; 验证 代码 server.c ...

题目： You are given a perfect binary tree where all leaves are on the same level, and every parent has two children. The binary tree has the following definition: 1 2 3 4 5 6 struct Node { int val; Node *left; Node *right; Node *next; } Populate each next pointer to point to its next right node. If there is no next right node, the next pointer should be set to NULL. ...

题目： Given a binary tree 1 2 3 4 5 6 struct Node { int val; Node *left; Node *right; Node *next; } Populate each next pointer to point to its next right node. If there is no next right node, the next pointer should be set to NULL. Initially, all next pointers are set to NULL. Follow up: You may only use constant extra space. Recursive approach is fine, you may assume implicit stack space does not count as extra space for this problem. Example 1: ...

题目： Implement a trie with insert, search, and startsWith methods. Example: 1 2 3 4 5 6 7 8 Trie trie = new Trie(); trie.insert("apple"); trie.search("apple"); // returns true trie.search("app"); // returns false trie.startsWith("app"); // returns true trie.insert("app"); trie.search("app"); // returns true Note: You may assume that all inputs are consist of lowercase letters a-z. All inputs are guaranteed to be non-empty strings. 实现： TrieTree是一个多叉树，是解决字符串快速匹配问题的数据结构， 他用于存储一个字符串，每个TrieTree的节点代表一个字符串/字符串前缀，每个节点可以有多个孩子节点，指向不同子节点不同路径代表不同的字符串，子节点的字符串是由本子节点的字符加上从根节点到本节点路径上的字符组成。 本地实现上， 节点的子节点使用数组或哈希表存储，只处理26个字母，通过判断子节点指针是否为空判断该字符是否存在。 具体实现参考leetcode提供的伪代码 ...

这篇文章MezzFS — Mounting object storage in Netflix’s media processing platfor 是出自medium Netflix Technology Blog,作者 Barak Alon MezzFS: Mezzanine文件系统的缩写, 是Netflix使用Python开发的一个工具，可通过FUSE将云对象作为本地文件挂载。 FUSE支持用户态空间的文件系统, 文件操作命令通过VFS->FUSE->glibc->libfuse->用户自定义文件系统实现, 从而可以在用户态重新定义文件操作. Netflix处理视频编码主要涉及以下几个方面问题： 针对不同编码器分辨率进行多次编码，如果编码技术更新调整 可能需要全部重新编码 文件拆分并加密为单独的块，并将这些块存储在Amazon S3中。另外需要处理内容安全性，审核，灾难恢复等 视频编码器都是处理本地文件系统上的文件,不会去调用API去处理云上文件。视频文件非常大，需要避免为了处理一小块而下载整个视频文件 MezzFS的一些特点； Stream objects: 流对象不要外设存储 Assemble and decrypt parts: MezzFS知道如何组装和解密 Mount multiple objects: 挂载多个对象 Disk Caching: 支持本地磁盘缓冲 Mount ranges of objects: 可以将云对象指定范围对象挂载到本地 Regional caching: 一个区域的缓冲信息可以被另一个区域使用 关键特征replay； 支持配置MezzFS为记录replay文件。 该文件包括： 元数据, 文件操作, 缓存的内容, 统计信息。有这些信息可以实现可视化的功能， 可以用来调试错误，进行性能分析. 关键特征Adaptive Buffer； 由于使用FUSE系统, 内核将分块读入， 这意味这1G 的挂载文件， MezzFS可能要针对64KB块进行16384次读取。 因此最好可以预先读取一大块进行缓存。但是由于涉及离散和连续数据， 因此出现了Adaptive Buffer 具体公式数据来源于最近的读取的信息. ...

简介 Tiny Core Linux是一个mini Linux操作系统,基于 BusyBox和FLTK提供基本功能。 其发行版本在11M-16M 官网上也提供Plus版本也只有106M。它很精致。 安装 操作系统安装 镜像下载 下载页面 http://tinycorelinux.net/downloads.html 我下载了两个版本镜像: x86版本: TinyCore-11.1.iso x86_64位版本:TinyCorePure64-11.1.iso 环境准备 我们使用的vmware 首先新建一个linux虚拟机， 我选的版本是其他Linux5.x或更高版本内核64位, 并添加了两块SATA的硬盘（默认的SCSI硬盘识别似乎有些问题） 开始安装 安装过程主要下面三个步骤 ： 光盘启动操作系统; 配置网络 下载安装脚本安装; 1 . 选择镜像: 光盘镜像选择 x86版本:TinyCore-11.1.iso (不影响安装) 2 . 启动系统: 启动后会出现四个选项, 选择第三项 1 2 3 4 Boot TinyCore Boot TinyCore (on slow devices, waitusb=5) Boot Core (command line only) Boot Core (command line only on slow devices, waitusb=5) 可以看到系统后进入命令行窗口，但是这种模式下进行操作重启将全部丢失。要保留我们相关配置,需要挂载硬盘。 3 . 配置网络: 配置网卡地址路由及域名服务器。 1 2 3 sudo ifconfig eth0 192.168.xxx.202 netmask 255.255.255.0 sudo route add default gw 192.168.xxx.1 dev eth0 sudo echo nameserver 192.168.xxx.1 >> /etc/resolv.conf 4 . 下载安装脚本: 会联机下载相关安装包 1 tce-load -wi tc-install.tcz 5 . 安装: 启动安装脚本 1 sudo tc-install.sh 选择c从光盘启动 1 2 3 Core Installation. Install from [R]unning OS, from booted [C]drom, from [I]so file, or from [N]et. (r/c/i/n): c 选择f安装到本地硬盘 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 Select install type for /mnt/sr0/boot/core.gz Frugal * Use for frugal hard drive installations. Note: You will be prompted for disk/partion and formatting options. HDD * Use for pendrives. Your BIOS must support USB-HDD booting. * A single FAT partition will be made. Note: Requires dosfstools extension. Warning: This is a whole drive installation! Zip * Use for pendrives. Drive will be formatted into two FAT partitions. * One small one for USB_ZIP boot compatibility, and used to hold Tiny Core. * The remaining partition will be used for backup & extensions. Note: Requires dosfstools and perl extensions. Warning: This is a whole drive installation! Select Install type [F]rugal, [H]DD, [Z]ip. (f/h/z): f 选择1使用整个硬盘安装 1 2 3 4 5 6 Select Target for Installation of core 1. Whole Disk 2. Partition Enter selection ( 1 - 2 ) or (q)uit: 1 选择1安装到第一块硬盘上 1 2 3 4 5 6 Select disk for core 1. sda 2. sdb Enter selection ( 1 - 2 ) or (q)uit: 1 安装bootloader选择y 1 2 3 4 5 6 Would you like to install a bootloader? Most people should answer yes unless they are trying to embed Core into a different Linux distribution with an existing bootloader. Enter selection ( y, n ) or (q)uit: y Install Extensions from this TCE/CDE Directory: 选择分区格式 ext4 1 2 3 4 5 6 7 8 Select Formatting Option for sda 1. ext2 2. ext3 3. ext4 4. vfat Enter selection ( 1 - 4 ) or (q)uit: 3 设置一些启动选项, 这里先不输入， 直接回车 1 2 Enter space separated boot options: Example: vga=normal syslog showapps waitusb=5 选择y,开始安装 1 2 Last chance to exit before destroying all data on sda Continue (y/..)? 安装完毕后有以下信息回显, 安装完毕. 1 2 3 4 5 6 7 8 9 10 11 12 13 Writing zero's to beginning of /dev/sda Partitioning /dev/sda Formatting /dev/sda1 mke2fs 1.45.4 (23-Sep-2019) 1+0 records in 1+0 records out 440 bytes (440B) copied, 0.000846 seconds, 507.9KB/s UUID="XXXXXXX" Applying syslinux. /mnt/drive/tce/boot/extlinux is device /dev/sda1 Setting up core image on /mnt/sda1 Installation has completed Press Enter key to continue. 按照这个步骤把第二块硬盘也安装一下. 第二块硬盘使用镜像 TinyCorePure64-11.1.iso 安装, 使用umount卸载原有x86镜像，mount重新挂载新的镜像。 ...

环境： cenos7(X86_64) 问题： 网站显示无法链接数据库，重启后发现无法链接服务器,通过管理端登录服务器 /var/log/messages显示 1 2 dhclient: error while loading shared libraries: libdns-export.so.1102: cannot open shared object file: No such file or directory 修复： 需要root权限 1 2 3 4 # ldconfig # dhclient --help # systemctl restart NetworkManager.service # ip -a 其他 查找过程及问题： 由于前一阵刚好在服务器上增加了防火墙相关配置，所以当时开始一直判断是防火墙设置问题。关闭防火墙后仍无法访问。 排除防火墙问题后，查看了下网络配置发现eth0没有相关IP信息。 在到/var/log/messages中查看错误信息，最终通过error定位到dhclient错误. 当然还是决定改为静态方式配置IP， 我用的是eth0, 修改下面配置即可 1 2 3 4 5 6 7 8 9 /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE="eth0" BOOTPROTO="static" ONBOOT="yes" IPADDR=XXX.XXX.XXX.XXX NETMASK=255.255.255.0 GATEWAY=XXX.XXX.XXX.XXX DNS1=XXX.XXX.XXX.XXX 相关Bug Bug 1726534 与我遇到的问题一样, 大致的意思说就是说安装一些库的时候, 比如libapr虽然安装失败，导致 /etc/ld.so.cache 保存的是老版本libdns-export.so.100 不是新版本的libdns-export.so.1102 导致dhclient载入libdns-export.so.1102失败， 通过ldconfig重新更新一下 /etc/ld.so.cache即可。 ...

工作需要检查相关excel数据信息, 查询一个表格中的指定位置编号，检查相关多个个相关表格中指定位置编号是否相同。 环境 windows10 python3.7 + openpyxl + xlrd 测试数据 目录结构 1 2 3 4 5 6 7 8 9 10 C:. │ checklist.py │ reference.xlsx │ └─newdir ├─dir1 │ data1.xls │ └─dir2 data2.xls 文件内容 参考表格 reference.xlsx A CODE-12345 表格1 data1.xls A CODE-12345 表格2 data2.xlsx A CODE-67890 代码 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 from openpyxl import load_workbook from openpyxl import Workbook import os import xlrd ## 获取待检查清单列表 def get_file(root_path,all_files=[]): files = os.listdir(root_path) for file in files: if not os.path.isdir(root_path + '/' + file): # 检查文件名包含"功能点"， 以 "xls", "xlsx"为后缀的文件 if (file.endswith('.xls') or file.endswith('.xlsx')) \ and 'XXXX' in file: all_files.append(root_path + '/' + file) else: # 如果是目录，目录后增加'/'递归查找符合条件的文件 get_file((root_path+'/'+file),all_files) return all_files ## 获取参考文件指定位置编号 def get_request_no(root_path): files = os.listdir(root_path) for file in files: if not os.path.isdir(root_path + '/' + file): if file.endswith('.xls') or file.endswith('.xlsx') \ and 'YYYY' in file: print (file) ## only xlsx wb_in = load_workbook(file) ws_in = wb_in.active ## 查找第2行，第5列的编号 request_no = ws_in.cell(row=2, column=5) print (request_no.value + '\n') ##break return request_no.value; ## 遍历参考列表文件记录与参考文件表中需求编号不同的文件名 def check_file(files, request_no): result="" for file in files: ## 由于openpyxl, 不支持xls，这里使用的是xlrd库 wb_in = xlrd.open_workbook(file) ws_in = wb_in.sheets()[0] ## 编号是从0开始计数， 第8行， 第2列中的数据 file_request_no = ws_in.cell(rowx=7, colx=1) if str(file_request_no.value) != str(request_no): s = file_request_no.value + file +'\n' result += s return result def write_log(result): file=open("result.txt", "w") file.write(result) file.close() path = r'.\\ZZZZ' list=get_file(path) path = r'.' no=get_request_no(path) result=check_file(list, no) write_log(result) 运行结果 1 2 3 > python check.py > type result.txt CODE-67890.\\newdir/dir2/data2.xls 参考 Openpyxl Doc xlrd- API Reference