Posts

生成swap分区 可以通过磁盘分区和文件两种方式进行操作 1. 通过磁盘分区 划出一块4G磁盘fdisk /dev/sdb sdb磁盘对应的文件 1 2 3 4 5 6 7 8 9 10 11 12 13 14 [root@centosgpt ~]# fdisk /dev/sdb Command (m for help): n Partition number (1-128, default 1): First sector (34-41943006, default 2048): Last sector, +sectors or +size{K,M,G,T,P} (2048-41943006, default 41943006): +4G Created partition 1 ... Command (m for help): p ... # Start End Size Type Name 1 2048 8390655 4G Linux filesyste .. Command (m for help): w The partition table has been altered! 创建分区mkswap /dev/sdb1 sdb1对应分区 1 2 3 [root@centosgpt ~]# mkswap /dev/sdb1 Setting up swapspace version 1, size = 1020 KiB no label, UUID=5dabc5b1-d763-4757-9e0c-383f0cacb0ea 2. 通过文件生成 生成文件dd if=/dev/zero of=/swap bs=1MB count=1024 bs 以1M为单位, count多少个1MB块 1 2 3 4 [root@centosgpt ~]# dd if=/dev/zero of=/swap bs=1MB count=1024 1024+0 records in 1024+0 records out 1024000000 bytes (1.0 GB) copied, 1.36373 s, 751 MB/s 赋予权限chown root:root /swap chmod 600 /swap 1 2 [root@centosgpt ~]# chown root:root /swap [root@centosgpt ~]# chmod 600 /swap 创建分区 mkswap -L swap /swap 1 2 3 [root@centosgpt ~]# mkswap -L swap /swap Setting up swapspace version 1, size = 999996 KiB LABEL=swap, UUID=e382380e-c729-40e6-bf3b-823d5cd9b55f 3. 通过LVM2创建 1 2 3 4 1. Create the LVM2 logical volume of size 2 GB: # lvcreate VolGroup00 -n LogVol02 -L 2G 2. Format the new swap space: # mkswap /dev/VolGroup00/LogVol02 https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/html/storage_administration_guide/ch-swapspace 开启关闭swap分区 1.开启分区 swapon -s ...

The XY Problem 原文链接 The XY Problem 什么是XY问题 XY问题是在询问您尝试的解决方案，而不是您的实际问题。 这导致提问者和回答者大量的时间和精力浪费。 用户想做X。 用户不知道如何做X，但认为只要能够做Y，他们就可以找到解决方案。 用户也不知道该怎么做Y。 用户请求有关Y的帮助。 其他人试图用Y帮助用户，但感到困惑，因为Y似乎是一个很想解决的问题。 经过大量的交互和浪费的时间之后，终于可以清楚地知道用户确实需要X的帮助，而Y甚至不是X的合适解决方案。 当人们陷于他们所认为的相关解决方案无法及进行,停下来并完整地解释问题时，就会出现问题。 如何解决 始终包括有关更广泛情况的信息以及任何尝试的解决方案。 如果有人要求提供更多信息，请提供详细信息。 如果您已经排除了其他解决方案，请分享您排除它们的原因。 这将提供有关您的问题的更多信息。 记住，如果您的诊断理论是正确的，您就不会寻求帮助了 例子 Example 1 n00b实际上并不需要文件名中的最后3个字符，而是想要文件扩展名，那么为什么要问最后3个字符呢？ 1 2 3 4 5 6 7 8 <n00b>如何回显文件名中的最后三个字符？ <feline>如果它们在变量中：echo $ {foo：-3} <feline>为什么要输入3个字符？ 你真正想要的是什么？ <feline>您是否需要扩展名？ <n00b>是。 <feline>不能保证每个文件名都具有三个字母的扩展名， <feline>所以盲目地抓三个字符并不能解决问题。 <feline> echo $ {foo ## *。} Example 2 如果Angela刚开始解释说她想防止其他人检测到她的操作系统，那本来可以是简短得多且更有成果的讨论。 1 2 3 4 5 6 7 Angela：'nmap -O -A 127.0.0.1'返回以'OS:'开头的某些行。 怎么改变呢？ Obama：在nmap的源代码中查找，找到如何找到Linux部分，然后重写TCP / IP堆栈以使nmap无法检测到它。 Angela：是的，但是我完全不了解linux系统api。 Obama：好吧，nmap基于TCP / IP堆栈的工作方式，除了重写该堆栈的适当部分外，没有真正的方法。 Angela：我真的需要避免这些信息。 iptables可以完成这项工作吗？ Obama：好吧，不要使用操作系统检测或版本扫描 Angela：我想防止其他人知道我的操作系统类型

相关概念 cybersecurity: 网络空间安全涉及旨在保护设备，网络，程序和数据免受攻击和未经授权的访问的一系列实践，流程和技术; 网络安全不仅可以保护数据，还可以保护存储数据的资源和技术。 information security: 信息安全是关于保护信息的，通常集中在信息的机密性，完整性和可用性方面。 cyberseurity应用于信息技术的安全，wiki上的 Cybersecurity information technology list 几乎列出了wiki上所有网域安全相关信息 wiki相关主题，关于英文的关键字是 Information security, cybersecurity，cyberspace, 后两者者常用户的翻译是网络空间安全, 网络空间。现在的安全相关相关信息用后者搜索到的信息更新一些. 基本原则 安全三元组 CIA triad: Confidentiality, Integrity, Availability Confidentiality 机密性, 隐私信息, 防止被他人看到，保证机密性的例子如在线支付，涉及的用户信息，密码保护等等。 Integrity 完整性, 数据一致、准确、可信的, 不会在传输过程中改变，保证完整性的例子如用户访问控制，文件权限; 版本控制（防止已授权用户误操作）; 为了检测由于故障可能发生的数据变化，一些数据设置了校验和， 验证数据完整性。必须有冗余和备份才能将受影响的数据还原成正常状态。 Availabilty 可用性: 保障数据能够被正常访问。保证可用性的例子，比如磁盘的RAID, 应用集群，机房建设，同城异地灾备，通信线路选取多家运营商等等 。 面临挑战 大数据 由于要保护的数据信息量巨大，考虑到冗余和备份, 数据保存的成本会成倍增加。此外，由于大数据更关注于数据收集和对用户信息、行为的分析和理解, 通常缺乏数据监管。比如 Whistleblower Edward Snowden 物联网 物联网中实体和对象会有一个唯一标识符，并且具有网络通讯能力，单个接入设备可能不会引起任何隐私问题， 但是当整理和分析来自多个终端的数据时， 可能就会产生敏感数据。涉及领域如智能玩具，智能家居，智能医疗。 而且物联网设备通常不会经常打补丁，并且会使用默认密码或弱密码及进行配置,如不加保护很可能成为黑客用于攻击的载体。 解决方案 黄金法则: Authentication, Authorization, Audit 黄金法则是系统安全设计的指导规范，是用户在访问使用系统过程中, 应考虑的最基本的安全设计要求。 Authentication 身份认证和识别， 软件系统常用的就是用户, 密码，为了加强强度，后续又增加了多因素认证， 一般是双因素认证(2FA) Authorization 授权确定能再系统中使用资源的范围 Audit 通过日志还原用户的操作,一般是出现问题后的一种防御措施. 安全最佳实践 设立专门防止内部威胁的职位 进行网络钓鱼模拟 确保员工远程访问安全 优先员工的隐私 进行安全相关培训 外包厂商应遵守相同的安全策略并接收培训 建立使用适合的信息安全框架(ISO/IEC27001) 监控用户和文件防止数据丢失 高价值行业（医疗，技术，银行）应防范更高层次的威胁 加强用户密码管理使用SSO，MFAs 特权用户审计 控制访问权限防止数据泄露 检测内部威胁 备份数据 雇佣合同，第三方外包时合同中应写明相关的保密条款 更新定期更新软件和使用系统 指定安全时间响应预案， 定期进行演练 定期进行安全培训及演练 合规要求：HIPAA, PCI, ISO, and DSS 在使用软件,组件之前应考虑相关安全性 指定标准人事流程防止人员离职到的数据流失 可以持续监控用户活动 自动化减少认为操作的错误 GDPR合规要求 使用https提供服务 best practices 通过这个关键字搜索的一些信息, 参见文末链接19 Cybersecurity Best Practices to Protect Your Business ...

题目： Given a binary tree, return the level order traversal of its nodes’ values. (ie, from left to right, level by level). For example: Given binary tree [3,9,20,null,null,15,7], 1 2 3 4 5 3 / \ 9 20 / \ 15 7 return its level order traversal as: 1 2 3 4 5 [ [3], [9,20], [15,7] ] 解题： 两种方式处理， 广度优先搜索借助队列，一层一层处理，并放入二维数组； 深度优先搜索借助栈， 一个一个处理， 将每一个元素方式所属层对应的一维数组中。 ...

这篇文章 Timers and time management in the Linux kernel. Part 7. 是出自 linux-insides一书中 Timers and time management 章节 内核版本比对5.7 进行了相关调整, 增加相关备注 Linux内核中与时间相关的系统调用 这是第七章也是最后一章chapter, 它描述了Linux内核中计数器和时间管理相关的内容. 在前面的章节 part, 我们在 x86_64: High Precision Event Timer 和Time Stamp Counter. 内部时间管理是Linux内核中一个有趣的部分, 但是，当然，不仅内核需要time概念. 我们的程序还需要知道时间。这一部分中，我们将考虑实际一些与时间管理相关的 system calls. 这些系统调用: clock_gettime; gettimeofday; nanosleep. 我们将从一个简单的用户空间C 程序开始, 并从standard library 函数执行某些系统调用。由于每个 architecture 提供了自己的某些系统调用实现,因此我们将仅考虑x86_64系统调用的特定实现，因为本书与此体系结构相关。 Additionally, we will not consider the concept of system calls in this part, but only implementations of these three system calls in the Linux kernel. If you are interested in what is a system call, there is a special chapter about this. ...

/proc/buddyinfo文件 /proc/buddyinfo 文件可以查看Linux机器上可用的内存页， 可以查看每个节点，不同区域的每个order大小的块的可用数量, 下面是我们虚拟机的信息： 1 2 3 cat /proc/buddyinfo Node 0, zone DMA 97 90 51 31 10 9 6 2 0 0 0 Node 0, zone DMA32 456 876 665 457 192 83 25 5 1 0 0 mm/vmstat.c walk_zones_in_node 实现了其proc文件输出 可以看到显示的单一NUMA节点Node 0在内核使用pglist_data结构表示, 每个节点包含多个 区域, 使用zone结构标识。 ZONE类型如下: ZONE_DMA 这个区域为一些不能在所有内存地址初始化DMA的设备保留,大小和体系结构有关 , 一些ISA需要它 ZONE_DMA32 这个区域仅存在与X86_64体系中，支持32位设备放到到小于4G的内存 ZONE_NORMAL 可以直接映射的区域， 如果DMA设备支持所有可寻址内存，则可以将所有可寻址内存视为正常区域, DMA操作可以在这些页面上启动 ZONE_HIGHMEM 对于32bit系统内核空间和用户空间比例是1:3模式下(3G用户空间，1G 内核空间)， 该区域包含的页面只能由内核通过显式映射到其地址空间来访问，内核段以外的所有物理内存页都可以通过映射到该区域 ZONE_MOVABLE 从最高内存区域划出一片的内存, 处理内存碎片，X86-32bit大于ZONE_HIGH的区域， X86-64bit 大于ZONE_DMA32的区域,启动是根据内核有参数kernelcore用于设置不可移动的内存大小。 如果指定了“mirror”选项，则mirror内存用于非移动分配，其余内存用于移动页面。 ZONE_DEVICE 与SPARSEMEM这种新的物理内存模型有关, 这种模型支持内存热插拔， 这类内存通过devm_memremap_pages,映射到内存的这个区域. 伙伴分配将每个区域ZONE进一步划分为2次幂(order)个页面大小的块, 就是后面的那串数字 collectl 工具可以实时监控相关剩余内存的变化 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 #collectl -sB -oT waiting for 1 second sample... # MEMORY FRAGMENTATION (4K pages) #Time Node Zone 1Pg 2Pgs 4Pgs 8Pgs 16Pgs 32Pgs 64Pgs 128Pgs 256Pgs 512Pgs 1024Pgs 12:50:41 0 DMA 126 93 71 64 38 13 4 2 0 0 0 12:50:41 0 DMA32 441 349 94 26 14 0 0 0 0 0 0 12:50:42 0 DMA 126 93 71 64 38 13 4 2 0 0 0 12:50:42 0 DMA32 441 349 94 26 14 0 0 0 0 0 0 12:50:43 0 DMA 126 93 71 64 38 13 4 2 0 0 0 12:50:43 0 DMA32 441 349 94 26 14 0 0 0 0 0 0 12:50:44 0 DMA 126 93 71 64 38 13 4 2 0 0 0 12:50:44 0 DMA32 441 349 94 26 14 0 0 0 0 0 0 12:50:45 0 DMA 126 93 71 64 38 13 4 2 0 0 0 12:50:45 0 DMA32 441 349 94 26 14 0 0 0 0 0 0 12:50:46 0 DMA 126 93 71 64 38 13 4 2 0 0 0 12:50:46 0 DMA32 441 349 94 26 14 0 0 0 0 0 0 12:50:47 0 DMA 126 94 71 66 40 13 4 2 0 0 0 12:50:47 0 DMA32 452 354 97 40 19 0 0 0 0 0 0 相关资料 一篇介绍/proc/buddyinfo博客文章Making sense of /proc/buddyinfo quora上关于这个问题的讨论里面有What is the purpose of “/proc/buddyinfo” entry on Linux systems? [v4,2/2] mm/page_alloc.c: introduce kernelcore=mirror option KernelNewbies: Linux_4.6 Mastering Linux Kernel Development: A kernel developer’s reference manual Physical Memory Model Memory Fragmentation

题目： Given a binary tree, return the postorder traversal of its nodes’ values. Example: Input: [1,null,2,3] 1 \ 2 / 3 Output: [3,2,1] Follow up: Recursive solution is trivial, could you do it iteratively? 解题： 遍历顺序“根-左-右” 实现： 使用栈实现 从根节点开始，先将根节点压入栈，保存结果值，然后移动到右节点， 保证“根-右边”顺序， 为空后出栈，取其左节点入栈中。这样入栈就保证了访问顺序为“根-右-左”， 出栈实现“左-右-根”。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 class Solution { public: vector<int> postorderTraversal(TreeNode* root) { vector<int> res; stack<TreeNode*> ss; TreeNode *p= root, *t; while(!ss.empty()||p){ if (p){ ss.push(p); res.insert(res.begin(), p->val); p = p->right; } else { p=ss.top(); ss.pop(); p= p->left; } } return res; } }; 实现： 递归实现 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 class Solution { public: vector<int> postorderTraversal(TreeNode* root) { vector <int> res; postorder(root, res); return res; } void postorder(TreeNode *root, vector<int> &res){ if (!root) { return; } if (root->left) { postorder(root->left, res); } if (root->right){ postorder(root->right, res); } res.push_back(root->val); } }; 参考: [LeetCode] 145. Binary Tree Postorder Traversal 二叉树的后序遍历

由于工作需要，需要在项目立项前都需要进行功能点估算, 为后续计算项目组的的工作效率做准备。目前做了几次估算，在这里整理和总结一下。 我们目前使用的评估的标准参考 IFPUG: ISO/IEC 20926:2009 概述 定义: 1 2 3 The function point is a "unit of measurement" to express the amount of business functionality an information system (as a product) provides to a user. 功能点是业务功能的单位, 也就是从用户视角的进行评估， 是可以和用户交流的。对于我现在实施的外包项目来说就是用一种方法和甲方达成共识。相比较与之前的根据经验评估更有依据些。 步骤 1. 功能点应用的分类 开发项目: 从无到有 升级项目: 功能升级 应用项目: 基线评估 2. 识别应用边界 被测应用与用户间的边界。 3. 确认功能点 被测应用与用户间的边界。 数据功能 ILF: 容纳本应用维护的一组业务数据, 控制数据 ELF: 容纳外部应用维护的数据， 对于外部数据来说是他的ILF 处理功能 EI: 处理来自应用外部的的数据， 主要实现ILF的维护, 应用的控制 EO: 通过ILF生成新数据， 已报表，数据流形式送到应用以外 EQ: 请求来自应用外部, 处理过程包含输入，输出, 但输入不进行ILF文件的维护 复杂度 1. 复杂度评估涉及三种元素 RET & DET & FTR DET :用户可识别的，非重复的域 RET :用户可识别的数据的子集合 FTR: 引用文件类型 2. ILF & EIF 的复杂度 ILF & EIF 1 to 19 DET 20 to 50 DET 51 or more DET 1 RET Low Low Average 2 to 5 RET Low Average High 6 or more RET Average High High ILF: Functional Complexity Rating Unadjusted Function Points Low 7 Average 10 High 15 EIF: Functional Complexity Rating Unadjusted Function Points Low 5 Average 7 High 10 3. EI & EO & EQ 的复杂度 EI: 1 to 4 DET 5 to 15 DET 16 or more DET 0 to 1 FTR Low Low Average 2 FTRs Low Average High 3 or more FTRs Average High High EO & EQ 1 to 5 DET 6 to 19 DET 20 or more DET 0 to 1 FTR Low Low Average 2 to 3 FTRs Low Average High 4 or more FTRs Average High High EI & EQ: Functional Complexity Rating Unadjusted Function Points Low 3 Average 4 High 6 EO: Functional Complexity Rating Unadjusted Function Points Low 4 Average 5 High 7 关于复杂度我们实际场景中目前取的都是平均数， 没有对功能点负责度进一步分析，后续会对数据进行统计， 折算出应用的固定的权重。 ...

概述 wiki上的定义: The buddy memory allocation technique is a memory allocation algorithm that divides memory into partitions to try to satisfy a memory request as suitably as possible. This system makes use of splitting memory into halves to try to give a best fit. 伙伴内存分配技术是一种内存分配算法，它将内存划分为多个分区，以尝试尽可能适当地满足内存请求。 该系统利用将内存分成两半来尝试提供最佳匹配。 算法 伙伴系统有多种形式； 将每个块细分为两个较小块的块是最简单，最常见的一种。 选定块的大小要根据实际情况选取，太小则需要更多的内存记录跟踪内存分配， 太大又容易产生空间浪费,另外，就是如果选择2的次幂单位的话， 最大的块有可能不会覆盖整个内存. 例子 同样是wiki的例子，申请的内存调整了下 Step 64K 64K 64K 64K 64K 64K 64K 64K 64K 64K 64K 64K 64K 64K 64K 64K 1 24 2.1 23 23 2.2 22 22 23 2.3 21 21 22 23 2.4 20 20 21 22 23 2.5 A:20 20 21 22 23 3 A:20 20 B: 21 22 23 4 A:20 C:20 B: 21 22 23 5.1 A:20 C:20 B: 21 21 21 23 5.2 A:20 C:20 B: 21 D: 21 21 23 6 A:20 C:20 21 D: 21 21 23 7.1 A:20 C:20 21 21 21 23 7.2 A:20 C:20 21 22 23 8 20 C:20 21 22 23 9.1 20 20 21 22 23 9.2 21 21 22 23 9.3 22 22 23 9.4 23 23 9.5 24 初始化状态，每块64K， 最大的块包含 24 个块, 一个4阶块. ...

python根据excel内容生成文件夹 工作需要根据excel数据信息，生成对应的文件夹，用python写了一个脚本处理了一下。 样例中表格内容也进行了调整。 环境： windows10 python3.7 + openpyxl 目标： 以list.xlsx数据为准，抽取指定sheet页中的指定字段信息，生成目录, 并在目录中创建固定的子目录. 表格格式: 表格sheet-A01 序号 项目名称 备注 1 项目1 张三 2 项目2 李四 表格sheet-A02 序号 项目名称 备注 1 项目1 王五 每一个sheet存放一个批次的任务信息, total为批次名称 代码: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 from openpyxl import load_workbook from openpyxl import Workbook import os import re ## 获取项目清单列表 wb = load_workbook( filename = '.\\test\\list.xlsx') #ws_in = wb_in.active outpath=".\\out\\" ## 名字列表开始结束行号 start_index = 4 ##end_index = ## 目录编号 dir_no = 1 ## 1. 找到指定的sheet页面 sheets_name = ['A01', 'A02'] ## 3. 组成符合要求的目录字符串创建目录 def mkdir(path): try: os.makedirs(path) print("CREATE") except FileExistsError: print("EXIST, NO CREATE") # Get all dirs def mksubdir(path): try: dirnames = [name for name in os.listdir('.\\model') if os.path.isdir(os.path.join('.\\model', name))] for i in dirnames: mkdir(path+"\\"+i) except : print(" CREATE SUB DIR ERROR ") for i in range(len(sheets_name)): print(i) sheet = wb[sheets_name[i]] print(sheet) ## 2. 找到相关的任务信息 for row in range(start_index, sheet.max_row+1): ## 1. 判断内容是否空格 0 or 1? if (str(sheet.cell(row, column=1).value).strip() == "None" ): print(batch_no + " is over") break; ##2. 获取表格内容生成目录 task_no = sheet.cell(row, column=1).value batch_no = sheet.title.split('-')[0] task_context = str(sheet.cell(row, column=2).value).strip() task_manager = re.search(r'张三|李四|王五', sheet.cell(row,column=3).value) task_leader = task_manager.group(0) #(序号)-批次号-批次序号-任务名称(负责人) # mkdir(path) dir_no_str = format(dir_no, '02d') task_no_str = format(task_no, '02d') dirname=dir_no_str+"-"+batch_no+"-"+task_no_str+"-"+task_context+"-"+task_leader mkdir(outpath+dirname) # mksubdir(path) mksubdir(outpath+dirname) dir_no = dir_no+1 运行结果 ├─01-A01-01-项目1-张三 │ ├─01_文档目录1 │ └─02_文档目录2 ├─02-A01-02-项目2-李四 │ ├─01_文档目录1 │ └─02_文档目录2 └─03-A02-01-项目3-王五 ├─01_文档目录1 └─02_文档目录2 ...