首页
关于
Search
1
Lua使用调试库hook函数调用
429 阅读
2
傻瓜式快速搭建l2tp
385 阅读
3
游戏邮件系统数据设计因素
327 阅读
4
Linux内核数据结构kfifo小结(TODO)
313 阅读
5
傻瓜式安装chatgpt-web工具
295 阅读
项目技术
项目思考
开发环境
数据库
编程语言
生活与阅读
哲学
登录
Search
标签搜索
nodejs
npm
Typecho
累计撰写
55
篇文章
累计收到
34
条评论
首页
栏目
项目技术
项目思考
开发环境
数据库
编程语言
生活与阅读
哲学
页面
关于
搜索到
54
篇与
的结果
文件bom头
有关于BOM,是Windows程序处理文本是常用,但linux不常用。BOM 是 byte-order mark 的缩写,是 "字节序标记" 的意思, 它常被用来当做标识文件是以 UTF-8、UTF-16 或 UTF-32编码的标记。在 Unicode 编码中有一个叫做 "零宽度非换行空格" 的字符 ( ZERO WIDTH NO-BREAK SPACE ), 用字符 FEFF 来表示对于 UTF-16 ,如果接收到以 FEFF 开头的字节流, 就表明是大端字节序,如果接收到 FFFE, 就表明字节流 是小端字节序UTF-8 没有字节序问题,上述字符只是用来标识它是 UTF-8 文件,而不是用来说明字节顺序的。"零宽度非换行空格" 字符 的 UTF-8 编码是 EF BB BF, 所以如果接收到以 EF BB BF 开头的字节流,就知道这是UTF-8 文件关于文件16进制查看方法,在linux下可以用hexdump $path_to_file命令查,windows下也可以用vim打开后,使用%!xxd 命令,本质上是调用了xxd程序进行转化。windows下也可以用vs code插件,需要安装Hex Editor插件,然后在vscode打开对应文件名页签处右键调用客户端js代码下载函数如下,关键的是在数据前面增加了 FFFE 前缀,浏览器下载后会变更EF BB BF 开头。export function downloadExportUtf8Csv(url, fileName) { request({url: url, method: 'get'}).then(response => { let data = "\ufeff" + response.data let blob = new Blob([data], {type:'text/csv,charset=UTF-8'}) let url = window.URL.createObjectURL(blob) let a = document.createElement("a") a.href = url a.download = fileName a.click() window.URL.revokeObjectURL(url) a.remove() }) }后续在node_module中的客户端库,FileSaver中也有自动转码。auto_bom = function(blob) { // prepend BOM for UTF-8 XML and text/* types (including HTML) // note: your browser will automatically convert UTF-16 U+FEFF to EF BB BF if (/^\s*(?:text\/\S*|application\/xml|\S*\/\S*\+xml)\s*;.*charset\s*=\s*utf-8/i.test(blob.type)) { return new Blob([String.fromCharCode(0xFEFF), blob], {type: blob.type}); } return blob; } FileSaver = function(blob, name, no_auto_bom) { if (!no_auto_bom) { blob = auto_bom(blob); } // ... }
2024年03月27日
38 阅读
0 评论
0 点赞
2023-11-10
TOP命令
top命令经常用来监控linux的系统状况,比如cpu、内存的使用,程序员基本都知道这个命令,但比较奇怪的是能用好它的人却很少,例如top监控视图中内存数值的含义就有不少的曲解。本文通过一个运行中的WEB服务器的top监控截图,讲述top视图中的各种数据的含义,还包括视图中各进程(任务)的字段的排序。top视图 01top视图简介【top视图 01】是刚进入top的基本视图,我们来结合这个视图讲解各个数据的含义。第一行:10:01:23 当前系统时间126 days, 14:29 系统已经运行了126天14小时29分钟(在这期间没有重启过)2 users 当前有2个用户登录系统load average: 1.15, 1.42, 1.44 load average后面的三个数分别是1分钟、5分钟、15分钟的负载情况。load average数据是每隔5秒钟检查一次活跃的进程数,然后按特定算法计算出的数值。如果这个数除以逻辑CPU的数量,结果高于5的时候就表明系统在超负荷运转了。 第二行:Tasks 任务(进程),系统现在共有183个进程,其中处于运行中的有1个,182个在休眠(sleep),stoped状态的有0个,zombie状态(僵尸)的有0个。 第三行:cpu状态6.7% us 用户空间占用CPU的百分比。0.4% sy 内核空间占用CPU的百分比。0.0% ni 改变过优先级的进程占用CPU的百分比92.9% id 空闲CPU百分比0.0% wa IO等待占用CPU的百分比0.0% hi 硬中断(Hardware IRQ)占用CPU的百分比0.0% si 软中断(Software Interrupts)占用CPU的百分比在这里CPU的使用比率和windows概念不同,如果你不理解用户空间和内核空间,需要充充电了。 第四行:内存状态8306544k total 物理内存总量(8GB)7775876k used 使用中的内存总量(7.7GB)530668k free 空闲内存总量(530M)79236k buffers 缓存的内存量 (79M) 第五行:swap交换分区2031608k total 交换区总量(2GB)2556k used 使用的交换区总量(2.5M)2029052k free 空闲交换区总量(2GB)4231276k cached 缓冲的交换区总量(4GB) 这里要说明的是不能用windows的内存概念理解这些数据,如果按windows的方式此台服务器危矣:8G的内存总量只剩下530M的可用内存。Linux的内存管理有其特殊性,复杂点需要一本书来说明,这里只是简单说点和我们传统概念(windows)的不同。 第四行中使用中的内存总量(used)指的是现在系统内核控制的内存数,空闲内存总量(free)是内核还未纳入其管控范围的数量。纳入内核管理的内存不见得都在使用中,还包括过去使用过的现在可以被重复利用的内存,内核并不把这些可被重新使用的内存交还到free中去,因此在linux上free内存会越来越少,但不用为此担心。如果出于习惯去计算可用内存数,这里有个近似的计算公式: 第四行的free + 第四行的buffers + 第五行的cached,按这个公式此台服务器的可用内存:530668+79236+4231276 = 4.7GB。(free -m命令) 对于内存监控,在top里我们要时刻监控第五行swap交换分区的used,如果这个数值在不断的变化,说明内核在不断进行内存和swap的数据交换,这是真正的内存不够用了。 第六行是空行第七行以下:各进程(任务)的状态监控 **PID 进程idUSER 进程所有者PR 进程优先级NI nice值。负值表示高优先级,正值表示低优先级VIRT(virtual memory usage ) 进程使用的虚拟内存总量,单位kb。VIRT=SWAP+RESRES(resident memory uage常驻内存) 进程使用的、未被换出的物理内存大小,单位kb。RES=CODE+DATASHR(shared memory) 共享内存大小,单位kbS 进程状态。D=不可中断的睡眠状态 R=运行 S=睡眠 T=跟踪/停止 Z=僵尸进程%CPU 上次更新到现在的CPU时间占用百分比** %MEM 进程使用的物理内存百分比TIME+ 进程使用的CPU时间总计,单位1/100秒(10毫秒)COMMAND 进程名称(命令名/命令行)关于进程状态:Runnable (R): A process in this state is either executing on the CPU, or it is present on the run queue, ready to be executed.Interruptible sleep (S): Processes in this state are waiting for an event to complete.Uninterruptible sleep (D): In this case, a process is waiting for an I/O operation to complete.Stopped (T): These processes have been stopped by a job control signal (such as by pressing Ctrl+Z) or because they are being traced.Zombie (Z): The kernel maintains various data structures in memory to keep track of processes. A process may create a number of child processes, and they may exit while the parent is still around. However, these data structures must be kept around until the parent obtains the status of the child processes. Such terminated processes whose data structures are still around are called zombies.多U多核CPU监控在top基本视图中,按键盘数字1,可监控每个逻辑CPU的状况:top视图 02观察上图,服务器有16个逻辑CPU,实际上是4个物理CPU。进程字段排序默认进入top时,各进程是按照CPU的占用量来排序的,在【top视图 01】中进程ID为14210的java进程排在第一(cpu占用100%),进程ID为14183的java进程排在第二(cpu占用12%)。可通过键盘指令来改变排序字段,比如想监控哪个进程占用MEM最多,我一般的使用方法如下:1、敲击键盘b(打开/关闭加亮效果),top的视图变化如下top视图 03我们发现进程id为10704的top进程被加亮了,top进程就是视图第二行显示的唯一的运行态(runing)的那个进程,可以通过敲击y键关闭或打开运行态进程的加亮效果。2、敲击键盘x(打开/关闭排序列的加亮效果),top的视图变化如下:top视图 04可以看到,top默认的排序列是%CPU。3、通过shift + >或shift + <可以向右或左改变排序列,下图是按一次shift + >的效果图:top视图 05视图现在已经按照%MEM来排序了。改变进程显示字段1、敲击f键,top进入另一个视图,在这里可以编排基本视图中的显示字段:top视图 06这里列出了所有可在top基本视图中显示的进程字段,有并且标注为大写字母的字段是可显示的,没有并且是小写字母的字段是不显示的。如果要在基本视图中显示CODE和DATA两个字段,可以通过敲击r和s键:CODE (Code size) - 进程的程序码在实体内存占用空间大小,亦叫作 text resident set (TRS)。DATA (Data+Stack size) - 进程占用实体内存中的非程序码部份大小,亦叫作 data resident set (DRS)。top视图 072、回车返回基本视图,可以看到多了CODE和DATA两个字段:top视图 08top命令的补充top命令是Linux上进行系统监控的首选命令,但有时候却达不到我们的要求,比如当前这台服务器,top监控有很大的局限性。这台服务器运行着websphere集群,有两个节点服务,就是【top视图 01】中的老大、老二两个java进程,top命令的监控最小单位是进程,所以看不到我关心的java线程数和客户连接数,而这两个指标是java的web服务非常重要的指标,通常我用ps和netstate两个命令来补充top的不足。 监控java线程数:ps -eLf | grep java | wc -l监控网络客户连接数:netstat -n | grep tcp | grep ${侦听端口} | wc -l上面两个命令,可改动grep的参数,来达到更细致的监控要求。 在Linux系统一切都是文件的思想贯彻指导下,所有进程的运行状态都可以用文件来获取。系统根目录/proc中,每一个数字子目录的名字都是运行中的进程的PID,进入任一个进程目录,可通过其中文件或目录来观察进程的各项运行指标,例如task目录就是用来描述进程中线程的,因此也可以通过下面的方法获取某进程中运行中的线程数量(PID指的是进程ID):ls /proc/PID/task | wc -l在linux中还有一个命令pmap,来输出进程内存的状况,可以用来分析线程堆栈:pmap PID用法 pmap [ -x | -d ] [ -q ] pids... pmap -V选项含义 -x extended Show the extended format. 显示扩展格式 -d device Show the device format. 显示设备格式 -q quiet Do not display some header/footer lines. 不显示头尾行 -V show version Displays version of program. 显示版本扩展格式和设备格式域: Address: start address of map 映像起始地址 Kbytes: size of map in kilobytes 映像大小 RSS: resident set size in kilobytes 驻留集大小 Dirty: dirty pages (both shared and private) in kilobytes 脏页大小 Mode: permissions on map 映像权限: r=read, w=write, x=execute, s=shared, p=private (copy on write) Mapping: file backing the map , or '[ anon ]' for allocated memory, or '[ stack ]' for the program stack. 映像支持文件,[anon]为已分配内存 [stack]为程序堆栈 Offset: offset into the file 文件偏移 Device: device name (major:minor) 设备名top命令使用过程中,还可以使用一些交互的命令来完成其它参数的功能。这些命令是通过快捷键启动的。<空格>:立刻刷新。P:根据CPU使用大小进行排序。M:根据使用内存大小进行排序。T:根据CPU累计时间排序。N:根据PID排序。R:当前排序的反序。H: 切换线程模式查看,可以看到线程级别信息V/v: 以进程父子树形式显示O/o:过滤显示的进程列表,如果在过滤交互输入COMMAND=python表示python关键字命令行的进程,也支持取反操作!COMMAND=python, 支持等式%CPU>3.0,如果输入=号则清空过滤条件q:退出top命令。m:切换显示内存信息的单位有KB、MB、GB。t:切换显示进程和CPU状态信息,以百分比进度条进度展示。c:切换显示命令名称和完整命令行。W:将当前设置写入~/.toprc文件中。这是写top配置文件的推荐方法。h: 查看按键功能u: 按照用户显示,然后输入用户名,再回车k: 给进程发送SIGTERM信号(可在交互下输入进程号和信号)1: 查看各个CPU使用率, 特别是多核时,常见部分进程占用超过100%, 最高可以达到100*核数
2023年11月10日
34 阅读
0 评论
0 点赞
npm常见操作
学习npm总给我一个熟悉感觉,基本上和学习C/C++的make工具一样。在make工具中,项目下一般有makefile文件,对应到npm也是一样。当执行npm init时,会生成一个package.js文件,这个文件描述当前项目信息。它定义了当在其他地方使用npm install安装本项目时需要安装什么依赖。另外也定义了支持哪些间接执行shell命令等等。这几乎就又是一个make工具。可能通过help查看他支持功能npm help npm 命令 --help总体上就是创建/安装/卸载/更新/锁定某个库包到项目中或者本机全局环境中。核心操作类似C的hello world,他的第1个重要的命令是npm init,作用是在当前目录创建一个package.js, 之后所有命令都是围绕在这个文件基本的操作。package.js文件包含一些重要字段:name: 表示包名version:表示版本entry point:表示入口文件,一般是传递给Node程序,相关于执行了node entry.jsscript:表示通过npm run xxx 中 xxx对应的npm或者shell命令dependencies/devDependencies: 当前项目依赖js库及其版本description/keywords/author/license:项目简介描述信息使用npm init -y后也可以再次设置一些项目配置信息npm config set init.author.name YOUR_NAME npm config set init.author.email YOUR_EMAIL 执行命令npm run [cmd]如果不指定cmd则会罗列出支持执行的命令(script字段配置中)包管理1、查看react包主页npm home react2、查react包信息npm info react3、安装包npm install 模块名[@版本] [--save/-S --save-dev/-D] [-g]可以用@指定版本,npm的版本分为大、次、小三个版本号,用.号分开,样式如3.4.1。 如果在版本号前使用^(接受次、小版本变化)、~(只接受小版本变动)、latest(最新版本)。package.json只会保存模糊版本,如果项目只能依赖某个具体版本时,package-lock.json因为会保存具体版本,所以也需要版本git/svn仓库管理。命令样式npm install bootstrap@3.3.7有另外一个不需要仓库管理package-lock.json文件的办法是,安装特定版本依赖包前用类似npm config set save-prefix='~'命令指定package.json保存允许小版本变动。如果完全不接受版本变化,则用npm config set save-exact true,然后在安装。模块包是区分生产、开发环境的--save/-S表示生产环境依赖的模块(会更新package.json中的dependencies字段)。同理也有--save-dev/-D参数更新到开发环境依赖模块。比如给开发环境安装eslint环境(js语法检查模块)命令就是npm install -D eslint。如果不指定是开发环境则默认是生产环境依赖。这个命令在把eslint模块安装在当前目录的node_modules目录下同时也会创建更新package-lock.json文件。如果需要在本机环境全局安装,则使用-g, 此时可以使用npm root -g查看具体是安装在哪里。或者使用npm list -g查看当前已经安装了哪些全局模块。一般node_modules目录是不需要进行版本管理的,使用npm install会自动下载模块。当不指定包时,就会从package.json文件自动下载所有依赖项到本地。4、查看已经安装包npm list|ls [-g] [模块名]如果有指定模块名时,只查指定模块如果此命令有UNMET DEPENDENCY不满足依赖时,需要重新生成本地包缓存。npm -fr node_modules/ # 删除已经安装模块 npm cache clean # 清理npm内部缓存 npm install # 重新安装5、查看远程最新版本npm view 模块名 [version]6、查看远程指定模块的所有版本npm view 模块名 versions7、卸载本地/全局模块npm uninstall [-g] 模块名8、搜索远程模块npm search 模块名9、更新本地/全局模块npm update [-g] 模块名10、安装项目所有依赖模块npm ci会删除node_modules,但不会更新package.json
2023年10月21日
99 阅读
0 评论
0 点赞
nodejs环境配置
安装nodejs也会自动安装npm(nodejs 包管理器) 下载地址来源: https://nodejs.org/zh-cn/download 下载二进制安装包:wget https://nodejs.org/dist/v18.18.2/node-v18.18.2-linux-x64.tar.xz 安装指引:https://github.com/nodejs/help/wiki/Installation配置pathVERSION=v18.18.2 DISTRO=linux-x64 INSTALL_FILE=node-$VERSION-$DISTRO.tar.xz rm -fr $INSTALL_FILE wget https://nodejs.org/dist/$VERSION/$INSTALL_FILE sudo apt-get remove nodejs sudo apt-get remove npm sudo mkdir -p /usr/local/lib/nodejs sudo tar -xJvf $INSTALL_FILE -C /usr/local/lib/nodejs export PATH=/usr/local/lib/nodejs/node-$VERSION-$DISTRO/bin:$PATH验证node -v npm -v npx -v配置npm包全局安装路径>npm config get prefix /usr/local/lib/nodejs/node-v18.18.2-linux-x64 >mkdir /usr/local/lib/nodejs/node-v18.18.2-linux-x64/node_global >npm config set prefix /usr/local/lib/nodejs/node-v18.18.2-linux-x64/node_global >npm config get cache /home/ubuntu/.npm >mkdir /usr/local/lib/nodejs/node-v18.18.2-linux-x64/node_cache >npm config set cache /usr/local/lib/nodejs/node-v18.18.2-linux-x64/node_cache一些思考nodejs是一个js运行时环境,所以理论上讲npm管理的也是一些js库,但是npm又增加了一些其他支持,比如在分离项目环境配置时可以执行配置命令等。这些已经和Make工具既负责gcc调用又做其他可能完全还在这个范围的事情,即做责职内和外的事情。这虽然带来一些便利,但已经变得不纯粹了。非常的不unix设计。最近在看VUE.js书籍,甚至都不介绍Linux环境设计,可能就是为了给win用户使用😂
2023年10月21日
55 阅读
0 评论
0 点赞
关于VIM编辑大文件卡顿
在编辑游戏的Lua文件时, 在进行if ... then 时, 只要还没有检查then关键字 或者function定义时还没有输入end关键字时, 总是卡顿. 暂时这个问题还没有解决首先, 定位到这个问题也花了点时间. 虽然非常怀疑, 但是没有证据. 于是找了三个内置诊断命令:syntime on :syntime off :syntime report诊断的结果是函数调用语法的匹配和错误匹配特别消耗CPU.暂时没有太好的办法尝试了设置updatetime 选项, 但是这个选项是vim空闲时的更新时间, 并不能缓解到编辑时卡顿问题.尝试了:set cursorline取消鼠标行高亮, 并没有效果:set regexpengine=1 更换正则引擎也无用
2023年08月29日
67 阅读
0 评论
1 点赞
1
2
...
11