文件

Beyond Compare 4 for Mac一款十分棒的Mac端文件比拟比照工具，能够称得上是文件比拟比照软件中的佼佼者，寰球很多mac用户都在用这款文件比照软件！ Mac文件比照Beyond Compare 4中文版

Find Any File是一款弱小的文件搜寻加强工具！应用Find Any File，可作为root用户运行，找到在您的硬盘上的任何文件，即便是那些暗藏的一般文件。Find Any File提供了更为弱小的搜寻性能，如暗藏文件搜寻、间接全屏搜寻、文件大小、工夫等等！ 下载：https://www.macz.com/mac/2075...

net.inet.ip.sourceroute=0net.inet.ip.accept_sourceroute=0 通过源路由，攻击者能够尝试达到外部IP地址 --包含RFC1918中的地址，所以不承受源路由信息包能够避免你的外部网络被探测。 net.inet.tcp.drop_synfin=1 平安参数，编译内核的时候加了options TCP_DROP_SYNFIN才能够用，能够阻止某些OS探测。 kern.maxvnodes=8446 vnode 是对文件或目录的一种外部表白。 因而， 减少能够被操作系统利用的 vnode 数量将升高磁盘的 I/O。一般而言， 这是由操作系统自行实现的，也不须要加以批改。但在某些时候磁盘 I/O 会成为瓶颈，而零碎的 vnode 有余， 则这一配置应被减少。此时须要思考是非沉闷和闲暇内存的数量。 kern.maxproc: 964 #Maximum number of processeskern.maxprocperuid: 867 #Maximum processes allowed per useridkern.maxfiles: 1928 #零碎中反对最多同时开启的文件数量，如果你在运行数据库或大的很吃描述符的过程，那么应该设置在20000以上，比方kde这样的桌面环境，它同时要用的文件十分多。个别举荐设置为32768或者65536。kern.argmax: 262144 #maximum number of bytes (or characters) in an argument list. kern.securelevel: -1 这是零碎默认级别，没有提供任何内核的爱护谬误；0：基本上作用不多，当你的零碎刚启动就是0级别的，当进入多用户模式的时候就主动变成1级了。1：在这个级别上，有如下几个限度：a. 不能通过kldload或者kldunload加载或者卸载可加载内核模块；b. 应用程序不能通过/dev/mem或者/dev/kmem间接写内存；c. 不能间接往曾经装在(mounted)的磁盘写货色，也就是不能格式化磁盘，然而能够通过规范的内核接口执行写操作；d. 不能启动X-windows，同时不能应用chflags来批改文件属性；2：在 1 级别的根底上还不能写没装载的磁盘，而且不能在1秒之内制作屡次正告，这个是避免DoS控制台的；3：在 2 级别的级别上不容许批改IPFW防火墙的规定。如果你曾经装了防火墙，并且把规定设好了，不轻易改变，那么倡议应用3级别，如果你没有装防火墙，而且还筹备装防火墙的话，不倡议应用。咱们这里举荐应用 2 级别，可能防止比拟多对内核攻打。 kern.maxfilesperproc: 1735 #每个过程可能同时关上的最大文件数量kern.ipc.maxsockbuf: 262144 #最大的套接字缓冲区kern.ipc.somaxconn: 128 #最大的期待连贯实现的套接字队列大小，即并发连接数 kern.ipc.shmmax: 33554432kern.ipc.shmall: 8192 共享内存和信号灯(”System VIPC”)如果这些过小的话有些大型的软件将无奈启动 ...

先明确需要：用C语言实现判断文件是文本文件还是二进制文件，或者其余压缩格式文件。 文件的类型Linux零碎下，万物皆文件。为了将所有的货色都能当成文件来治理，Linux零碎将文件分成了七种类型，别离如下： 类型简写S_IFMTst_mode阐明块设施bS_IFBLKS_ISBLK(m)零碎存取数据的接口设施，例如硬盘字符设施cS_IFCHRS_ISCHR(m)串行端口的接口设施，例如键盘、鼠标、打印机、tty终端目录dS_IFDIRS_ISDIR(m)文件夹链接文件lS_IFLNKS_ISLNK(m)符号链接，分软链接和硬链接套接字sS_IFSOCKS_ISSOCK(m)用于网络通信一般文件-S_IFREGS_ISREG(m)分纯文本文件和二进制文件命名管道pS_IFIFOS_ISFIFO(m)命名管道文件上表中第三、第四列是Linux下应用stat函数判断文件类型提供的一些宏定义。如判断一个文件是否属于一般文件，能够应用上面的代码： stat(pathname, &sb);if ((sb.st_mode & S_IFMT) == S_IFREG) { /* Handle regular file */}或者间接应用： stat(pathname, &sb);if (S_ISREG(sb.st_mode)) { /* Handle regular file */}然而咱们的需要是判断文件是否属于文本文件还是二进制文件。而这两种都属于S_IFREG一般文件，因而无奈应用下面的办法进行判断。 万能的file命令file命令是Linux下用来检测文件类型的一个内置的命令。大略原理就是读取一个文件的后面1024个字节，而后依据magic(/etc/magic 或者 /usr/share/misc/magic) 里对应的规定剖析出文件头，并打印到屏幕上。应用也很简略，间接file前面跟上文件名即可： [root@ck08 ~]# file anaconda-ks.cfganaconda-ks.cfg: ASCII text[root@ck08 ~]# file tls.pcaptls.pcap: tcpdump capture file (little-endian) - version 2.4 (Ethernet, capture length 262144)[root@ck08 ~]# file zlib-1.2.11.tar.gzzlib-1.2.11.tar.gz: gzip compressed data, was "zlib-1.2.11.tar", from Unix, last modified: Mon Jan 16 01:36:58 2017, max compression[root@ck08 ~]# file /usr/bin/grep/usr/bin/grep: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.32, BuildID[sha1]=bb5d89868c5a04ae48f76250559cb01fae1cd762, stripped从下面的示例中，能够看出file命令很弱小，简直能够辨认出文件的具体类型，甚至是编码，压缩格局，大小端等具体的信息。因而，这个命名是合乎咱们的需要的。然而，咱们须要的是C语言实现，因而，不得不钻研magic的文件头规定。 ...

@[toc] 一、MinIo 外围概念概念分布式文件系统，简称为OSS对象存储【文件，图片.......】。如图：二、MinIo 利用场景利用场景次要是在微服务零碎中应用。 如图：三、MinIo 我的项目落地条件 Demo我的项目MinIO 下载地址： 链接：https://pan.baidu.com/s/1x-xE... 提取码：tbz9步骤 Demo我的项目 步骤 增加Nuget包 //增加 Nuget包 Minio建设MinIo客户端连贯 MinioClient minioClient = new MinioClient("Ip地址:端口号","用户名","明码");创立文件桶 // 判断是否有文件桶 if(!minioClient.BucketExistsAsync("文件桶名称").Result) { minioClient.MakeBucketAsync("文件桶名称"); }上传对象 minioClient.PutObjectAsync("文件桶名称",上传的文件名称,文件流,文件长度).Wait(); minioClient.PutObjectAsync("文件桶名称","上传的文件名称","文件门路【D://...门路到文件名称.后缀】").Wait(); //生成上传文件链接，返回一个生成文件的门路，须要后端系统中新建一个Access Key和Secret Key，能力应用， //将客户端连贯的用户名和明码改为Access Key和Secret Key，并设置读和写的权限 minioClient.PresignedPutObjectAsync("文件桶名称",上传的文件名称,过期工夫【单位：秒】).Result;如图： 下载对象 minioClient.GetObjectAsync("文件桶名称",文件名称,输入流地址).Wait(); minioClient.GetObjectAsync("文件桶名称",文件名称,从什么中央开始【0】,下载的长度,输入流地址).Wait();//分段下载对象刪除对象 单个删除 minioClient.RemoveObjectAsync("文件桶名称", 对象名称.后缀);多个删除 minioClient.RemoveObjectAsync("文件桶名称", 对象名称.后缀汇合).Wait();对象拷贝 minioClient.CopyObjectAsync("原文件桶名称", 源文件名称.后缀, "目的地文件桶名称", 新文件名称.后缀).Wait();整体代码如下 文件上传 //文件上传 public IActionResult Upload(IFormFile fromFile) { //建设MinIo客户端连贯 MinioClient minioClient = new MinioClient("127.0.0.1:9000","minioadmin","minioadmin"); // 判断是否有文件桶 if(!minioClient.BucketExistsAsync("test").Result) { minioClient.MakeBucketAsync("test"); } //上传文件 minioClient.PutObjectAsync("test",fromFile.FileName,fromFile.OpenReadStream,fromFile.Length).Wait(); return Ok ("文件上传胜利!")； }文件上传链接生成【网站服务端不倡议应用】目标：MinIo 反对上传5TB的对象，然而网站不反对上传5TB对象，所以采纳生成文件上传链接形式来解决，不倡议应用网站服务端的形式来实现【网站服务端没有设置key和签名的api办法】，倡议应用js间接连贯MinIo客户端的形式来实现上传大文件。新建Access Key 和Secret Key，并设置读和写的权限，如图： ...

概述好用的电脑文件治理形式，能够让咱们的硬盘材料清晰有序，也能够让咱们疾速找到想要的文件。通过一段时间的思考、整顿和调整，终于失去一套比拟好用的文件整顿形式。在这里举荐给大家，心愿对大家有肯定的帮忙。 所有文件依照如下形式分成 6 大类。00_Application、01_书籍、02_娱乐、03_工具、04_图片、05_材料00_Application文件夹与软件装置、环境变量无关，该文件夹不可随便挪动。挪动后会呈现相干软件运行失败等状况。01 ~ 05 文件夹为材料保留文件夹，与软件、环境变量无关，能够随便复制和挪动。该系列文件夹也是文件备份所须要关注的文件夹。如果有对磁盘进行分区，00_Application能够独自一个分区。01 ~ 05 一个分区。01 ~ 05 文件夹须要定期整顿，外部文件挪动调整绝对比拟频繁，而跨分区挪动文速度很慢，同一个分区文件挪动则很快。00_Application空间能够适当小一点，01 ~ 05 应该尽可能大。命名中的 00 ~ 05 编号，仅仅是为了不便排序，让文件夹看起来更整洁好看。00_Application因为与软件装置、环境变量相干，故并没有应用中文命名。 文件夹阐明 00_Application次要寄存与开发相干的软件文件，如：maven、jdk、tomcat、kafka、elasticsearch、IDEA 工程目录、本地 maven 仓库等。个别状况下不会去挪动该文件夹下的文件。 01_书籍次要寄存电子书文件。因为常常进行电子浏览，工作中也有大量专业书籍，所以书籍独自一个分区。 02_娱乐次要寄存电影、音乐、游戏。外部分为01_电影、02_音乐、03_游戏。个别状况下这些文件都会保留到 Elements Desktop 中，防止文件占用大量电脑硬盘。01_电影文件夹次要寄存电影文件。02_音乐文件夹次要寄存音乐文件。03_游戏文件夹次要寄存游戏安装包。 03_工具次要寄存软件安装包、开发中罕用的软件以及一些脚本。外部分为01_软件、02_脚本、03_开发工具。01_软件文件夹次要寄存电脑常用软件的安装包。02_脚本文件夹次要寄存开发脚本。03_开发工具文件夹工作用到的局部软件。 04_图片次要寄存图片、照片等文件。外部分为 01_照片、02_壁纸、03_截图、04_素材。01_照片文件夹次要寄存本人或者家人的照片，手机、相机拍摄的照片和视频，每隔几天就保留并整顿到该文件夹下。02_壁纸文件夹次要寄存电脑桌面壁纸图片和一些高清图片。03_截图文件夹次要寄存截图文件。比方零碎截图、微信截图、QQ 截图等都会默认主动保留到此目录。自带截图性能的软件个别都能对默认截图保留目录进行个性化设置。04_素材文件夹次要寄存找材料时找到的图片材料，或 PS 用的图片素材。 05_材料次要寄存无奈分类为书籍、娱乐、工具、图片的文件。外部分为01_视频、02_文件、03_分类材料、04_下载。01_视频文件夹次要寄存一些课程视频。02_文件文件夹次要寄存其余的文件，个别依据文件类型分类。如 pdf 文件保留到02_文件/PDF文件夹下，word 文件保留到02_文件/WORD文件夹下，txt 文件保留到02_文件/TXT文件夹下。03_分类材料文件夹次要寄存文件软连贯（或快捷方程）。03_分类材料与02_文件之间的区别：02_文件文件夹依照文件的类型分类，而03_分类材料文件夹则是依据文件的作用将一批有相关性的文件保留到一起。例如：做一份报告，该报告蕴含了一个 doc、一个 xlsx 文件、一个 pptx 文件，这些文件保留到02_文件文件夹时，doc 文件保留到 WORD 文件夹下、xlsx 文件保留 EXCEL 文件夹下，pptx 文件保留到 PPT 文件夹下。因为这些文件有逻辑相关性，能够在03_分类材料中新建一个XXXX报告的文件夹，别离将这些文件的软连贯（快捷方程）寄存到XXXX报告文件夹下。当须要找寻因为某一个事件而收集和创立的文件时，分类材料文件夹则能够提供很大的帮忙。04_下载文件夹次要寄存下载的文件。该目录为所以软件默认的下载目录，如 firefox、chrome、百度网盘、迅雷、360下载等默认下载目录都配置为05_材料/04_下载文件夹，不便后续对下载文件进行整顿归档删除。 文件备份文件最好不要只存储到一块硬盘上，万一硬盘损坏重要的文件就不肯定能找回来了。即便能找回，也须要额定花很多钱。其实不仅仅电脑文件通过上述形式组织，自己所有移动硬盘、Elements Desktop、小米路由器中的硬盘都通过这种形式组织。因而文件备份也很简略：将 01 ~ 05 文件夹拖到 Elements Desktop 期待完结就实现了全量备份。增量备份时也很简略，将04_图片/01_照片文件夹拖动到移动硬盘就实现了所有照片文件的备份。 总结很多时候，大家并不是不想整顿文件，只是下载文件后发现文件没有一个适合的中央寄存，或发现文件夹 A 能寄存，文件夹 B 也能寄存。想找文件时发现到处也找不到。长此以往就放弃整顿。后果就是桌面一片凌乱、文件也是越堆越多。一个文件下载了 N 次，下次依然从网上下载一份新的。电脑硬盘也被垃圾文件、反复文件堆满。文件整顿并不需要很简单的零碎，外围准则只有一个：当看到这个文件时，立即晓得它应该寄存到哪个目录下。通过上述形式组织文件夹，每个文件都有一个惟一一个文件夹寄存。于是桌面再也没有成堆的文件，下载的文件与截图产生的文件也都有特定的文件夹，期待后续整顿：该删除的删除，该归档的归档。 ...

你问我答！ Documents and Settings是什么文件？ 答案： 是零碎用户设置文件夹，包含各个用户的文档、收藏夹、上网浏览信息、配置文件等。 补：这外面的货色不要轻易删除，这保留着所 你问我答！Documents and Settings是什么文件？答案：是零碎用户设置文件夹，包含各个用户的文档、收藏夹、上网浏览信息、配置文件等。补：这外面的货色不要轻易删除，这保留着所有用户的文档和账户设置，如果删除就会重新启动不能登陆的状况，尤其是外面的default user、all users、administrator和以你以后登陆用户名的文件夹。 Favorites是什么文件？答案：是收藏夹，寄存你喜爱的网址。能够在其中放网址快捷方式和文件夹快捷方式，能够新建类别（文件夹）。 Program Files是什么文件？答案：应用软件文件夹 装软件的默认门路个别是这里！当然外面也有些零碎本身的一些应用程序.Common Files是什么文件？答案：Common Files. 这个文件夹中蕴含了应用程序用来共享的文件,很重要，不能乱删除 Common Files这个文件是操作系统包扩零碎程序和应用程序 Common Files是应用程序运行库文件数据库笼罩了大概1000多个最风行的应用程序的插件,补丁等等 文件夹common files里很多都是系统文件，不能随便删除，除非确定晓得是干什么用的，没用的能够删掉。不过就算删掉了有用的货色，也没大的关系，顶多是某些软件用不了，不会造成零碎解体。ComPlus Applications是什么文件？答案：ComPlus Applications： 微软COM+ 组件应用的文件夹，删除后可能引起COM+ 组件不能运行DIFX是什么文件？答案：不能够删除，已有的XML数据索引办法从实现思维上可分为两类:构造归纳法和节点定位法.这两种办法都存在肯定的问题,构造归纳法的毛病是索引规模较大而且难以无效反对较简单的查问,而节点定位法的次要毛病是容易造成过多的连贯操作.针对这些问题,提出了一种新的动静的XML索引体系DifX,它扩大了已有的动静索引办法,采纳一种动静的Bisimilarity的概念,能够依据理论查问需要以及最优化的要求动静决定索引中保留的构造信息,以实现对各种模式的查问最无效的反对.试验后果证实DifX是一种无效而且高效的XML索引办法,其能够取得比已有的XML索引办法更高的查问执行效率.Internet Explorer是什么文件？答案：不用说了，必定不能删除，IE，浏览网页的！Kaspersky Lab是什么文件？答案：卡巴斯基的文件包，这个是卡巴的报告，在 C:Documents and SettingsAllUsersApplication DataKaspersky LabAVP6Report 的更新文件中有很多report文件 很占地方的删除了就好了，1利用卡巴自带的清理性能，但不能齐全清理洁净。2敞开自我爱护，而后将report文件夹上面的文件手动删除。Messenger是什么文件？答案：零碎自带的MSN是齐全能够删除的。置信有不少人都在应用MSN，可能有同样的经验，装置完 新的MSN 后，可每每关上 MSN 首先跳出来的是旧版，而不是新版。即便在零碎中删除了老版本，但过了不久也会主动复原回来。如果要彻底删除老版本.能够点击"开始"->"运行"->代码:RunDll32 advpack.dll,LaunchINFSection %windir%INFmsmsgs.inf,BLC.Removemicrosoft frontpage是什么文件？答案：那个是零碎自带的网页编辑器站长交易Microsoft Silverlight是什么文件？答案：Silverlight是于Adobe Flash基本相同的软件，运行在浏览器中的插件。实现交互、动画等性能。应用XAML文件反对，反对.net运行库。program files是Windows操作系统中所有应用程序的地位，大是失常的。很多状况都可能造成program files创立文件夹，个别是装置应用程序后创立的。您须要提供出文件夹名称咱们才能够确切的说是不是无用的文件夹。个别状况这里的文件夹不能够删除的，如果删除会影响零碎或应用程序无奈运行。Movie Maker是什么文件？答案：movie maker是 微软提供的 捆绑零碎的一个视频编辑软件我的这个文件也是空的，据猜想，应该是ghost版的系统优化掉了这个软件。齐全能够删除，不过零碎总是重建这个文件夹。能够用unlocker软件删除。你无奈删除的起因是依然有桌面过程调用这个文件。不解除锁定是无奈删除的。MSBuild是什么文件？答案：没找到，应该是零碎相干的，最好别删！MSN Gaming Zone是什么文件？答案：一些零碎自带的扑克牌等小游戏，能够删除控制面板-〉增加或删除程序-〉增加/删除windows组件，而后在列表外面找到你要删除的outlook和msn explorer，把后面的勾去掉，就能删除了。MSXML 6.0是什么文件？答案：msxml指微软的xml语言解析器，用来解释xml语言的。就如同html文本下再到本地，浏览器会查看html的语法，解释html文本而后显示进去一样。要应用xml文件就肯定要用到xml parser。不过不仅仅微软有，像ibm,sun都有本人的xml parser。NetMeeting是什么文件？ 答案：是Windows自带的MSN的文件，如果你不必MSN以及Outlook Express，你齐全能够把它删掉。不过也占不多大中央的。是Windows自带的MSN的文件，如果你不必MSN以及Outlook Express，你完全能够把它删掉。不过还是举荐看下网上的卸载形式，毕竟用零碎自带的卸载形式比拟平安。NetMeeting文件夹是零碎自带的无关近程管制的局部,你删掉后这个性能不能应用,但不影响失常操作,然而因为是零碎自带所以会主动生成,也有病毒喜爱埋伏在此文件夹内,不过并不是简略的通过删除文件夹能够解决的NetUpdateService.exe这个过程如果用户名项是system的话应该就是你的自动更新服务了,如果不用自动更新的话最好关掉,省得浪费资源Online Services是什么文件？答案：上网用的！不能删除！Outlook Express是什么文件？答案：Outlook express 是Windows内置的邮件收发端他的作用就是你不用每次登邮箱都要上网页只有关上outlook express就能够收发邮件了！！级别：先知是收发电子邮件的软件。 他是一个收发电子邮件的软件，由微软研发。Reference Assemblies是什么文件？答案：零碎相干的！最好别删除SigmaTel是什么文件？答案：这个文件是有用的文件！此文件是计算机声卡的驱动！留神！零碎磁盘里的文件不懂的话，千万不可乱删除哦！Tencent是什么文件？答案：Tencent 就是QQ的文件夹了,如果你不必了就从开始菜单里卸载掉,如果还要应用,那就留着吧VMware是什么文件？答案：系统文件，不要乱动Windows Media Connect 2是什么文件？ ...

【摘要】 本文剖析大文件计算的实现原理，如过滤、聚合计算、增加计算列、排序、分组聚合、topN 等，以及利用并行计算来进步计算速度，并用 esProc SPL 举例说明如何用简洁的脚本实现大文件计算。请点击大文件上的结构化数据计算示例理解详情 在数据分析过程中，常常会解决文本文件中的结构化数据（txt，csv等），有时这些文件还会很大，计算机内存不足以一次性读入。这时，只能将数据分批读入内存，对每批数据计算出长期两头后果，分批解决完当前，再依照计算要求对分批处理结果进行失当的汇总解决，与一次性装入内存的小文件数据计算有很大的不同。 实现大文件计算须要理解一个重要的概念—游标。咱们以前比拟熟知的是数据库游标，在数据库中应用游标，能够每次返回局部数据，而不将所有数据同时读入内存。游标相似于一个指针，在读取时会通过挪动指针的地位来从后果集中每次提取局部记录。与数据库游标相似，在读取大文件数据时，也须要实现文件游标，它具备以下特点： 1、只用于获取数据，并不用来批改后果集。 2、在读取数据时从前向后只遍历一次。 有了游标对象，就能够把大文件计算步骤顺次附加在游标对象上，在进行最初计算时，再逐条取出记录，按附加的步骤进行计算。 本文将以结构化文本文件为例，给出大文件过滤、聚合计算、增加计算列、排序、分组聚合、topN 以及并行计算等指标工作的实现办法，并提供用 esProc SPL 编写的代码示例。esProc 是业余的数据计算引擎，其采纳的 SPL 中有欠缺的游标对象及运算，解决这些运算十分不便。 1. 过滤过滤就是设置一个条件表达式，而后用每条记录的数据来计算表达式的值，如果计算结果值为真则本条记录无效，须要增加到最初取数的后果集里，否则就抛弃这条记录不必取出。对大文件过滤是一种提早计算，就是先把过滤表达式记在游标对象上，等到取某条记录时，再计算过滤表达式来决定是否将本记录退出后果集。 示例：在大数据学生问题文本文件students_scores.txt中，查找10班学生的问题。列数据间用TAB分隔，局部数据如下图： esProc SPL脚本如下： 2. 聚合计算聚合计算是对大文件中的所有记录，执行某种统计计算，比方统计总和、平均值、最大值、最小值、计数等。循环遍历游标中所有记录，用每条记录数据计算出以后的聚合统计值，只把统计值存在内存中，而不必保留数据记录，就不会占据太多内存。遍历结束后就失去最终的统计值。 示例：在大数据学生问题文本文件students_scores.csv中，列数据间用逗号分隔，局部数据如下图： 计算语文问题总分，esProc SPL脚本如下： 计算10班语文问题总分，esProc SPL脚本如下： 3. 增加计算列增加计算列是指用文件中的一列或几列通过某种指定计算，将计算结果记为一个新列的列值。这也是一种提早计算，当读取某条记录时，再计算表达式的值，将它赋给本记录的新列。 示例：在大数据学生问题文本文件students\_scores\_.txt中，列数据间用|分隔，局部数据如下图： 计算每位学生的总成绩，esProc SPL脚本如下： 除了用derive减少新列，也能够用new函数创立新的数据结构，同时也能够减少新的列，例如： 当然，也能够先对数据进行过滤，再对须要的记录产生新列或生成新的构造。例如只取出10班的学生问题并新增总成绩列，esProc SPL脚本如下： 在获取到最终计算结果之前，各种根本计算，如过滤、新增列、产生新构造、扭转字段值、排序等，都能够按需要先后附加到游标上。前面大节的示例中就不再一一列举这些了，只列出大节所讲的主题计算。 4. 排序大文件排序因内存不足，不能读入所有数据来排序，实现的原理是这样的：先读入一批数据记录，读多少行适合要依据内存而定，将这批数据排序后存到一个临时文件，再读入下一批数据排序后存到另一个临时文件……直到所有数据处理完，最初对这些临时文件进行有序归并——读出每个临时文件的第一行，通过对排序字段值的比拟，找出应该排在最后面的那一行，写入到后果文件。而后从方才排第一的那个临时文件中再读出下一行，持续比拟找出最后面的一行写入后果文件。按此办法一直进行，直到所有数据行都写入后果文件。 示例：在大数据学生问题文本文件students_scores.txt中，按语文问题升序排列。 esProc SPL脚本如下： 也能够同时按多个字段排序或按表达式计算值排序，如将A2单元格改为： =A1.sortx(Chinese,Math) //按语文、数学问题先后排序 =A1.sortx(Math+English+Chinese) //按总成绩排序 5. 分组聚合分组聚合是先对数据记录进行分组，对同一组的记录进行某种统计计算，最初失去每一组的统计值。大文件的分组聚合分两种状况：一是分组的后果不大(组数少)，所有分组后果都能在内存中放下，称之为小分组聚合；二是分组的后果很大(组数十分多)，内存中存不下所有的组，称之为大分组聚合。 小分组聚合的实现原理是：把分组键值和组统计值保留在内存中，在读取每条记录时，按分组表达式计算出分组键值，在保留的组里查找此键值，找到了则将本记录的数据与组统计值汇总，没找到则新退出一个组。最初直到所有行都解决完，就失去了所有的分组和本组的统计值。 示例：在大数据用户登录记录文件user\_info\_reg.csv中，统计各省用户的登录总次数及总时长。列数据间用逗号分隔，局部数据如下图： esProc SPL脚本如下： ...

引言Alice上线后，学生导入模版文件下载失败。 未打包是没问题的，打完包后就发生了错误。开始逐步定位问题。 原方法File file = ResourceUtils.getFile(ResourceUtils.CLASSPATH_URL_PREFIX + "static/导入学生模板.xlsx");InputStream inputStream = new FileInputStream(file);Workbook workbook = new XSSFWorkbook(inputStream);经测试，问题出在ResourceUtils.getFile这个方法上。 ResourceUtils.CLASSPATH_URL_PREFIX + "static/导入学生模板.xlsx"字符串拼接后就是classpath:static/导入学生模板.xlsx，没打包时，该方法能正常获取到该Excel文件。 ResourceUtils.getFile是获取磁盘上的文件，而打完包之后，resources目录了下的所有资源都被打进了jar包，所以不存在相应的Excel文件，获取的时候就报错了。找不到文件。 测试将打好的jar包解压，主要的东西都在BOOT-INF里。META-INF里面有pom.xml，应该是存储项目信息的。org目录内是springframework的一些class字节码。 BOOT-INF内就是本项目的核心代码与第三方库。 classes目录下就是本项目的核心代码，我们的Excel就在这里面。 lib目录下是项目中引用的第三方jar包，里面有我们常用的slf4j，spring-boot等jar包。 所以，Spring Boot的项目一般都较大，有一部分原因是把许多第三方包都打包进去了。 解决方案@Autowired一个ResourceLoader，然后调用getResource方法，加载资源。 想想也不难理解，SpringBoot启动时读取application.yml配置，Spring的源码中就是使用ResourceLoader实现的。 只不过源码中直接用的上下文对象，一个上下文对象不只是一个IOC容器，还是一个资源加载器。（上下文其实有很多的功能，可以点开Spring源码看一看，很有意思。） ResourcePatternResolver派生自ResourceLoader接口。 代码模版，以后读取文件就这样写，啥毛病没有： Resource resource = this.resourceLoader.getResource(ResourceUtils.CLASSPATH_URL_PREFIX + "static/导入学生模板.xlsx");总结千淘万漉虽辛苦，吹尽狂沙始到金。——刘禹锡《浪淘沙词九首·其九》一路走来，一路总结。最后留下的，是小本本中记录的代码模版与最佳实践。

有时候我们可能需要在其他的网页上展示我们自己的小程序中某些页面的小程序码，这种时候，我们需要用到小程序的生成小程序码的相关接口。工具选型我们仍然选用简单方便的weixin-java-miniapp来完成此功能。项目配置详见我们的另一篇文章点此进入生成小程序码的相关类型小程序码的其他生成方式以及相关类型在这篇文章点此进入中介绍的较为详细，此处不再赘述，以下仅以生成不限制张数的这种类型来做一个示例。生成小程序码图片先获取小程序的service实例wxMaService。再获取二维码相关操作的service实例// 获取小程序服务实例WxMaService wxMaService = WxMaConfiguration.getWxMaService();// 获取小程序二维码生成实例WxMaQrcodeService wxMaQrcodeService = wxMaService.getQrcodeService();// 设置小程序二维码线条颜色为黑色WxMaCodeLineColor lineColor = new WxMaCodeLineColor(“0”, “0”, “0”);// 生成二维码图片字节流（此处也可以生成File类型，如果想将图片文件保存到服务器就生成File类型，此处生成byte[]类型，方便直接返回文件流到前端）byte[] qrCodeBytes = null;qrCodeBytes = wxMaQrcodeService.createWxaCodeUnlimitBytes(String.valueOf(id), null, 430, false, lineColor, false);返回文件流将文件流写到response中，相关示例代码如下：@RestController@RequestMapping("/qrCode")public class QrCodeController { private static final Logger logger = LoggerFactory.getLogger(QrCodeController.class); @GetMapping("/getMiniappQrCode/{id}") public void getMiniappQrCode(@PathVariable(“id”) Long id, HttpServletRequest request, HttpServletResponse response) throws Exception{ // 获取小程序服务实例 WxMaService wxMaService = WxMaConfiguration.getWxMaService(); // 获取小程序二维码生成实例 WxMaQrcodeService wxMaQrcodeService = wxMaService.getQrcodeService(); // 设置小程序二维码线条颜色为黑色 WxMaCodeLineColor lineColor = new WxMaCodeLineColor(“0”, “0”, “0”); // 生成二维码图片字节流 byte[] qrCodeBytes = null; try{ qrCodeBytes = wxMaQrcodeService.createWxaCodeUnlimitBytes(String.valueOf(id), null, 430, false, lineColor, false); } catch(Exception e){ logger.error(“生成小程序码出错”, e); } // 设置contentType response.setContentType(“image/png”); // 写入response的输出流中 OutputStream stream = response.getOutputStream(); stream.write(qrCodeBytes); stream.flush(); stream.close(); }} ...

首先来看一段代码：#include <stdio.h>#include <stdlib.h>#include <string.h>#include <unistd.h>#include <sys/types.h>#include <sys/stat.h>#include <fcntl.h>int main(){ int fd1,fd2; fd2 = open(“p1.py”,O_RDONLY,0); dup2(fd2,0); char c; while( read(0,&c,1) > 0) printf("%c",c); close(fd2); fd1 = open("/dev/stdin",O_RDONLY); printf("%d\n",fd1); while( read(fd1, &c, 1) > 0) printf("%c",c); return 0;}先讲一下文件描述符是什么。linux进程每打开一个文件都会返回一个文件描述符(整数)。这个描述符实际是打开的文件在该进程的描述符表上的偏移值。比如说p是描述符表，1是描述符，那么p[1]就能够索引到1描述符对应的打开文件。有了这个偏移值(文件描述符)就能够快速的找到并操作文件。(当然实际的情况是这个文件描述符能够索引到打开文件表表项，然后再通过打开文件表表项索引到对应的V-node节点表表项，而这个v-node节点表表项才代表真正的文件。不过只从逻辑上来看不需要理解这个括号里的说明。)解释一下这段程序：1、首先打开了一个叫做p1.py的文件。2、然后用dup2这个函数使得文件描述符0这个位置的指针指向文件描述符fd2这个位置的指针指向的文件。也就是说本来是这样：p[0] = &fiel1,p[fd2] = &file2，现在p[0] = p[fd2] = &file2。而我们都知道文件描述符0这个位置对应的文件file1是标准输入文件/dev/stdin。那么这个函数的意义就是把标准输入重定向到了p1.py这个文件里了。之后再用标准输入比如说scanf()，来读，那么都是从p1.py这个文件里读了。3、然后把这个文件里的东西读出来并输出到屏幕上。4、打开/dev/stdin这个文件，这个文件是标准输入。5、把这个文件里的东西读出来并打印到屏幕上。预期结果是什么？执行到第5步应该停下来，等待键盘输入。然后把输入的东西打印到屏幕。实际结果？没有等待键盘输入，它直接把p1.py的文件内容输出到屏幕上，也就是说和上面的输出是一样的！！！why？？？how？？？我打开了一个文件，应该读取文件里的内容。而这个文件是标准输入，那么既然是标准输入(从键盘输入)，我还没输入呢，怎么就输出结果了呢？？？而且结果还很奇特。。。这是因为，标准输入这个文件/dev/stdin是个链接文件！！！它存放的是别的文件的地址！！！如果文件描述符指向的文件是个普通文件，那么把这个文件描述符指向别的文件，就是真的指向了别的文件。而这里的文件描述符指向的是个链接文件，那么把这个文件描述符指向别的文件，意味着什么？？？意味着它把这个链接文件里的内容(地址)更改了，而它仍然指向这个文件。只不过它知道这是个链接文件，因此它会访问的是这个链接文件中的地址对应的文件。理解了上面的操作就可以说得通了，dup2对于链接文件只是修改了文件中的地址，它并没有真正指向别的文件，这也导致了一个问题，那就是它把这个链接文件给修改了，如果进程再次打开这个链接文件，那么链接文件之前存的地址就没有了，因此执行fd1 = open("/dev/stdin",O_RDONLY);这个的时候，实际上是又一次打开了p1.py这个文件！！！因为/dev/stdin这个文件里存放的地址已经是p1.py这个文件的地址了。。。

要弄清什么是标准输入输出。首先需要弄懂什么是IO。IO的I是Input的意思，O是output的意思。意味着输入和输出。更确切的含义是I：从外部设备输入到内存O：从内存输出到外部设备而标准输入和标准输出是干什么的？它们是用于IO的。那么它们属于IO的哪个部分？内存？还是外部设备？答案显然是外部设备(逻辑上的外部设备，为什么？接着看)。更具体的含义？在linux操作系统中，外部设备用什么表示？是用文件。linux中一切设备皆是文件！因此标准输入和输出更具体的含义是文件。它们是哪两个文件？它们是/dev/stdin这个文件和/dev/stdout这个文件。也就是说所谓的标准输入和标准输出其实就是两个linux下的文件。linux的文件类型有：1、普通文件2、字符设备文件3、块设备文4、目录文件5、链接文件6、管道文件7、套接字文件思考一下？它们是什么文件？它们在/dev目录下，它们是设备文件吗？那么所谓的从标准输入读是什么意思？逻辑上来看：就是打开/dev/stdin这个文件，然后把这个文件里的内容读进来。输出到标准输出是什么意思？逻辑上来看：就是打开/dev/stdout这个文件，然后把内容输出到这个文件里去。为什么是从逻辑上来看？因为它们不是设备文件！！！所以它们不代表一个设备。linux里一切皆是文件，设备是文件，但是文件不一定是设备！那它们是什么文件？他们是链接文件。(可以用ls -l /dev来查看 l开头的就是链接文件。)什么是链接文件？文件内容是另一个文件的地址的文件称为链接文件。因此，打开、读或者写 /dev/stdin和/dev/stdout 实际上是打开、读或者写这两个文件存放的地址对应的设备文件。明白它们是链接文件不是设备文件有什么用？明白这一点才能知道重定向失效的原理。这个下一篇文章再讲！

什么是NFSNFS（Network FileSystem）即网络文件系统，是FreeBSD支持的文件系统中的一种，它允许网络中的计算机之间通过TCP/IP网络共享资源。在NFS的应用中，本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件，就像访问本地文件一样。NFS组成NFS有一个服务端和若干个客户端组成NFS作用可以将一些文件放到远程，节省本地存储空间在其他服务器上也能访问相同的文件，可解决负载均衡中，文件同步问题文件便于集中管理，备份服务端安装及配置// 安装服务端sudo apt install nfs-kernel-server// 修改配置sudo vi /etc/exports// 重启sudo service nfs-kernel-server restart配置说明// ip不限/var/data *(rw,sync,no_root_squash)//目录 ip(权限) ip(权限)/var/data 127.0.0(rw,sync,no_root_squash) 127.0.0(rw,sync,no_root_squash)rw 可读写的权限ro 只读的权限no_root_squash 登入NFS主机，使用该共享目录时相当于该目录的拥有者，如果是root的话，那么对于这个共享的目录来说，他就具有root的权限，这个参数『极不安全』，不建议使用all_squash 不论登入NFS的使用者身份为何，他的身份都会被压缩成为匿名使用者，通常也就是nobodyanonuid 可以自行设定这个UID的值，这个UID必需要存在于你的/etc/passwd当中anongid 同anonuid，但是变成groupID就是了sync 资料同步写入到内存与硬盘当中 async 资料会先暂存于内存当中，而非直接写入硬盘 insecure 允许从这台机器过来的非授权访问配置生效，无需重启sudo exportfs -rvexportfs命令常用选项-a 全部挂载或者全部卸载-r 重新挂载-u 卸载某一个目录-v 显示共享目录showmount// 显示NFS服务器上所有的共享目录showmount -e// 仅显示已被NFS客户端加载的目录showmount -a原文地址 https://www.unix.com/man-page…固定mountd端口系统 RPC服务在 nfs服务启动时默认会为 mountd动态选取一个随机端口（32768–65535）来进行通讯，我们可以通过编辑/etc/services 文件为 mountd指定一个固定端口# vi /etc/services在末尾添加 mountd 端口号/udpmountd 端口号/tcpNFS的守护进程rpc.nfsd：它是基本的NFS守护进程，主要功能是管理客户端是否能够登录服务器rpc.mountd：它是RPC安装守护进程，主要功能是管理NFS的文件系统。当客户端顺利通过rpc.nfsd登录NFS服务后，在使用NFS服务所提供的文凭前，还必须通过文件使用权限的验证。它会读取NFS的配置文件/etc/exports来对比客户端权限。portmap：portmap的主要功能是进行端口映射工作。当客户端尝试连接并使用RPC服务器提供的服务（如NFS服务）时，portmap会将所管理的与服务对应的端口提供给客户端，从而使客户可以通过该端口向服务器请求服务。查看 rpc进程rpcinfo -p 防火墙配置阿里云有虚拟防火墙，需要配置安全组，如图客户端配置安装apt-get install nfs-common挂载showmount -e 服务端ip// 查看服务端共享目录，若超时了，可能防火墙有问题，需要开放相应端口mount -t nfs 服务端ip:共享目录 挂载目录挂载命令详细说明查看所有挂载df -h