服务器反爬虫攻略：Apache/Nginx/PHP禁止某些User Agent抓取网站
服务复制RewriteEngine On RewriteCond %{HTTP_USER_AGENT} (^$|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python–urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms) [NC] RewriteRule ^(.*)$ – [F] 1.2.3.
本文地址：http://www.bzve.cn/html/567b67198761.html
版权声明
本文仅代表作者观点，不代表本站立场。
本文系作者授权发表，未经许可，不得转载。
相关文章
下载了Fedora 11 DVD ISO镜像文件，参考了XP下硬盘安装Fedora 10的方法，我把安装过程稍微整理一下供Linux新手参考。先看看Fedora的版本是Fedora 11了吧，见下图（图1），点击下图看大图。图1我电脑中原先安装的操作系统是Windows XP SP2，C盘是NTFS格式，F盘也是NTFS格式的。网上都说要把它放到fat32分区下，我现在把它放到了F盘(NTFS格式的)，测试下可以的。我在F盘下新建了一个Fedora11目录，把Fedora-11-i386-DVD.iso里面的images文件解压出来放到刚才新建的fedora11目录中，另外再解压isolinux文件夹中的initrd.img和vmlinuz二个文件也放到fedora11目录下，把Fedora-11-i386-DVD.iso文件也放在fedora11目录中（见图2），还要把initrd.img和vmlinuz复制到C盘的根目录下。图2下载GRUB4DOS，我们只要里面的2个文件，解压后把grldr与menu.lst放到C盘根目录下。再修改menu.lst，在menu.lst最后加上title Install Fedora 11kernel (hd0,0)/vmlinuzinitrd (hd0,0)/initrd.img打开C盘的根目录，找到boot.ini，（通常虽隐藏的），在最后面加上c:grldr=GRUB重新启动系统，选择GRUB（见图3）。回车图3再选择最后的Install Fedora 11（见图4）就可以到安装界面了图4进入语言选择，中文用户选择见图5图5下一步应该是键盘布局的选择，默认好了，再下一步比较重要，选择安装方式，硬盘安装Fedora 11选中Hard drive（见图6）。图6这一步更重要，对于许多新手来说，不知道如何硬盘安装Fedora 11的关键所在，我把Fedora-11-i386-DVD.iso及相关安装文件都放在F盘的fedora11的目录中，所以要找到这里来，我的F盘是/dev/sda10分区 。假如你不知道，可以从/dev/sda1开始一个一个试过去，下面的地址也很重要，输入安装镜像文件所在的路径，/fedora11/images/install.img （见图7）。图7点击OK后就开始真正的安装，下面还有一个地方要注意，假如你想保留原来系统上资料，特别要注意下面的地方，要选择建立自定义分区结构。（见图8）下面就简单了，你自己看吧，假如还不懂，在下面的留言中提出。
HPStream13（一款适合日常使用的经济实惠之选）
探索联发科MT6373的性能和功能（一款强大的移动通信芯片）
如何修复因U盘划伤而导致的数据损失（有效的数据恢复方法和关键步骤）
华为V9使用体验大揭秘（真实用户分享，你想了解的一切都在这里）
红米江宁产品的性突破与创新（探寻红米江宁产品的出色表现和卓越性能）
Win8GHO系统安装教程（简单实用的Win8GHO系统安装指南）
探索iPad小圆点的开启功能与优势（发现全新的iPad操作方式，解锁更高效的使用体验）
热门文章
- 1先安装VMWare10，这个没什么可说的，安装好后启动，点击新建虚拟机，因为想设置虚拟机的磁盘保存方式，所以选择自定义选择“稍后安装操作系统”选择64位的版本给自己的机器取个名字，设定虚拟机磁盘路径，电脑c盘是SSD，为了速度就安到C盘了设置处理器的配置，这里需要看个人电脑配置，我是四核8线程的i7，这里就选了2*2，假如CPU核心数不多，就选择1*2分配内存，先来2G，以后不够再改配置后面的设置，除了磁盘的设置：将虚拟磁盘存储为单个文件，其他都默认就OK设置完成后，点击编辑虚拟机配置，设置ISO镜像文件路径完成后启动虚拟机，等安装文件加载，进入语言选择，默认是英文，下面有中文的语言选择我选择安装完成后再更新，音频解码就算了，虚拟机主要是为了布开发环境清除磁盘就行，不用怕，不会把真实磁盘清理掉的=。=把我默认到哈尔滨去了。。点击国内区域，选成shanghai注意：键盘布局选择英语(美国)设置用户名，密码下面登陆Ubuntu账户，愿意的填email创建一个，我选择以后登陆，估计很久很久以后=。=安装开始，趁机赶几行代码。。SSD安装就是快，完毕重启可以登陆了桌面很小，这时候还要安装VMtool点击顶部菜单栏的虚拟机选项，下拉选择“安装VMware Tools”，会自动载入光盘，打开窗口运行“vmware-tools-upgrader-64”无反应，把VMwareTools.tar.gz 文件拷贝而到桌面，右键提取到此处，会解压为一个 vmware-tools-distrib 目录打开终端，输入以下命令$ cd 桌面/vmware-tools-distrib$ sudo ./vmware-install.pl输入密码，执行，一路回车摁下去，到最后出现“Enjoy——the VMware team”的字样，安装完成打开VMware上方菜单栏的查看-自动调整大小，设置为自动适应客户机和自动适应窗口，右上角按钮重启虚拟机，登陆后就发现虚拟机桌面铺满窗口，调整壁纸平铺方式，显示OK至此，安装完成~
- 2以ZUKZ1刷机完美体验（实用教程与注意事项，一键解锁手机潜力）
- 3使用光盘安装Win10如何切换为Win7系统（教你步骤详解，让你轻松更换操作系统）
- 4Win7自带杀毒教程（Win7自带杀毒工具的使用方法及注意事项）
- 5KVM (Kernel Based Virtual Machine) 是一个免费的虚拟化工具，它与 VMware、Hyper-V 类似，也可以让我们在主机操作系统中创建虚拟机。KVM 在开源界已经被非常广泛地使用，这主要得益于它能够跑在支持硬件虚拟化 CPU 的所有 Linux 发行版平台之上。KVM 与 Xen 和 Hyper-V 不同的是：它不要求用户使用特定的系统及内核版本，只需要标准的 Linux 内核即可使用 KVM 创建和管理虚拟机。KVM 支持完全虚拟化技术，运行在其上的每个虚拟机都独立运行，而无需知道主机系统体系架构。说了这么多，我们就来看看如何为Ubuntu 15.04安装和配置KVM。验证CPU是否支持硬件虚拟化要跑KVM 必需要确保你 Linux 系统所在的 CPU 是支持硬件虚拟化的，不然将无法正常使用。我们可以在终端中执行如下命令进行验证：复制代码代码如下:egrep svm|vmx /proc/cpuinfo假如你的 CPU 支持，将可以看到类似如下的返回：假如 vmx 选项不可用，请重启系统并到 BIOS 中启用硬件虚拟化。为Ubuntu 15.04安装KVM一旦确认了 CPU 支持并开启硬件虚拟化之后，我们便可以使用如下命令来为 Ubuntu 15.04 安装 KVM 及相关的依赖包：复制代码代码如下:sudo apt-get install qemu-kvm qemu virt-manager virt-viewer libvirt-bin bridge-utils启用桥接网络通常情况下，为了保证虚拟机与 Internet 的相互通信，我们需要在主机中启动网络桥接。为了保证不破坏原有的网络配置，我们先使用如下命令将网络配置文件进行备份：复制代码代码如下:sudo cp /etc/network/interfaces /etc/network/interfaces-bak备份完成后，我们需要对 /etc/network/interfaces 配置文件进行更改，将如下信息追加到配置文件当中：以上信息请根据你自己的网络环境进行更改，不要照搬哦！配置完成后需要重启一下，再使用如下命令验证网络桥接是否配置成功：ifconfig启动KVM虚拟系统管理器在安装及配置完桥接网络后我们便可以使用如下命令打开 KVM 虚拟系统管理器：复制代码代码如下:sudo virt-manager点击文件菜单下的 new virtual machine 即可创建新虚拟机了。KVM 已是业界被广泛采用的一种虚拟化技术，它非常简单和易用，稳定性也非常之高。而且使用KVM 无需支付任何费用，我们可通过命令行或图形界面对其进行管理，在硬件设备支持的情况下，理论上可扩展无限虚拟机。以上就是本文的全部内容，希望对大家的学习有所帮助。
- 6索尼S715F日版的综合评测（一款出色音质与便携性兼具的音乐播放器）
- 7用3D打印技术打造逼真玫瑰花（用3D打印机还原玫瑰花的美丽细节）
- 8惠普畅游人600（探索游戏世界，享受流畅体验）
- 9消费者投诉（揭露美的空调质量问题，保护消费者权益）
- 10神舟k610d进入BIOS教程（轻松进入BIOS，实现个性化定制和提升电脑性能）
- 11宏基VN7屏幕质量如何？（一探宏基VN7屏幕的色彩表现与观看体验）
- 12三星变频冰箱（解析三星变频冰箱的高效节能与智能科技）
全站热门
热门文章
- 1探析JBLE40BT的音质表现（深入剖析JBLE40BT耳机的声音特点和品质）
- 2新固态装系统教程（实用教程详解新固态装系统的步骤与注意事项）
- 3苹果强制开机（应对苹果设备无法正常开机的挑战与解决方案）
- 4全面了解笔记本型号配置，选购最适合你的电脑（笔记本型号配置解析，轻松选购满足个人需求的电脑）
- 5映泰H61MHV主板的性能和功能介绍（一款可靠稳定的主板选择）
- 6海信F23（全面升级的功能与性能，让你爱不释手）
- 7一步步教你如何启动系统安装win7系统（Win7系统安装教程，轻松搞定系统重装）
- 8王金蝶（以创新、领导力和奉献精神赢得商业世界）
- 9技巧一、用命令行往文件的顶部添加文字每次我都会重新寻找这个命令的写法。下面就是如何使用sed往一个文件顶部添加一行的方法：复制代码代码如下: sed -i 1s/^/line to insertn/ path/to/file/you/want/to/change.txt技巧二、用命令行往配置文件里插入多行文本这种方法非常简单，很多人都知道，下面就是如何用命令行将(>>)多行文本插入一个文件中。这里使用的是“here document”语法，它能让你通过块文本符号来将段落插入文件中，通常用的符合是EOF(意思是 “End Of File”):复制代码代码如下:cat >>path/to/file/to/append-to.txt << EOF export PATH=$HOME/jdk1.8.0_31/bin:$PATH export JAVA_HOME=$HOME/jdk1.8.0_31/ EOF两个”EOF“之间的所有内容都会被添加到文件中。技巧三、用命令行递归方式全局搜索目录文件和替换假如你使用Eclipse，ItelliJ或其它IDE，这些工具的强大重构能力也许会让你轻松实现很多事情。但我估计很多时候你的开发环境中没有这样的集成工具。如何使用命令行对一个目录进行递归搜索和替换？别想Perl语言，你可以使用find and sed。复制代码代码如下:# OSX version find . -type f -name *.txt -exec sed -i s/this/that/g {} +使用了一段时间后，我总结写出了一个函数，添加入了 .bashrc ，就像下面这样：复制代码代码如下:function sr { find . -type f -exec sed -i s/$1/$2/g {} +}你可以像这样使用它：复制代码代码如下:sr wrong_word correct_word技巧四、用命令行在vim和Dropbox里开启一个临时文件我过去喜欢用Emacs里的scratch facility功能。也经常用Vim快速创建临时文件。下面这两个函数是使用openssl生成随机的字符串作为文件名：复制代码代码如下:function sc { gvim ~/Dropbox/$(openssl rand -base64 10 | tr -dc a-zA-Z).txt } function scratch { gvim ~/Dropbox/$(openssl rand -base64 10 | tr -dc a-zA-Z).txt }在命令行窗口输入sc或scratch，一个新的gvim或macvim窗口就会弹出来，里面会加载一个随机文件名的临时文件。技巧五、用命令行下载文件，支持链接转向、HTTPS和安全加密等情况下载一个页面输出到终端，跟随链接转向，忽略安全异常：复制代码代码如下:curl -Lks 下载一个链接，跟随链接转向，忽略安全异常： [/code]curl -OLks 这里用了很多参数，你可以阅读这个简单的curl文档来了解它们。技巧六、Bashmarks你还没有在.bashrc里使用bashmarks吗？还在等待什么？它真的非常有用。它能帮你保持历史操作，跳回到你经常使用的目录。下面是我的配置文件里脚本，但我想上面的链接能提供你更多技巧：复制代码代码如下: # USAGE: # s bookmarkname - saves the curr dir as bookmarkname # g bookmarkname - jumps to the that bookmark # g b[TAB] - tab completion is available # l - list all bookmarks # save current directory to bookmarks touch ~/.sdirs function s { cat ~/.sdirs | grep -v export DIR_$1= >~/.sdirs1 mv ~/.sdirs1 ~/.sdirs echo export DIR_$1=$PWD >>~/.sdirs } # jump to bookmark function g { source ~/.sdirs cd $(eval $(echo echo $(echo $DIR_$1))) } # list bookmarks with dirnam function l { source ~/.sdirs env | grep ^DIR_ | cut -c5- | grep ^.*= } # list bookmarks without dirname function _l { source ~/.sdirs env | grep ^DIR_ | cut -c5- | grep ^.*= | cut -f1 -d = } # completion command for g function _gcomp { local curw COMPREPLY=() curw=${COMP_WORDS[COMP_CWORD]} COMPREPLY=($(compgen -W `_l` -- $curw)) return 0 } # bind completion command for g to _gcomp complete -F _gcomp g技巧七、从格式化输出里提取一列(我最常使用的awk技巧)我几乎天天都会使用它。真的。经常会有一些输出，我只需要其中的第二列，或第三列，下面这个命令就能做到这些：复制代码代码如下:#Sample output of git status -s command: $ git status -s M .bashrc .vim/bundle/extempore/ # Remove status code from git status and just get the file names $ git status -s | awk {print $2} .bashrc .vim/bundle/extempore/为什么不写个函数，让我们随时都可以用呢？复制代码代码如下: function col { awk -v col=$1 {print $col} }这使得提取列非常容易，比如，你不想要第一列？简单：复制代码代码如下:$ git status -s | col 2 .bashrc .vim/bundle/extempore/技巧八、忽略头x个词我对xargs很着迷，我感觉它就像一把快刀。但有时候用它获得的结果需要调整一下，也许需要取得一些值。例如，你想去掉下面文件影像里的一些信息：复制代码代码如下:function skip { n=$(($1 + 1)) cut -d -f$n- }下面是如何使用它： 使用 docker images 得到下面的输出：复制代码代码如下:$ docker images REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE 65a9e3ef7171 3 weeks ago 1.592 GB 7c01ca6c30f2 3 weeks ago 11.1 MB 9518620e6a0e 3 weeks ago 7.426 MB 430707ee7fe8 3 weeks ago 7.426 MB boot2docker/boot2docker latest 1dbd7ebffe31 3 weeks ago 1.592 GB spaceghost/tinycore-x86_64 5.4 f47686df00df 7 weeks ago 11.1 MB durdn/bithub latest df1e39df8dbf 8 weeks ago 100.9 MB c5e6cf38d985 8 weeks ago 100.9 MB nginx latest e426f6ef897e 12 weeks ago 100.2 MB zoobab/tinycore-x64 latest 8cdd417ec611 8 months ago 7.426 MB scratch latest 511136ea3c5a 20 months ago 0 B 使用上面的函数，你可以获取所有的IDs：复制代码代码如下:$ docker images | col 3 IMAGE 65a9e3ef7171 7c01ca6c30f2 9518620e6a0e 430707ee7fe8 1dbd7ebffe31 f47686df00df df1e39df8dbf c5e6cf38d985 e426f6ef897e 8cdd417ec611 511136ea3c5a 进一步处理：复制代码代码如下:docker images | col 3 | xargs IMAGE 65a9e3ef7171 7c01ca6c30f2 9518620e6a0e 430707ee7fe8 1dbd7ebffe31 f47686df00df df1e39df8dbf c5e6cf38d985 e426f6ef897e 8cdd417ec611 511136ea3c5a 但前面的”IMAGE”字符我也想去掉：复制代码代码如下:docker images | col 3 | xargs | skip 1 65a9e3ef7171 7c01ca6c30f2 9518620e6a0e 430707ee7fe8 1dbd7ebffe31 f47686df00df df1e39df8dbf c5e6cf38d985 e426f6ef897e 8cdd417ec611 511136ea3c5a 完整的写下来就是这样：复制代码代码如下:docker rmi $(docker images | col 3 | xargs | skip 1)技巧九、创建自己的命令包在bash里，你可以很容易的创建自己的命令组件，你可以看一下下面我写的：复制代码代码如下: function dur { case $1 in clone|cl) git clone git@bitbucket.org:nicolapaolucci/$2.git ;; move|mv) git remote add bitbucket git@bitbucket.org:nicolapaolucci/$(basename $(pwd)).git git push --all bitbucket ;; trackall|tr) #track all remote branches of a project for remote in $(git branch -r | grep -v master ); do git checkout --track $remote ; done ;; key|k) #track all remote branches of a project ssh $2 mkdir -p .ssh && cat >>.ssh/authorized_keys < ~/.ssh/id_rsa.pub ;; fun|f) #list all custom bash functions defined typeset -F | col 3 | grep -v _ | xargs | fold -sw 60 ;; def|d) #show definition of function $1 typeset -f $2 ;; help|h|*) echo [dur]dn shell automation tools echo commands available: echo [cl]one, [mv|move] echo [f]fun lists all bash functions defined in .bashrc echo [def] lists definition of function defined in .bashrc echo [k]ey copies ssh key to target host echo [tr]ackall], [h]elp ;; esac }通过上面的脚本，我可以将ssh key拷贝到任何网站服务器——只需要键入 dur key user@somehost.总结你可以试一下我的这个.bashrc文件，或你自己也可以写一个。
- 10华强北电子市场（华强北生意状况及商机分析）