Осваиваем текстовый редактор vim

В предыдущих постах часто использовался текстовый редактор, в частности, мой любимый vim. Возможно, его нет в вашем дистрибутиве “из-коробки” (vi, предшественник vim-a должен быть 100%) и вам надо его инсталлировать. Обычно, в дистрибитувах линукса есть сразу целая куча консольных текстовых редакторов и напрашивается естественный вопрос — зачем? Это всё разные инструменты с разным набором возможностей и удобств. Например, хорошо, когда гаечный ключ разводной — можно всегда подгонять под нужный размер. А если размер выходит за границы допустимого диапазона? Или если надо забить гвоздь? Хорошим разводным гаечным ключом можно и гвоздь забить, но это будет явно не эффективно. Представьте, сколько времени, усилий и нервов можно сэкономить подбирая во всём нужные инструменты и настраивая их под себя. Для кодинга, редактирования конфигурационных файлов, сравнения нескольких версий «плоских» текстовых файлов вам нужен совершенно другой текстовый редактор, нежели MS Office Word. И одним из таких мощных текстовых редакторов является vim. Вы можете улучшить свою работу над кодингом на 200%, а то и на 300%, постигнув лишь 25% всех возможностей этого прекрасного редактора (все цифры взяты с потолка, но такое соотношение эффективности имеет место быть). Вот например, возьмите свой любимый редактор и посмотрите сколько времени (с точностью до секунды) вам надо, чтобы из этого куска кода (табуляция тоже считается):

x = 1
whiLE x<=100:
print x,
y = func1(x) + func2(x) + func3(x)
print ' => %s' % y
x = x + 1

сделать вот этот:

x = 1
whiLE x<=100:
    print x,
    y = func1(x, rnd=True) + func2(x, rnd=True) + func3(x, rnd=True)
    print ' => %s' % y
    x += 1  

У меня же с помощью vim ушло на это 18 секунд (можете в комментариях поделиться вашими результатами). Естественно, может быть и лучший результат, но это надо тренироваться, да и когда очень спешить, можно наделать ошибок, которые исправлять потом будет дороже. Надеюсь, мне удалось показать вам важность выбора нужного инструмента. Теперь надо научится им пользоваться. Для начала настоятельно рекомендую вам пройти встроенную обучалку, которую вы можете запустить командой "vimtutor" (естественно, команду вводим без кавычек). Далее, вам нужен более-менее приличный конфигурационный файл. Вот начать можете с такого примера:

" # BASIC OPTIONS
set nocompatible
set number
syntax on
" - Indentation options
set expandtab
set tabstop=4
set shiftwidth=4
set autoindent
set softtabstop=0

" # ADVANCED OPTIONS
"set hidden
"set visualbell
" - Better command-line completion
set wildmenu
" - Show partial commands in the last line of the screen
set showcmd
" - Display cursor position
set ruler
" - Always display the status line, even if only one window is displayed
set laststatus=2
set mouse=a
" - bind \q for nohlsearch
:nmap \q :nohlsearch<CR>
" - Easier moving of selected code blocks
vnoremap < <gv
vnoremap > >gv

" # EXPERT OPTIONS
" - Autocommands
" Remove any trailing whitespace that is in the file
autocmd BufRead,BufWrite * if ! &bin | silent! %s/\s\+$//ge | endif

Как и большинство других конфигурационных файлов, этот надо сохранить в домашней папке, а имя начинается с точки - .vimrc (полный путь ~/.vimrc, где "~" подставляет домашнюю папку текущего пользователя).
Для начала, вам этого хватит с головой. Здесь, комментарии начинаются с двойной кавычки, некоторые опции тоже закомментированы, но входят в конфигурационный файл потому, что часто используемые. Если с описания не всё понятно, то вперёд в гугл. Настоящий достойный конфигурационный файл в десятки раз длинее.

Наконец, мастером этого текстового редактора вы можете легко стать, освоив книгу "Practical Vim: Edit Text at the Speed of Thought" by Drew Neil. И не ищите перевода, для мастерства вам нужен оригинал. Пора привыкнуть к тому, что английский язык всё-таки главнее (после своего родного, конечно).
Ну и, конечно же, побольше практики. И если он станет вашим единственным (или почти единственным), то навыки сами придут со временем.

Конфигурационные файлы пользователя

Конфигурационные файлы пользователя - это те, которые "лежат" в домашней директории данного пользователя, и имя которых начинается с точки.
Чтобы посмотреть все свои конфигурационные файлы, можно воспользоваться такой командой (первое, что пришло в голову, может у вас получится ещё проще):

 $ ls -la ~ | rev | awk '{ print $1 }' | rev | egrep '^\.\w'

Стандартный набор файлов, который, теоретически, есть по-умолчанию (если ваша оболочка по-умолчанию - баш):

.bash_history
.bash_logout
.bash_profile
.bashrc
.profile

.bash_history - хранит историю введённых команд
.profile - сценарий, не привязан к оболочке (bash, zsh, etc.)
Остальные, в принципе, можно понять из документации к башу (man bash):

FILES
       /bin/bash
              The bash executable
       /etc/profile
              The systemwide initialization file, executed for login shells
       ~/.bash_profile
              The personal initialization file, executed for login shells
       ~/.bashrc
              The individual per-interactive-shell startup file
       ~/.bash_logout
              The individual login shell cleanup file, executed when a login shell exits
       ~/.inputrc

              Individual readline initialization file

Ещё можно собственноручно создавать другие конфигурационные файлы, например, .profile_work - для инициализации своего придуманного рабочего окружения (автоматически не выполняется, нужно выполнить команду source ~/.profile_work).
А также разные приложения имеют свои конфигурационные файлы, которые можно настраивать под себя (например, .vimrc - конфигурационый файл редактора vim).
Теперь посмотрим какие самые элементарные полезности можно засунуть в такие конфигурационные файлы.

Файл ~/.profile:

# setup user paths
export PYTHONPATH=$PYTHONPATH:/home/data/python_libs

# setup user aliases
alias wtf='uname -n'
alias ll='ls -la'
alias rm='rm -i'

# prompt colored

export PS1='\[\e[32m\]\u@\h:\w\$ \[\e[0m\]'

В первой строке расширяется питоновский путь поиска модулей.
Далее назначаем алиасы (дружественное имя какой-то команды), один из самых полезных - alias rm='rm -i', теперь всегда команда rm будет выполняться с ключом "-i", то есть спрашивать подтверждение перед удалением. Но если вы запустите команду с ключом "-f", то ключ "-i" проигнорируется.
Ну и последнее - это цветная строка приглашения к вводу.

Если вам вдруг нужно много работать удалённо (через ssh), вам жизненно необходимо иметь утилиту screen на удалённой машине. И вот пример прекрасного .screenrc (опять-таки, поместить в домашнюю директорию пользователя):

Файл ~/.screenrc:

startup_message off
vbell off
windows
# Add stuff to xterm (and cousins) title bars.  This is a moderate abuse of the
# hardstatus feature--it just puts the hardstatus stuff into an xterm title
# bar.
termcapinfo xterm*|Eterm|mlterm 'hs:ts=\E]0;:fs=\007:ds=\E]0;screen\007'
hardstatus off

defscrollback 10000
hardstatus alwayslastline
hardstatus string '%{= kW}%-Lw%{= KW}%50>%n%f* %t%{= kW}%+Lw%<'

# Bind F11 and F12 (NOT F1 and F2) to previous and next screen window
bindkey -k F1 prev

bindkey -k F2 next

В результате, вы получите отличный вид вкладок и нет раздражающего мерцания (+ ещё некоторые полезности, но лучше погуглить, чтобы до конца разобраться).
Ну и, конечно же, вам надо настроить ваш любимый консольный текстовый редактор - но эта тема очень широка, потому здесь опять придётся вам покопаться самим. Удачи!

А-а-а, всё сломалось!

Самое интересно начинается тогда, когда что-то пошло не так. Можете представить все чувства секретаря (секретутки :) ), которая умеет только документы печатать, а тут ОС не грузится или бумагу в принтер зажевало, а сдавать документы надо было вчера.
Естественно, всякого бывает, но основной источник проблем находится между монитором и спинкой стула.
С линуксами мне встречались лишь 2 основные проблемы:
1) грузится лишь консольный режим, то есть нету рабочего стола, ярлычков и всей другой атрибутики, есть лишь ваш любимый терминал во весь экран;
2) ОС не грузится вообще, даже в режиме восстановления.

1. Основная причина - сломался X-сервер (графическая оболочка, грубо говоря) после неакуратных действий пользователя (либо акуратных, но результат оказался непредсказуем). Например, вы решили поставить проприетарные драйвера на видеокарту вместо свободных, перезагрузились - и всё )
Тут хорошо иметь под рукой ещё один комп, когда можно быстро нагуглить как восстановить свободные драйвера именно на вашей системе. Если такового не имеется, вам придётся освоить консольные браузеры.
Вот так выглядит гугл в консольном браузере lynx (слабонервным и сильнонервным просьба отойти): 

Ещё, возможно, какое-то обновление решило удалить вам вообще xorg (даже такое бывает, когда вы подключаете сторонние непроверенные репозитории), в таком случае достаточно просто переустановить его. И обновляться только с консоли, чтобы увидеть что может быть удалено, почему и убрать гадкие репозитории.

2. Если ОС не грузится вообще - это проблема похуже, тут без ещё 1 компа не обойтись (ну или у вас ещё Винда установленная есть на том же компе, придётся грузится в неё).
Ну или у вас уже есть загрузочная флешка или диск (Live USB or LiveCD/DVD).
В данном случае, надо загрузиться в ту "живую" ОС и решить проблемы. Благо, если вы знаете, что имено вы сделали в последний раз и что надо исправить. В противном случае - возможен даже летальный исход с последующей переустановкой.
Реальный случай:
Я хотел добавить в автозагрузку старт своего веб-сервера на bottle. Для этого прописал в /etc/rc.d/rc.local строчку:

cd /home/data/work/web/budget && python budget.py

И, забыл, что процесс висит сразу же в терминале, дожидаясь пока его не прибьют. Получается, что при загрузке системы он и висит тем блокировщиком, которые не даёт загрузиться дальше, он ведь ждёт, пока его не прибьют. Я уже знал, что надо сделать и как (достаточно добавить & в конец команды и процесс уйдёт в фон). Осталось сделать загрузочную флешку.
После загрузки надо смонтировать тот раздел с правами на запись и изменить файл.
Ищем нужный раздел командой (часть вывода заменил на три точки):

$ sudo fdisk -l
...
/dev/sda        <разные параметры раздела вроде такого:>
/dev/sda1      <617693184   755113983    68710400   83  Linux>
...
/dev/mapper/fedora-root
...
/dev/mapper/fedora-home
...

Если не сразу знаете, что какой раздел монтировать, можно пробовать все поочереди. Мне нужен был "fedora-root":

$ mkdir /mnt/froot
$ sudo mount -o rw /dev/mapper/fedora-root /mnt/froot

После чего успешно редактируем наш файл (мне нравится редактор vim):

$ sudo vim /mnt/froot/etc/rc.d/rc.local

Всё, можно перезагружаться.
Что ж, удачи, постарайтесь не ломать ничего, а если и сломаете - не паникуйте. Помните, если проблема имеет решение - то волноваться незачем, а если решение не имеет - то волноваться уже бессмысленно.

Учимся писать полезные скрипты на bash

Сегодня учим делать полезные скрипты своими руками на одном практическом примере. Понадобилось как-то мне конвертировать пачку файлов из rst формата в docx. В браузере  на сервере rst рендерилось и отображалось как обычный html, тобишь уже такая автоматическая конвертация. Стянув пачку файлов, я получил хоть и с rst-расширением, но всё же в html коде. И это значит, надобно перевести в docx.

Итак, задача ясна, ищем решения. Немного погуглив, находим утилиту pandoc - http://johnmacfarlane.net/pandoc/demos.html

Умеет конвертировать фактически с любого языка разметки на любой другой.

Естественно, по одному файлу тыкаться как-то не хочется, разбираться может ли сам pandoc сделать групповую конвертацию - тоже влом. Решено быстро написать баш скрипт.

Для начала, надо перебрать все файлы с заданным расширением. Проверяем идею:

$ for fn in `find . -name "*.rst"`; do echo $fn; done

document1.rst

document2.rst

........

document10.rst

Часть вывода здесь опущена и вообще придумана :)

`find . -name "*.rst"` - поиск файлов по шаблону; если взять в эти кавычки, где знак "~", то подставится заместо команды вывод этой команды, то есть список всех найденых файлов. Ну и чтобы получить доступ к значению переменной, ставится знак "$".

Команда echo, грубо говоря, выводит указанное сообщение на консоль. В данном случае, выводит значение переменной fn.

Теперь, нам надо каждый найденный файл конвертировать и дать новое название. Сначала надо получить новое название. Поэтому теперь цикл будет выглядеть вот так:

for fn in `find . -name "*.rst"`

do

   new_fn=`basename $fn rst`docx

   echo $new_fn

done

Запишем этот цикл в файл, например group_converter.sh и запустим такой командой:

$ sh group_converter.sh

document1.docx

document2.docx

........

document10.docx

Отлично, теперь можно конвертировать. Изменяем файл:

for fn in `find . -name "*.rst"`

do

   new_fn=`basename $fn rst`docx

   pandoc -s -S -f html $fn -o $new_fn

done

Запускаем и видим что работает! Было бы неплохо навести красоту и возможность конвертировать с любого формата в любой. Но, здесь надо будет ключи подбирать (-s -S, для других форматов - другие ключи и т.п.), поэтому, скрипт может разрастить до таких нормальных размеров. А наша первоначальная задача выполнена. Поскольку, конвертировать группу файлов не каждый день приходится, универсализация скрипта может подождать. Последнее, что сделаем, это допишем информацию о скрипте:

#!/bin/bash
# Group markup coverter
# Usage:
#             copy this script to directory with files and run from inside

for fn in `find . -name "*.rst"`
do
   echo "Processing file: $fn"
   new_fn=`basename $fn rst`docx
   pandoc -s -S -f html $fn -o $new_fn
done

Вот такой вот скриптик делается буквально за 2 минуты, а польза огромная - за пару секунд конвертирует пачку файлов.

Разные полезности для новичков продвинутого уровня )

Наверное, вы уже ближе познакомились с миром никсов, возможно, даже выбрали себе дистрибутив. Покликали разные кнопочки, посмотрели все менюшки, но пора двигаться дальше. Можно конкретно облегчить себе жизнь, работу, зная хотя бы пару простых секретов и команд. Конечно, вам следует поискать хорошие книги, чтобы ознакомиться со всем глубоко и полностью. Здесь же покажу лишь нужные всем основы.

Как вы, уже поняли, всё делается через терминал. И если вы вдруг что-то ему плохое сделали, попутали переменные окружения, то необязательно закрывать его и запускать снова, можно ввести команду переинициализации:

$ reset

Если вы ввели команду, а потом оказалось что её надо было вводить с правами администратора, то самый быстрый путь:

$ sudo !!

!! - подставляет последнюю введённую команду.

Запуск HTTP-сервера в текущей директории на 8000 порту:

$ python -m SimpleHTTPServer

Допустим, вы делаете резервные копии руками, пока что без знаний о таких утилитах как rsync и других. Можно сравнить два каталога на наличие отличающихся файлов:

$ diff -qr dir1/ dir2/

Эта же утилита diff может просто сравнивать два файла и показать отличия построчно в удобочитаемом виде.

Сделать загрузочную флешку из большинства iso-образов (не все подходят под этот фокус) можно просто и легко:

$ dd if=/path/to/iso of=/dev/usbdevice

Главное, не перепутайте if и of (input - входящий, тобишь образ, output - исходящий, тобишь флешка). Показывать прогресса при этом не будет. Есть разные пути решения, один из вариантов (не надо ничего доустанавливать), открыть другую вкладку терминала и ввести:

$ watch -n 10 'killall -USR1 dd'

Это будет через каждых 10 секунд (watch -n 10) обновлять статус.

Копирование по ssh большой пачки файлов, как один файл, намного быстрее будет:

$ tar -czf - /some/dir | ssh host.name tar -xzf - -C /destination

Пока что хватит. Вам и так придётся много погуглить, чтобы до конца разобраться и освоить. И не забывайте про man pages.

Виртуальный мир в виртуальном мире

Вот вы уже решились "потрогать руками" этого пингвина, но дистрибутивов с ядром линукса существует тьма тьмущая. Какой же себе поставить? Хорошенько погуглив, можно отсеять большую часть, и останется несколько штук (по-моему гуглению - Debian, Ubuntu, CentOS, Fedora, OpenSUSE Slackware, ArchLinux; последние 2 требуют немного секса для установки и настройки, но, говорят, оно и к лучшему).

Опять-таки, читая разные форумы и отзывы, можно сделать разные выводы и, зачастую противоречивые, но где же правда? В идеале - это попробовать самому. И, если у вас достаточно оперативной памяти (желательно больше 2 гб), то попробовать всё самому можно очень просто и легко (и, главное, безопасно). А это всё благодаря программам виртуализации. Тоесть, программа берёт указанное свободное место на жестком диске и использует его как симуляцию отдельного раздела, где вы можете проводить любые опыты без вреда для ваших файлов, главной ОС и всего прочего. Конечно, виртуальная ОС будет отбирать ресурсы процессора и оперативки, потому вам и нужен компьютер помощнее, чтобы опробовать все прелести. Можно также без опаски устанавливать разные программы в виртуальную ОС, удалять, экспериментировать с разными настройками и т.п., оно никоим образом не тронет вашу главную систему. Звучит заманчиво? Предлагаю на ваш выбор две программы виртуализации - VirtualBox, VMware Player. Они обе бесплатные, обе имеют много разных возможностей. Иногда, случается, что какая-то ОС не работает в одной виртуалке, но работает в другой. Поэтому, ставьте себе обе программы :)

Теперь вы сможете всё потрогать своими руками и решить самостоятельно, нужен вам какой-то линукс или нет, и какой именно. И, главное, что не надо перезагружаться из вашей любимой ОС, всегда можно просто свернуть окно. Кстати, эти две программы-виртуалки работают также и под линуксами. То есть, можно из-под вашего дистрибутива линукса попробовать какой-то другой дистрибутив (или даже виндовс! но это уже немного извращение, хотя случаи всякие бывают, например, виртуальный виндовс может пригодиться для неких процедур, когда нет лицензии на него :)).

Что ж, удачи, пробуйте, решайте, вскоре будет копать глубже.

Старый друг - лучше новых двух

Любая ОС сначала вся такая разпрекрасная, летает, ничего не глючит, а со временем что-то идёт не так. И чтобы сломать своими же руками, никакой вирус не нужен, у меня это успешно получалось неоднократно. Восстановить же без переустановки не всегда получается, но с линуксами в этом всё же попроще. А как можно сломать *nix систему не преднамеренно?

В основном - это неосторожность и самонадеянность. Особая печаль, когда систему ломают обновления. Как же так? - спросите вы... ну, спросите меня...

Многие дистрибутивы, которые "хотят" быть популярными, позволяют подключать разные репозитории, даже не проверенные или какие-то репозитории партнёров. И фокус в том, что некоторые пакеты с одного репозитория могут конфликтовать с пакетами из другого, иметь общие зависимости или ещё чего-то. А со временем вы всё равно себе что-то поподключаете, даже заядлый "работник" захочет иногда расслабиться и поиграть во что-то, или вдруг, надо будет скачать себе новые фреймворки со сторонних репозиториев. Всякое может случиться, надо лишь быть внимательным, всегда думать о действиях и последствиях, и брать на себя ответственность. "Я ничего не ломала, я лишь хотела помыть ноутбук с мылом!"

У меня был интересный случай, когда одни обновления удалили мне Х сервер (графическое окружение, не знаю как объяснить для виндузятников), и при следующей загрузке - Я радовался голой консоли. Немного поковыряв и даже слазив разок в интернет, благо есть консольные браузеры (для виндузятников - это вообще страшный сон, наверное), Я всё в$осстановил. Потом убрал "нехорошие" репозитории из своего списка. Ну и вправду, если всё работает, то зачем обновлять? Это ж не критические обновления безопасности, это сторонние хранилища приложений. Если ваш любимый плеер может проигрывать вашу музыку, создавать плейлисты и всё такое, зачем вам его обновлять? Ради обложки??? Нет, всякого бывает, но лучше иметь дело лишь с проверенными источниками (это как в винде вы качаете ехе-файл с сомнительного сайта).

В общем, обновления, как по мне, лучше тоже проводить из консоли и высматривать что там хочет поудалять и пообновлять. И, возможно, лучше руками пообновлять нужные пакеты и не трогать всё остальное.

В деб-дистрах это делается так (в других, по аналогии):

$ sudo apt-get update

$ sudo apt-get upgrade

Первая команда - по сути, проверяет возможность обновления, апдейтит репозитории. Вторая - уже само обновление (апгрейд).

После чего, вам покажет список действий и пакетов для каждого действия и спросит вашего подтверждения:

$ sudo apt-get upgrade

Reading package lists... Done

Building dependency tree       

Reading state information... Done

The following packages have been kept back:

  icedove iceowl-extension iceweasel

The following packages will be upgraded:

  apt apt-utils calendar-google-provider dpkg dpkg-dev google-chrome-stable libapt-inst1.5 libapt-pkg4.12 libdpkg-perl libnspr4 libssl-dev libssl-doc libssl1.0.0 openssl tzdata tzdata$-java

16 upgraded, 0 newly installed, 0 to remove and 3 not upgraded.

Need to get 61.8 MB of archives.$

After this operation, 1,110 kB of additional disk space will be used.

Do you want to continue [Y/n]? 

Вот здесь вы и должны всё внимательно посмотреть, иногда оно захочет удалить что-то якобы устаревшее, ненужное, но может быть и х-сервером, как в моем случае ))

В данном случае показывает, что ничего удалять не будет, можем смело обновляться.

Как всегда, вывод один - голова нужна не только для того, чтобы в неё есть.