Marcin Chyłek Blog

Wykop traci dane użytkowników - hasła i emaile skradzione

2009-09-05T18:20:39Z

Od rana panuje spore zamieszanie czy to prawda, że wykop stracił dane użytkowników (zostały skradzione). Na http://www.wykop.pl/link/232212/wyciekla-baza-danych-wykopu można więcej przeczytać. Hasła są w postaci hash’a ale jak wiadomo to nic trudnego do złamania, kwestia tylko czasu. Ponoć 40% haseł już jest znana.

Mam nadzieję, że ta informacja jest nieprawdziwa ale po komunikacie:

“Witaj

W związku z włamaniem na jeden z testowych serwerów Wykop.pl, prosimy o jak najszybszą zmianę hasła do Twojego konta na Wykopie za pomocą formularza znajdującego się pod adresem: http://www.wykop.pl/user/change_password

Bliższe szczegóły dotyczące zaistniałej sytuacji opublikowaliśmy na naszym oficjalnym blogu: http://www.wykop.pl/blog/post/55

Przepraszamy za zaistniałą sytuację.
Administracja Wykop.pl”

Podejrzewam, że większość użytkowników używa takiego samego hasła na wykopie i na innych serwisach, więc zmiana hasła na wykopie nic nie da. Internet pod tym względem “kuleje”. Jest masa serwisów, a dane użytkowników wymagane są w każdym. Zauważyłem, że powoli Facebook Connect i OpenId są wdrażane, ale ich ilość nie jest zbyt duża. Może to jest rozwiązaniem problemów z wyciekiem danych?

Powiązane

Zmiany w Gmailu

2009-07-01T22:41:34Z

Przez ostatnie 2 dni wiele firm opublikowało nowe wersje swoich produktów, również firma Google przygotowała miłą niespodziankę w Gmailu

Nowe lokalizacje etykiet
Możliwość ukrywania i pokazywania etykiet
Przenoszenie E-maili metodą Drag and drop

Kilka screenów pochodzących z bloga Google: http://gmailblog.blogspot.com/2009/07/labels-drag-and-drop-hiding-and-more.html

Powiązane

PostgreSQL 8.4 Released

2009-07-01T18:05:57Z

Wczorajszy dzień był “wysypem nowego oprogramowania” - nowego w sensie nowych wersji, np takich jak Firefox 3.5, PHP 5.3. Pisałem wczoraj o pgAdminie3 o wersji 1.10.0 a dzisiaj będzie o samej bazie danych PostgreSQL w wersji oznaczonej numerem 8.4.

W wersji PostgreSQL 8.4 zostały wprowadzone:

Równoległe przywracanie bazy, które wpływa na szybkość przywracania danych
Uprawnienia na kolumny
pg_migrator
Narzędzia diagnostyczne i administracyjne
Ulepszenia zwiazanych z PLSQL i SQL
Poprawki zwiazane z bezpieczeństwem bazy

Pełna lista zmian: http://www.postgresql.org/about/press/features84.html

Powiązane

pgAdmin v1.10.0 released

2009-06-30T23:16:36Z

Została wydana stabilna oznaczona numerem v1.10.0 wersja pgAdmina. Pojawiły sie nowe bajery jak np. “graphical query builder” i lepsza obsługa PostgreSQL 8.4.

Kilka screenów prezentujących nowe funkcjonalności nowego PgAdmina.

Graphical query builder - budowanie zapytań za pomocą myszy.

pgScript scripting framework.

Wsparcie dla obiektów FTS.

Tryb edycji i wykonania SQL z poziomu edycji tabeli.

Więcej informacji: http://www.pgadmin.org/visualtour.php

Powiązane

Premiera Terminator Salvation (Ocalenie)

2009-06-06T15:16:26Z

Premiera Terminator Salvation (Ocalenie) - Efekty bardzo dobre, myzyka jeszcze lepsza ale zakończenie - cos w tym filmie jednak nie tak było.

Czekałem od bardzo dawna na ten film, jego zwiastun zapowiadał się bardzo dobrze, chociaż trochę za dużo zdradzał. Muzyka oraz efekty specjalnie przez cały seans bardzo mi się podobały, oddawały klimat filmu i były doskonale dobrane do danych sytuacji. Niestety, końcówka nie przypadła mi do gustu. Pocałunek Marcusa Wrighta (Sam Worthington) i oddanie serca dla rannego Johna Connora (Christian Bale) zupełnie nie pasowały do tego filmu i uważam, że troche popsuły klimat. Chociaż gdyby nie ta końcówka to Connor by nie przeżył i zaburzyłoby to sens filmu. Twórcy musieli coś wymyśleć i na siłe pokazać, że w robocie może być prawdziwy człowiek.
Dla osób, które nie widziały filmu, zalecam, aby się wybrały. Lepsze to, niż czytanie nędznych recenzji.

Powiązane

Symfony, Propel, PostgreSQL - Multi database (obsługa wielu baz danych w aplikacji)

2009-05-27T23:48:39Z

W aplikacjach internetowych czasami musimy wykorzystać w jednym serwisie wiele baz danych, nieraz nawet wiele różnych baz danych. Mój wpis będzie prezentował proste przykłady użycia wielu baz z wykorzystaniem frameworka Symfony. Dla przykładu użyje bazy danych PostgreSQL oraz ORM Propela 1.3.

W przykładzie wykorzystam 2 tabele: “users” z bazy “db1″ (załóżmy, że to główna bazy serwisu z użytkownikami) i “requests” z bazy “db2″ (baza w której zapisywane są statystyki z żądań do aplikacji). Modele wygenerowane będą dla bazy PostgreSQL. W kolejnym etapie zaprezentuje w jaki sposób można załadować przykładowe dane pochodzące z data/fixtures.

Definiowanie baz w pliku databases.yml

Edytujemy config/databases.yml

all:
  propel:
    class:        sfPropelDatabase
    param:
      classname:  PropelPDO
      dsn:        pgsql:dbname=db1;host=panic user=db1 password=db1
      hostspec:   pgsql
      port:       5432
      encoding:   utf8

  stat:
    class:        sfPropelDatabase
    param:
      classname:  PropelPDO
      dsn:        pgsql:dbname=db2;host=panic user=db2 password=db2
      hostspec:   pgsql
      port:       5432
      encoding:   utf8

Pierwszym krokiem jest zdefiniowanie połączeń do baz danych. Główną nazwę połączenia będzie “propel” a drugą “stat”

Ustawienie pliku propel.ini

propel.database        = pgsql
propel.database.driver = pgsql
propel.database.url    = pgsql:dbname=db1;host=panic user=db1 password=db1

W pliku propel.ini ustawiamy połączenie z główną bazę danych. “propel.database” odpowiada za generowanie kodu SQL dla danych baz, np.: MySQL, PostgreSQL, Oracle. Jeśli chcemy generować SQL dla wybranego typu bazy, to musimy zmienić na odpowiednią wartość. Można to uzyskać z linii koment ustawiajac –phing-arg

Przykład dla MySQLa:

./symfony propel:build-all --no-confirmation --connection=stat --phing-arg="Dpropel.database=mysql"

Przykład dla Oracle:

./symfony propel:build-all --no-confirmation --connection=stat --phing-arg="Dpropel.database=oracle"

Definiowanie tabel w config/schema.yml

Jak w przykładzie z optymalizacją Propela dobrym nawykiem jest rozdzielenie różnego typu struktur na osobne pliki schema.yml. Główną definicja tabel można zapisać w pliku schema.yml a dodatkową strukturę bazy w osobnym pliku, np w pliku stat_schema.yml.

Plik config/schema.yml

propel:
  users:
    id:              { type: integer, required: true, primaryKey: true, autoincrement: true }
    created_at:      { type: timestamp }
    name:            { type: varchar, size: 255 }
    surname:         { type: varchar, size: 255 }

Plik config/stat_schema.yml

stat:
  _attributes:       { package: lib.stat_model }
  requests:
    id:              { type: integer, required: true, primaryKey: true, autoincrement: true }
    created_at:      { type: timestamp }
    module:          { type: varchar, size: 255 }
    action:          { type: varchar, size: 255 }

W pliku stat_schema.yml, użyłem package: lib.stat_model – czyli miejsce, w którym zostaną wygenerowane modele wykorzystujące bazę “db2″, lib.stat_model = lib/stat_model.

Po zdefiniowaniu struktur i baz przechodzimy do generowania modeli i stworzenia struktur tabel w bazach danych.

Generowanie modeli i struktur baz danych dla “db1″ i “db2″

./symfony propel:build-all --no-confirmation

Modele dla baz danych zostały wygenerowane. Struktura tabel została stworzona tylko w pierwszej bazie “db1″ - ponieważ to połączenie jest domyślne. Aby stworzyć strukturę tabel w bazie “db2″ musimy wymusić połączenie z bazą “db2″ (czyli połączenie o nazwie “stat”).

./symfony propel:build-all --no-confirmation –connection=stat

Przykład wykorzystania modeli

Przykłady:

$obj1 = UsersPeer::retrieveByPK(1);

$obj2 = RequestsPeer::retrieveByPK(1);

Wykorzystując model nie musimy podawać połączenia, chyba że chcemy aby dany model był wykorzystany jawnie do “innej” bazy, “innej” mam tutaj na myśli bazy danych o takiej samej strukturze tabeli jaka jest zdefiniowana w modelu.

Ładowanie przykładowych danych (data/fixtures)

Podobnie jak w przypadku definicji struktur bazy danych rozdzielamy ładowanie danych. Dla bazy “db1” będzie to katalog data/fixtures a dla bazy “db2” data/stat_fixtures

Wywołanie tasków - dla domyślnej bazy danych “db1″ :

./symfony propel:data-load

Ładowanie danych do bazy “db2″ wymaga podania odpowiedniego połączenie i ustawienia katalogu z którego dane będą wczytywane.

./symfony propel:data-load --connection=stat --dir="data/stat_fixtures"

Można definiować n takich baz. Jeśli np. chcielibyśmy operować na takich samych tabelach w różnych bazach danych to możemy w modelach wymuszać konkretne połączenia, wszystko zależy od projektu i jego wymagań.

Powiązane

Faith No More zagra na Heineken Open’er 2009

2009-05-08T07:23:24Z

Znamy kolejną gwiazdę Heineken Open’er 2009 - Faith No More, która wystąpi 4 lipca 2009 w Gdyni, Lotnisko Babie Doły (Kosakowo). Więcej informacji na http://www.opener.pl

Powiązane

Doda i Nergal - Jak to odbiorą fani zespołu Behemoth?

2009-05-07T09:20:53Z

Fanem zespołu Behemoth jestem prawie od samego początku istnienia tej grupy. Zawsze podziwiałem Nergala (Adama Darskiego) za to co robi, za swoje ideologie i wytrwałości i dążenia do celu, w takim Katolickim kraju jak Polska, gdzie muzyka jaką tworzy jest rzeczą praktycznie niszczoną zanim zacznie się w tym temacie cos robić.

Nagle dostaje linka do art o spotkaniu Dody z Nergalem. Nie wiem na ile jest to prawdą, pomijam już informacje o tym, że prywatnie mają prawo spotykać się z kim chcą, ale ja osobiście straciłem szacunek do Nergala. Czekam na koncert który mają grać w Stodole pod koniec września, tam zawsze wypadają “zajebiście” jednak ta informacja bardzo mnie zniechęciła.

Boję się, że większość fanów Nergala i zespołu Behemoth odbierze tę informacje, dokładnie w ten sam sposób jak ja. Na pewno nie jest to dobry “chwyt marketingowy” ze strony Nergala ale za to dobry ze strony Dody.

Powiązane

Koncert Rammstein - Katowice / Spodek

2009-09-02T23:02:46Z

W listopadzie niemiecka grupa Rammstein zawita do Polski. Jedyny koncert w Polsce odbędzie się w Katowicach w Spodku 27 listopada 2009. W obecnej chwili cena jeszcze jest nieznana. Więcej informacji: http://www.rammstein.com/Tour.html i http://www.last.fm/event/1054016

Rammstein Katowice

Powiązane

Gentoo - Instalacja PostgreSQL 8.3.x i PHP

2009-05-05T12:00:06Z

Aktualizując ostanio serwer miałem problem z upgrade na nowszą wersje PostgreSQLa więc opiszę swoje rozwiązanie na blogu.

Jeśli mamy już zainstalowaną wcześniejszą wersje PostgreSQLa to robimy backup.

pg_dumpall > postgres-backup.dump

Następnie wrzucamy do /etc/portage/package.keywords wpisy w celu odblokowania wersji niestabilnych.

echo "dev-db/postgresql-base ~amd64" >> /etc/portage/package.keywords
echo "dev-db/postgresql-server ~amd64" >> /etc/portage/package.keywords
echo "virtual/postgresql-server ~amd64" >> /etc/portage/package.keywords
echo "virtual/postgresql-base ~amd64" >> /etc/portage/package.keywords
echo "app-admin/eselect-postgresql ~amd64" >> /etc/portage/package.keywords

Kolejnym etapem jest usunięcie dev-db/postgresql dev-db/libpq

emerge --unmerge dev-db/postgresql dev-db/libpq

I możemy instalować nową wersję PostgreSQLa

emerge virtual/postgresql-base virtual/postgresql-server
emerge --config =dev-db/postgresql-server-8.3.5

Zostaje tylko wystartowanie bazy i dopisanie do skryptów startowych.

/etc/init.d/postgresql-8.3 start
rc-update add postgresql-8.3 default

Jeśli z jakiś przyczyn php wyrzuca, że nie chce działać to musimy przekompilować.

Powiązane

Muzyczne wypady

2009-05-06T14:11:55Z

Podobnie jak Kasia - moja dziewczyna link, wrzuciłem na bloga (http://blog.chylek.pl/muzyczne-wypady/) listę koncertów - imprez muzycznych, w których miałem zaszczyt uczestniczyć. Z biegiem czasu będę aktualizował tą listę, jak i uzupełnie koncerty na których byłem kilka lat temu - na pewno pomocny będzie google

Powiązane

PostgreSQL, pl/python - usuwanie rekordów z zależnymi elementami (plikami)

2009-03-09T22:14:47Z

Moja dzisiejsza notatka będzie pewnym przykładem rozwiązania problemu, z którym często się spotykam, ale z pewnych ograniczeń, postanowiłem to rozwiązać trochę w inny sposób. Metoda ta oczywiście znajduje się poniżej.

Często z baz danych usuwamy rekordy, które są odzwierciedleniem obrazków na dysku, ale jak usunąć rekord a wraz z nim plik zależny, który nie zawsze znajduje się fizycznie na tej samej maszynie? Dlaczego akurat uzależniać, usuwanie pliku od bazy danych? Powodów może być kilka, np wiele powtarzających się mechanizmów obsługujących ten sam mechanizm. Wydawać by się mogło że refaktoryzacja kody to załatwi ale niestety różnie to bywa i często do ideału daleka droga.

Przykład z życia – obliczamy punkty fotek w funkcji plpgsql a następnie niepotrzebne rekordy są usuwane wraz z fotkami zapisanymi fizycznie na dysku, oczywiście PHP w tym momencie nie ma dostępu do tego rekordu.

Konkrety: PostgreSQL i język proceduralny

Baza danych taka jak PostgreSQL, umożliwia obsługę wielu proceduralnych języków np. :

pl/pgsql
pl/tcl
pl/python
pl/perl
pl/sh

Dla przykładu wykorzystam pl/python

Załóżmy, że mamy tabele images z polami, id, created_at, name, path, gdzie path bedzie scieżka na naszym serwerze

CREATE TABLE images
(
   id serial,
   created_at timestamp without time zone DEFAULT NOW(),
   image_name character varying(100) NOT NULL,
   path character varying(255) NOT NULL,
   CONSTRAINT pkey_id PRIMARY KEY (id)
);

Usuwając rekord z tabeli images chcemy usunąć plik fizycznie z dysku. Pierwszą rzeczą jest dodanie obsługi języka plpython, oczywiście z poziomu superuser’a.

CREATE LANGUAGE plpythonu;

Pozostaje nam tylko stworzenie triggera, który wywoła funkcję usuwania pliku z dysku po usunięciu rekordu.

CREATE OR REPLACE FUNCTION delete_images()
RETURNS trigger AS
'
  import os
  os.unlink( TD["old"]["path"] )

  return "OK"
'
LANGUAGE 'plpythonu' VOLATILE;

CREATE TRIGGER delete_images_trigger
BEFORE DELETE
ON images
FOR EACH ROW
EXECUTE PROCEDURE delete_images();

Pozostaje nam jeszcze dodać przykładowy rekord a następnie go usunąć

INSERT INTO images (name, path) values ('test', '/home/songoq/pg_test/a')

Dla testu tworzymy plik na dysku

touch /home/songoq/pg_test/a

Usuwamy rekord

DELETE FROM images WHERE id = 1

Przykład można bardziej rozbudować o obsługę błędów, sprawdzanie czy plik istnieje lub poprzez wywołanie shella usunąć go z zewnętrznego serwera, ograniczeniem jest tylko wyobraźnia programisty

Powiązane

Symfony - Propel Lazy Load

2009-03-02T09:13:21Z

Lazy load (wzorzec projektowy) – w przypadku Propela oznaczenie atrybutu modelu lazyLoad powoduje, że zostanie on zwrócony w momencie jego jawnego wywołania. Wykorzystuje się to w przypadku jeśli nie potrzebujemy danego atrybutu (z powodu jego rozmiaru) lub chcemy wykorzystać w późniejszym etapie (w widoku). Najczęściej stosuje się to do typów text (longvarchar), blob, clob.

Definicja w schema.yml

schema.yml

documents:
  id:         { type: integer, required: true, primaryKey: true, autoincrement: true }
  created_at: { type: timestamp }
  name:       { type: varchar, size: 100 }
  content:    { type: longvarchar, lazyLoad: true }

Pobieramy obiekt documents, atrybut content ma ustawionym lazyLoad, zostaje on pominięty w zapytaniu SQL. Jeśli wywołamy metodę ->getContent(), zostanie wykonane dodatkowe zapytanie i pole zostanie zwrócone. Lazy load można wykorzystać w celu zoptymalizowania obiektów Propela, jednak trzeba pamiętać że w momencie żądania zwrócenia atrybutu zostanie wykonane dodatkowe zapytanie do bazy danych.