src/core/postgresqlstorage.cpp

   1 /***************************************************************************
   2  *   Copyright (C) 2005-2018 by the Quassel Project                        *
   3  *   devel@quassel-irc.org                                                 *
   4  *                                                                         *
   5  *   This program is free software; you can redistribute it and/or modify  *
   6  *   it under the terms of the GNU General Public License as published by  *
   7  *   the Free Software Foundation; either version 2 of the License, or     *
   8  *   (at your option) version 3.                                           *
   9  *                                                                         *
  10  *   This program is distributed in the hope that it will be useful,       *
  11  *   but WITHOUT ANY WARRANTY; without even the implied warranty of        *
  12  *   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the         *
  13  *   GNU General Public License for more details.                          *
  14  *                                                                         *
  15  *   You should have received a copy of the GNU General Public License     *
  16  *   along with this program; if not, write to the                         *
  17  *   Free Software Foundation, Inc.,                                       *
  18  *   51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.         *
  19  ***************************************************************************/
  20
  21 #include "postgresqlstorage.h"
  22
  23 #include <QtSql>
  24
  25 #include "logmessage.h"
  26 #include "network.h"
  27 #include "quassel.h"
  28
  29 PostgreSqlStorage::PostgreSqlStorage(QObject *parent)
  30     : AbstractSqlStorage(parent),
  31     _port(-1)
  32 {
  33 }
  34
  35
  36 PostgreSqlStorage::~PostgreSqlStorage()
  37 {
  38 }
  39
  40
  41 std::unique_ptr<AbstractSqlMigrationWriter> PostgreSqlStorage::createMigrationWriter()
  42 {
  43     auto writer = new PostgreSqlMigrationWriter();
  44     QVariantMap properties;
  45     properties["Username"] = _userName;
  46     properties["Password"] = _password;
  47     properties["Hostname"] = _hostName;
  48     properties["Port"] = _port;
  49     properties["Database"] = _databaseName;
  50     writer->setConnectionProperties(properties, {}, false);
  51     return std::unique_ptr<AbstractSqlMigrationWriter>{writer};
  52 }
  53
  54
  55 bool PostgreSqlStorage::isAvailable() const
  56 {
  57     if (!QSqlDatabase::isDriverAvailable("QPSQL")) {
  58         quWarning() << qPrintable(tr("PostgreSQL driver plugin not available for Qt. Installed drivers:"))
  59                     << qPrintable(QSqlDatabase::drivers().join(", "));
  60         return false;
  61     }
  62     return true;
  63 }
  64
  65
  66 QString PostgreSqlStorage::backendId() const
  67 {
  68     return QString("PostgreSQL");
  69 }
  70
  71
  72 QString PostgreSqlStorage::displayName() const
  73 {
  74     return backendId(); // Note: Pre-0.13 clients use the displayName property for backend idenfication
  75 }
  76
  77
  78 QString PostgreSqlStorage::description() const
  79 {
  80     // FIXME: proper description
  81     return tr("PostgreSQL Turbo Bomber HD!");
  82 }
  83
  84
  85 QVariantList PostgreSqlStorage::setupData() const
  86 {
  87     QVariantList data;
  88     data << "Username" << tr("Username") << QString("quassel")
  89          << "Password" << tr("Password") << QString()
  90          << "Hostname" << tr("Hostname") << QString("localhost")
  91          << "Port"     << tr("Port")     << 5432
  92          << "Database" << tr("Database") << QString("quassel")
  93          ;
  94     return data;
  95 }
  96
  97
  98 bool PostgreSqlStorage::initDbSession(QSqlDatabase &db)
  99 {
 100     // check whether the Qt driver performs string escaping or not.
 101     // i.e. test if it doubles slashes.
 102     QSqlField testField;
 103     testField.setType(QVariant::String);
 104     testField.setValue("\\");
 105     QString formattedString = db.driver()->formatValue(testField);
 106     switch(formattedString.count('\\')) {
 107     case 2:
 108         // yes it does... and we cannot do anything to change the behavior of Qt.
 109         // If this is a legacy DB (Postgres < 8.2), then everything is already ok,
 110         // as this is the expected behavior.
 111         // If it is a newer version, switch to legacy mode.
 112
 113         quWarning() << "Switching Postgres to legacy mode. (set standard conforming strings to off)";
 114         // If the following calls fail, it is a legacy DB anyways, so it doesn't matter
 115         // and no need to check the outcome.
 116         db.exec("set standard_conforming_strings = off");
 117         db.exec("set escape_string_warning = off");
 118         break;
 119     case 1:
 120         // ok, so Qt does not escape...
 121         // That means we have to ensure that postgres uses standard conforming strings...
 122         {
 123             QSqlQuery query = db.exec("set standard_conforming_strings = on");
 124             if (query.lastError().isValid()) {
 125                 // We cannot enable standard conforming strings...
 126                 // since Quassel does no escaping by itself, this would yield a major vulnerability.
 127                 quError() << "Failed to enable standard_conforming_strings for the Postgres db!";
 128                 return false;
 129             }
 130         }
 131         break;
 132     default:
 133         // The slash got replaced with 0 or more than 2 slashes! o_O
 134         quError() << "Your version of Qt does something _VERY_ strange to slashes in QSqlQueries! You should consult your trusted doctor!";
 135         return false;
 136         break;
 137     }
 138
 139     // Set the PostgreSQL session timezone to UTC, since we want timestamps stored in UTC
 140     QSqlQuery tzQuery = db.exec("SET timezone = 'UTC'");
 141     if (tzQuery.lastError().isValid()) {
 142         quError() << "Failed to set timezone to UTC!";
 143         return false;
 144     }
 145
 146     return true;
 147 }
 148
 149
 150 void PostgreSqlStorage::setConnectionProperties(const QVariantMap &properties,
 151                                                 const QProcessEnvironment &environment,
 152                                                 bool loadFromEnvironment)
 153 {
 154     if (loadFromEnvironment) {
 155         _userName = environment.value("DB_PGSQL_USERNAME");
 156         _password = environment.value("DB_PGSQL_PASSWORD");
 157         _hostName = environment.value("DB_PGSQL_HOSTNAME");
 158         _port = environment.value("DB_PGSQL_PORT").toInt();
 159         _databaseName = environment.value("DB_PGSQL_DATABASE");
 160     } else {
 161         _userName = properties["Username"].toString();
 162         _password = properties["Password"].toString();
 163         _hostName = properties["Hostname"].toString();
 164         _port = properties["Port"].toInt();
 165         _databaseName = properties["Database"].toString();
 166     }
 167 }
 168
 169
 170 int PostgreSqlStorage::installedSchemaVersion()
 171 {
 172     QSqlQuery query(logDb());
 173     query.prepare("SELECT value FROM coreinfo WHERE key = 'schemaversion'");
 174     safeExec(query);
 175     watchQuery(query);
 176     if (query.first())
 177         return query.value(0).toInt();
 178
 179     // maybe it's really old... (schema version 0)
 180     query.prepare("SELECT MAX(version) FROM coreinfo");
 181     safeExec(query);
 182     watchQuery(query);
 183     if (query.first())
 184         return query.value(0).toInt();
 185
 186     return AbstractSqlStorage::installedSchemaVersion();
 187 }
 188
 189
 190 bool PostgreSqlStorage::updateSchemaVersion(int newVersion)
 191 {
 192     QSqlQuery query(logDb());
 193     query.prepare("UPDATE coreinfo SET value = :version WHERE key = 'schemaversion'");
 194     query.bindValue(":version", newVersion);
 195     safeExec(query);
 196
 197     bool success = true;
 198     if (!watchQuery(query)) {
 199         qCritical() << "PostgreSqlStorage::updateSchemaVersion(int): Updating schema version failed!";
 200         success = false;
 201     }
 202     return success;
 203 }
 204
 205
 206 bool PostgreSqlStorage::setupSchemaVersion(int version)
 207 {
 208     QSqlQuery query(logDb());
 209     query.prepare("INSERT INTO coreinfo (key, value) VALUES ('schemaversion', :version)");
 210     query.bindValue(":version", version);
 211     safeExec(query);
 212
 213     bool success = true;
 214     if (!watchQuery(query)) {
 215         qCritical() << "PostgreSqlStorage::setupSchemaVersion(int): Updating schema version failed!";
 216         success = false;
 217     }
 218     return success;
 219 }
 220
 221
 222 UserId PostgreSqlStorage::addUser(const QString &user, const QString &password, const QString &authenticator)
 223 {
 224     QSqlQuery query(logDb());
 225     query.prepare(queryString("insert_quasseluser"));
 226     query.bindValue(":username", user);
 227     query.bindValue(":password", hashPassword(password));
 228     query.bindValue(":hashversion", Storage::HashVersion::Latest);
 229     query.bindValue(":authenticator", authenticator);
 230     safeExec(query);
 231     if (!watchQuery(query))
 232         return 0;
 233
 234     query.first();
 235     UserId uid = query.value(0).toInt();
 236     emit userAdded(uid, user);
 237     return uid;
 238 }
 239
 240
 241 bool PostgreSqlStorage::updateUser(UserId user, const QString &password)
 242 {
 243     QSqlQuery query(logDb());
 244     query.prepare(queryString("update_userpassword"));
 245     query.bindValue(":userid", user.toInt());
 246     query.bindValue(":password", hashPassword(password));
 247     query.bindValue(":hashversion", Storage::HashVersion::Latest);
 248     safeExec(query);
 249     watchQuery(query);
 250     return query.numRowsAffected() != 0;
 251 }
 252
 253
 254 void PostgreSqlStorage::renameUser(UserId user, const QString &newName)
 255 {
 256     QSqlQuery query(logDb());
 257     query.prepare(queryString("update_username"));
 258     query.bindValue(":userid", user.toInt());
 259     query.bindValue(":username", newName);
 260     safeExec(query);
 261     watchQuery(query);
 262     emit userRenamed(user, newName);
 263 }
 264
 265
 266 UserId PostgreSqlStorage::validateUser(const QString &user, const QString &password)
 267 {
 268     QSqlQuery query(logDb());
 269     query.prepare(queryString("select_authuser"));
 270     query.bindValue(":username", user);
 271     safeExec(query);
 272     watchQuery(query);
 273
 274     if (query.first() && checkHashedPassword(query.value(0).toInt(), password, query.value(1).toString(), static_cast<Storage::HashVersion>(query.value(2).toInt()))) {
 275         return query.value(0).toInt();
 276     }
 277     else {
 278         return 0;
 279     }
 280 }
 281
 282
 283 UserId PostgreSqlStorage::getUserId(const QString &user)
 284 {
 285     QSqlQuery query(logDb());
 286     query.prepare(queryString("select_userid"));
 287     query.bindValue(":username", user);
 288     safeExec(query);
 289     watchQuery(query);
 290
 291     if (query.first()) {
 292         return query.value(0).toInt();
 293     }
 294     else {
 295         return 0;
 296     }
 297 }
 298
 299 QString PostgreSqlStorage::getUserAuthenticator(const UserId userid)
 300 {
 301     QSqlQuery query(logDb());
 302     query.prepare(queryString("select_authenticator"));
 303     query.bindValue(":userid", userid.toInt());
 304     safeExec(query);
 305     watchQuery(query);
 306
 307     if (query.first()) {
 308         return query.value(0).toString();
 309     }
 310     else {
 311         return QString("");
 312     }
 313 }
 314
 315 UserId PostgreSqlStorage::internalUser()
 316 {
 317     QSqlQuery query(logDb());
 318     query.prepare(queryString("select_internaluser"));
 319     safeExec(query);
 320     watchQuery(query);
 321
 322     if (query.first()) {
 323         return query.value(0).toInt();
 324     }
 325     else {
 326         return 0;
 327     }
 328 }
 329
 330
 331 void PostgreSqlStorage::delUser(UserId user)
 332 {
 333     QSqlDatabase db = logDb();
 334     if (!beginTransaction(db)) {
 335         qWarning() << "PostgreSqlStorage::delUser(): cannot start transaction!";
 336         return;
 337     }
 338
 339     QSqlQuery query(db);
 340     query.prepare(queryString("delete_quasseluser"));
 341     query.bindValue(":userid", user.toInt());
 342     safeExec(query);
 343     if (!watchQuery(query)) {
 344         db.rollback();
 345         return;
 346     }
 347     else {
 348         db.commit();
 349         emit userRemoved(user);
 350     }
 351 }
 352
 353
 354 void PostgreSqlStorage::setUserSetting(UserId userId, const QString &settingName, const QVariant &data)
 355 {
 356     QByteArray rawData;
 357     QDataStream out(&rawData, QIODevice::WriteOnly);
 358     out.setVersion(QDataStream::Qt_4_2);
 359     out << data;
 360
 361     QSqlDatabase db = logDb();
 362     QSqlQuery selectQuery(db);
 363     selectQuery.prepare(queryString("select_user_setting"));
 364     selectQuery.bindValue(":userid", userId.toInt());
 365     selectQuery.bindValue(":settingname", settingName);
 366     safeExec(selectQuery);
 367     watchQuery(selectQuery);
 368
 369     QString setQueryString;
 370     if (!selectQuery.first()) {
 371         setQueryString = queryString("insert_user_setting");
 372     }
 373     else {
 374         setQueryString = queryString("update_user_setting");
 375     }
 376
 377     QSqlQuery setQuery(db);
 378     setQuery.prepare(setQueryString);
 379     setQuery.bindValue(":userid", userId.toInt());
 380     setQuery.bindValue(":settingname", settingName);
 381     setQuery.bindValue(":settingvalue", rawData);
 382     safeExec(setQuery);
 383     watchQuery(setQuery);
 384 }
 385
 386
 387 QVariant PostgreSqlStorage::getUserSetting(UserId userId, const QString &settingName, const QVariant &defaultData)
 388 {
 389     QSqlQuery query(logDb());
 390     query.prepare(queryString("select_user_setting"));
 391     query.bindValue(":userid", userId.toInt());
 392     query.bindValue(":settingname", settingName);
 393     safeExec(query);
 394     watchQuery(query);
 395
 396     if (query.first()) {
 397         QVariant data;
 398         QByteArray rawData = query.value(0).toByteArray();
 399         QDataStream in(&rawData, QIODevice::ReadOnly);
 400         in.setVersion(QDataStream::Qt_4_2);
 401         in >> data;
 402         return data;
 403     }
 404     else {
 405         return defaultData;
 406     }
 407 }
 408
 409
 410 void PostgreSqlStorage::setCoreState(const QVariantList &data)
 411 {
 412     QByteArray rawData;
 413     QDataStream out(&rawData, QIODevice::WriteOnly);
 414     out.setVersion(QDataStream::Qt_4_2);
 415     out << data;
 416
 417     QSqlDatabase db = logDb();
 418     QSqlQuery selectQuery(db);
 419     selectQuery.prepare(queryString("select_core_state"));
 420     selectQuery.bindValue(":key", "active_sessions");
 421     safeExec(selectQuery);
 422     watchQuery(selectQuery);
 423
 424     QString setQueryString;
 425     if (!selectQuery.first()) {
 426         setQueryString = queryString("insert_core_state");
 427     }
 428     else {
 429         setQueryString = queryString("update_core_state");
 430     }
 431
 432     QSqlQuery setQuery(db);
 433     setQuery.prepare(setQueryString);
 434     setQuery.bindValue(":key", "active_sessions");
 435     setQuery.bindValue(":value", rawData);
 436     safeExec(setQuery);
 437     watchQuery(setQuery);
 438 }
 439
 440
 441 QVariantList PostgreSqlStorage::getCoreState(const QVariantList &defaultData)
 442 {
 443     QSqlQuery query(logDb());
 444     query.prepare(queryString("select_core_state"));
 445     query.bindValue(":key", "active_sessions");
 446     safeExec(query);
 447     watchQuery(query);
 448
 449     if (query.first()) {
 450         QVariantList data;
 451         QByteArray rawData = query.value(0).toByteArray();
 452         QDataStream in(&rawData, QIODevice::ReadOnly);
 453         in.setVersion(QDataStream::Qt_4_2);
 454         in >> data;
 455         return data;
 456     } else {
 457         return defaultData;
 458     }
 459 }
 460
 461
 462 IdentityId PostgreSqlStorage::createIdentity(UserId user, CoreIdentity &identity)
 463 {
 464     IdentityId identityId;
 465
 466     QSqlDatabase db = logDb();
 467     if (!beginTransaction(db)) {
 468         qWarning() << "PostgreSqlStorage::createIdentity(): Unable to start Transaction!";
 469         qWarning() << " -" << qPrintable(db.lastError().text());
 470         return identityId;
 471     }
 472
 473     QSqlQuery query(db);
 474     query.prepare(queryString("insert_identity"));
 475     query.bindValue(":userid", user.toInt());
 476     query.bindValue(":identityname", identity.identityName());
 477     query.bindValue(":realname", identity.realName());
 478     query.bindValue(":awaynick", identity.awayNick());
 479     query.bindValue(":awaynickenabled", identity.awayNickEnabled());
 480     query.bindValue(":awayreason", identity.awayReason());
 481     query.bindValue(":awayreasonenabled", identity.awayReasonEnabled());
 482     query.bindValue(":autoawayenabled", identity.awayReasonEnabled());
 483     query.bindValue(":autoawaytime", identity.autoAwayTime());
 484     query.bindValue(":autoawayreason", identity.autoAwayReason());
 485     query.bindValue(":autoawayreasonenabled", identity.autoAwayReasonEnabled());
 486     query.bindValue(":detachawayenabled", identity.detachAwayEnabled());
 487     query.bindValue(":detachawayreason", identity.detachAwayReason());
 488     query.bindValue(":detachawayreasonenabled", identity.detachAwayReasonEnabled());
 489     query.bindValue(":ident", identity.ident());
 490     query.bindValue(":kickreason", identity.kickReason());
 491     query.bindValue(":partreason", identity.partReason());
 492     query.bindValue(":quitreason", identity.quitReason());
 493 #ifdef HAVE_SSL
 494     query.bindValue(":sslcert", identity.sslCert().toPem());
 495     query.bindValue(":sslkey", identity.sslKey().toPem());
 496 #else
 497     query.bindValue(":sslcert", QByteArray());
 498     query.bindValue(":sslkey", QByteArray());
 499 #endif
 500     safeExec(query);
 501     if (!watchQuery(query)) {
 502         db.rollback();
 503         return IdentityId();
 504     }
 505
 506     query.first();
 507     identityId = query.value(0).toInt();
 508     identity.setId(identityId);
 509
 510     if (!identityId.isValid()) {
 511         db.rollback();
 512         return IdentityId();
 513     }
 514
 515     QSqlQuery insertNickQuery(db);
 516     insertNickQuery.prepare(queryString("insert_nick"));
 517     foreach(QString nick, identity.nicks()) {
 518         insertNickQuery.bindValue(":identityid", identityId.toInt());
 519         insertNickQuery.bindValue(":nick", nick);
 520         safeExec(insertNickQuery);
 521         if (!watchQuery(insertNickQuery)) {
 522             db.rollback();
 523             return IdentityId();
 524         }
 525     }
 526
 527     if (!db.commit()) {
 528         qWarning() << "PostgreSqlStorage::createIdentity(): committing data failed!";
 529         qWarning() << " -" << qPrintable(db.lastError().text());
 530         return IdentityId();
 531     }
 532     return identityId;
 533 }
 534
 535
 536 bool PostgreSqlStorage::updateIdentity(UserId user, const CoreIdentity &identity)
 537 {
 538     QSqlDatabase db = logDb();
 539     if (!beginTransaction(db)) {
 540         qWarning() << "PostgreSqlStorage::updateIdentity(): Unable to start Transaction!";
 541         qWarning() << " -" << qPrintable(db.lastError().text());
 542         return false;
 543     }
 544
 545     QSqlQuery checkQuery(db);
 546     checkQuery.prepare(queryString("select_checkidentity"));
 547     checkQuery.bindValue(":identityid", identity.id().toInt());
 548     checkQuery.bindValue(":userid", user.toInt());
 549     safeExec(checkQuery);
 550     watchQuery(checkQuery);
 551
 552     // there should be exactly one identity for the given id and user
 553     if (!checkQuery.first() || checkQuery.value(0).toInt() != 1) {
 554         db.rollback();
 555         return false;
 556     }
 557
 558     QSqlQuery query(db);
 559     query.prepare(queryString("update_identity"));
 560     query.bindValue(":identityname", identity.identityName());
 561     query.bindValue(":realname", identity.realName());
 562     query.bindValue(":awaynick", identity.awayNick());
 563     query.bindValue(":awaynickenabled", identity.awayNickEnabled());
 564     query.bindValue(":awayreason", identity.awayReason());
 565     query.bindValue(":awayreasonenabled", identity.awayReasonEnabled());
 566     query.bindValue(":autoawayenabled", identity.awayReasonEnabled());
 567     query.bindValue(":autoawaytime", identity.autoAwayTime());
 568     query.bindValue(":autoawayreason", identity.autoAwayReason());
 569     query.bindValue(":autoawayreasonenabled", identity.autoAwayReasonEnabled());
 570     query.bindValue(":detachawayenabled", identity.detachAwayEnabled());
 571     query.bindValue(":detachawayreason", identity.detachAwayReason());
 572     query.bindValue(":detachawayreasonenabled", identity.detachAwayReasonEnabled());
 573     query.bindValue(":ident", identity.ident());
 574     query.bindValue(":kickreason", identity.kickReason());
 575     query.bindValue(":partreason", identity.partReason());
 576     query.bindValue(":quitreason", identity.quitReason());
 577 #ifdef HAVE_SSL
 578     query.bindValue(":sslcert", identity.sslCert().toPem());
 579     query.bindValue(":sslkey", identity.sslKey().toPem());
 580 #else
 581     query.bindValue(":sslcert", QByteArray());
 582     query.bindValue(":sslkey", QByteArray());
 583 #endif
 584     query.bindValue(":identityid", identity.id().toInt());
 585
 586     safeExec(query);
 587     if (!watchQuery(query)) {
 588         db.rollback();
 589         return false;
 590     }
 591
 592     QSqlQuery deleteNickQuery(db);
 593     deleteNickQuery.prepare(queryString("delete_nicks"));
 594     deleteNickQuery.bindValue(":identityid", identity.id().toInt());
 595     safeExec(deleteNickQuery);
 596     if (!watchQuery(deleteNickQuery)) {
 597         db.rollback();
 598         return false;
 599     }
 600
 601     QSqlQuery insertNickQuery(db);
 602     insertNickQuery.prepare(queryString("insert_nick"));
 603     foreach(QString nick, identity.nicks()) {
 604         insertNickQuery.bindValue(":identityid", identity.id().toInt());
 605         insertNickQuery.bindValue(":nick", nick);
 606         safeExec(insertNickQuery);
 607         if (!watchQuery(insertNickQuery)) {
 608             db.rollback();
 609             return false;
 610         }
 611     }
 612
 613     if (!db.commit()) {
 614         qWarning() << "PostgreSqlStorage::updateIdentity(): committing data failed!";
 615         qWarning() << " -" << qPrintable(db.lastError().text());
 616         return false;
 617     }
 618     return true;
 619 }
 620
 621
 622 void PostgreSqlStorage::removeIdentity(UserId user, IdentityId identityId)
 623 {
 624     QSqlDatabase db = logDb();
 625     if (!beginTransaction(db)) {
 626         qWarning() << "PostgreSqlStorage::removeIdentity(): Unable to start Transaction!";
 627         qWarning() << " -" << qPrintable(db.lastError().text());
 628         return;
 629     }
 630
 631     QSqlQuery query(db);
 632     query.prepare(queryString("delete_identity"));
 633     query.bindValue(":identityid", identityId.toInt());
 634     query.bindValue(":userid", user.toInt());
 635     safeExec(query);
 636     if (!watchQuery(query)) {
 637         db.rollback();
 638     }
 639     else {
 640         db.commit();
 641     }
 642 }
 643
 644
 645 QList<CoreIdentity> PostgreSqlStorage::identities(UserId user)
 646 {
 647     QList<CoreIdentity> identities;
 648
 649     QSqlDatabase db = logDb();
 650     if (!beginReadOnlyTransaction(db)) {
 651         qWarning() << "PostgreSqlStorage::identites(): cannot start read only transaction!";
 652         qWarning() << " -" << qPrintable(db.lastError().text());
 653         return identities;
 654     }
 655
 656     QSqlQuery query(db);
 657     query.prepare(queryString("select_identities"));
 658     query.bindValue(":userid", user.toInt());
 659
 660     QSqlQuery nickQuery(db);
 661     nickQuery.prepare(queryString("select_nicks"));
 662
 663     safeExec(query);
 664     watchQuery(query);
 665
 666     while (query.next()) {
 667         CoreIdentity identity(IdentityId(query.value(0).toInt()));
 668
 669         identity.setIdentityName(query.value(1).toString());
 670         identity.setRealName(query.value(2).toString());
 671         identity.setAwayNick(query.value(3).toString());
 672         identity.setAwayNickEnabled(!!query.value(4).toInt());
 673         identity.setAwayReason(query.value(5).toString());
 674         identity.setAwayReasonEnabled(!!query.value(6).toInt());
 675         identity.setAutoAwayEnabled(!!query.value(7).toInt());
 676         identity.setAutoAwayTime(query.value(8).toInt());
 677         identity.setAutoAwayReason(query.value(9).toString());
 678         identity.setAutoAwayReasonEnabled(!!query.value(10).toInt());
 679         identity.setDetachAwayEnabled(!!query.value(11).toInt());
 680         identity.setDetachAwayReason(query.value(12).toString());
 681         identity.setDetachAwayReasonEnabled(!!query.value(13).toInt());
 682         identity.setIdent(query.value(14).toString());
 683         identity.setKickReason(query.value(15).toString());
 684         identity.setPartReason(query.value(16).toString());
 685         identity.setQuitReason(query.value(17).toString());
 686 #ifdef HAVE_SSL
 687         identity.setSslCert(query.value(18).toByteArray());
 688         identity.setSslKey(query.value(19).toByteArray());
 689 #endif
 690
 691         nickQuery.bindValue(":identityid", identity.id().toInt());
 692         QList<QString> nicks;
 693         safeExec(nickQuery);
 694         watchQuery(nickQuery);
 695         while (nickQuery.next()) {
 696             nicks << nickQuery.value(0).toString();
 697         }
 698         identity.setNicks(nicks);
 699         identities << identity;
 700     }
 701     db.commit();
 702     return identities;
 703 }
 704
 705
 706 NetworkId PostgreSqlStorage::createNetwork(UserId user, const NetworkInfo &info)
 707 {
 708     NetworkId networkId;
 709
 710     QSqlDatabase db = logDb();
 711     if (!beginTransaction(db)) {
 712         qWarning() << "PostgreSqlStorage::createNetwork(): failed to begin transaction!";
 713         qWarning() << " -" << qPrintable(db.lastError().text());
 714         return false;
 715     }
 716
 717     QSqlQuery query(db);
 718     query.prepare(queryString("insert_network"));
 719     query.bindValue(":userid", user.toInt());
 720     bindNetworkInfo(query, info);
 721     safeExec(query);
 722     if (!watchQuery(query)) {
 723         db.rollback();
 724         return NetworkId();
 725     }
 726
 727     query.first();
 728     networkId = query.value(0).toInt();
 729
 730     if (!networkId.isValid()) {
 731         db.rollback();
 732         return NetworkId();
 733     }
 734
 735     QSqlQuery insertServersQuery(db);
 736     insertServersQuery.prepare(queryString("insert_server"));
 737     foreach(Network::Server server, info.serverList) {
 738         insertServersQuery.bindValue(":userid", user.toInt());
 739         insertServersQuery.bindValue(":networkid", networkId.toInt());
 740         bindServerInfo(insertServersQuery, server);
 741         safeExec(insertServersQuery);
 742         if (!watchQuery(insertServersQuery)) {
 743             db.rollback();
 744             return NetworkId();
 745         }
 746     }
 747
 748     if (!db.commit()) {
 749         qWarning() << "PostgreSqlStorage::createNetwork(): committing data failed!";
 750         qWarning() << " -" << qPrintable(db.lastError().text());
 751         return NetworkId();
 752     }
 753     return networkId;
 754 }
 755
 756
 757 void PostgreSqlStorage::bindNetworkInfo(QSqlQuery &query, const NetworkInfo &info)
 758 {
 759     query.bindValue(":networkname", info.networkName);
 760     query.bindValue(":identityid", info.identity.isValid() ? info.identity.toInt() : QVariant());
 761     query.bindValue(":encodingcodec", QString(info.codecForEncoding));
 762     query.bindValue(":decodingcodec", QString(info.codecForDecoding));
 763     query.bindValue(":servercodec", QString(info.codecForServer));
 764     query.bindValue(":userandomserver", info.useRandomServer);
 765     query.bindValue(":perform", info.perform.join("\n"));
 766     query.bindValue(":useautoidentify", info.useAutoIdentify);
 767     query.bindValue(":autoidentifyservice", info.autoIdentifyService);
 768     query.bindValue(":autoidentifypassword", info.autoIdentifyPassword);
 769     query.bindValue(":usesasl", info.useSasl);
 770     query.bindValue(":saslaccount", info.saslAccount);
 771     query.bindValue(":saslpassword", info.saslPassword);
 772     query.bindValue(":useautoreconnect", info.useAutoReconnect);
 773     query.bindValue(":autoreconnectinterval", info.autoReconnectInterval);
 774     query.bindValue(":autoreconnectretries", info.autoReconnectRetries);
 775     query.bindValue(":unlimitedconnectretries", info.unlimitedReconnectRetries);
 776     query.bindValue(":rejoinchannels", info.rejoinChannels);
 777     // Custom rate limiting
 778     query.bindValue(":usecustomessagerate", info.useCustomMessageRate);
 779     query.bindValue(":messagerateburstsize", info.messageRateBurstSize);
 780     query.bindValue(":messageratedelay", info.messageRateDelay);
 781     query.bindValue(":unlimitedmessagerate", info.unlimitedMessageRate);
 782     if (info.networkId.isValid())
 783         query.bindValue(":networkid", info.networkId.toInt());
 784 }
 785
 786
 787 void PostgreSqlStorage::bindServerInfo(QSqlQuery &query, const Network::Server &server)
 788 {
 789     query.bindValue(":hostname", server.host);
 790     query.bindValue(":port", server.port);
 791     query.bindValue(":password", server.password);
 792     query.bindValue(":ssl", server.useSsl);
 793     query.bindValue(":sslversion", server.sslVersion);
 794     query.bindValue(":useproxy", server.useProxy);
 795     query.bindValue(":proxytype", server.proxyType);
 796     query.bindValue(":proxyhost", server.proxyHost);
 797     query.bindValue(":proxyport", server.proxyPort);
 798     query.bindValue(":proxyuser", server.proxyUser);
 799     query.bindValue(":proxypass", server.proxyPass);
 800     query.bindValue(":sslverify", server.sslVerify);
 801 }
 802
 803
 804 bool PostgreSqlStorage::updateNetwork(UserId user, const NetworkInfo &info)
 805 {
 806     QSqlDatabase db = logDb();
 807     if (!beginTransaction(db)) {
 808         qWarning() << "PostgreSqlStorage::updateNetwork(): failed to begin transaction!";
 809         qWarning() << " -" << qPrintable(db.lastError().text());
 810         return false;
 811     }
 812
 813     QSqlQuery updateQuery(db);
 814     updateQuery.prepare(queryString("update_network"));
 815     updateQuery.bindValue(":userid", user.toInt());
 816     bindNetworkInfo(updateQuery, info);
 817     safeExec(updateQuery);
 818     if (!watchQuery(updateQuery)) {
 819         db.rollback();
 820         return false;
 821     }
 822     if (updateQuery.numRowsAffected() != 1) {
 823         // seems this is not our network...
 824         db.rollback();
 825         return false;
 826     }
 827
 828     QSqlQuery dropServersQuery(db);
 829     dropServersQuery.prepare("DELETE FROM ircserver WHERE networkid = :networkid");
 830     dropServersQuery.bindValue(":networkid", info.networkId.toInt());
 831     safeExec(dropServersQuery);
 832     if (!watchQuery(dropServersQuery)) {
 833         db.rollback();
 834         return false;
 835     }
 836
 837     QSqlQuery insertServersQuery(db);
 838     insertServersQuery.prepare(queryString("insert_server"));
 839     foreach(Network::Server server, info.serverList) {
 840         insertServersQuery.bindValue(":userid", user.toInt());
 841         insertServersQuery.bindValue(":networkid", info.networkId.toInt());
 842         bindServerInfo(insertServersQuery, server);
 843         safeExec(insertServersQuery);
 844         if (!watchQuery(insertServersQuery)) {
 845             db.rollback();
 846             return false;
 847         }
 848     }
 849
 850     if (!db.commit()) {
 851         qWarning() << "PostgreSqlStorage::updateNetwork(): committing data failed!";
 852         qWarning() << " -" << qPrintable(db.lastError().text());
 853         return false;
 854     }
 855     return true;
 856 }
 857
 858
 859 bool PostgreSqlStorage::removeNetwork(UserId user, const NetworkId &networkId)
 860 {
 861     QSqlDatabase db = logDb();
 862     if (!beginTransaction(db)) {
 863         qWarning() << "PostgreSqlStorage::removeNetwork(): cannot start transaction!";
 864         qWarning() << " -" << qPrintable(db.lastError().text());
 865         return false;
 866     }
 867
 868     QSqlQuery query(db);
 869     query.prepare(queryString("delete_network"));
 870     query.bindValue(":userid", user.toInt());
 871     query.bindValue(":networkid", networkId.toInt());
 872     safeExec(query);
 873     if (!watchQuery(query)) {
 874         db.rollback();
 875         return false;
 876     }
 877
 878     db.commit();
 879     return true;
 880 }
 881
 882
 883 QList<NetworkInfo> PostgreSqlStorage::networks(UserId user)
 884 {
 885     QList<NetworkInfo> nets;
 886
 887     QSqlDatabase db = logDb();
 888     if (!beginReadOnlyTransaction(db)) {
 889         qWarning() << "PostgreSqlStorage::networks(): cannot start read only transaction!";
 890         qWarning() << " -" << qPrintable(db.lastError().text());
 891         return nets;
 892     }
 893
 894     QSqlQuery networksQuery(db);
 895     networksQuery.prepare(queryString("select_networks_for_user"));
 896     networksQuery.bindValue(":userid", user.toInt());
 897
 898     QSqlQuery serversQuery(db);
 899     serversQuery.prepare(queryString("select_servers_for_network"));
 900
 901     safeExec(networksQuery);
 902     if (!watchQuery(networksQuery)) {
 903         db.rollback();
 904         return nets;
 905     }
 906
 907     while (networksQuery.next()) {
 908         NetworkInfo net;
 909         net.networkId = networksQuery.value(0).toInt();
 910         net.networkName = networksQuery.value(1).toString();
 911         net.identity = networksQuery.value(2).toInt();
 912         net.codecForServer = networksQuery.value(3).toString().toLatin1();
 913         net.codecForEncoding = networksQuery.value(4).toString().toLatin1();
 914         net.codecForDecoding = networksQuery.value(5).toString().toLatin1();
 915         net.useRandomServer = networksQuery.value(6).toBool();
 916         net.perform = networksQuery.value(7).toString().split("\n");
 917         net.useAutoIdentify = networksQuery.value(8).toBool();
 918         net.autoIdentifyService = networksQuery.value(9).toString();
 919         net.autoIdentifyPassword = networksQuery.value(10).toString();
 920         net.useAutoReconnect = networksQuery.value(11).toBool();
 921         net.autoReconnectInterval = networksQuery.value(12).toUInt();
 922         net.autoReconnectRetries = networksQuery.value(13).toInt();
 923         net.unlimitedReconnectRetries = networksQuery.value(14).toBool();
 924         net.rejoinChannels = networksQuery.value(15).toBool();
 925         net.useSasl = networksQuery.value(16).toBool();
 926         net.saslAccount = networksQuery.value(17).toString();
 927         net.saslPassword = networksQuery.value(18).toString();
 928         // Custom rate limiting
 929         net.useCustomMessageRate = networksQuery.value(19).toBool();
 930         net.messageRateBurstSize = networksQuery.value(20).toUInt();
 931         net.messageRateDelay = networksQuery.value(21).toUInt();
 932         net.unlimitedMessageRate = networksQuery.value(22).toBool();
 933
 934         serversQuery.bindValue(":networkid", net.networkId.toInt());
 935         safeExec(serversQuery);
 936         if (!watchQuery(serversQuery)) {
 937             db.rollback();
 938             return nets;
 939         }
 940
 941         Network::ServerList servers;
 942         while (serversQuery.next()) {
 943             Network::Server server;
 944             server.host = serversQuery.value(0).toString();
 945             server.port = serversQuery.value(1).toUInt();
 946             server.password = serversQuery.value(2).toString();
 947             server.useSsl = serversQuery.value(3).toBool();
 948             server.sslVersion = serversQuery.value(4).toInt();
 949             server.useProxy = serversQuery.value(5).toBool();
 950             server.proxyType = serversQuery.value(6).toInt();
 951             server.proxyHost = serversQuery.value(7).toString();
 952             server.proxyPort = serversQuery.value(8).toUInt();
 953             server.proxyUser = serversQuery.value(9).toString();
 954             server.proxyPass = serversQuery.value(10).toString();
 955             server.sslVerify = serversQuery.value(11).toBool();
 956             servers << server;
 957         }
 958         net.serverList = servers;
 959         nets << net;
 960     }
 961     db.commit();
 962     return nets;
 963 }
 964
 965
 966 QList<NetworkId> PostgreSqlStorage::connectedNetworks(UserId user)
 967 {
 968     QList<NetworkId> connectedNets;
 969
 970     QSqlDatabase db = logDb();
 971     if (!beginReadOnlyTransaction(db)) {
 972         qWarning() << "PostgreSqlStorage::connectedNetworks(): cannot start read only transaction!";
 973         qWarning() << " -" << qPrintable(db.lastError().text());
 974         return connectedNets;
 975     }
 976
 977     QSqlQuery query(db);
 978     query.prepare(queryString("select_connected_networks"));
 979     query.bindValue(":userid", user.toInt());
 980     safeExec(query);
 981     watchQuery(query);
 982
 983     while (query.next()) {
 984         connectedNets << query.value(0).toInt();
 985     }
 986
 987     db.commit();
 988     return connectedNets;
 989 }
 990
 991
 992 void PostgreSqlStorage::setNetworkConnected(UserId user, const NetworkId &networkId, bool isConnected)
 993 {
 994     QSqlQuery query(logDb());
 995     query.prepare(queryString("update_network_connected"));
 996     query.bindValue(":userid", user.toInt());
 997     query.bindValue(":networkid", networkId.toInt());
 998     query.bindValue(":connected", isConnected);
 999     safeExec(query);
1000     watchQuery(query);
1001 }
1002
1003
1004 QHash<QString, QString> PostgreSqlStorage::persistentChannels(UserId user, const NetworkId &networkId)
1005 {
1006     QHash<QString, QString> persistentChans;
1007
1008     QSqlDatabase db = logDb();
1009     if (!beginReadOnlyTransaction(db)) {
1010         qWarning() << "PostgreSqlStorage::persistentChannels(): cannot start read only transaction!";
1011         qWarning() << " -" << qPrintable(db.lastError().text());
1012         return persistentChans;
1013     }
1014
1015     QSqlQuery query(db);
1016     query.prepare(queryString("select_persistent_channels"));
1017     query.bindValue(":userid", user.toInt());
1018     query.bindValue(":networkid", networkId.toInt());
1019     safeExec(query);
1020     watchQuery(query);
1021
1022     while (query.next()) {
1023         persistentChans[query.value(0).toString()] = query.value(1).toString();
1024     }
1025
1026     db.commit();
1027     return persistentChans;
1028 }
1029
1030
1031 void PostgreSqlStorage::setChannelPersistent(UserId user, const NetworkId &networkId, const QString &channel, bool isJoined)
1032 {
1033     QSqlQuery query(logDb());
1034     query.prepare(queryString("update_buffer_persistent_channel"));
1035     query.bindValue(":userid", user.toInt());
1036     query.bindValue(":networkid", networkId.toInt());
1037     query.bindValue(":buffercname", channel.toLower());
1038     query.bindValue(":joined", isJoined);
1039     safeExec(query);
1040     watchQuery(query);
1041 }
1042
1043
1044 void PostgreSqlStorage::setPersistentChannelKey(UserId user, const NetworkId &networkId, const QString &channel, const QString &key)
1045 {
1046     QSqlQuery query(logDb());
1047     query.prepare(queryString("update_buffer_set_channel_key"));
1048     query.bindValue(":userid", user.toInt());
1049     query.bindValue(":networkid", networkId.toInt());
1050     query.bindValue(":buffercname", channel.toLower());
1051     query.bindValue(":key", key);
1052     safeExec(query);
1053     watchQuery(query);
1054 }
1055
1056
1057 QString PostgreSqlStorage::awayMessage(UserId user, NetworkId networkId)
1058 {
1059     QSqlQuery query(logDb());
1060     query.prepare(queryString("select_network_awaymsg"));
1061     query.bindValue(":userid", user.toInt());
1062     query.bindValue(":networkid", networkId.toInt());
1063     safeExec(query);
1064     watchQuery(query);
1065     QString awayMsg;
1066     if (query.first())
1067         awayMsg = query.value(0).toString();
1068     return awayMsg;
1069 }
1070
1071
1072 void PostgreSqlStorage::setAwayMessage(UserId user, NetworkId networkId, const QString &awayMsg)
1073 {
1074     QSqlQuery query(logDb());
1075     query.prepare(queryString("update_network_set_awaymsg"));
1076     query.bindValue(":userid", user.toInt());
1077     query.bindValue(":networkid", networkId.toInt());
1078     query.bindValue(":awaymsg", awayMsg);
1079     safeExec(query);
1080     watchQuery(query);
1081 }
1082
1083
1084 QString PostgreSqlStorage::userModes(UserId user, NetworkId networkId)
1085 {
1086     QSqlQuery query(logDb());
1087     query.prepare(queryString("select_network_usermode"));
1088     query.bindValue(":userid", user.toInt());
1089     query.bindValue(":networkid", networkId.toInt());
1090     safeExec(query);
1091     watchQuery(query);
1092     QString modes;
1093     if (query.first())
1094         modes = query.value(0).toString();
1095     return modes;
1096 }
1097
1098
1099 void PostgreSqlStorage::setUserModes(UserId user, NetworkId networkId, const QString &userModes)
1100 {
1101     QSqlQuery query(logDb());
1102     query.prepare(queryString("update_network_set_usermode"));
1103     query.bindValue(":userid", user.toInt());
1104     query.bindValue(":networkid", networkId.toInt());
1105     query.bindValue(":usermode", userModes);
1106     safeExec(query);
1107     watchQuery(query);
1108 }
1109
1110
1111 BufferInfo PostgreSqlStorage::bufferInfo(UserId user, const NetworkId &networkId, BufferInfo::Type type, const QString &buffer, bool create)
1112 {
1113     QSqlDatabase db = logDb();
1114     if (!beginTransaction(db)) {
1115         qWarning() << "PostgreSqlStorage::bufferInfo(): cannot start read only transaction!";
1116         qWarning() << " -" << qPrintable(db.lastError().text());
1117         return BufferInfo();
1118     }
1119
1120     QSqlQuery query(db);
1121     query.prepare(queryString("select_bufferByName"));
1122     query.bindValue(":networkid", networkId.toInt());
1123     query.bindValue(":userid", user.toInt());
1124     query.bindValue(":buffercname", buffer.toLower());
1125     safeExec(query);
1126     watchQuery(query);
1127
1128     if (query.first()) {
1129         BufferInfo bufferInfo = BufferInfo(query.value(0).toInt(), networkId, (BufferInfo::Type)query.value(1).toInt(), 0, buffer);
1130         if (query.next()) {
1131             qCritical() << "PostgreSqlStorage::bufferInfo(): received more then one Buffer!";
1132             qCritical() << "         Query:" << query.lastQuery();
1133             qCritical() << "  bound Values:";
1134             QList<QVariant> list = query.boundValues().values();
1135             for (int i = 0; i < list.size(); ++i)
1136                 qCritical() << i << ":" << list.at(i).toString().toLatin1().data();
1137             Q_ASSERT(false);
1138         }
1139         db.commit();
1140         return bufferInfo;
1141     }
1142
1143     if (!create) {
1144         db.rollback();
1145         return BufferInfo();
1146     }
1147
1148     QSqlQuery createQuery(db);
1149     createQuery.prepare(queryString("insert_buffer"));
1150     createQuery.bindValue(":userid", user.toInt());
1151     createQuery.bindValue(":networkid", networkId.toInt());
1152     createQuery.bindValue(":buffertype", (int)type);
1153     createQuery.bindValue(":buffername", buffer);
1154     createQuery.bindValue(":buffercname", buffer.toLower());
1155     createQuery.bindValue(":joined", type & BufferInfo::ChannelBuffer ? true : false);
1156
1157     safeExec(createQuery);
1158
1159     if (!watchQuery(createQuery)) {
1160         qWarning() << "PostgreSqlStorage::bufferInfo(): unable to create buffer";
1161         db.rollback();
1162         return BufferInfo();
1163     }
1164
1165     createQuery.first();
1166
1167     BufferInfo bufferInfo = BufferInfo(createQuery.value(0).toInt(), networkId, type, 0, buffer);
1168     db.commit();
1169     return bufferInfo;
1170 }
1171
1172
1173 BufferInfo PostgreSqlStorage::getBufferInfo(UserId user, const BufferId &bufferId)
1174 {
1175     QSqlQuery query(logDb());
1176     query.prepare(queryString("select_buffer_by_id"));
1177     query.bindValue(":userid", user.toInt());
1178     query.bindValue(":bufferid", bufferId.toInt());
1179     safeExec(query);
1180     if (!watchQuery(query))
1181         return BufferInfo();
1182
1183     if (!query.first())
1184         return BufferInfo();
1185
1186     BufferInfo bufferInfo(query.value(0).toInt(), query.value(1).toInt(), (BufferInfo::Type)query.value(2).toInt(), 0, query.value(4).toString());
1187     Q_ASSERT(!query.next());
1188
1189     return bufferInfo;
1190 }
1191
1192
1193 QList<BufferInfo> PostgreSqlStorage::requestBuffers(UserId user)
1194 {
1195     QList<BufferInfo> bufferlist;
1196
1197     QSqlDatabase db = logDb();
1198     if (!beginReadOnlyTransaction(db)) {
1199         qWarning() << "PostgreSqlStorage::requestBuffers(): cannot start read only transaction!";
1200         qWarning() << " -" << qPrintable(db.lastError().text());
1201         return bufferlist;
1202     }
1203
1204     QSqlQuery query(db);
1205     query.prepare(queryString("select_buffers"));
1206     query.bindValue(":userid", user.toInt());
1207
1208     safeExec(query);
1209     watchQuery(query);
1210     while (query.next()) {
1211         bufferlist << BufferInfo(query.value(0).toInt(), query.value(1).toInt(), (BufferInfo::Type)query.value(2).toInt(), query.value(3).toInt(), query.value(4).toString());
1212     }
1213     db.commit();
1214     return bufferlist;
1215 }
1216
1217
1218 QList<BufferId> PostgreSqlStorage::requestBufferIdsForNetwork(UserId user, NetworkId networkId)
1219 {
1220     QList<BufferId> bufferList;
1221
1222     QSqlDatabase db = logDb();
1223     if (!beginReadOnlyTransaction(db)) {
1224         qWarning() << "PostgreSqlStorage::requestBufferIdsForNetwork(): cannot start read only transaction!";
1225         qWarning() << " -" << qPrintable(db.lastError().text());
1226         return bufferList;
1227     }
1228
1229     QSqlQuery query(db);
1230     query.prepare(queryString("select_buffers_for_network"));
1231     query.bindValue(":networkid", networkId.toInt());
1232     query.bindValue(":userid", user.toInt());
1233
1234     safeExec(query);
1235     watchQuery(query);
1236     while (query.next()) {
1237         bufferList << BufferId(query.value(0).toInt());
1238     }
1239     db.commit();
1240     return bufferList;
1241 }
1242
1243
1244 bool PostgreSqlStorage::removeBuffer(const UserId &user, const BufferId &bufferId)
1245 {
1246     QSqlDatabase db = logDb();
1247     if (!beginTransaction(db)) {
1248         qWarning() << "PostgreSqlStorage::removeBuffer(): cannot start transaction!";
1249         return false;
1250     }
1251
1252     QSqlQuery query(db);
1253     query.prepare(queryString("delete_buffer_for_bufferid"));
1254     query.bindValue(":userid", user.toInt());
1255     query.bindValue(":bufferid", bufferId.toInt());
1256     safeExec(query);
1257     if (!watchQuery(query)) {
1258         db.rollback();
1259         return false;
1260     }
1261
1262     int numRows = query.numRowsAffected();
1263     switch (numRows) {
1264     case 0:
1265         db.commit();
1266         return false;
1267     case 1:
1268         db.commit();
1269         return true;
1270     default:
1271         // there was more then one buffer deleted...
1272         qWarning() << "PostgreSqlStorage::removeBuffer(): Userid" << user << "BufferId" << "caused deletion of" << numRows << "Buffers! Rolling back transaction...";
1273         db.rollback();
1274         return false;
1275     }
1276 }
1277
1278
1279 bool PostgreSqlStorage::renameBuffer(const UserId &user, const BufferId &bufferId, const QString &newName)
1280 {
1281     QSqlDatabase db = logDb();
1282     if (!beginTransaction(db)) {
1283         qWarning() << "PostgreSqlStorage::renameBuffer(): cannot start transaction!";
1284         return false;
1285     }
1286
1287     QSqlQuery query(db);
1288     query.prepare(queryString("update_buffer_name"));
1289     query.bindValue(":buffername", newName);
1290     query.bindValue(":buffercname", newName.toLower());
1291     query.bindValue(":userid", user.toInt());
1292     query.bindValue(":bufferid", bufferId.toInt());
1293     safeExec(query);
1294     if (!watchQuery(query)) {
1295         db.rollback();
1296         return false;
1297     }
1298
1299     int numRows = query.numRowsAffected();
1300     switch (numRows) {
1301     case 0:
1302         db.commit();
1303         return false;
1304     case 1:
1305         db.commit();
1306         return true;
1307     default:
1308         // there was more then one buffer deleted...
1309         qWarning() << "PostgreSqlStorage::renameBuffer(): Userid" << user << "BufferId" << "affected" << numRows << "Buffers! Rolling back transaction...";
1310         db.rollback();
1311         return false;
1312     }
1313 }
1314
1315
1316 bool PostgreSqlStorage::mergeBuffersPermanently(const UserId &user, const BufferId &bufferId1, const BufferId &bufferId2)
1317 {
1318     QSqlDatabase db = logDb();
1319     if (!beginTransaction(db)) {
1320         qWarning() << "PostgreSqlStorage::mergeBuffersPermanently(): cannot start transaction!";
1321         qWarning() << " -" << qPrintable(db.lastError().text());
1322         return false;
1323     }
1324
1325     QSqlQuery checkQuery(db);
1326     checkQuery.prepare("SELECT count(*) FROM buffer "
1327                        "WHERE userid = :userid AND bufferid IN (:buffer1, :buffer2)");
1328     checkQuery.bindValue(":userid", user.toInt());
1329     checkQuery.bindValue(":buffer1", bufferId1.toInt());
1330     checkQuery.bindValue(":buffer2", bufferId2.toInt());
1331     safeExec(checkQuery);
1332     if (!watchQuery(checkQuery)) {
1333         db.rollback();
1334         return false;
1335     }
1336     checkQuery.first();
1337     if (checkQuery.value(0).toInt() != 2) {
1338         db.rollback();
1339         return false;
1340     }
1341
1342     QSqlQuery query(db);
1343     query.prepare(queryString("update_backlog_bufferid"));
1344     query.bindValue(":oldbufferid", bufferId2.toInt());
1345     query.bindValue(":newbufferid", bufferId1.toInt());
1346     safeExec(query);
1347     if (!watchQuery(query)) {
1348         db.rollback();
1349         return false;
1350     }
1351
1352     QSqlQuery delBufferQuery(logDb());
1353     delBufferQuery.prepare(queryString("delete_buffer_for_bufferid"));
1354     delBufferQuery.bindValue(":userid", user.toInt());
1355     delBufferQuery.bindValue(":bufferid", bufferId2.toInt());
1356     safeExec(delBufferQuery);
1357     if (!watchQuery(delBufferQuery)) {
1358         db.rollback();
1359         return false;
1360     }
1361
1362     db.commit();
1363     return true;
1364 }
1365
1366
1367 void PostgreSqlStorage::setBufferLastSeenMsg(UserId user, const BufferId &bufferId, const MsgId &msgId)
1368 {
1369     QSqlQuery query(logDb());
1370     query.prepare(queryString("update_buffer_lastseen"));
1371
1372     query.bindValue(":userid", user.toInt());
1373     query.bindValue(":bufferid", bufferId.toInt());
1374     query.bindValue(":lastseenmsgid", msgId.toQint64());
1375     safeExec(query);
1376     watchQuery(query);
1377 }
1378
1379
1380 QHash<BufferId, MsgId> PostgreSqlStorage::bufferLastSeenMsgIds(UserId user)
1381 {
1382     QHash<BufferId, MsgId> lastSeenHash;
1383
1384     QSqlDatabase db = logDb();
1385     if (!beginReadOnlyTransaction(db)) {
1386         qWarning() << "PostgreSqlStorage::bufferLastSeenMsgIds(): cannot start read only transaction!";
1387         qWarning() << " -" << qPrintable(db.lastError().text());
1388         return lastSeenHash;
1389     }
1390
1391     QSqlQuery query(db);
1392     query.prepare(queryString("select_buffer_lastseen_messages"));
1393     query.bindValue(":userid", user.toInt());
1394     safeExec(query);
1395     if (!watchQuery(query)) {
1396         db.rollback();
1397         return lastSeenHash;
1398     }
1399
1400     while (query.next()) {
1401         lastSeenHash[query.value(0).toInt()] = query.value(1).toLongLong();
1402     }
1403
1404     db.commit();
1405     return lastSeenHash;
1406 }
1407
1408
1409 void PostgreSqlStorage::setBufferMarkerLineMsg(UserId user, const BufferId &bufferId, const MsgId &msgId)
1410 {
1411     QSqlQuery query(logDb());
1412     query.prepare(queryString("update_buffer_markerlinemsgid"));
1413
1414     query.bindValue(":userid", user.toInt());
1415     query.bindValue(":bufferid", bufferId.toInt());
1416     query.bindValue(":markerlinemsgid", msgId.toQint64());
1417     safeExec(query);
1418     watchQuery(query);
1419 }
1420
1421
1422 QHash<BufferId, MsgId> PostgreSqlStorage::bufferMarkerLineMsgIds(UserId user)
1423 {
1424     QHash<BufferId, MsgId> markerLineHash;
1425
1426     QSqlDatabase db = logDb();
1427     if (!beginReadOnlyTransaction(db)) {
1428         qWarning() << "PostgreSqlStorage::bufferMarkerLineMsgIds(): cannot start read only transaction!";
1429         qWarning() << " -" << qPrintable(db.lastError().text());
1430         return markerLineHash;
1431     }
1432
1433     QSqlQuery query(db);
1434     query.prepare(queryString("select_buffer_markerlinemsgids"));
1435     query.bindValue(":userid", user.toInt());
1436     safeExec(query);
1437     if (!watchQuery(query)) {
1438         db.rollback();
1439         return markerLineHash;
1440     }
1441
1442     while (query.next()) {
1443         markerLineHash[query.value(0).toInt()] = query.value(1).toLongLong();
1444     }
1445
1446     db.commit();
1447     return markerLineHash;
1448 }
1449
1450
1451 void PostgreSqlStorage::setBufferActivity(UserId user, BufferId bufferId, Message::Types bufferActivity)
1452 {
1453     QSqlQuery query(logDb());
1454     query.prepare(queryString("update_buffer_bufferactivity"));
1455
1456     query.bindValue(":userid", user.toInt());
1457     query.bindValue(":bufferid", bufferId.toInt());
1458     query.bindValue(":bufferactivity", (int) bufferActivity);
1459     safeExec(query);
1460     watchQuery(query);
1461 }
1462
1463 QHash<BufferId, Message::Types> PostgreSqlStorage::bufferActivities(UserId user)
1464 {
1465     QHash<BufferId, Message::Types> bufferActivityHash;
1466
1467     QSqlDatabase db = logDb();
1468     if (!beginReadOnlyTransaction(db)) {
1469         qWarning() << "PostgreSqlStorage::bufferActivities(): cannot start read only transaction!";
1470         qWarning() << " -" << qPrintable(db.lastError().text());
1471         return bufferActivityHash;
1472     }
1473
1474     QSqlQuery query(db);
1475     query.prepare(queryString("select_buffer_bufferactivities"));
1476     query.bindValue(":userid", user.toInt());
1477     safeExec(query);
1478     if (!watchQuery(query)) {
1479         db.rollback();
1480         return bufferActivityHash;
1481     }
1482
1483     while (query.next()) {
1484         bufferActivityHash[query.value(0).toInt()] = Message::Types(query.value(1).toInt());
1485     }
1486
1487     db.commit();
1488     return bufferActivityHash;
1489 }
1490
1491 Message::Types PostgreSqlStorage::bufferActivity(BufferId bufferId, MsgId lastSeenMsgId)
1492 {
1493     QSqlQuery query(logDb());
1494     query.prepare(queryString("select_buffer_bufferactivity"));
1495     query.bindValue(":bufferid", bufferId.toInt());
1496     query.bindValue(":lastseenmsgid", lastSeenMsgId.toQint64());
1497     safeExec(query);
1498     watchQuery(query);
1499     Message::Types result = Message::Types(nullptr);
1500     if (query.first())
1501         result = Message::Types(query.value(0).toInt());
1502     return result;
1503 }
1504
1505 QHash<QString, QByteArray> PostgreSqlStorage::bufferCiphers(UserId user, const NetworkId &networkId)
1506 {
1507     QHash<QString, QByteArray> bufferCiphers;
1508
1509     QSqlDatabase db = logDb();
1510     if (!beginReadOnlyTransaction(db)) {
1511         qWarning() << "PostgreSqlStorage::persistentChannels(): cannot start read only transaction!";
1512         qWarning() << " -" << qPrintable(db.lastError().text());
1513         return bufferCiphers;
1514     }
1515
1516     QSqlQuery query(db);
1517     query.prepare(queryString("select_buffer_ciphers"));
1518     query.bindValue(":userid", user.toInt());
1519     query.bindValue(":networkid", networkId.toInt());
1520     safeExec(query);
1521     watchQuery(query);
1522
1523     while (query.next()) {
1524         bufferCiphers[query.value(0).toString()] = QByteArray::fromHex(query.value(1).toString().toUtf8());
1525     }
1526
1527     db.commit();
1528     return bufferCiphers;
1529 }
1530
1531 void PostgreSqlStorage::setBufferCipher(UserId user, const NetworkId &networkId, const QString &bufferName, const QByteArray &cipher)
1532 {
1533     QSqlQuery query(logDb());
1534     query.prepare(queryString("update_buffer_cipher"));
1535     query.bindValue(":userid", user.toInt());
1536     query.bindValue(":networkid", networkId.toInt());
1537     query.bindValue(":buffercname", bufferName.toLower());
1538     query.bindValue(":cipher", QString(cipher.toHex()));
1539     safeExec(query);
1540     watchQuery(query);
1541 }
1542
1543
1544 void PostgreSqlStorage::setHighlightCount(UserId user, BufferId bufferId, int highlightcount)
1545 {
1546     QSqlQuery query(logDb());
1547     query.prepare(queryString("update_buffer_highlightcount"));
1548
1549     query.bindValue(":userid", user.toInt());
1550     query.bindValue(":bufferid", bufferId.toInt());
1551     query.bindValue(":highlightcount", highlightcount);
1552     safeExec(query);
1553     watchQuery(query);
1554 }
1555
1556 QHash<BufferId, int> PostgreSqlStorage::highlightCounts(UserId user)
1557 {
1558     QHash<BufferId, int> highlightCountHash;
1559
1560     QSqlDatabase db = logDb();
1561     if (!beginReadOnlyTransaction(db)) {
1562         qWarning() << "PostgreSqlStorage::highlightCounts(): cannot start read only transaction!";
1563         qWarning() << " -" << qPrintable(db.lastError().text());
1564         return highlightCountHash;
1565     }
1566
1567     QSqlQuery query(db);
1568     query.prepare(queryString("select_buffer_highlightcounts"));
1569     query.bindValue(":userid", user.toInt());
1570     safeExec(query);
1571     if (!watchQuery(query)) {
1572         db.rollback();
1573         return highlightCountHash;
1574     }
1575
1576     while (query.next()) {
1577         highlightCountHash[query.value(0).toInt()] = query.value(1).toInt();
1578     }
1579
1580     db.commit();
1581     return highlightCountHash;
1582 }
1583
1584 int PostgreSqlStorage::highlightCount(BufferId bufferId, MsgId lastSeenMsgId)
1585 {
1586     QSqlQuery query(logDb());
1587     query.prepare(queryString("select_buffer_highlightcount"));
1588     query.bindValue(":bufferid", bufferId.toInt());
1589     query.bindValue(":lastseenmsgid", lastSeenMsgId.toQint64());
1590     safeExec(query);
1591     watchQuery(query);
1592     int result = int(0);
1593     if (query.first())
1594         result = query.value(0).toInt();
1595     return result;
1596 }
1597
1598 bool PostgreSqlStorage::logMessage(Message &msg)
1599 {
1600     QSqlDatabase db = logDb();
1601     if (!beginTransaction(db)) {
1602         qWarning() << "PostgreSqlStorage::logMessage(): cannot start transaction!";
1603         qWarning() << " -" << qPrintable(db.lastError().text());
1604         return false;
1605     }
1606
1607     QVariantList senderParams;
1608     senderParams << msg.sender()
1609                  << msg.realName()
1610                  << msg.avatarUrl();
1611     QSqlQuery getSenderIdQuery = executePreparedQuery("select_senderid", senderParams, db);
1612     qint64 senderId;
1613     if (getSenderIdQuery.first()) {
1614         senderId = getSenderIdQuery.value(0).toLongLong();
1615     }
1616     else {
1617         // it's possible that the sender was already added by another thread
1618         // since the insert might fail we're setting a savepoint
1619         savePoint("sender_sp1", db);
1620         QSqlQuery addSenderQuery = executePreparedQuery("insert_sender", senderParams, db);
1621
1622         if (addSenderQuery.lastError().isValid()) {
1623             rollbackSavePoint("sender_sp1", db);
1624             getSenderIdQuery = executePreparedQuery("select_senderid", senderParams, db);
1625             watchQuery(getSenderIdQuery);
1626             getSenderIdQuery.first();
1627             senderId = getSenderIdQuery.value(0).toLongLong();
1628         }
1629         else {
1630             releaseSavePoint("sender_sp1", db);
1631             addSenderQuery.first();
1632             senderId = addSenderQuery.value(0).toLongLong();
1633         }
1634     }
1635
1636     QVariantList params;
1637     // PostgreSQL handles QDateTime()'s serialized format by default, and QDateTime() serializes
1638     // to a 64-bit time compatible format by default.
1639     params << msg.timestamp()
1640            << msg.bufferInfo().bufferId().toInt()
1641            << msg.type()
1642            << (int)msg.flags()
1643            << senderId
1644            << msg.senderPrefixes()
1645            << msg.contents();
1646     QSqlQuery logMessageQuery = executePreparedQuery("insert_message", params, db);
1647
1648     if (!watchQuery(logMessageQuery)) {
1649         db.rollback();
1650         return false;
1651     }
1652
1653     logMessageQuery.first();
1654     MsgId msgId = logMessageQuery.value(0).toLongLong();
1655     db.commit();
1656     if (msgId.isValid()) {
1657         msg.setMsgId(msgId);
1658         return true;
1659     }
1660     else {
1661         return false;
1662     }
1663 }
1664
1665
1666 bool PostgreSqlStorage::logMessages(MessageList &msgs)
1667 {
1668     QSqlDatabase db = logDb();
1669     if (!beginTransaction(db)) {
1670         qWarning() << "PostgreSqlStorage::logMessage(): cannot start transaction!";
1671         qWarning() << " -" << qPrintable(db.lastError().text());
1672         return false;
1673     }
1674
1675     QList<int> senderIdList;
1676     QHash<SenderData, qint64> senderIds;
1677     QSqlQuery addSenderQuery;
1678     QSqlQuery selectSenderQuery;;
1679     for (int i = 0; i < msgs.count(); i++) {
1680         auto &msg = msgs.at(i);
1681         SenderData sender = { msg.sender(), msg.realName(), msg.avatarUrl() };
1682         if (senderIds.contains(sender)) {
1683             senderIdList << senderIds[sender];
1684             continue;
1685         }
1686
1687         QVariantList senderParams;
1688         senderParams << sender.sender
1689                      << sender.realname
1690                      << sender.avatarurl;
1691
1692         selectSenderQuery = executePreparedQuery("select_senderid", senderParams, db);
1693         if (selectSenderQuery.first()) {
1694             senderIdList << selectSenderQuery.value(0).toLongLong();
1695             senderIds[sender] = selectSenderQuery.value(0).toLongLong();
1696         }
1697         else {
1698             savePoint("sender_sp", db);
1699             addSenderQuery = executePreparedQuery("insert_sender", senderParams, db);
1700             if (addSenderQuery.lastError().isValid()) {
1701                 // seems it was inserted meanwhile... by a different thread
1702                 rollbackSavePoint("sender_sp", db);
1703                 selectSenderQuery = executePreparedQuery("select_senderid", senderParams, db);
1704                 watchQuery(selectSenderQuery);
1705                 selectSenderQuery.first();
1706                 senderIdList << selectSenderQuery.value(0).toLongLong();
1707                 senderIds[sender] = selectSenderQuery.value(0).toLongLong();
1708             }
1709             else {
1710                 releaseSavePoint("sender_sp", db);
1711                 addSenderQuery.first();
1712                 senderIdList << addSenderQuery.value(0).toLongLong();
1713                 senderIds[sender] = addSenderQuery.value(0).toLongLong();
1714             }
1715         }
1716     }
1717
1718     // yes we loop twice over the same list. This avoids alternating queries.
1719     bool error = false;
1720     for (int i = 0; i < msgs.count(); i++) {
1721         Message &msg = msgs[i];
1722         QVariantList params;
1723         // PostgreSQL handles QDateTime()'s serialized format by default, and QDateTime() serializes
1724         // to a 64-bit time compatible format by default.
1725         params << msg.timestamp()
1726                << msg.bufferInfo().bufferId().toInt()
1727                << msg.type()
1728                << (int)msg.flags()
1729                << senderIdList.at(i)
1730                << msg.senderPrefixes()
1731                << msg.contents();
1732         QSqlQuery logMessageQuery = executePreparedQuery("insert_message", params, db);
1733         if (!watchQuery(logMessageQuery)) {
1734             db.rollback();
1735             error = true;
1736             break;
1737         }
1738         else {
1739             logMessageQuery.first();
1740             msg.setMsgId(logMessageQuery.value(0).toLongLong());
1741         }
1742     }
1743
1744     if (error) {
1745         // we had a rollback in the db so we need to reset all msgIds
1746         for (int i = 0; i < msgs.count(); i++) {
1747             msgs[i].setMsgId(MsgId());
1748         }
1749         return false;
1750     }
1751
1752     db.commit();
1753     return true;
1754 }
1755
1756
1757 QList<Message> PostgreSqlStorage::requestMsgs(UserId user, BufferId bufferId, MsgId first, MsgId last, int limit)
1758 {
1759     QList<Message> messagelist;
1760
1761     QSqlDatabase db = logDb();
1762     if (!beginReadOnlyTransaction(db)) {
1763         qWarning() << "PostgreSqlStorage::requestMsgs(): cannot start read only transaction!";
1764         qWarning() << " -" << qPrintable(db.lastError().text());
1765         return messagelist;
1766     }
1767
1768     BufferInfo bufferInfo = getBufferInfo(user, bufferId);
1769     if (!bufferInfo.isValid()) {
1770         db.rollback();
1771         return messagelist;
1772     }
1773
1774     QString queryName;
1775     QVariantList params;
1776     if (last == -1 && first == -1) {
1777         queryName = "select_messagesNewestK";
1778     }
1779     else if (last == -1) {
1780         queryName = "select_messagesNewerThan";
1781         params << first.toQint64();
1782     }
1783     else {
1784         queryName = "select_messagesRange";
1785         params << first.toQint64();
1786         params << last.toQint64();
1787     }
1788     params << bufferId.toInt();
1789     if (limit != -1)
1790         params << limit;
1791     else
1792         params << QVariant(QVariant::Int);
1793
1794     QSqlQuery query = executePreparedQuery(queryName, params, db);
1795
1796     if (!watchQuery(query)) {
1797         qDebug() << "select_messages failed";
1798         db.rollback();
1799         return messagelist;
1800     }
1801
1802     QDateTime timestamp;
1803     while (query.next()) {
1804         // PostgreSQL returns date/time in ISO 8601 format, no 64-bit handling needed
1805         // See https://www.postgresql.org/docs/current/static/datatype-datetime.html#DATATYPE-DATETIME-OUTPUT
1806         timestamp = query.value(1).toDateTime();
1807         timestamp.setTimeSpec(Qt::UTC);
1808         Message msg(timestamp,
1809             bufferInfo,
1810             (Message::Type)query.value(2).toInt(),
1811             query.value(8).toString(),
1812             query.value(4).toString(),
1813             query.value(5).toString(),
1814             query.value(6).toString(),
1815             query.value(7).toString(),
1816             (Message::Flags)query.value(3).toInt());
1817         msg.setMsgId(query.value(0).toLongLong());
1818         messagelist << msg;
1819     }
1820
1821     db.commit();
1822     return messagelist;
1823 }
1824
1825
1826 QList<Message> PostgreSqlStorage::requestMsgsFiltered(UserId user, BufferId bufferId, MsgId first, MsgId last, int limit, Message::Types type, Message::Flags flags)
1827 {
1828     QList<Message> messagelist;
1829
1830     QSqlDatabase db = logDb();
1831     if (!beginReadOnlyTransaction(db)) {
1832         qWarning() << "PostgreSqlStorage::requestMsgs(): cannot start read only transaction!";
1833         qWarning() << " -" << qPrintable(db.lastError().text());
1834         return messagelist;
1835     }
1836
1837     BufferInfo bufferInfo = getBufferInfo(user, bufferId);
1838     if (!bufferInfo.isValid()) {
1839         db.rollback();
1840         return messagelist;
1841     }
1842
1843     QSqlQuery query(db);
1844     if (last == -1 && first == -1) {
1845         query.prepare(queryString("select_messagesNewestK_filtered"));
1846     } else if (last == -1) {
1847         query.prepare(queryString("select_messagesNewerThan_filtered"));
1848         query.bindValue(":first", first.toQint64());
1849     } else {
1850         query.prepare(queryString("select_messagesRange_filtered"));
1851         query.bindValue(":last", last.toQint64());
1852         query.bindValue(":first", first.toQint64());
1853     }
1854     query.bindValue(":buffer", bufferId.toInt());
1855     query.bindValue(":limit", limit);
1856     int typeRaw = type;
1857     query.bindValue(":type", typeRaw);
1858     int flagsRaw = flags;
1859     query.bindValue(":flags", flagsRaw);
1860
1861     safeExec(query);
1862     if (!watchQuery(query)) {
1863         qDebug() << "select_messages failed";
1864         db.rollback();
1865         return messagelist;
1866     }
1867
1868     QDateTime timestamp;
1869     while (query.next()) {
1870         // PostgreSQL returns date/time in ISO 8601 format, no 64-bit handling needed
1871         // See https://www.postgresql.org/docs/current/static/datatype-datetime.html#DATATYPE-DATETIME-OUTPUT
1872         timestamp = query.value(1).toDateTime();
1873         timestamp.setTimeSpec(Qt::UTC);
1874         Message msg(timestamp,
1875                     bufferInfo,
1876                     (Message::Type)query.value(2).toInt(),
1877                     query.value(8).toString(),
1878                     query.value(4).toString(),
1879                     query.value(5).toString(),
1880                     query.value(6).toString(),
1881                     query.value(7).toString(),
1882                     Message::Flags{query.value(3).toInt()});
1883         msg.setMsgId(query.value(0).toLongLong());
1884         messagelist << msg;
1885     }
1886
1887     db.commit();
1888     return messagelist;
1889 }
1890
1891
1892 QList<Message> PostgreSqlStorage::requestAllMsgs(UserId user, MsgId first, MsgId last, int limit)
1893 {
1894     QList<Message> messagelist;
1895
1896     // requestBuffers uses it's own transaction.
1897     QHash<BufferId, BufferInfo> bufferInfoHash;
1898     foreach(BufferInfo bufferInfo, requestBuffers(user)) {
1899         bufferInfoHash[bufferInfo.bufferId()] = bufferInfo;
1900     }
1901
1902     QSqlDatabase db = logDb();
1903     if (!beginReadOnlyTransaction(db)) {
1904         qWarning() << "PostgreSqlStorage::requestAllMsgs(): cannot start read only transaction!";
1905         qWarning() << " -" << qPrintable(db.lastError().text());
1906         return messagelist;
1907     }
1908
1909     QSqlQuery query(db);
1910     if (last == -1) {
1911         query.prepare(queryString("select_messagesAllNew"));
1912     }
1913     else {
1914         query.prepare(queryString("select_messagesAll"));
1915         query.bindValue(":lastmsg", last.toQint64());
1916     }
1917     query.bindValue(":userid", user.toInt());
1918     query.bindValue(":firstmsg", first.toQint64());
1919     safeExec(query);
1920     if (!watchQuery(query)) {
1921         db.rollback();
1922         return messagelist;
1923     }
1924
1925     QDateTime timestamp;
1926     for (int i = 0; i < limit && query.next(); i++) {
1927         // PostgreSQL returns date/time in ISO 8601 format, no 64-bit handling needed
1928         // See https://www.postgresql.org/docs/current/static/datatype-datetime.html#DATATYPE-DATETIME-OUTPUT
1929         timestamp = query.value(2).toDateTime();
1930         timestamp.setTimeSpec(Qt::UTC);
1931         Message msg(timestamp,
1932             bufferInfoHash[query.value(1).toInt()],
1933             (Message::Type)query.value(3).toInt(),
1934             query.value(9).toString(),
1935             query.value(5).toString(),
1936             query.value(6).toString(),
1937             query.value(7).toString(),
1938             query.value(8).toString(),
1939             (Message::Flags)query.value(4).toInt());
1940         msg.setMsgId(query.value(0).toLongLong());
1941         messagelist << msg;
1942     }
1943
1944     db.commit();
1945     return messagelist;
1946 }
1947
1948
1949 QList<Message> PostgreSqlStorage::requestAllMsgsFiltered(UserId user, MsgId first, MsgId last, int limit, Message::Types type, Message::Flags flags)
1950 {
1951     QList<Message> messagelist;
1952
1953     // requestBuffers uses it's own transaction.
1954     QHash<BufferId, BufferInfo> bufferInfoHash;
1955             foreach(BufferInfo bufferInfo, requestBuffers(user)) {
1956             bufferInfoHash[bufferInfo.bufferId()] = bufferInfo;
1957         }
1958
1959     QSqlDatabase db = logDb();
1960     if (!beginReadOnlyTransaction(db)) {
1961         qWarning() << "PostgreSqlStorage::requestAllMsgs(): cannot start read only transaction!";
1962         qWarning() << " -" << qPrintable(db.lastError().text());
1963         return messagelist;
1964     }
1965
1966     QSqlQuery query(db);
1967     if (last == -1) {
1968         query.prepare(queryString("select_messagesAllNew_filtered"));
1969     }
1970     else {
1971         query.prepare(queryString("select_messagesAll_filtered"));
1972         query.bindValue(":lastmsg", last.toQint64());
1973     }
1974     query.bindValue(":userid", user.toInt());
1975     query.bindValue(":firstmsg", first.toQint64());
1976
1977     int typeRaw = type;
1978     query.bindValue(":type", typeRaw);
1979
1980     int flagsRaw = flags;
1981     query.bindValue(":flags", flagsRaw);
1982
1983     safeExec(query);
1984     if (!watchQuery(query)) {
1985         db.rollback();
1986         return messagelist;
1987     }
1988
1989     QDateTime timestamp;
1990     for (int i = 0; i < limit && query.next(); i++) {
1991         // PostgreSQL returns date/time in ISO 8601 format, no 64-bit handling needed
1992         // See https://www.postgresql.org/docs/current/static/datatype-datetime.html#DATATYPE-DATETIME-OUTPUT
1993         timestamp = query.value(2).toDateTime();
1994         timestamp.setTimeSpec(Qt::UTC);
1995         Message msg(timestamp,
1996                     bufferInfoHash[query.value(1).toInt()],
1997                     (Message::Type)query.value(3).toInt(),
1998                     query.value(9).toString(),
1999                     query.value(5).toString(),
2000                     query.value(6).toString(),
2001                     query.value(7).toString(),
2002                     query.value(8).toString(),
2003                     Message::Flags{query.value(4).toInt()});
2004         msg.setMsgId(query.value(0).toLongLong());
2005         messagelist << msg;
2006     }
2007
2008     db.commit();
2009     return messagelist;
2010 }
2011
2012 QMap<UserId, QString> PostgreSqlStorage::getAllAuthUserNames()
2013 {
2014     QMap<UserId, QString> authusernames;
2015     QSqlQuery query(logDb());
2016     query.prepare(queryString("select_all_authusernames"));
2017     safeExec(query);
2018     watchQuery(query);
2019
2020     while (query.next()) {
2021         authusernames[query.value(0).toInt()] = query.value(1).toString();
2022     }
2023     return authusernames;
2024 }
2025
2026
2027 // void PostgreSqlStorage::safeExec(QSqlQuery &query) {
2028 //   qDebug() << "PostgreSqlStorage::safeExec";
2029 //   qDebug() << "   executing:\n" << query.executedQuery();
2030 //   qDebug() << "   bound Values:";
2031 //   QList<QVariant> list = query.boundValues().values();
2032 //   for (int i = 0; i < list.size(); ++i)
2033 //     qCritical() << i << ": " << list.at(i).toString().toLatin1().data();
2034
2035 //   query.exec();
2036
2037 //   qDebug() << "Success:" << !query.lastError().isValid();
2038 //   qDebug();
2039
2040 //   if(!query.lastError().isValid())
2041 //     return;
2042
2043 //   qDebug() << "==================== ERROR ====================";
2044 //   watchQuery(query);
2045 //   qDebug() << "===============================================";
2046 //   qDebug();
2047 //   return;
2048 // }
2049
2050
2051 bool PostgreSqlStorage::beginTransaction(QSqlDatabase &db)
2052 {
2053     bool result = db.transaction();
2054     if (!db.isOpen()) {
2055         db = logDb();
2056         result = db.transaction();
2057     }
2058     return result;
2059 }
2060
2061 bool PostgreSqlStorage::beginReadOnlyTransaction(QSqlDatabase &db)
2062 {
2063     QSqlQuery query = db.exec("BEGIN TRANSACTION READ ONLY");
2064     if (!db.isOpen()) {
2065         db = logDb();
2066         query = db.exec("BEGIN TRANSACTION READ ONLY");
2067     }
2068     return !query.lastError().isValid();
2069 }
2070
2071
2072 QSqlQuery PostgreSqlStorage::prepareAndExecuteQuery(const QString &queryname, const QString &paramstring, QSqlDatabase &db)
2073 {
2074     // Query preparing is done lazily. That means that instead of always checking if the query is already prepared
2075     // we just EXECUTE and catch the error
2076     QSqlQuery query;
2077
2078     db.exec("SAVEPOINT quassel_prepare_query");
2079     if (paramstring.isNull()) {
2080         query = db.exec(QString("EXECUTE quassel_%1").arg(queryname));
2081     }
2082     else {
2083         query = db.exec(QString("EXECUTE quassel_%1 (%2)").arg(queryname).arg(paramstring));
2084     }
2085
2086     if (!db.isOpen() || db.lastError().isValid()) {
2087         // If the query failed because the DB connection was down, reopen the connection and start a new transaction.
2088         if (!db.isOpen()) {
2089             db = logDb();
2090             if (!beginTransaction(db)) {
2091                 qWarning() << "PostgreSqlStorage::prepareAndExecuteQuery(): cannot start transaction while recovering from connection loss!";
2092                 qWarning() << " -" << qPrintable(db.lastError().text());
2093                 return query;
2094             }
2095             db.exec("SAVEPOINT quassel_prepare_query");
2096         } else {
2097             db.exec("ROLLBACK TO SAVEPOINT quassel_prepare_query");
2098         }
2099
2100         // and once again: Qt leaves us without error codes so we either parse (language dependent(!)) strings
2101         // or we just guess the error. As we're only interested in unprepared queries, this will be our guess. :)
2102         QSqlQuery checkQuery = db.exec(QString("SELECT count(name) FROM pg_prepared_statements WHERE name = 'quassel_%1' AND from_sql = TRUE").arg(queryname.toLower()));
2103         checkQuery.first();
2104         if (checkQuery.value(0).toInt() == 0) {
2105             db.exec(QString("PREPARE quassel_%1 AS %2").arg(queryname).arg(queryString(queryname)));
2106             if (db.lastError().isValid()) {
2107                 qWarning() << "PostgreSqlStorage::prepareQuery(): unable to prepare query:" << queryname << "AS" << queryString(queryname);
2108                 qWarning() << "  Error:" << db.lastError().text();
2109                 return QSqlQuery(db);
2110             }
2111         }
2112         // we always execute the query again, even if the query was already prepared.
2113         // this ensures, that the error is properly propagated to the calling function
2114         // (otherwise the last call would be the testing select to pg_prepared_statements
2115         // which always gives a proper result and the error would be lost)
2116         if (paramstring.isNull()) {
2117             query = db.exec(QString("EXECUTE quassel_%1").arg(queryname));
2118         }
2119         else {
2120             query = db.exec(QString("EXECUTE quassel_%1 (%2)").arg(queryname).arg(paramstring));
2121         }
2122     }
2123     else {
2124         // only release the SAVEPOINT
2125         db.exec("RELEASE SAVEPOINT quassel_prepare_query");
2126     }
2127     return query;
2128 }
2129
2130
2131 QSqlQuery PostgreSqlStorage::executePreparedQuery(const QString &queryname, const QVariantList &params, QSqlDatabase &db)
2132 {
2133     QSqlDriver *driver = db.driver();
2134
2135     QStringList paramStrings;
2136     QSqlField field;
2137     for (int i = 0; i < params.count(); i++) {
2138         const QVariant &value = params.at(i);
2139         field.setType(value.type());
2140         if (value.isNull())
2141             field.clear();
2142         else
2143             field.setValue(value);
2144
2145         paramStrings << driver->formatValue(field);
2146     }
2147
2148     if (params.isEmpty()) {
2149         return prepareAndExecuteQuery(queryname, db);
2150     }
2151     else {
2152         return prepareAndExecuteQuery(queryname, paramStrings.join(", "), db);
2153     }
2154 }
2155
2156
2157 QSqlQuery PostgreSqlStorage::executePreparedQuery(const QString &queryname, const QVariant &param, QSqlDatabase &db)
2158 {
2159     QSqlField field;
2160     field.setType(param.type());
2161     if (param.isNull())
2162         field.clear();
2163     else
2164         field.setValue(param);
2165
2166     QString paramString = db.driver()->formatValue(field);
2167     return prepareAndExecuteQuery(queryname, paramString, db);
2168 }
2169
2170
2171 void PostgreSqlStorage::deallocateQuery(const QString &queryname, const QSqlDatabase &db)
2172 {
2173     db.exec(QString("DEALLOCATE quassel_%1").arg(queryname));
2174 }
2175
2176
2177 void PostgreSqlStorage::safeExec(QSqlQuery &query)
2178 {
2179     // If the query fails due to the connection being gone, it seems to cause
2180     // exec() to return false but no lastError to be set
2181     if(!query.exec() && !query.lastError().isValid())
2182     {
2183         QSqlDatabase db = logDb();
2184         QSqlQuery retryQuery(db);
2185         retryQuery.prepare(query.lastQuery());
2186         QMapIterator<QString, QVariant> i(query.boundValues());
2187         while (i.hasNext())
2188         {
2189             i.next();
2190             retryQuery.bindValue(i.key(),i.value());
2191         }
2192         query = retryQuery;
2193         query.exec();
2194     }
2195 }
2196
2197 // ========================================
2198 //  PostgreSqlMigrationWriter
2199 // ========================================
2200 PostgreSqlMigrationWriter::PostgreSqlMigrationWriter()
2201     : PostgreSqlStorage()
2202 {
2203 }
2204
2205
2206 bool PostgreSqlMigrationWriter::prepareQuery(MigrationObject mo)
2207 {
2208     QString query;
2209     switch (mo) {
2210     case QuasselUser:
2211         query = queryString("migrate_write_quasseluser");
2212         break;
2213     case Sender:
2214         query = queryString("migrate_write_sender");
2215         break;
2216     case Identity:
2217         _validIdentities.clear();
2218         query = queryString("migrate_write_identity");
2219         break;
2220     case IdentityNick:
2221         query = queryString("migrate_write_identity_nick");
2222         break;
2223     case Network:
2224         query = queryString("migrate_write_network");
2225         break;
2226     case Buffer:
2227         query = queryString("migrate_write_buffer");
2228         break;
2229     case Backlog:
2230         query = queryString("migrate_write_backlog");
2231         break;
2232     case IrcServer:
2233         query = queryString("migrate_write_ircserver");
2234         break;
2235     case UserSetting:
2236         query = queryString("migrate_write_usersetting");
2237         break;
2238     case CoreState:
2239         query = queryString("migrate_write_corestate");
2240         break;
2241     }
2242     newQuery(query, logDb());
2243     return true;
2244 }
2245
2246
2247 //bool PostgreSqlMigrationWriter::writeUser(const QuasselUserMO &user) {
2248 bool PostgreSqlMigrationWriter::writeMo(const QuasselUserMO &user)
2249 {
2250     bindValue(0, user.id.toInt());
2251     bindValue(1, user.username);
2252     bindValue(2, user.password);
2253     bindValue(3, user.hashversion);
2254     bindValue(4, user.authenticator);
2255     return exec();
2256 }
2257
2258
2259 //bool PostgreSqlMigrationWriter::writeSender(const SenderMO &sender) {
2260 bool PostgreSqlMigrationWriter::writeMo(const SenderMO &sender)
2261 {
2262     bindValue(0, sender.senderId);
2263     bindValue(1, sender.sender);
2264     bindValue(2, sender.realname);
2265     bindValue(3, sender.avatarurl);
2266     return exec();
2267 }
2268
2269
2270 //bool PostgreSqlMigrationWriter::writeIdentity(const IdentityMO &identity) {
2271 bool PostgreSqlMigrationWriter::writeMo(const IdentityMO &identity)
2272 {
2273     _validIdentities << identity.id.toInt();
2274     bindValue(0, identity.id.toInt());
2275     bindValue(1, identity.userid.toInt());
2276     bindValue(2, identity.identityname);
2277     bindValue(3, identity.realname);
2278     bindValue(4, identity.awayNick);
2279     bindValue(5, identity.awayNickEnabled);
2280     bindValue(6, identity.awayReason);
2281     bindValue(7, identity.awayReasonEnabled);
2282     bindValue(8, identity.autoAwayEnabled);
2283     bindValue(9, identity.autoAwayTime);
2284     bindValue(10, identity.autoAwayReason);
2285     bindValue(11, identity.autoAwayReasonEnabled);
2286     bindValue(12, identity.detachAwayEnabled);
2287     bindValue(13, identity.detachAwayReason);
2288     bindValue(14, identity.detachAwayReasonEnabled);
2289     bindValue(15, identity.ident);
2290     bindValue(16, identity.kickReason);
2291     bindValue(17, identity.partReason);
2292     bindValue(18, identity.quitReason);
2293     bindValue(19, identity.sslCert);
2294     bindValue(20, identity.sslKey);
2295     return exec();
2296 }
2297
2298
2299 //bool PostgreSqlMigrationWriter::writeIdentityNick(const IdentityNickMO &identityNick) {
2300 bool PostgreSqlMigrationWriter::writeMo(const IdentityNickMO &identityNick)
2301 {
2302     bindValue(0, identityNick.nickid);
2303     bindValue(1, identityNick.identityId.toInt());
2304     bindValue(2, identityNick.nick);
2305     return exec();
2306 }
2307
2308
2309 //bool PostgreSqlMigrationWriter::writeNetwork(const NetworkMO &network) {
2310 bool PostgreSqlMigrationWriter::writeMo(const NetworkMO &network)
2311 {
2312     bindValue(0, network.networkid.toInt());
2313     bindValue(1, network.userid.toInt());
2314     bindValue(2, network.networkname);
2315     if (_validIdentities.contains(network.identityid.toInt()))
2316         bindValue(3, network.identityid.toInt());
2317     else
2318         bindValue(3, QVariant());
2319     bindValue(4, network.encodingcodec);
2320     bindValue(5, network.decodingcodec);
2321     bindValue(6, network.servercodec);
2322     bindValue(7, network.userandomserver);
2323     bindValue(8, network.perform);
2324     bindValue(9, network.useautoidentify);
2325     bindValue(10, network.autoidentifyservice);
2326     bindValue(11, network.autoidentifypassword);
2327     bindValue(12, network.useautoreconnect);
2328     bindValue(13, network.autoreconnectinterval);
2329     bindValue(14, network.autoreconnectretries);
2330     bindValue(15, network.unlimitedconnectretries);
2331     bindValue(16, network.rejoinchannels);
2332     bindValue(17, network.connected);
2333     bindValue(18, network.usermode);
2334     bindValue(19, network.awaymessage);
2335     bindValue(20, network.attachperform);
2336     bindValue(21, network.detachperform);
2337     bindValue(22, network.usesasl);
2338     bindValue(23, network.saslaccount);
2339     bindValue(24, network.saslpassword);
2340     // Custom rate limiting
2341     bindValue(25, network.usecustommessagerate);
2342     bindValue(26, network.messagerateburstsize);
2343     bindValue(27, network.messageratedelay);
2344     bindValue(28, network.unlimitedmessagerate);
2345     return exec();
2346 }
2347
2348
2349 //bool PostgreSqlMigrationWriter::writeBuffer(const BufferMO &buffer) {
2350 bool PostgreSqlMigrationWriter::writeMo(const BufferMO &buffer)
2351 {
2352     bindValue(0, buffer.bufferid.toInt());
2353     bindValue(1, buffer.userid.toInt());
2354     bindValue(2, buffer.groupid);
2355     bindValue(3, buffer.networkid.toInt());
2356     bindValue(4, buffer.buffername);
2357     bindValue(5, buffer.buffercname);
2358     bindValue(6, (int)buffer.buffertype);
2359     bindValue(7, buffer.lastmsgid);
2360     bindValue(8, buffer.lastseenmsgid);
2361     bindValue(9, buffer.markerlinemsgid);
2362     bindValue(10, buffer.bufferactivity);
2363     bindValue(11, buffer.highlightcount);
2364     bindValue(12, buffer.key);
2365     bindValue(13, buffer.joined);
2366     bindValue(14, buffer.cipher);
2367     return exec();
2368 }
2369
2370
2371 //bool PostgreSqlMigrationWriter::writeBacklog(const BacklogMO &backlog) {
2372 bool PostgreSqlMigrationWriter::writeMo(const BacklogMO &backlog)
2373 {
2374     bindValue(0, backlog.messageid.toQint64());
2375     bindValue(1, backlog.time);
2376     bindValue(2, backlog.bufferid.toInt());
2377     bindValue(3, backlog.type);
2378     bindValue(4, (int)backlog.flags);
2379     bindValue(5, backlog.senderid);
2380     bindValue(6, backlog.senderprefixes);
2381     bindValue(7, backlog.message);
2382     return exec();
2383 }
2384
2385
2386 //bool PostgreSqlMigrationWriter::writeIrcServer(const IrcServerMO &ircserver) {
2387 bool PostgreSqlMigrationWriter::writeMo(const IrcServerMO &ircserver)
2388 {
2389     bindValue(0, ircserver.serverid);
2390     bindValue(1, ircserver.userid.toInt());
2391     bindValue(2, ircserver.networkid.toInt());
2392     bindValue(3, ircserver.hostname);
2393     bindValue(4, ircserver.port);
2394     bindValue(5, ircserver.password);
2395     bindValue(6, ircserver.ssl);
2396     bindValue(7, ircserver.sslversion);
2397     bindValue(8, ircserver.useproxy);
2398     bindValue(9, ircserver.proxytype);
2399     bindValue(10, ircserver.proxyhost);
2400     bindValue(11, ircserver.proxyport);
2401     bindValue(12, ircserver.proxyuser);
2402     bindValue(13, ircserver.proxypass);
2403     bindValue(14, ircserver.sslverify);
2404     return exec();
2405 }
2406
2407
2408 //bool PostgreSqlMigrationWriter::writeUserSetting(const UserSettingMO &userSetting) {
2409 bool PostgreSqlMigrationWriter::writeMo(const UserSettingMO &userSetting)
2410 {
2411     bindValue(0, userSetting.userid.toInt());
2412     bindValue(1, userSetting.settingname);
2413     bindValue(2, userSetting.settingvalue);
2414     return exec();
2415 }
2416
2417 bool PostgreSqlMigrationWriter::writeMo(const CoreStateMO &coreState)
2418 {
2419     bindValue(0, coreState.key);
2420     bindValue(1, coreState.value);
2421     return exec();
2422 }
2423
2424
2425 bool PostgreSqlMigrationWriter::postProcess()
2426 {
2427     QSqlDatabase db = logDb();
2428     QList<Sequence> sequences;
2429     sequences << Sequence("backlog", "messageid")
2430               << Sequence("buffer", "bufferid")
2431               << Sequence("identity", "identityid")
2432               << Sequence("identity_nick", "nickid")
2433               << Sequence("ircserver", "serverid")
2434               << Sequence("network", "networkid")
2435               << Sequence("quasseluser", "userid")
2436               << Sequence("sender", "senderid");
2437     QList<Sequence>::const_iterator iter;
2438     for (iter = sequences.constBegin(); iter != sequences.constEnd(); ++iter) {
2439         resetQuery();
2440         newQuery(QString("SELECT setval('%1_%2_seq', max(%2)) FROM %1").arg(iter->table, iter->field), db);
2441         if (!exec())
2442             return false;
2443     }
2444
2445     // Update the lastmsgid for all existing buffers.
2446     resetQuery();
2447     newQuery(QString("SELECT populate_lastmsgid()"), db);
2448     if (!exec())
2449         return false;
2450     return true;
2451 }